KR102670646B1 - Method for detecting object and System for detecting object - Google Patents
Method for detecting object and System for detecting object Download PDFInfo
- Publication number
- KR102670646B1 KR102670646B1 KR1020220015092A KR20220015092A KR102670646B1 KR 102670646 B1 KR102670646 B1 KR 102670646B1 KR 1020220015092 A KR1020220015092 A KR 1020220015092A KR 20220015092 A KR20220015092 A KR 20220015092A KR 102670646 B1 KR102670646 B1 KR 102670646B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- learning model
- infrared
- learning
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 15
- 238000001514 detection method Methods 0.000 claims abstract description 151
- 238000002604 ultrasonography Methods 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
본 발명은 물체 감지 방법 및 물체 감지 시스템에 관한 것이다.
본 발명의 일 측면에 따르면, 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 입력데이터가 입력되는 단계(S1단계); 하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계); 상기 서로 다른 종류의 센서에 의해 서로 다른 종류의 진단데이터가 수집되는 단계(S3단계); 및 하나의 종류의 진단데이터가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S4단계)를 포함하는 물체 감지 방법이 제공될 수 있다. The present invention relates to an object detection method and object detection system.
According to one aspect of the present invention, a step of inputting different types of input data for a sensing target object by different types of sensors (step S1); A first algorithm is applied to one type of input data to build a first learning model, and a second algorithm is applied to another type of input data to build a second learning model (step S2); Collecting different types of diagnostic data by the different types of sensors (step S3); And after one type of diagnostic data is input to the first learning model to derive a first learning value, and another type of diagnostic data is input to the second learning model to derive a second learning value, An object detection method may be provided including a step (step S4) of determining whether a detection target object has been detected by weighting the first learning value and the second learning value.
Description
본 발명은 물체 감지 방법 및 물체 감지 시스템에 관한 것이다.The present invention relates to an object detection method and object detection system.
자율 이동 로봇 (Autonomous Mobile Robots, AMRs)의 운행은 주로 실외 주행으로 이루어지므로 운행 중 예상하지 못했던 물체와 충돌하여 경제적 및 사회적 문제를 일으킬 수 있으므로 이에 대한 철저한 대비가 필요하다.Since the operation of autonomous mobile robots (AMRs) is mainly conducted outdoors, they may collide with unexpected objects during operation, causing economic and social problems, so thorough preparation is required.
원격 제어로 로봇을 운행할 때에도 원격 조작자가 실시간으로 예상되는 충돌을 사전에 모두 인지하는 것은 불가능하다. 특히, 가느다란 물체(종횡비가 큰 물체)의 경우, 일반적인 센서만으로 감지하기가 매우 어렵고, 여러개의 센서를 결합하는 경우에도 복잡한 알고리즘의 수행이 불가피하다. Even when operating a robot by remote control, it is impossible for the remote operator to recognize all expected collisions in real time in advance. In particular, in the case of thin objects (objects with a large aspect ratio), it is very difficult to detect them using only general sensors, and even when combining multiple sensors, complex algorithms are unavoidable.
종래에는 가느다란 물체(종횡비가 큰 물체)를 감지하기 위하여 동일한 종류의 센서를 여러개 결합하거나, 다른 종류의 센서를 결합하는 것이 시도된바 있다. Conventionally, attempts have been made to combine multiple sensors of the same type or different types of sensors to detect thin objects (objects with a large aspect ratio).
그러나, 이러한 종래의 기술은 데이터들을 미리 학습하는 과정이 존재하지 않았거나, 또는 이러한 데이터들을 어떻게 조합할지 방법론을 제시하지 못하였는바, 가느다란 물체(종횡비가 큰 물체)를 감지하는데 어려움이 있었다.However, these conventional technologies did not have a process for learning data in advance or did not provide a methodology for combining these data, so there was difficulty in detecting thin objects (objects with a large aspect ratio).
본 발명의 실시예들의 물체 감지 방법 및 물체 감지 시스템은 특성이 다른 서로 다른 종류의 센서(heterogeneous sensors)를 센서 융합으로 조합하여, 가느다란 감지대상물체(예를 들어, 종횡비가 10 이상인 물체)를 감지하고자 한다. The object detection method and object detection system of embodiments of the present invention combines different types of sensors (heterogeneous sensors) with different characteristics through sensor fusion to detect a thin detection target object (for example, an object with an aspect ratio of 10 or more). I want to detect it.
본 발명의 일측면에 따르면, 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 입력데이터가 입력되는 단계(S1단계); 하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계); 상기 서로 다른 종류의 센서에 의해 서로 다른 종류의 진단데이터가 수집되는 단계(S3단계); 하나의 종류의 진단데이터가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S4단계)를 포함하는 물체 감지 방법이 제공될 수 있다.According to one aspect of the present invention, different types of input data for a sensing object are input by different types of sensors (step S1); A first algorithm is applied to one type of input data to build a first learning model, and a second algorithm is applied to another type of input data to build a second learning model (step S2); Collecting different types of diagnostic data by the different types of sensors (step S3); After one type of diagnostic data is input to the first learning model to derive a first learning value, and another type of diagnostic data is input to the second learning model to derive a second learning value, the second learning value is derived. An object detection method may be provided including a step (step S4) of determining whether a detection target object has been detected by weighting the first learning value and the second learning value.
또한, 상기 S1단계는, 초음파 센서에 의해 측정된 감지대상물체의 초음파 데이터가 수집되고, 적외선 센서에 의해 측정된 감지대상물체의 적외선 데이터가 수집되는 단계를 포함하는 물체 감지 방법이 제공될 수 있다.In addition, in step S1, ultrasonic data of the detection object measured by an ultrasonic sensor is collected, and infrared data of the detection object measured by an infrared sensor is collected. An object detection method can be provided including the step of collecting. .
또한, 상기 S2단계는, 데이터셋 형성부에 의해 복수 개의 초음파 데이터를 풀링시켜 정규분포를 이루는 초음파 데이터 세트가 형성되는 단계(S21단계); 데이터셋 형성부에 의해 복수 개의 적외선 데이터 세트를 풀링시켜 이진 형태의 분포를 이루는 적외선 데이터 세트가 형성되는 단계(S22단계); 제1 알고리즘 적용부에 의해 상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈가 적용되어 제1 학습모델이 구축되는 단계(S23단계); 제2 알고리즘 적용부에 의해 상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈가 적용되어 제2 학습모델이 구축되는 단계(S24단계)를 포함하는 물체 감지 방법이 제공될 수 있다.In addition, step S2 includes forming an ultrasound data set forming a normal distribution by pooling a plurality of ultrasound data by a data set forming unit (step S21); A step of forming an infrared data set forming a binary distribution by pooling a plurality of infrared data sets by a data set forming unit (step S22); A step of constructing a first learning model by applying Gaussian Naive Bayes to the ultrasound data set by a first algorithm application unit (step S23); An object detection method may be provided including a step of constructing a second learning model by applying Bernoulli Naive Bayes to the infrared data set by a second algorithm application unit (step S24).
또한, 상기 S3단계는, 상기 진단데이터로서 초음파 센서에 의해 초음파 데이터가 수집되고, 적외선 센서에 의해 측정된 적외선 데이터가 수집되는 단계를 포함하는 물체 감지 방법이 제공될 수 있다.In addition, step S3 may provide an object detection method that includes collecting ultrasonic data by an ultrasonic sensor and collecting infrared data measured by an infrared sensor as the diagnostic data.
또한, 상기 S4단계는, 제1 알고리즘 적용부에 의해 진단데이터로서 상기 초음파 데이터가 상기 제1 학습모델에 입력되어 확률로 표현되는 제1 학습값이 도출되는 단계(S41단계); 제2 알고리즘 적용부에 의해 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값이 도출되는 단계(S42단계); 가중치 부여부에 의해 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 확률형태의 결과값이 도출되는 단계(S43단계); 및 물체 판단부에 의해 상기 확률형태의 결과값에 대해 기 설정된 알고리즘이 적용되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S44단계)를 포함하는 물체 감지 방법이 제공될 수 있다.In addition, step S4 includes inputting the ultrasound data as diagnostic data into the first learning model by a first algorithm application unit to derive a first learning value expressed as a probability (step S41); A step of inputting the infrared data as diagnostic data to the second learning model by a second algorithm application unit to derive a second learning value expressed as a probability (step S42); A step of assigning weights to the first learning value and the second learning value by a weighting unit to derive a result in the form of a probability (step S43); and a step (step S44) of determining whether a detection target object has been detected by applying a preset algorithm to the result value in the form of probability by an object determination unit.
또한, 상기 S43단계는, 가중치 부여부에 의해 상기 감지대상물체의 종횡비에 따라 상기 가중치가 가변가능하게 설정되는 단계를 포함하는 물체 감지 방법이 제공될 수 있다.In addition, step S43 may provide an object detection method including a step of variably setting the weight according to the aspect ratio of the detection target object by a weighting unit.
본 발명의 일측면에 따르면, 감지대상물체에 대한 서로 다른 종류의 입력데이터를 입력받을 수 있는 서로 다른 종류의 센서; 하나의 종류의 입력데이터에 대해 제1 알고리즘을 적용하여 제1 학습모델을 구축하고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘을 적용하여 제2 학습모델을 구축한 후, 하나의 종류의 진단데이터에 대해 상기 제1 학습모델에 입력시키고, 다른 하나의 종류의 진단데이터에 대해 상기 제2 학습모델에 입력시켜 감지대상물체를 감지할 수 있는 물체 감지 서버를 포함하는 물체 감지 시스템이 제공될 수 있다.According to one aspect of the present invention, different types of sensors capable of receiving different types of input data about a sensing target object; A first learning model is constructed by applying a first algorithm to one type of input data, a second learning model is constructed by applying a second algorithm to another type of input data, and then one type of input data is constructed. An object detection system including an object detection server capable of detecting a detection object by inputting diagnostic data into the first learning model and inputting another type of diagnostic data into the second learning model will be provided. You can.
또한, 상기 서로 다른 종류의 센서는, 초음파 데이터를 수집할 수 있는 초음파 센서; 및 적외선 데이터를 수집할 수 있는 적외선 센서를 포함하는 물체 감지 시스템이 제공될 수 있다.Additionally, the different types of sensors include: an ultrasonic sensor capable of collecting ultrasonic data; and an infrared sensor capable of collecting infrared data.
또한, 상기 물체 감지 서버는, 복수 개의 초음파 데이터 세트를 풀링시켜 정규분포를 이루는 초음파 데이터 세트를 형성하고, 복수 개의 적외선 데이터 세트를 풀링시켜 이진 형태의 분포를 이류는 적외선 데이터를 형성하는 데이터셋 형성부; 상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈를 적용하여 제1 학습모델을 구축하는 제1 알고리즘 적용부; 상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈를 적용하여 제2 학습모델을 구축하는 제2 알고리즘 적용부를 포함하는 물체 감지 시스템이 제공될 수 있다.In addition, the object detection server pools a plurality of ultrasound data sets to form an ultrasound data set with a normal distribution, and pools a plurality of infrared data sets to form a data set that forms infrared data with a binary distribution. wealth; a first algorithm application unit that constructs a first learning model by applying Gaussian Naive Bayes to the ultrasound data set; An object detection system may be provided including a second algorithm application unit that constructs a second learning model by applying Bernoulli Naive Bayes to the infrared data set.
또한, 상기 제1 알고리즘 적용부는, 진단데이터로서 상기 초음파 데이터를 상기 제1 학습모델에 입력시켜 확률로 표현되는 제1 학습값을 산출할 수 있고, 상기 제2 알고리즘 적용부는, 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값을 산출할 수 있는 물체 감지 시스템이 제공될 수 있다.In addition, the first algorithm application unit may calculate a first learning value expressed as a probability by inputting the ultrasound data as diagnostic data into the first learning model, and the second algorithm application unit may calculate the infrared data as diagnostic data. An object detection system may be provided in which data can be input to the second learning model to calculate a second learning value expressed as a probability.
또한, 상기 물체 감지 서버는, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치를 부여하여 확률형태의 결과값을 도출할 수 있는 가중치 부여부; 상기 확률형태의 결과값에 대해 기 설정된 알고리즘을 적용하여 감지대상물체를 감지할 수 있는 물체 판단부를 더 포함하는 물체 감지 시스템이 제공될 수 있다.In addition, the object detection server includes a weighting unit capable of deriving a result in the form of a probability by assigning weights to the first learning value and the second learning value; An object detection system may be provided that further includes an object determination unit capable of detecting a detection target object by applying a preset algorithm to the probability type result value.
또한, 상기 초음파 센서와 적외선 센서와 상기 물체 감지 서버는 이동가능한 이동체에 탑재되고, 상기 초음파 센서는 상기 적외선 센서를 기준으로 양 측면에 배치되는 물체 감지 시스템이 제공될 수 있다.Additionally, an object detection system may be provided in which the ultrasonic sensor, the infrared sensor, and the object detection server are mounted on a movable object, and the ultrasonic sensor is disposed on both sides of the infrared sensor.
또한, 상기 감지대상물체는 종횡비가 10 이상으로 정의되는 가느다란 물체를 포함하는 물체 감지 시스템이 제공될 수 있다.Additionally, an object detection system may be provided in which the sensing target object includes a thin object defined as having an aspect ratio of 10 or more.
본 발명의 일 실시예에 따른 물체 감지 방법 및 물체 감지 시스템은 특성이 다른 서로 다른 종류의 센서(heterogeneous sensors)를 센서 융합으로 조합하여, 가느다란 감지대상물체(예를 들어, 종횡비가 10 이상인 물체)를 감지할 수 있다. The object detection method and object detection system according to an embodiment of the present invention combines different types of sensors (heterogeneous sensors) with different characteristics through sensor fusion to detect a thin detection object (for example, an object with an aspect ratio of 10 or more). ) can be detected.
도 1은 본 발명의 일 실시예에 따른 물체 감지 시스템(1)을 개념적으로 나타내는 도면이다.
도 2는 도 1의 서로 다른 종류의 센서(10)가 차량에 배치되는 형태의 예시를 개념적으로 나타내는 도면이다.
도 3은 도 1의 물체 감지 시스템(1)에서 물체 감지 서버(20)의 구성을 개략적으로 나타내는 도면이다.
도 4는 도 1의 물체 감지 시스템(1)에 의해 실행되는 물체 감지 서버(20)를 이용한 물체 감지 방법을 개략적으로 나타내는 순서도이다.
도 5는 도 1의 초음파 센서(14)에 의해 수집된 초음파 데이터 세트 또는 풀링(pooling)된 초음파 데이터를 나타낸다.
도 6은 도 1의 적외선 센서(12)에 의해 수집된 적외선 데이터 세트 또는 풀링(pooling)된 적외선 데이터 세트를 나타낸다.
도 7은 도 4의 S2단계에 대해 보다 상세히 나타내는 순서도이다.
도 8은 도 4의 S4단계에 대해 보다 상세히 나타내는 순서도이다.Figure 1 is a diagram conceptually showing an
FIG. 2 is a diagram conceptually showing an example of how different types of
FIG. 3 is a diagram schematically showing the configuration of the
FIG. 4 is a flowchart schematically showing an object detection method using the
FIG. 5 illustrates a set of ultrasound data or pooled ultrasound data collected by the
FIG. 6 illustrates a pooled or infrared data set collected by the
FIG. 7 is a flowchart showing step S2 of FIG. 4 in more detail.
Figure 8 is a flowchart showing step S4 in Figure 4 in more detail.
이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. In addition, when describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.
도 1은 본 발명의 일 실시예에 따른 물체 감지 시스템(1)을 개념적으로 나타내는 도면이고, 도 2는 도 1의 서로 다른 종류의 센서(10)가 차량에 배치되는 형태의 예시를 개념적으로 나타내는 도면이다.FIG. 1 is a diagram conceptually showing an
도 1 및 도2를 참조하면, 본 발명의 일 실시예에 따른 물체 감지 시스템(1)은 감지대상물체를 감지할 수 있는 서로 다른 종류의 센서(10); 및 서로 다른 종류의 센서(10)로부터 입력된 서로 다른 종류의 데이터를 처리하여 감지대상물체를 감지할 수 있는 물체 감지 서버(20)를 포함할 수 있다.Referring to Figures 1 and 2, an
여기서, 서로 다른 종류의 센서(10)와 물체 감지 서버(20)는 서로 독립적인 장치로 제공되어 통신망(30)을 통해 데이터 통신하거나, 또는 서로 다른 종류의 센서(10)와 물체 감지 서버(20)는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수도 있다.Here, the different types of
본 실시예에서 서로 다른 종류의 센서(10)와 물체 감지 서버(20)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다. In this embodiment, the different types of
본 발명의 일 실시예에 따르면 서로 다른 종류의 센서(10)는 적외선 센서(12)와 초음파 센서(14)를 포함할 수 있다. 다만, 본 발명의 사상은 이에 한정되지 않으며 서로 다른 종류의 센서(10)는 적외선 센서(12)와 초음파 센서(14) 이외에 다른 종류의 센서를 포함할 수 있다. 본 실시예에서는 서로 다른 종류의 센서(10)가 적외선 센서(12)와 초음파 센서(14)인 것을 예로 들어 설명한다. According to one embodiment of the present invention, different types of
예를 들어, 본 실시예의 물체 감지 시스템(1)은 초음파 센서(14)로부터 수집된 초음파 데이터를 가우시안 나이브 베이즈(Gaussian Naive Bayes)에 적용하여 학습시킨 제1 학습모델을 구축하고, 적외선 센서(12)로부터 수집된 적외선 데이터를 베르누이 나이브 베이즈(Bernoulli Naive Bayes)에 적용하여 학습시킨 제2 학습모델을 구축한 후, 초음파 데이터와 적외선 데이터의 진단데이터를 입력받은 후 진단데이터를 기계학습모델(제1 학습모델과 제2 학습모델)에 적용시켜, 진단데이터가 감지대상물체를 포함하고 있는지 감지할 수 있다. 이에 대한 보다 자세한 설명은 후술한다. For example, the
적외선 센서(12)와 초음파 센서(14)는 이동체(예를 들어, 차량, 드론 등)에 탑재되고, 물체 감지 서버(20)는 이동체의 이동경로에 감지대상물체가 있는지 감지할 수 있다. 본 실시예에서 적외선 센서(12)와 초음파 센서(14)는 차량(C)에 탑재된 것을 예로 들어 설명한다.The
여기서, 감지대상물체는 종횡비가 2.66 이상인 물체, 바람직하게는 종횡비가 10이상인 물체일 수 있다. Here, the sensing target object may be an object with an aspect ratio of 2.66 or more, preferably an object with an aspect ratio of 10 or more.
종횡비가 2.66 이상인 물체 또는 10이상인 물체는 상하로 길쭉한 물체로서 슬렌더바디로 명명될 수 있다. Objects with an aspect ratio of 2.66 or more or 10 or more are elongated from top to bottom and can be called slender bodies.
본 실시예의 물체 감지 서버(20)와 이를 포함하는 물체 감지 시스템(1)에 의하면, 종횡비가 작은 물체(넓적한 물체) 뿐만 아니라, 종횡비가 큰 물체(가느다란 물체)도 감지할 수 있는바, 자율주행 차량이나 무인 드론에 탑재되어 장애물 회피를 용이하게 할 수 있다. According to the
도 2를 참조하면, 초음파 센서(14)는 적외선 센서(12)를 기준으로 양 측면에 배치될 수 있다. 예를 들어, 적외선 센서(12)는 차량(C)의 중앙부에 2개가 설치되며, 적외선 센서(12)는 2개의 적외선 센서(12)를 기준으로 양 옆에 배치될 수 있다. Referring to FIG. 2 , the
이와 같은 배치형태에 의해 감지대상물체를 더욱 정확하게 감지할 수 있다. With this arrangement, the sensing object can be detected more accurately.
또한, 물체 감지 서버(20)는 차량(C) 본체에 탑재될 수 있다. 다만, 본 발명의 사상은 이에 한정되지 않으며, 물체 감지 서버(20)가 차량(C)의 외부에 탑재되어 통신망(30)을 통해 서로 다른 종류의 센서(10)와 무선 통신하는 것을 포함할 수 있다. Additionally, the
또한, 본 실시예의 물체 감지 시스템(1)은 서로 다른 종류의 센서인 적외선 센서(12)와 초음파 센서(14)를 이용하는 센서 융합(sensor fusion)의 개념이 적용될 수 있다. 본 실시예에서는 상대적으로 먼 거리에서는 초음파 센서(14)가, 가까운 거리에서는 적외선 센서(12)가 더욱더 정확하게 감지대상물체를 감지해낸다는 성질을 이용하여 두 센서의 융합을 구현하였다.Additionally, the
한가지의 센서만 사용하는 것보다 적외선 센서(12)와 초음파 센서(14)의 장점만을 취하여 감지해내기 어려운 근접 거리에 있는 기 설정된 종횡비 이상인 감지대상물체(예를 들어, 가느다란 물체)를 탐지해 낼 수 있다. Rather than using only one sensor, it takes only the advantages of the
본 실시예는 초음파 센서(14)와 적외선 센서(12)의 장점을 취합하여, 감지대상물체의 감지에 있어서 보다 정확한 방법을 도출해 낼 수 있다. This embodiment combines the advantages of the
종래의 일반적인 센서 융합에서는 필터링 기법을 사용하는 것이 보편적이었다. 그러나, 이러한 종래의 기법은 데이터에 대한 학습 기능이 없어서 새로운 형태의 물체에 대한 판정 능력이 상대적으로 낮으므로, 물체 감지에 대한 취약점이 있을 수 있다. 본 실시예에서는 초음파 센서(14)와 적외선 센서(12)에서 얻은 데이터를 기초로 기계학습을 각각 적용하여 데이터에 대한 학습을 진행하였다. 본 실시예에 적용된 기계학습 모델은 초음파 센서와 적외선 센서로부터 데이터를 학습하여 각각 감지대상물체의 감지 결과를 출력하는데 이를 확률 형태로 변환시킨다. 초음파 데이터와 적외선 데이터를 사용하여 예측된 분류 결과를 결합해서 앙상블 학습(Ensemble Learning)을 구현할 수 있다. 물체의 유무가 결정론적인 값으로 주어지는 것보다, 확률로 표시함으로써 각각의 센서 또는 센서 융합에 대한 평가와 수정을 하는 데 도움이 될 수 있다. 이에 대한 보다 상세한 설명은 후술한다. In conventional general sensor fusion, it was common to use filtering techniques. However, these conventional techniques do not have a learning function for data, so their judgment ability for new types of objects is relatively low, so they may have vulnerabilities in object detection. In this embodiment, machine learning was applied based on data obtained from the
도 3은 도 1의 물체 감지 시스템(1)에서 물체 감지 서버(20)의 구성을 개략적으로 나타내는 도면이다.FIG. 3 is a diagram schematically showing the configuration of the
도 3 을 참조하면, 물체 감지 서버(20)는 메모리(200), 프로세서(300) 및 통신모듈(400)을 포함할 수 있다. Referring to FIG. 3 , the
프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신모듈(400)로부터 프로세서(300)으로 제공될 수 있다. The
그 외에 명령은 물체 감지 서버(20)을를구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.In addition, commands may be provided to the
프로세서(300)는 초음파 데이터를 가우시안 나이브 베이즈(Gaussian Naive Bayes)에 적용하여 학습시킨 제1 학습모델을 구축하고, 적외선 데이터를 베르누이 나이브 베이즈(Bernoulli Naive Bayes)에 적용하여 학습시킨 제2 학습모델을 구축한 후, 초음파 데이터와 적외선 데이터의 진단데이터를 입력받은 후 진단데이터를 기계학습모델(제1 학습모델과 제2 학습모델)에 적용시켜 감지대상물체를 감지하기 위해 필요한 데이터의 입출력, 데이터의 처리, 데이터의 관리, 통신망(40)을 이용한 통신 등 다양한 기능을 수행할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다. The
또한, 프로세서(300)의 구성요소들은 기계학습으로 학습된 모듈을 포함하거나, 딥러닝으로 미리 학습된 인공신경망을 포함할 수도 있다. Additionally, the components of the
메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. The memory 200 is a computer-readable recording medium and may include a non-permanent mass storage device such as RAM (Random Access Memory), ROM (Read Only Memory), and a disk drive.
프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 감지대상물체의 존재여부를 판단하는데 이용될 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신모듈(400)을 통해 전달되어 메모리(200)에 저장될 수 있다. The
또한, 메모리(200)에는 제1 학습모델과 제2 학습모델을 구축하고, 이를 기초로 감지대상물체를 감지하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다. In addition, the memory 200 may be provided with a
통신모듈(400)은 통신망(30)을 통해 서로 다른 종류의 센서(10)와 물체 감지 서버(20)이 서로 통신하기 위한 기능을 제공할 수 있다. The
물체 감지 서버(20)는 물리적인 구성인 데이터셋 형성부(310); 제1 알고리즘 적용부(320); 제2 알고리즘 적용부(330); 가중치 부여부(340); 물체 판단부(350)를 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다The
도 4는 도 1의 물체 감지 시스템(1)에 의해 실행되는 물체 감지 서버(20)를 이용한 물체 감지 방법을 개략적으로 나타내는 순서도이고, 도 5는 도 1의 초음파 센서(14)에 의해 수집된 초음파 데이터 세트 또는 풀링(pooling)된 초음파 데이터를 나타내고, 도 6은 도 1의 적외선 센서(12)에 의해 수집된 적외선 데이터 세트 또는 풀링(pooling)된 적외선 데이터 세트를 나타내며, 도 7은 도 4의 S2단계에 대해 보다 상세히 나타내는 순서도이고, 도 8은 도 4의 S4단계에 대해 보다 상세히 나타내는 순서도이다. FIG. 4 is a flowchart schematically showing an object detection method using the
도 1 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 물체 감지 방법은, 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 입력데이터가 수집되는 단계(S1단계); 하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계); 상기 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 진단데이터가 수집되는 단계(S3단계); 및 하나의 종류의 진단데이터가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S4단계)를 포함할 수 있다.Referring to Figures 1 to 8, the object detection method according to an embodiment of the present invention includes the steps of collecting different types of input data for a sensing object by different types of sensors (step S1); A first algorithm is applied to one type of input data to build a first learning model, and a second algorithm is applied to another type of input data to build a second learning model (step S2); Collecting different types of diagnostic data about the sensing object by the different types of sensors (step S3); And after one type of diagnostic data is input to the first learning model to derive a first learning value, and another type of diagnostic data is input to the second learning model to derive a second learning value, It may include a step (step S4) of determining whether a detection target object has been detected by weighting the first learning value and the second learning value.
여기서, S1단계 및 S2단계는 서로 다른 종류의 복수 개의 입력데이터를 입력받아, 각각의 입력데이터에 대해 서로 다른 알고리즘을 적용하여 제1 학습모델과 제2 학습모델이 구축되는 단계로 이해될 수 있고, S2단계 및 S4단계는 서로 다른 종류의 진단데이터가 각각 제1 학습모델과 제2 학습모델에 입력되어 감지대상물체의 존재여부가 판단되는 단계로 이해될 수 있으며, 이하에서는 S1단계 내지 S4단계에 대해 보다 자세히 설명한다. Here, steps S1 and S2 can be understood as steps in which a first learning model and a second learning model are constructed by receiving a plurality of different types of input data and applying different algorithms to each input data. , Step S2 and Step S4 can be understood as steps in which different types of diagnostic data are input into the first learning model and the second learning model, respectively, to determine the presence or absence of the detection target object. Hereinafter, steps S1 to S4 are used. Explain in more detail.
먼저, 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 입력데이터가 수집되는 단계(S1단계)에 대해 설명한다. First, the step (step S1) in which different types of input data about the sensing object are collected by different types of sensors will be described.
본 실시예에서는 서로 다른 종류의 센서가 적외선 센서(12)와 초음파 센서(14)인 것을 예로 들어 설명한다. 다만, 본 발명의 사상은 이에 한정되는 것은 아니며 적외선 센서(12)와 초음파 센서(14) 이외에 다른 종류의 센서를 더 포함하는 것을 포함할 수 있다. In this embodiment, the different types of sensors are the
구체적으로, S1단계는, 적외선 센서(12)에 의해 감지대상물체에 대한 적외선 데이터가 수집되고, 초음파 센서(14)에 의해 감지대상물체에 대한 초음파 데이터가 수집되는 단계를 포함할 수 있다. 예를 들어, 이동체(예를 들어, 차량 또는 드론)의 이동경로에 감지대상물체가 존재하는 경우, 이동체에 탑재된 적외선 센서(12)에 의해 감지대상물체에 대한 적외선 데이터가 수집되고, 초음파 센서(14)에 의해 감지대상물체에 대한 초음파 데이터가 수집될 수 있다. Specifically, step S1 may include collecting infrared data about the sensing object by the
다음으로, 하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계)에 대해 설명하면 다음과 같다. Next, a first algorithm is applied to one type of input data to build a first learning model, and a second algorithm is applied to another type of input data to build a second learning model (S2 Steps) are explained as follows.
본 실시예의 하나의 종류의 입력데이터는 초음파 데이터이고, 다른 하나의 종류의 입력데이터는 적외선 데이터인 것을 예로 들어 설명한다. In this embodiment, one type of input data is ultrasonic data, and the other type of input data is infrared data.
구체적으로, S2단계에서는, 데이터셋 형성부(310)에 의해, 복수 개의 초음파 데이터를 풀링(pooling)시켜 정규분포를 이루는 초음파 데이터 세트가 형성되는 단계를 포함할 수 있다.Specifically, step S2 may include forming an ultrasound data set forming a normal distribution by pooling a plurality of ultrasound data by the data
여기서, 풀링(pooling)은 데이터들을 그룹화하는것으로 이해될 수 있다. Here, pooling can be understood as grouping data.
도 5를 참조하면, 도 5의 (a)는 초음파 센서(14)에 의해 수집된 1개의 초음파 데이터 세트를 나타내고, 도 5의 (b)는 초음파 센서(14)에 의해 수집된 2개의 초음파 데이터 세트를 풀링(pooling)하여 형성된 풀링된 초음파 데이터 세트를 나타내고, 도 5의 (c)는 초음파 센서(14)에 의해 수집된 3개이 초음파 데이터 세트를 풀링(pooling)하여 형성된 풀링된 초음파 데이터 세트를 나타낸다. Referring to FIG. 5, (a) of FIG. 5 represents one ultrasonic data set collected by the
도 5의 (a) 내지 (c)를 참조하면, 풀링(pooling)이 실행되는 초음파 데이터 세트의 수를 증가시켜 풀링된 초음파 데이터 세트는 정규분포를 이루도록 할 수 있다.Referring to (a) to (c) of FIGS. 5, the number of ultrasound data sets for which pooling is performed can be increased so that the pooled ultrasound data sets have a normal distribution.
도 5의 (c)는 도 5의 (a)와 (b) 보다 많은 횟수의 풀링(pooling)을 실시하였는바, 초음파 데이터 세트가 정규분포에 근접함을 알 수 있다. In Figure 5 (c), pooling was performed more times than in Figures 5 (a) and (b), and it can be seen that the ultrasound data set is close to a normal distribution.
본 실시예에서는 기계학습 알고리즘을 사용하여 학습을 진행할 때 각각의 자료 세트를 개별적으로 사용하는 것이 아니라, 측정 자료를 통합시켜 단일한 자료로 만들어서 학습 과정을 수행하였다. 즉, k 개의 요소들로 구성된 m 세트의 초음파 센서측정 자료를 모두 통합하여 k X m 개의 요소들로 구성된 단일한 세트로 취급하였으며 이는 데이터 풀링(pooling)으로 이해될 수 있다. In this embodiment, when learning using a machine learning algorithm, rather than using each data set individually, the learning process was performed by integrating the measurement data into a single data set. In other words, all m sets of ultrasonic sensor measurement data consisting of k elements were integrated and treated as a single set of k X m elements, which can be understood as data pooling.
적외선 센서(12)에 대해서도 마찬가지로 q개의 요소로 구성된 n 세트의 자료를 데이터 풀링(pooling) 방식을 사용하여 q X n 개의 요소를 가진 단일한 자료로 취급하여 기계학습에 이용하였다. 이렇게 하는 이유는, 자료의 편향성을 줄이고 가능한 한 정규 분포와 유사한 방식으로 만들고자 하는 것이 목적이다. 본 실시예의 센서 융합 과정에서 사용된 두 개의 기계학습 알고리즘이 모두 정규 분포 형태의 자료에서 잘 작동하므로 좋은 판별 성능을 보일 수 있다. Similarly, for the
또한, S2단계는, 데이터셋 형성부(310)에 의해, 복수 개의 적외선 데이터를 풀링(pooling)시켜 이진 형태의 분포를 이루는 적외선 데이터 세트가 형성되는 단계를 포함할 수 있다.Additionally, step S2 may include forming an infrared data set forming a binary distribution by pooling a plurality of infrared data by the data
도 6을 참조하면, 도 6의 (a)는 적외선 센서(12)에 의해 수집된 1개의 적외선 데이터 세트를 나타내고, 도 6의 (b)는 적외선 센서(12)에 의해 수집된 2개의 적외선 데이터 세트를 풀링(pooling)하여 형성된 풀링된 적외선 데이터 세트를 나타내고, 도 6의 (c)는 3개의 적외선 데이터 세트를 풀링(pooling)하여 형성된 풀링된 적외선 데이터 세트를 나타낸다. Referring to FIG. 6, (a) of FIG. 6 represents one set of infrared data collected by the
도 6의 (a) 내지 (c)를 참조하면, 풀링(pooling)이 실행되는 적외선 데이터 세트의 수를 증가시켜 풀링된 적외선 데이터 세트가 이진 형태의 분포를 이룸을 알 수 있다.Referring to Figures 6 (a) to (c), it can be seen that by increasing the number of infrared data sets on which pooling is performed, the pooled infrared data sets form a binary distribution.
여기서, 이진 형태의 분포는 적외선 센서(12)에 의해 측정된 감지대상물체의 결과값이 0 또는 1이 나오는 것으로 이해될 수 있다. 예를 들어, 적외선 센서(12)에 의해 측정된 감지대상물체의 결과값이 0인 경우 감지대상물체가 감지되지 않은 것으로 이해될 수 있으며, 결과값이 1인 경우 감지대상물체가 감지된 것으로 이해될 수 있다. Here, the binary distribution can be understood as the result of the sensing object measured by the
도 6의 (a) 내지 (c)의 가로축은 결과값인 0 또는 1을 나타내며, 세로축은 감지대상물체의 감지횟수를 나타낸다. The horizontal axis of Figures 6 (a) to (c) represents the result value of 0 or 1, and the vertical axis represents the number of detections of the detection target object.
또한, S2단계는, 제1 알고리즘 적용부(320)에 의해 정규분포를 이루는 초음파 데이터 세트에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되는 것을 포함할 수 있다. Additionally, step S2 may include constructing a first learning model by applying the first algorithm to an ultrasound data set forming a normal distribution by the first
여기서, 제1 알고리즘은 가우시안 나이브 베이즈(Gaussian Naive Bayes)일 수 있으며, 가우시안 나이브 베이즈(Gaussian Naive Bayes)는 정규분포를 이루는 데이터를 최적으로 처리하는 알고리즘으로 이해될 수 있다. Here, the first algorithm may be Gaussian Naive Bayes, and Gaussian Naive Bayes may be understood as an algorithm that optimally processes data forming a normal distribution.
초음파 데이터는 시간에 따른 무작위 형태의 연속적인 형태를 지니고 있어, 가우시안 나이브 베이즈(Gaussian Naive Bayes)에 적용시켜 학습시켰다. 가우시안 나이브 베이즈(Gaussian Naive Bayes)는 연속적인 값을 지닌 자료를 처리할 때, 각 클래스(calss)의 연속적인 값들이 가우스 분포를 따른다고 가정할 수 있다. 가우시안 나이브 베이즈(Gaussian Naive Bayes)는 조건부 확률 모델이켜, 분류될 측정 자료는 N개의 특성을 나타내는 벡테로 표시하고, k 개의 클래스들은 하기와 같은 식으로 표현될 수 있다.Ultrasound data has a random and continuous form over time, so it was learned by applying Gaussian Naive Bayes. When Gaussian Naive Bayes processes data with continuous values, it can be assumed that the continuous values of each class (calss) follow a Gaussian distribution. Gaussian Naive Bayes is a conditional probability model, and the measurement data to be classified is expressed as a vector representing N characteristics, and the k classes can be expressed as follows.
[식 1][Equation 1]
그러나 [식 1]은 직접 계산하기가 어려우므로 베이즈 정리(Bayes' rule)를 적용하여 하기 [식 2]와같이 간략화시킬 수 있다. However, since [Equation 1] is difficult to calculate directly, it can be simplified as shown in [Equation 2] below by applying Bayes' rule.
[식 2][Equation 2]
여기서 는 센서에 의해서 측정된 자료이며, 는 감지대상물체의 유무를 구분하는 클래스 변수로 이해될 수 있으며, 클래스는 물체가 감지된 경우 와 감지되지 않은 경우 로 구분될 수 있다. here is the data measured by the sensor, can be understood as a class variable that distinguishes the presence or absence of a detection target object, and the class is and if not detected It can be divided into:
상기 [식 2]는 측정 자료의 상호 독립성을 가정하면 하기와 같은 [식 3]의 클래스 변수 C에 대한 조건부 분포로 나타낼 수 있다. [Equation 2] above can be expressed as a conditional distribution for the class variable C in [Equation 3] as follows, assuming mutual independence of measurement data.
[식 3][Equation 3]
상기 [식 3]은 일반적인 확률론적 사례에 적용될 수도 있고, 가우시안 나이브 베이즈(Gaussian Naive Bayes)로 간주할 수도 있다. 가우시안 나이브 베이즈(Gaussian Naive Bayes)는 [식 3]에서와 같이 측정된 자료를 사용하여 학습하고, 새롭게 입력되는 센서측정 자료에 대한 클래스를 결정하는 과정을 수행할 수 있다. 즉, [식 3]에 대하여 MAP estimation (maximum a posterior estimation)을 적용하여 하기 [식 4]와같이 새롭게 입력된 자료가 소속되는 클래스 에 대한 결정을 내릴 수 있다.The above [Equation 3] may be applied to general probabilistic cases, or may be considered Gaussian Naive Bayes. Gaussian Naive Bayes can learn using measured data as shown in [Equation 3] and perform the process of determining the class for newly input sensor measurement data. In other words, by applying MAP estimation (maximum a posterior estimation) to [Equation 3], the class to which the newly input data belongs as shown in [Equation 4] below can make a decision about
[식 4][Equation 4]
본 실시예에서는 초음파 센서의 자료를 다루는 데 있어서 가우시안 나이브 베이즈(Gaussian Naive Bayes)를 적용하는데 초음파 실측 자료가 연속적인 속성을 포함하는 것으로 가정하고, 클래스에 따라 자료를 나눈 뒤에, 각 클래스에서의 평균과 분산을 계산하는 방식으로 [식 3]과 [식 4]에서와같이 기계학습 및 입력 자료에 대한 물체 유무 판정을 각각 진행할 수 있다. In this embodiment, Gaussian Naive Bayes is applied in handling data from ultrasonic sensors. It is assumed that ultrasonic measurement data contains continuous properties, and after dividing the data according to classes, the data in each class is calculated. By calculating the mean and variance, machine learning and object presence determination for input data can be performed as in [Equation 3] and [Equation 4], respectively.
제1 학습모델은 입력데이터로서 초음파 데이터 세트를 더 많이 학습시킬수록 정확도가 높아지며, 제1 학습모델만을 적용한 감지대상물체의 감지 결과는 88% 내지 94%의 정확도를 나타낼 수 있다. The accuracy of the first learning model increases as more ultrasonic data sets are learned as input data, and the detection result of the detection object by applying only the first learning model can show an accuracy of 88% to 94%.
또한, S2단계는, 제2 알고리즘 적용부(330)에 의해 이진 형태의 분포를 이루는 적외선 데이터 세트에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 것을 포함할 수 있다. 여기서, 제2 알고리즘은 베르누이 나이브 베이즈(Bernoulli Naive Bayes)일 수 있으며, 베르누이 나이브 베이즈(Bernoulli Naive Bayes)는 이진 형태의 분포를 이루는 데이터를 최적으로 처리하는 알고리즘으로 이해될 수 있다.Additionally, step S2 may include constructing a second learning model by applying a second algorithm to an infrared data set forming a binary distribution by the second algorithm application unit 330. Here, the second algorithm may be Bernoulli Naive Bayes, and Bernoulli Naive Bayes can be understood as an algorithm that optimally processes data forming a binary distribution.
[식 5][Equation 5]
한편, 적외선 센서에서 측정된 자료는 이진수(binary) 형태로 제공되므로, 베르누이 나이브 베이즈 (Bernoulli Naive Bayes, BNB)를 사용하여 학습한다. 이 경우에는 [식 5]에서와 같이 학습 과정을 수행하며, 결과적으로 [식 4]를 사용하여 측정된 자료에 대한 물체 유무를 확률론적으로 결정할 수 있다.Meanwhile, since the data measured from the infrared sensor is provided in binary form, it is learned using Bernoulli Naive Bayes (BNB). In this case, the learning process is performed as in [Equation 5], and as a result, the presence or absence of an object in the measured data can be probabilistically determined using [Equation 4].
제2 학습모델은 입력데이터로서 적외선 데이터 세트를 더 많이 학습시킬수록 정확도가 높아지며, 제2 학습모델만을 적용한 감지대상물체의 감지 결과는 79% 내지 81%의 정확도를 나타낼 수 있다. The accuracy of the second learning model increases as it learns more infrared data sets as input data, and the detection result of the detection object by applying only the second learning model can show an accuracy of 79% to 81%.
초음파 데이터에 대해 가우시안 나이브 베이즈(Gaussian Naive Bayes)가 적용되는 제1 학습모델과 적외선 데이터에 대해 베르누이 나이브 베이즈(Bernoulli Naive Bayes)가 적용되는 제2 학습모델이 구축된 후, 감지대상물체의 진단데이터 (적외선 센서(12)에 의해 측정된 감지대상물체의 적외선 데이터, 초음파 센서(14)에 의해 측정된 감지대상물체의 초음파 데이터 포함)가 수집된 후, 이를 제1 학습모델과 제2 학습모델에 적용 후 가중치를 부여해서 감지대상물체의 존재 여부가 판단될 수 있다(S3단계 내지 S5단계). 이하에서는 S3단계 내지 S5단계에 대해 보다 자세히 설명한다.After the first learning model in which Gaussian Naive Bayes is applied to ultrasonic data and the second learning model in which Bernoulli Naive Bayes is applied to infrared data are constructed, the detection target object After diagnostic data (including infrared data of the detection object measured by the
S3단계는, 서로 다른 종류의 센서에 의해 서로 다른 종류의 진단데이터(예를 들어, 적외선 데이터 및 초음파 데이터)가 수집되는 단계를 포함할 수 있다. Step S3 may include collecting different types of diagnostic data (eg, infrared data and ultrasonic data) by different types of sensors.
구체적으로, S3단계는 진단데이터로서 적외선 센서(12)에 의해 측정된 적외선 데이터가 수집되고, 초음파 센서(14)에 의해 초음파 데이터가 수집되는 단계를 포함할 수 있다.Specifically, step S3 may include collecting infrared data measured by the
예를 들어, 이동체(차량 또는 드론)에 탑재된 적외선 센서(12)와 초음파 센서(14)는 이동체의 이동경로 상에 있는 외부 환경을 감지하여 진단데이터로서 적외선 데이터와 초음파 데이터를 수집할 수 있다. 이때, 이동경로 상에 감지대상물체가 있는 경우, 적외선 센서(12)와 초음파 센서(14)는 진단데이터로서 감지대상물체에 대한 초음파 데이터와 적외선 데이터를 수집할 수 있다. For example, the
그 이후, S4단계로서 하나의 종류의 진단데이터(예를 들어, 초음파 데이터)가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터(예를 들어, 적외선 데이터)가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계가 실행될 수 있다. Thereafter, in step S4, one type of diagnostic data (e.g., ultrasound data) is input to the first learning model to derive a first learning value, and another type of diagnostic data (e.g., infrared data) is input to the first learning model to derive a first learning value. After data) is input to the second learning model and a second learning value is derived, a weight is assigned to the first learning value and the second learning value to determine whether a detection target object is detected. You can.
구체적으로, S4단계는, 제1 알고리즘 적용부(320)에 의해 진단데이터로서 상기 초음파 데이터가 상기 제1 학습모델에 입력되어 확률로 표현되는 제1 학습값이 도출되는 단계(S41단계),Specifically, step S4 is a step in which the ultrasound data as diagnostic data is input into the first learning model by the first
제2 알고리즘 적용부(330)에 의해 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값이 도출되는 단계(S42단계)를 포함할 수 있다. It may include a step (step S42) in which the infrared data as diagnostic data is input to the second learning model by the second algorithm application unit 330 to derive a second learning value expressed as a probability.
예를 들어, 진단데이터로서 초음파 데이터가 제1 학습모델에 입력되는 경우, 입력된 초음파 데이터에 대해 가우시안 나이브 베이즈(Gaussian Naive Bayes)가 적용되어 확률 형태의 제1 학습값이 도출될 수 있다. 또한, 진단데이터로서 적외선 데이터가 제2 학습모델에 입력되는 경우, 입력된 적외선 데이터에 대해 베르누이 나이브 베이즈(Bernoulli Naive Bayes)가 적용되어 확률 형태의 제2 학습값이 도출될 수 있다.For example, when ultrasound data as diagnostic data is input to the first learning model, Gaussian Naive Bayes may be applied to the input ultrasound data to derive a first learning value in the form of probability. Additionally, when infrared data as diagnostic data is input to the second learning model, Bernoulli Naive Bayes may be applied to the input infrared data to derive a second learning value in the form of probability.
그 후, 가중치 부여부(340)에 의해 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 확률형태의 결과값이 도출되는 단계(S43단계)가 실행될 수 있다. Thereafter, a step (step S43) in which weights are assigned to the first learning value and the second learning value by the weighting unit 340 to derive a result in the form of a probability may be performed.
여기서, 가중치를 고려한 확률형태의 결과값은 하기와 같은 식으로 표현될 수 있다.Here, the result in the form of probability considering the weight can be expressed as follows.
[식 7][Equation 7]
상기 식에서 는 확률형태의 결과값, 는 가중치, 는 가우시안 나이브 베이즈(Gaussian Naive Bayes)가 적용된 제1 학습값, 는 베르누이 나이브 베이즈(Bernoulli Naive Bayes)가 적용된 제2 학습값으로 이해될 수 있다.In the above equation is the result in probability form, is the weight, is the first learning value to which Gaussian Naive Bayes was applied, can be understood as the second learning value to which Bernoulli Naive Bayes is applied.
여기서, S43단계는, 가중치 부여부(340)에 의해 상기 감지대상물체의 종횡비에 따라 상기 가중치가 가변가능하게 설정되는 단계를 포함할 수 있다. Here, step S43 may include a step in which the weight is variably set according to the aspect ratio of the sensing target object by the weighting unit 340.
예를 들어, 가우시안 나이브 베이즈(Gaussian Naive Bayes)가 적용되는 제1 학습값과 베르누이 나이브 베이즈(Bernoulli Naive Bayes)가 적용되는 제2 학습값에 대해 하기 [표 1]과 같은 가중치가 적용될 수 있다. For example, the weights shown in [Table 1] below can be applied to the first learning value to which Gaussian Naive Bayes is applied and the second learning value to which Bernoulli Naive Bayes is applied. there is.
위 [표 1]을 참조하면, 가중치가 0.7 내지 0.8 사이에서 가장 높은 결과값이 도출됨을 알 수 있다. Referring to [Table 1] above, it can be seen that the highest result value is obtained when the weight is between 0.7 and 0.8.
그 후, 물체 판단부(350)에 의해 상기 확률형태의 결과값에 대해 기 설정된 알고리즘이 적용되어 감지대상물체가 감지되었는지 여부가 판단되는 단계가 실행될 수 있다. Afterwards, the
여기서, 기 설정된 알고리즘은 softmax 함수로서 최종결과값은 하기와 같은 식으로 표현될 수 있다.Here, the preset algorithm is a softmax function, and the final result can be expressed as follows.
[식 8][Equation 8]
상기 식에서 클래스 지수 i=0,1로 나타날 수 있고, 0은 감지대상물체가 감지되지 않았음을 나타내고, 1은 감지대상물체가 감지되었음을 나타내는 것으로 이해될 수 있다. In the above equation, the class index i = 0, 1 can be understood, where 0 indicates that the sensing object has not been detected, and 1 can be understood as indicating that the sensing object has been detected.
본 실시예에서는 제1 학습값과 제2 학습값을 도출한 후, 감지대상물체의 감지 결과를 확률로 표시할 수 있다. 이러한 확률론적인 결과는 단순히 감지대상물체의 유무를 판단하기 보다 확률로 규정할 수 있어 보다 현실적인 판정을 할 수 있도록 도움을 준다. In this embodiment, after deriving the first learning value and the second learning value, the detection result of the detection target object can be displayed as a probability. These probabilistic results can be defined as probabilities rather than simply determining the presence or absence of a detection object, helping to make more realistic decisions.
또한, 확률로 표시된 결과를 보면서 시스템에 대한 설계나 개선을 위한 참고 지표로 삼을 수 있다는 장점이 있다. 이러한 과정은 일종의 앙상블 학습(Ensemble Learning)으로 이해될 수있다. Additionally, it has the advantage of being able to use the results expressed as probabilities as a reference indicator for designing or improving the system. This process can be understood as a type of ensemble learning.
이하에서는, 상술한 물체 감지 서버(20)의 물리적인 구성인 데이터셋 형성부(310); 제1 알고리즘 적용부(320); 제2 알고리즘 적용부(330); 가중치 부여부(340); 및 물체 판단부(350)에 대해 보다 상세히 설명한다.Hereinafter, the data
상술한 바와 같이, 데이터셋 형성부(310)는 초음파 데이터 세트를 풀링(pooling)시켜 정규분포를 이루는 초음파 데이터 세트를 형성하고, 복수 개의 적외선 데이터 세트를 풀링(pooling)시켜 이진 형태의 분포를 이류는 적외선 데이터를 형성할 수 있다. As described above, the data
제1 알고리즘 적용부(320)는 초음파 데이터 세트에 대해 가우시안 나이브 베이즈(Gaussian Naive Bayes)를 적용하여 제1 학습모델을 구축할 수 있다. The first
또한, 제1 알고리즘 적용부(320)는, 진단데이터로서 상기 초음파 데이터를 상기 제1 학습모델에 입력시켜 확률로 표현되는 제1 학습값을 산출할 수 있다. Additionally, the first
제2 알고리즘 적용부(330)는 적외선 데이터 세트에 대해 베르누이 나이브 베이즈(Bernoulli Naive Bayes)를 적용하여 제2 학습모델을 구축할 수 있다. The second algorithm application unit 330 may construct a second learning model by applying Bernoulli Naive Bayes to the infrared data set.
또한, 제2 알고리즘 적용부(330)는, 진단데이터로서 적외선 데이터가 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값을 산출할 수 있다. Additionally, the second algorithm application unit 330 may input infrared data as diagnostic data into a second learning model to calculate a second learning value expressed as a probability.
가중치 부여부(340)는 제1 학습값과 제2 학습값에 대해 가중치를 부여하여 확률형태의 결과값을 도출할 수 있다. The weighting unit 340 may derive a result value in the form of probability by assigning weights to the first learning value and the second learning value.
물체 판단부(350)는 확률형태의 결과값에 대해 기 설정된 알고리즘을 적용하여 감지대상물체를 감지할 수 있다. 여기서, 기 설정된 알고리즘은 상술한 softmax 함수를 포함할 수 있다. The
이하에서는, 상술한 실시예들의 장점에 대해 설명한다. Below, the advantages of the above-described embodiments will be described.
상술한 실시예는 일반적인 센서를 사용하여 감지하기 어려운 가느다란 물체를 정확도 높게 판별할 수 있다. The above-described embodiment can identify thin objects that are difficult to detect using a general sensor with high accuracy.
또한, 기존의 filtering 기법보다, 설계 및 구성이 간단하고, 측정된 자료를 사용하여 학습시키는 기계학습의 장점을 충분히 살릴 수 있으므로 물체 유무에 대한 판정 능력을 증진시킬 수 있다. In addition, it is simpler in design and configuration than existing filtering techniques, and can fully utilize the advantages of machine learning that uses measured data to improve the ability to determine the presence or absence of an object.
또한, 단순한 기계학습 모델의 적용이 아닌 앙상블 학습(Ensemble Learning)을 도입하여, 서로 다른 센서의 장점들을 취하여 더 높은 정확도를 보장할 수 있다.In addition, by introducing ensemble learning rather than simply applying a machine learning model, higher accuracy can be guaranteed by taking advantage of different sensors.
또한, 가중치 기법을 적용하여, 실사용 시 필요한 구간 (원거리, 중거리, 단거리, 초근접 거리) 등에 대한 정확도를 설계자의 의도대로 조절할 수 있다.In addition, by applying the weighting technique, the accuracy of the sections required for actual use (far, middle, short, and very close distances) can be adjusted as intended by the designer.
또한, 감지대상물체로서 가느다란 물체의 종횡비(aspect ratio)는 2.66 ~ 13.5 로서 일반적인 감지 모델과 센서만으로는 측정하기가 어려우나, 본 발명에서는 약 90% 이상의 감지 성능을 보일 수 있다. In addition, the aspect ratio of a thin object as a detection target is 2.66 to 13.5, which is difficult to measure using only a general detection model and sensor, but the present invention can show a detection performance of about 90% or more.
또한, 원격 조작자의 간섭이 최소화되는 환경에서 운용되는 자율 이동 로봇의 특성상, 로봇 스스로 어느 정도의 물체 감지 능력을 갖추는 것은 필수적이다. 특히 가느다란 물체는 시각적으로도 판별하기 어려운 경우가 많으므로, 본 실시예들을 적용하면 보다 정교한 자율 이동 로봇을 제작할 수 있다.Additionally, due to the nature of autonomous mobile robots operating in an environment where interference from remote operators is minimized, it is essential for the robots themselves to have a certain degree of object detection ability. In particular, thin objects are often difficult to visually distinguish, so by applying these embodiments, a more sophisticated autonomous mobile robot can be manufactured.
이하는, 상술한 실시예들의 나열이다.Below is a list of the above-described embodiments.
항목 1은, 서로 다른 종류의 센서에 의해 감지대상물체에 대한 서로 다른 종류의 입력데이터가 입력되는 단계(S1단계); 하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계); 상기 서로 다른 종류의 센서에 의해 서로 다른 종류의 진단데이터가 수집되는 단계(S3단계); 하나의 종류의 진단데이터가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S4단계)를 포함하는 물체 감지 방법이 제공될 수 있다.
항목 2는, 상기 S1단계는, 적외선 센서에 의해 측정된 감지대상물체의 적외선 데이터가 수집되고, 초음파 센서에 의해 측정된 감지대상물체의 초음파 데이터가 수집되는 단계를 포함하는 항목 1의 물체 감지 방법이 제공될 수 있다.Item 2 is the object detection method of
항목 3은, 상기 S2단계는, 데이터셋 형성부에 의해 복수 개의 초음파 데이터를 풀링시켜 정규분포를 이루는 초음파 데이터 세트가 형성되는 단계(S21단계); 데이터셋 형성부에 의해 복수 개의 적외선 데이터 세트를 풀링시켜 이진 형태의 분포를 이루는 적외선 데이터 세트가 형성되는 단계(S22단계); 제1 알고리즘 적용부에 의해 상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈가 적용되어 제1 학습모델이 구축되는 단계(S23단계); 제2 알고리즘 적용부에 의해 상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈가 적용되어 제2 학습모델이 구축되는 단계(S24단계)를 포함하는 항목 1 및 항목 2의 물체 감지 방법이 제공될 수 있다.Item 3, step S2 includes forming an ultrasound data set forming a normal distribution by pooling a plurality of ultrasound data by a data set forming unit (step S21); A step of forming an infrared data set forming a binary distribution by pooling a plurality of infrared data sets by a data set forming unit (step S22); A step of constructing a first learning model by applying Gaussian Naive Bayes to the ultrasound data set by a first algorithm application unit (step S23); The object detection method of
항목 4는, 상기 S3단계는, 상기 진단데이터로서 초음파 센서에 의해 초음파 데이터가 수집되고, 적외선 센서에 의해 측정된 적외선 데이터가 수집되는 단계를 포함하는 항목 1 내지 항목 3의 물체 감지 방법이 제공될 수 있다.Item 4 is to provide the object detection method of
항목 5는, 상기 S4단계는, 제1 알고리즘 적용부에 의해 진단데이터로서 상기 초음파 데이터가 상기 제1 학습모델에 입력되어 확률로 표현되는 제1 학습값이 도출되는 단계(S41단계); 제2 알고리즘 적용부에 의해 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값이 도출되는 단계(S42단계); 가중치 부여부에 의해 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 확률형태의 결과값이 도출되는 단계(S43단계); 및 물체 판단부에 의해 상기 확률형태의 결과값에 대해 기 설정된 알고리즘이 적용되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S44단계)를 포함하는 항목 1 내지 항목 4의 물체 감지 방법이 제공될 수 있다.Item 5, in step S4, the ultrasound data as diagnostic data is input to the first learning model by a first algorithm application unit to derive a first learning value expressed as a probability (step S41); A step of inputting the infrared data as diagnostic data to the second learning model by a second algorithm application unit to derive a second learning value expressed as a probability (step S42); A step of assigning weights to the first learning value and the second learning value by a weighting unit to derive a result in the form of a probability (step S43); And the object detection method of
항목 6은, 상기 S43단계는, 가중치 부여부에 의해 상기 감지대상물체의 종횡비에 따라 상기 가중치가 가변가능하게 설정되는 단계를 포함하는 항목 1 내지 항목 5의 물체 감지 방법이 제공될 수 있다.Item 6 may provide the object detection method of
항목 7은, 감지대상물체에 대한 서로 다른 종류의 입력데이터를 입력받을 수 있는 서로 다른 종류의 센서; 하나의 종류의 입력데이터에 대해 제1 알고리즘을 적용하여 제1 학습모델을 구축하고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘을 적용하여 제2 학습모델을 구축한 후, 하나의 종류의 진단데이터에 대해 상기 제1 학습모델에 입력시키고, 다른 하나의 종류의 진단데이터에 대해 상기 제2 학습모델에 입력시켜 감지대상물체를 감지할 수 있는 물체 감지 서버를 포함하는 물체 감지 시스템이 제공될 수 있다.Item 7 is different types of sensors that can receive different types of input data about the sensing target object; A first learning model is constructed by applying a first algorithm to one type of input data, a second learning model is constructed by applying a second algorithm to another type of input data, and then one type of input data is constructed. An object detection system including an object detection server capable of detecting a detection object by inputting diagnostic data into the first learning model and inputting another type of diagnostic data into the second learning model will be provided. You can.
항목 8은, 상기 서로 다른 종류의 센서는, 초음파 데이터를 수집할 수 있는 초음파 센서; 및 적외선 데이터를 수집할 수 있는 적외선 센서를 포함하는 항목 7의 물체 감지 시스템이 제공될 수 있다.Item 8 states that the different types of sensors include ultrasonic sensors capable of collecting ultrasonic data; and an infrared sensor capable of collecting infrared data.
항목 9는, 상기 물체 감지 서버는, 복수 개의 초음파 데이터 세트를 풀링시켜 정규분포를 이루는 초음파 데이터 세트를 형성하고, 복수 개의 적외선 데이터 세트를 풀링시켜 이진 형태의 분포를 이류는 적외선 데이터를 형성하는 데이터셋 형성부; 상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈를 적용하여 제1 학습모델을 구축하는 제1 알고리즘 적용부; 상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈를 적용하여 제2 학습모델을 구축하는 제2 알고리즘 적용부를 포함하는 항목 7 및 항목 8의 물체 감지 시스템이 제공될 수 있다.Item 9 is that the object detection server pools a plurality of ultrasound data sets to form an ultrasound data set with a normal distribution, and pools a plurality of infrared data sets to form infrared data that advects a binary distribution. three formations; a first algorithm application unit that constructs a first learning model by applying Gaussian Naive Bayes to the ultrasound data set; The object detection system of items 7 and 8 may be provided, including a second algorithm application unit that builds a second learning model by applying Bernoulli Naive Bayes to the infrared data set.
항목 10은, 상기 제1 알고리즘 적용부는, 진단데이터로서 상기 초음파 데이터를 상기 제1 학습모델에 입력시켜 확률로 표현되는 제1 학습값을 산출할 수 있고, 상기 제2 알고리즘 적용부는, 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값을 산출할 수 있는 항목 7 내지 항목 9의 물체 감지 시스템이 제공될 수 있다.
항목 11은, 상기 물체 감지 서버는, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치를 부여하여 확률형태의 결과값을 도출할 수 있는 가중치 부여부; 상기 확률형태의 결과값에 대해 기 설정된 알고리즘을 적용하여 감지대상물체를 감지할 수 있는 물체 판단부를 더 포함하는 항목 7 내지 항목 10의 물체 감지 시스템이 제공될 수 있다.Item 11 is that the object detection server includes a weighting unit capable of deriving a result in the form of a probability by assigning weights to the first learning value and the second learning value; The object detection system of items 7 to 10 may be provided, further comprising an object determination unit capable of detecting a detection target object by applying a preset algorithm to the result value in the form of probability.
항목 12는, 상기 초음파 센서와 적외선 센서와 상기 물체 감지 서버는 이동가능한 이동체에 탑재되고, 상기 초음파 센서는 상기 적외선 센서를 기준으로 양 측면에 배치되는 항목 7 내지 항목 11의 물체 감지 시스템이 제공될 수 있다.
항목 13은, 상기 감지대상물체는 종횡비가 10 이상으로 정의되는 가느다란 물체를 포함하는 항목 7 내지 항목 12의 물체 감지 시스템이 제공될 수 있다.Item 13 may provide the object detection system of Items 7 to 12, where the sensing target object includes a thin object defined as having an aspect ratio of 10 or more.
이상 본 발명의 실시예에 따른 물체 감지 방법 및 물체 감지 시스템(1)을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.Although the object detection method and the
1 : 물체 감지 시스템
10 : 서로 다른 종류의 센서
12 : 적외선 센서
14 : 초음파 센서
20 : 물체 감지 서버
200 : 메모리
210 : 데이터베이스
30 : 통신망
300 : 프로세서
310 : 데이터셋 형성부
320 : 제1 알고리즘 적용부
330 : 제2 알고리즘 적용부
340 : 가중치 부여부
350 : 물체 판단부
400 : 통신모듈1: Object detection system
10: Different types of sensors
12: Infrared sensor
14: ultrasonic sensor
20: object detection server
200: memory
210: database
30: communication network
300: processor
310: Dataset forming unit
320: first algorithm application unit
330: Second algorithm application unit
340: weighting unit
350: object determination unit
400: Communication module
Claims (15)
하나의 종류의 입력데이터에 대해 제1 알고리즘이 적용되어 제1 학습모델이 구축되고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘이 적용되어 제2 학습모델이 구축되는 단계(S2단계);
상기 서로 다른 종류의 센서에 의해 서로 다른 종류의 진단데이터가 수집되는 단계(S3단계);
하나의 종류의 진단데이터가 상기 제1 학습모델에 입력되어 제1 학습값이 도출되고, 다른 하나의 종류의 진단데이터가 상기 제2 학습모델에 입력되어 제2 학습값이 도출된 후, 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S4단계)를 포함하고,
상기 S2단계는,
데이터셋 형성부에 의해 복수 개의 초음파 데이터를 풀링시켜 정규분포를 이루는 초음파 데이터 세트가 형성되는 단계(S21단계);
데이터셋 형성부에 의해 복수 개의 적외선 데이터를 풀링시켜 이진 형태의 분포를 이루는 적외선 데이터 세트가 형성되는 단계(S22단계);
제1 알고리즘 적용부에 의해 상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈가 적용되어 제1 학습모델이 구축되는 단계(S23단계);
제2 알고리즘 적용부에 의해 상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈가 적용되어 제2 학습모델이 구축되는 단계(S24단계)를 포함하는
물체 감지 방법.A step in which different types of input data for a sensing object are input by different types of sensors (step S1);
A first algorithm is applied to one type of input data to build a first learning model, and a second algorithm is applied to another type of input data to build a second learning model (step S2);
Collecting different types of diagnostic data by the different types of sensors (step S3);
After one type of diagnostic data is input to the first learning model to derive a first learning value, and another type of diagnostic data is input to the second learning model to derive a second learning value, the second learning value is derived. It includes a step (step S4) of determining whether a detection target object has been detected by weighting the first learning value and the second learning value,
In step S2,
Forming an ultrasound data set forming a normal distribution by pooling a plurality of ultrasound data by a data set forming unit (step S21);
A step of forming an infrared data set forming a binary distribution by pooling a plurality of infrared data by a data set forming unit (step S22);
A step of constructing a first learning model by applying Gaussian Naive Bayes to the ultrasound data set by a first algorithm application unit (step S23);
Including a step (step S24) in which Bernoulli Naive Bayes is applied to the infrared data set by a second algorithm application unit to build a second learning model.
Object detection method.
상기 S1단계는,
초음파 센서에 의해 측정된 감지대상물체의 초음파 데이터가 수집되고, 적외선 센서에 의해 측정된 감지대상물체의 적외선 데이터가 수집되는 단계를 포함하는
물체 감지 방법.According to claim 1,
In step S1,
Including collecting ultrasonic data of the detection object measured by an ultrasonic sensor and collecting infrared data of the detection object measured by an infrared sensor.
Object detection method.
상기 S3단계는,
상기 진단데이터로서 초음파 센서에 의해 초음파 데이터가 수집되고, 적외선 센서에 의해 측정된 적외선 데이터가 수집되는 단계를 포함하는
물체 감지 방법.According to claim 1,
In step S3,
As the diagnostic data, ultrasonic data is collected by an ultrasonic sensor, and infrared data measured by an infrared sensor is collected.
Object detection method.
상기 S4단계는,
제1 알고리즘 적용부에 의해 진단데이터로서 상기 초음파 데이터가 상기 제1 학습모델에 입력되어 확률로 표현되는 제1 학습값이 도출되는 단계(S41단계);
제2 알고리즘 적용부에 의해 진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값이 도출되는 단계(S42단계);
가중치 부여부에 의해 상기 제1 학습값과 상기 제2 학습값에 대해 가중치가 부여되어 확률형태의 결과값이 도출되는 단계(S43단계); 및
물체 판단부에 의해 상기 확률형태의 결과값에 대해 기 설정된 알고리즘이 적용되어 감지대상물체가 감지되었는지 여부가 판단되는 단계(S44단계)를 포함하는
물체 감지 방법.According to clause 4,
In step S4,
A step of inputting the ultrasound data as diagnostic data into the first learning model by a first algorithm application unit to derive a first learning value expressed as a probability (step S41);
A step of inputting the infrared data as diagnostic data to the second learning model by a second algorithm application unit to derive a second learning value expressed as a probability (step S42);
A step of assigning weights to the first learning value and the second learning value by a weighting unit to derive a result in the form of a probability (step S43); and
Including a step (S44) of determining whether a detection target object has been detected by applying a preset algorithm to the result value in the probability form by the object determination unit.
Object detection method.
상기 S43단계는,
가중치 부여부에 의해 상기 감지대상물체의 종횡비에 따라 상기 가중치가 가변가능하게 설정되는 단계를 포함하는
물체 감지 방법.According to clause 5,
In step S43,
Comprising the step of variably setting the weight according to the aspect ratio of the sensing object by a weighting unit.
Object detection method.
하나의 종류의 입력데이터에 대해 제1 알고리즘을 적용하여 제1 학습모델을 구축하고, 다른 하나의 종류의 입력데이터에 대해 제2 알고리즘을 적용하여 제2 학습모델을 구축한 후, 하나의 종류의 진단데이터에 대해 상기 제1 학습모델에 입력시키고, 다른 하나의 종류의 진단데이터에 대해 상기 제2 학습모델에 입력시켜 감지대상물체를 감지할 수 있는 물체 감지 서버를 포함하고,
상기 서로 다른 종류의 센서는,
초음파 데이터를 수집할 수 있는 초음파 센서; 및
적외선 데이터를 수집할 수 있는 적외선 센서를 포함하고,
상기 물체 감지 서버는,
복수 개의 초음파 데이터 세트를 풀링시켜 정규분포를 이루는 초음파 데이터 세트를 형성하고, 복수 개의 적외선 데이터 세트를 풀링시켜 이진 형태의 분포를 이류는 적외선 데이터를 형성하는 데이터셋 형성부;
상기 초음파 데이터 세트에 대해 가우시안 나이브 베이즈를 적용하여 제1 학습모델을 구축하는 제1 알고리즘 적용부;
상기 적외선 데이터 세트에 대해 베르누이 나이브 베이즈를 적용하여 제2 학습모델을 구축하는 제2 알고리즘 적용부를 포함하는
물체 감지 시스템.Different types of sensors that can receive different types of input data about the sensing target object;
A first learning model is constructed by applying a first algorithm to one type of input data, a second learning model is constructed by applying a second algorithm to another type of input data, and then one type of input data is constructed. An object detection server capable of detecting a detection object by inputting diagnostic data into the first learning model and inputting another type of diagnostic data into the second learning model,
The different types of sensors are,
An ultrasonic sensor capable of collecting ultrasonic data; and
Includes an infrared sensor capable of collecting infrared data,
The object detection server,
a data set forming unit that pools a plurality of ultrasound data sets to form an ultrasound data set with a normal distribution, and pools a plurality of infrared data sets to form infrared data that advects a binary distribution;
a first algorithm application unit that constructs a first learning model by applying Gaussian Naive Bayes to the ultrasound data set;
Comprising a second algorithm application unit that constructs a second learning model by applying Bernoulli Naive Bayes to the infrared data set.
Object detection system.
상기 제1 알고리즘 적용부는,
진단데이터로서 상기 초음파 데이터를 상기 제1 학습모델에 입력시켜 확률로 표현되는 제1 학습값을 산출할 수 있고,
상기 제2 알고리즘 적용부는,
진단데이터로서 상기 적외선 데이터가 상기 제2 학습모델에 입력되어 확률로 표현되는 제2 학습값을 산출할 수 있는
물체 감지 시스템.According to clause 7,
The first algorithm application unit,
The ultrasound data as diagnostic data can be input into the first learning model to calculate a first learning value expressed as a probability,
The second algorithm application unit,
As diagnostic data, the infrared data can be input to the second learning model to calculate a second learning value expressed as probability.
Object detection system.
상기 물체 감지 서버는,
상기 제1 학습값과 상기 제2 학습값에 대해 가중치를 부여하여 확률형태의 결과값을 도출할 수 있는 가중치 부여부;
상기 확률형태의 결과값에 대해 기 설정된 알고리즘을 적용하여 감지대상물체를 감지할 수 있는 물체 판단부를 더 포함하는
물체 감지 시스템.According to claim 10,
The object detection server,
a weighting unit capable of deriving a result in the form of a probability by assigning weights to the first learning value and the second learning value;
Further comprising an object determination unit capable of detecting a detection target object by applying a preset algorithm to the result value in the form of probability.
Object detection system.
상기 가중치는 상기 감지대상물체의 종횡비에 따라 가변가능하게 설정되는
물체 감지 시스템.
According to claim 11,
The weight is set variably according to the aspect ratio of the detection target object.
Object detection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015092A KR102670646B1 (en) | 2022-02-04 | 2022-02-04 | Method for detecting object and System for detecting object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015092A KR102670646B1 (en) | 2022-02-04 | 2022-02-04 | Method for detecting object and System for detecting object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230118448A KR20230118448A (en) | 2023-08-11 |
| KR102670646B1 true KR102670646B1 (en) | 2024-05-30 |
Family
ID=87566031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220015092A KR102670646B1 (en) | 2022-02-04 | 2022-02-04 | Method for detecting object and System for detecting object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102670646B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095725A1 (en) * | 2017-09-22 | 2019-03-28 | Aurora Flight Sciences Corporation | Detection System for a Vehicle |
| US20200210887A1 (en) * | 2018-12-31 | 2020-07-02 | Lyft, Inc. | Approaches for determining sensor calibration |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101766305B1 (en) * | 2015-02-23 | 2017-08-08 | 한남대학교 산학협력단 | Apparatus for detecting intrusion |
| KR20210142274A (en) | 2020-05-18 | 2021-11-25 | 현대자동차주식회사 | Enlarged systme of detective area for vehicle and method thereof |
-
2022
- 2022-02-04 KR KR1020220015092A patent/KR102670646B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095725A1 (en) * | 2017-09-22 | 2019-03-28 | Aurora Flight Sciences Corporation | Detection System for a Vehicle |
| US20200210887A1 (en) * | 2018-12-31 | 2020-07-02 | Lyft, Inc. | Approaches for determining sensor calibration |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230118448A (en) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108292139B (en) | Simultaneous mapping and planning by a robot | |
| US11662718B2 (en) | Method for setting model threshold of facility monitoring system | |
| Latif et al. | Robust graph SLAM back-ends: A comparative analysis | |
| CN108292138B (en) | Random map aware stereo vision sensor model | |
| KR102124553B1 (en) | Method and apparatus for collision aviodance and autonomous surveillance of autonomous mobile vehicle using deep reinforcement learning | |
| KR102670646B1 (en) | Method for detecting object and System for detecting object | |
| CN113156473A (en) | Self-adaptive discrimination method for satellite signal environment of information fusion positioning system | |
| Vido et al. | From grids to continuous occupancy maps through area kernels | |
| US20220269991A1 (en) | Evaluating reliability of artificial intelligence | |
| CN113221709B (en) | Method and device for identifying user motion and water heater | |
| Badalkhani et al. | Multi-robot SLAM in dynamic environments with parallel maps | |
| JP2016224680A (en) | Self-position estimation device and mobile body having self-position estimation device | |
| CN112184037B (en) | Multi-modal process fault detection method based on weighted SVDD | |
| Xu et al. | Research on monocular vision distance measurement algorithm based on reference target | |
| Hlavac | Kinematics control of a redundant planar manipulator with a MLP neural network | |
| Kaleci et al. | A comparative study for topological map construction methods from metric map | |
| Pessin et al. | Evolving an indoor robotic localization system based on wireless networks | |
| Man'Ko et al. | Methods and technologies of automated learning for improvement of autonomous robots adaptivity | |
| Li et al. | Optimization of RFID reading performance based on YOLOv3 and Elman neural network | |
| Liao | Ground classification based on optimal random forest model | |
| Yazdansepas | Room Categorization Using Simultaneous Localization and Mapping and Convolutional Neural Network | |
| Sun et al. | Learning state-dependent sensor measurement models for localization | |
| Guerra-Hernandez et al. | An OGM‐Based Visual Navigation System with Reduced Homographies and Accurate Computations for Mobile Robots | |
| Liu et al. | Efficient Exploration of Mobile Robot Based on DL-RRT and AP-BO | |
| Zhang et al. | Dynamic Self-Maintenance Obstacle Costmap Based on Instance Segmentation and Memory Storage Mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |