KR20220102381A - Method and apparatus for object recognition using 2-d lidar - Google Patents

Method and apparatus for object recognition using 2-d lidar Download PDF

Info

Publication number
KR20220102381A
KR20220102381A KR1020210004675A KR20210004675A KR20220102381A KR 20220102381 A KR20220102381 A KR 20220102381A KR 1020210004675 A KR1020210004675 A KR 1020210004675A KR 20210004675 A KR20210004675 A KR 20210004675A KR 20220102381 A KR20220102381 A KR 20220102381A
Authority
KR
South Korea
Prior art keywords
lidar
robot
target object
data
tracking target
Prior art date
Application number
KR1020210004675A
Other languages
Korean (ko)
Other versions
KR102555442B1 (en
Inventor
김홍준
김재성
변용진
김태형
정광익
Original Assignee
주식회사 트위니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 트위니 filed Critical 주식회사 트위니
Priority to KR1020210004675A priority Critical patent/KR102555442B1/en
Publication of KR20220102381A publication Critical patent/KR20220102381A/en
Application granted granted Critical
Publication of KR102555442B1 publication Critical patent/KR102555442B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

The present invention relates to a target recognition method and a device therefor. More specifically, the present invention relates to a 2D LIDAR-based target recognition method and a device therefor, configured acquire distance data and intensity (reflection intensity) data from a 2D LIDAR sensor and estimate a posture of a target. The 2D LIDAR-based target recognition method according to one embodiment of the present invention comprises: a sensor data acquisition step of obtaining 2D LIDAR sensor data composed of distance data indicating a distance from a reflection sheet attached to a target and intensity data; a posture estimation step of deriving a kinematics model through external parameters of the target and estimating a current posture from a previous posture (position and direction) of the target; a step of defining data to be processed through the intensity data obtained from the 2D LIDAR and extracting a line through the limited distance data; and a posture correction step of correcting the posture of the target estimated through the kinematics model based on the extracted line.

Description

2D 라이다 기반 추적 대상 인식 방법 및 장치 {METHOD AND APPARATUS FOR OBJECT RECOGNITION USING 2-D LIDAR}2D LIDAR-based tracking target recognition method and device {METHOD AND APPARATUS FOR OBJECT RECOGNITION USING 2-D LIDAR}

본 발명은 추적 대상 인식 방법 및 장치에 관한 것으로, 보다 구체적으로는, 본 발명은 추적 대상에 특정 파장에 대한 반사율이 일정한(높거나 낮은) 반사시트를 부착, 2D LIDAR 센서로부터 거리 데이터와 함께 intensity (반사강도) 데이터를 획득하고, 추적 대상 객체의 자세를 추정하는 2D 라이다 기반 추적 대상 인식 방법 및 장치에 관한 것이다.The present invention relates to a tracking target recognition method and apparatus, and more specifically, the present invention attaches a reflective sheet having a constant (high or low) reflectance for a specific wavelength to the tracking target, intensity with distance data from a 2D LIDAR sensor It relates to a 2D lidar-based tracking target recognition method and apparatus for acquiring (reflection intensity) data and estimating the posture of the tracking target object.

이커머스 시장의 발전으로 인한 물류센터의 증가, 그리고 최저임금 상승으로 인해 물류자동화를 위한 로봇 시스템 연구 및 개발이 이루어지고 있다. 아마존의 Kiva, Schaefer사의 Weasel이 대표적으로 현재까지는 이 같은 물류이송로봇의 경우 QR코드 혹은 가이드라인 등과 같은 사전 인프라 구축이 필요하다.Due to the increase of logistics centers due to the development of the e-commerce market and the increase of the minimum wage, research and development of robot systems for logistics automation are being conducted. Amazon's Kiva and Schaefer's Weasel are representative. Until now, such a logistics transport robot requires the establishment of a pre-infrastructure such as a QR code or guidelines.

한편, 이미지를 통한 객체 인식을 위해서는 신경망(Neural Network) 기반의 이미지 처리 알고리즘을 활용하는 경우가 많은데, 이 경우 수많은 이미지 데이터를 통한 학습 과정을 거쳐 모델링해야 하고, 특징점이 별로 없거나 배경과 객체 간 분리가 힘든 경우 신뢰성이 떨어진다는 문제점이 존재한다.On the other hand, for object recognition through images, a neural network-based image processing algorithm is often used. In this case, it is necessary to model through a learning process through a large number of image data, and there are few feature points or separation between the background and the object. If it is difficult, there is a problem that reliability is lowered.

라이다(LIDAR, LIght Detection And Ranging)는 레이저 펄스를 쏘고 돌아오는 시간을 측정하여 반사체와의 거리를 측정하는 센서로 일반적으로 이동 로봇이 사용하는 거리 센서들 중 높은 정밀도를 가지고 있다.LIDAR (LIght Detection And Ranging) is a sensor that measures the distance to a reflector by measuring the time it takes to emit a laser pulse and return. It has high precision among distance sensors generally used by mobile robots.

종래기술 중 B. Qin, et al, "A Spatial-Temporal Approach for Moving Object Recognition with 2D LIDAR,"(이하 선행기술 1)에 따르면, 2D LIDAR를 자동차에 장착하여 실외 환경에서 물체를 인식하는 연구가 진행된 바 있다. 선행기술 1은 2D LIDAR 데이터로부터 시공간(ST; Spatio-Temporal) 특성을 추출하고, SVM (Support Vector Machine)을 통해 분류하였다. 상기 종래기술은 세그멘테이션 시 사용하는 'Key Points'에 intensity (반사강도) 값을 넣을 수 있으나 필수적으로 필요한 것은 아니고, 시공간 특성으로부터 추출된 모서리 부분을 인식함으로써 다른 차량을 인식하는 방법이다. 따라서 차량과 비슷한 장애물이 있거나 각진 차량이 아닌 경우 오인식의 위험이 존재한다.Among the prior art, according to B. Qin, et al, "A Spatial-Temporal Approach for Moving Object Recognition with 2D LIDAR," (hereinafter referred to as Prior Art 1), research on recognizing objects in an outdoor environment by mounting a 2D LIDAR on a vehicle has been conducted In Prior Art 1, spatio-temporal (ST) characteristics were extracted from 2D LIDAR data and classified through SVM (Support Vector Machine). The prior art is a method of recognizing other vehicles by recognizing the corners extracted from spatiotemporal characteristics, although it is possible to put an intensity (reflection intensity) value in 'Key Points' used during segmentation, but it is not essential. Therefore, there is a risk of misrecognition if there is an obstacle similar to a vehicle or if the vehicle is not angled.

종래기술 중 K. Kidono, et al, "Pedestrian recognition using high-definition LIDAR,"(이하 선행기술 2)에 따르면, 2D LIDAR를 이용한 보행자 감시에 대한 연구도 이루어진 바 있는데, 서로 다른 높이에서의 센서 데이터와 해당 물체의 intensity 데이터 분포를 이용하여 보행자를 식별하며, 앞선 선행기술 1과 마찬가지로 SVM 알고리즘을 이용하여 분류를 수행한다. 선행기술 2는 서로 다른 높이에서 센서 데이터를 획득해야 하므로 여러 개의 2D LIDAR가 장착되어야 하므로 3D LIDAR를 구성한다고 볼 수 있다. 또한, 선행기술 2에서 사용하는 intensity 분포 데이터는 근적외선 영역에서 고유한 반사 특성을 가지는 점을 활용한 내용으로 근적외선을 방출하는 물체에 한정적으로 사용이 가능하다.Among the prior art, according to K. Kidono, et al, "Pedestrian recognition using high-definition LIDAR," (hereinafter referred to as Prior Art 2), research on pedestrian monitoring using 2D LIDAR has also been conducted, but sensor data at different heights Pedestrians are identified using the intensity data distribution of and the corresponding object, and classification is performed using the SVM algorithm as in the prior art 1 above. Prior Art 2 can be considered to constitute a 3D LIDAR because it is necessary to acquire sensor data at different heights, and thus several 2D LIDARs must be mounted. In addition, the intensity distribution data used in Prior Art 2 utilizes the point having a unique reflection characteristic in the near-infrared region, and can be used limitedly for objects emitting near-infrared rays.

종래기술 중 KR20170116305A(이하 선행기술 3)는 차량 주변의 장애물을 감지하여 센서 데이터를 생성하는 복수의 센서 모듈, 센서 데이터로부터 장애물 정보를 시간 데이터와 함께 처리하여 장애물을 인식하는 모듈, 위치를 추정하는 모듈 등 다중 센서의 주변 장애물 인식 장치에 관한 특허이다. 선행기술 3은 다수의 2D LIDAR를 포함한 센서들을 설치하고 장애물을 인식하는 시스템에 대한 발명으로 하드웨어 장치에 치중되어 있고, 장애물 인식 알고리즘의 경우 intensity 데이터의 활용 없이 다수의 거리 데이터만을 활용하여 장애물을 최소의 다각형으로 단순화한다.Among the prior art, KR20170116305A (hereinafter referred to as Prior Art 3) is a plurality of sensor modules for generating sensor data by detecting obstacles around a vehicle, a module for recognizing obstacles by processing obstacle information from the sensor data together with time data, and estimating a location This patent relates to a device for recognizing obstacles around multiple sensors, such as a module. Prior art 3 is an invention for a system that recognizes obstacles by installing sensors including multiple 2D LIDARs, and is focused on hardware devices. In the case of obstacle recognition algorithm, obstacles are minimized by using only a large number of distance data without using intensity data. Simplify to a polygon of

종래기술 중 KR20190095592A(이하 선행기술 4)는 3D LIDAR센서와 2D 카메라를 활용하여 객체를 검출하기 위한 장치에 대한 발명으로 라이다 센서 데이터에 포함된 지면을 제거하고 클러스터링을 통해 객체 후보군을 검출한 후, 최종적으로 카메라 데이터를 통해 관심 객체를 검출하는 방법을 사용한다. 선행기술 4는 2D LIDAR센서가 아닌 비교적 고가이며 장착 위치가 제한적인 3D LIDAR센서를 활용한 객체 인식 방법으로써 카메라 센서와 융합하여 차량을 인식한다는 내용이 주를 이룬다.Among the prior art, KR20190095592A (hereinafter referred to as Prior Art 4) is an invention for a device for detecting an object using a 3D LIDAR sensor and a 2D camera. , finally using the method of detecting the object of interest through the camera data. Prior Art 4 is an object recognition method using a 3D LIDAR sensor, which is relatively expensive and has a limited mounting location, rather than a 2D LIDAR sensor.

상기 종래기술들에서 보듯이, LIDAR를 이용한 대부분의 객체 인식관련 연구의 경우 3D LIDAR를 사용하거나, 카메라 센서와 융합하여 사용하는 등 거리 분포를 사용하는 것이 일반적이고, 2D LIDAR 센서만을 활용하여 객체 인식 방법에 대한 연구는 소수에 불과하다. 이들 또한 intensity 데이터를 제한된 물체에 한정하여 인식할 수 있거나 오인식의 우려가 있는 방법들이다.As seen in the prior art, in the case of most object recognition-related studies using LIDAR, it is common to use a distance distribution such as using a 3D LIDAR or fusion with a camera sensor, and object recognition using only a 2D LIDAR sensor There are only a few studies on the method. These are also methods that can be recognized by limiting intensity data to a limited object, or there is a risk of misrecognition.

1. KR20170116305A, 코파일럿 차량을 위한 이중 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치(2017.10.19.)1. KR20170116305A, a device for recognizing surrounding obstacles based on tracking information fusion of dual multiple sensors for co-pilot vehicles (2017.10.19.) 2. KR20190095592A, 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치(2017.8.16.)2. KR20190095592A, Object detection method using lidar sensor and camera and device therefor (2017.8.16.)

1. B. Qin, Z.J. Chong, S.H. Soh, T. Bandyopadhyay, M.H. Ang, E. Frazzoli, and D. Rus, "A Spatial-Temporal Approach for Moving Object Recognition with 2D LIDAR," Experimental Robotics, pp. 807-820, Nov. 2015.1. B. Qin, Z. J. Chong, S. H. Soh, T. Bandyopadhyay, M. H. Ang, E. Frazzoli, and D. Rus, "A Spatial-Temporal Approach for Moving Object Recognition with 2D LIDAR," Experimental Robotics, pp. 807-820, Nov. 2015. 2. K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, "Pedestrian recognition using high-definition LIDAR," Proceedings of 2011 IEEE Intelligent Vehicles Symposium, June 2011.2. K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, “Pedestrian recognition using high-definition LIDAR,” Proceedings of 2011 IEEE Intelligent Vehicles Symposium, June 2011.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명은 추적 대상에 특정 파장에 대한 반사율이 일정한(높거나 낮은) 반사시트를 부착, 2D LIDAR 센서로부터 거리 데이터와 함께 intensity (반사강도) 데이터를 획득하고, 추적 대상 객체의 자세를 추정하는 2D 라이다 기반 추적 대상 인식 방법 및 장치를 제공하는 것을 그 목적으로 한다.The present invention has been devised to solve the above problems, and the present invention attaches a reflective sheet having a constant (high or low) reflectance for a specific wavelength to the tracking target, and intensity (reflection intensity) with distance data from the 2D LIDAR sensor. An object of the present invention is to provide a 2D lidar-based tracking target recognition method and apparatus for acquiring data and estimating a posture of a tracking target object.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. However, the object of the present invention is not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일실시예에 따른 2D 라이다 기반 추적 대상 객체 인식 방법은, 추적 대상 객체에 부착된 반사 시트로부터 거리 및 인텐시티 데이터로 구성된 2D 라이다 센서 데이터를 획득하는 센서데이터 획득단계; 추적 대상 객체의 외형 파라미터를 통해 기구학 모델을 유도하고 객체의 이전 자세(위치와 방향)로부터 현재 자세를 추정하는 자세 추정 단계; 2D 라이다로부터 얻은 인텐시티 데이터를 통해 처리할 데이터를 한정하고, 한정된 거리 데이터를 통해 선(line)을 추출하는 단계; 및 기구학 모델을 통해 추정된 추적 대상 객체의 자세는 추출된 선을 기반으로 보정하는 자세 보정 단계:를 포함하는 것을 특징으로 한다.A 2D lidar-based tracking target object recognition method according to an embodiment of the present invention includes: a sensor data acquisition step of acquiring 2D lidar sensor data composed of distance and intensity data from a reflective sheet attached to the tracking target object; a posture estimation step of deriving a kinematic model through the external parameters of the object to be tracked and estimating the current posture from the previous posture (position and direction) of the object; defining data to be processed through intensity data obtained from 2D lidar, and extracting a line through limited distance data; and a posture correction step of correcting the posture of the tracking target object estimated through the kinematic model based on the extracted line.

바람직하게는, 상기 센서데이터 획득단계는 시간 t에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출하는 과정을 더 포함하는 것을 특징으로 한다.Preferably, the sensor data acquisition step further comprises the steps of obtaining real 2D lidar raw data at time t, and extracting a point cloud having a high intensity value.

바람직하게는, 상기 자세 추정 단계는 시간 t-1에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성하는 과정을 더 포함하는 것을 특징으로 한다.Preferably, the posture estimation step calculates a virtual robot position based on the robot position at time t-1, and based on the calculated robot position, using the width and length values of the robot given in advance, points on the polygonal model. It is characterized in that it further comprises the process of generating points (points).

바람직하게는, 상기 선 추출 단계는 포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 line 수식을 도출하는 과정을 더 포함하는 것을 특징으로 한다.Preferably, the step of extracting the line further comprises calculating a normal of the point cloud, calculating a Difference of Normals (DoN), performing clustering, and then deriving a line formula based on the clustering data. characterized in that

바람직하게는, 상기 자세 보정 단계는 점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 시간 t에서 로봇의 위치를 보정하는 과정을 더 포함하는 것을 특징으로 한다.Preferably, the posture correction step further comprises calculating an optimized position of the robot that minimizes the distance between the point and the straight line, and correcting the position of the robot at time t.

본 발명의 다른 일실시예에 따른 2D 라이다 기반 추적 대상 객체 인식 장치는, 이전 로봇의 위치 추정 값을 기준으로, 2바퀴 로봇 기구학 모델 기반으로 추적 대상 객체의 현 위치 예측을 수행하는 로봇 위치 예측 모듈; 포인트 클라우드로부터 직선 방정식들을 계산하여 이를 다각형 모델 피팅 기반 로봇 위치 보정 모듈의 다각형 모델 피팅 기반 위치 추정에 사용하도록 제공하는 2D 라이다 기반 선 추출 모듈; 및 로봇 위치 예측 모듈로부터 현 시점 로봇의 위치 예측 값을 수신하고, 2D 라이다 기반 선 추출 모듈로부터 라이다 인텐시티 포인트 클라우드 데이터 기반으로 계산한 직선의 방정식들을 수신하여, 예측된 추적 대상 객체의 자세를 추출된 선을 기반으로 보정하는 다각형 모델 피팅 기반 로봇 위치 보정 모듈을 포함하는 것을 특징으로 한다.A 2D lidar-based tracking target object recognition apparatus according to another embodiment of the present invention predicts a robot position for performing a current position prediction of a tracking target object based on a two-wheeled robot kinematics model based on a position estimation value of a previous robot module; a 2D lidar-based line extraction module that calculates linear equations from the point cloud and provides them to be used for polygon model fitting-based position estimation of a polygon model fitting-based robot position correction module; and receiving the position prediction value of the current robot from the robot position prediction module, and the equations of a straight line calculated based on the lidar intensity point cloud data from the 2D lidar-based line extraction module to determine the predicted posture of the tracking target object It is characterized in that it includes a polygon model fitting-based robot position correction module that corrects based on the extracted line.

바람직하게는, 상기 2D 라이다 기반 선 추출 모듈은 현 시점에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출하는 것을 특징으로 한다.Preferably, the 2D lidar-based line extraction module obtains actual 2D lidar raw data at the current time point, and extracts a point cloud having a high intensity value.

바람직하게는, 상기 로봇 위치 예측 모듈은 이전 시점에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성하는 것을 특징으로 한다.Preferably, the robot position prediction module calculates the virtual robot position based on the robot position at the previous time point, and based on the calculated robot position, using the width and length values of the robot given in advance, points on the polygonal model It is characterized by creating (points).

바람직하게는, 상기 2D 라이다 기반 선 추출 모듈은 포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 직선 방정식을 도출하는 것을 특징으로 한다.Preferably, the 2D lidar-based line extraction module calculates a normal of a point cloud, calculates a Difference of Normals (DoN), performs clustering, and then derives a straight line equation based on the clustering data. characterized.

바람직하게는, 상기 로봇 위치 보정 모듈은 점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 현 시점에서 로봇의 위치를 보정하는 것을 특징으로 한다.Preferably, the robot position correction module calculates an optimized position of the robot that minimizes the distance between the point and the straight line, and corrects the position of the robot at the present time.

본 발명의 다른 일실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상기 본 발명의 일실시예에 따른 2D 라이다 기반 추적 대상 객체 인식 방법을 실행하는 프로그램을 기록한 것을 특징으로 한다.A computer-readable recording medium according to another embodiment of the present invention is characterized in that a program for executing the 2D lidar-based tracking target object recognition method according to the embodiment of the present invention is recorded.

이상에서 설명한 바와 같이, 본 발명은 2D LIDAR만을 활용하여 추적 대상 객체의 자세(위치와 방향)를 추정하여 이를 추종하는 방법으로 자율주행기능을 가지는 자동차나 다 개체 물류로봇을 포함한 서비스 로봇 등의 응용분야에 활용될 수 있다. 또한 본 발명은 비용 효율적이면서도 다양한 형태의 객체 인식이 가능하여 범용적으로 활용될 수 있다.As described above, the present invention is a method of estimating the posture (position and direction) of a tracking target object using only 2D LIDAR and tracking it. can be used in the field. In addition, the present invention can be used universally because it is cost-effective and can recognize various types of objects.

본 발명에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.Effects obtainable in the present invention are not limited to the aforementioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the description below.

도 1은 2D LIDAR 기반 추적 대상 객체 인식 알고리즘 모식도이다.
도 2는 2D LIDAR 기반 추적 객체 인식 장치의 구성도이다.
도 3은 기구학 모델 기반 로봇 자세 예측 모듈을 도시한 것이다.
도 4는 두 바퀴 로봇 기구학 모델 기반 자세 추정 예시이다.
도 5는 2D LIDAR 기반 선 추출 모듈을 도시한 것이다.
도 6은 LIDAR의 raw 데이터와 intensity 데이터 기반 필터링 후 데이터이다.
도 7은 유효 intensity 데이터의 2D normal 계산 결과이다.
도 8은 Difference of Normals 기반의 클러스터링 결과 예시이다.
도 9는 다각형 모델 피팅 기반 로봇 자세 보정 모듈을 도시한 것이다.
도 10은 다각형 모델 위 점과 LIDAR 기반 선 간 거리를 나타낸 것이다.
도 11은 점과 직선 간 거리를 최소화하는 로봇 자세 계산 방법을 도시한 것이다.
도 12는 본 발명의 2D LIDAR 기반 추적 대상 객체 인식 장치의 특정 위치별 결과값들을 도시한 것이다.
도 13은 본 발명의 다른 일 실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 장치의 동작방법을 도시한 것이다. 1 is a schematic diagram of a 2D LIDAR-based tracking target object recognition algorithm.
2 is a block diagram of a 2D LIDAR-based tracking object recognition apparatus.
3 shows a kinematic model-based robot posture prediction module.
4 is an example of posture estimation based on a two-wheeled robot kinematics model.
5 shows a 2D LIDAR based line extraction module.
6 is data after filtering based on raw data and intensity data of LIDAR.
7 is a 2D normal calculation result of effective intensity data.
8 is an example of a clustering result based on Difference of Normals.
9 shows a robot posture correction module based on polygon model fitting.
10 shows the distance between a point on a polygonal model and a line based on LIDAR.
11 is a diagram illustrating a robot posture calculation method that minimizes the distance between a point and a straight line.
12 is a diagram illustrating result values for each specific location of the apparatus for recognizing an object to be tracked based on 2D LIDAR according to the present invention.
13 is a diagram illustrating a method of operating a 2D LIDAR-based tracking target object recognition apparatus according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성된다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and are intended to indicate that one or more other It is to be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.

도 1은 2D LIDAR 기반 추적 대상 객체 인식 알고리즘 모식도이다.1 is a schematic diagram of a 2D LIDAR-based tracking target object recognition algorithm.

도 1에서 보듯이, 2D LIDAR 기반 추적 대상 객체 인식 알고리즘은 다음과 같이 수행된다.As shown in FIG. 1, the 2D LIDAR-based tracking target object recognition algorithm is performed as follows.

1단계로, 추적 대상 객체에 부착된 반사 시트로부터 거리 및 intensity 데이터로 구성된 2D LIDAR 센서 데이터를 획득한다. 즉, 현 시점(time t)에서 실제 2D 라이다 원시(raw) 데이터를 구하고, Intensity 값이 높은 point cloud를 추출한다.In the first step, 2D LIDAR sensor data composed of distance and intensity data is acquired from the reflective sheet attached to the object to be tracked. That is, the actual 2D lidar raw data is obtained at the current time point (time t), and the point cloud with a high intensity value is extracted.

2단계로, 우선 주어진 추적 대상 객체의 외형 파라미터를 통해 기구학 모델을 유도하고 객체의 이전 자세(위치와 방향)로부터 현재 자세를 추정한다. 즉, 이전 시점(time t-1)에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형(예로, 사각형) 모델 상에 points 등을 생성한다.In the second step, first, a kinematic model is derived through the external parameters of a given object to be tracked, and the current posture is estimated from the previous posture (position and orientation) of the object. That is, the virtual robot position is calculated based on the robot position at the previous time point (time t-1), and based on the calculated robot position, using the width and length values of the robot given in advance, on the polygon (eg, square) model. Create points and so on.

3단계로, 이와 함께, 2D LIDAR로부터 얻은 intensity 데이터를 통해 처리할 데이터를 한정하고, 한정된 거리 데이터를 통해 선(line)을 추출한다. 즉, point cloud의 normal을 계산하고, DoN(Difference of Normals) 계산 및 클러스터링을 수행한다. 클러스터링 데이터 기준의 line 수식을 도출한다.In step 3, along with this, the data to be processed is defined through the intensity data obtained from the 2D LIDAR, and lines are extracted through the defined distance data. That is, the normal of the point cloud is calculated, and the DoN (Difference of Normals) calculation and clustering are performed. Derive a line formula based on clustering data.

4단계로, 기구학 모델을 통해 추정된 추적 대상 객체의 자세는 추출된 선을 기반으로 보정한다. 즉, 점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 현 시점(time t)에서 로봇의 위치를 보정한다.In step 4, the posture of the tracking target object estimated through the kinematic model is corrected based on the extracted line. That is, the optimal position of the robot that minimizes the distance between the point and the straight line is calculated, and the position of the robot is corrected at the current time point (time t).

다음과 같은 가정 하에서 본 발명의 2D LIDAR 기반 추적 대상 객체 인식 알고리즘이 수행된다.The 2D LIDAR-based tracking target object recognition algorithm of the present invention is performed under the following assumptions.

1. 추적 대상 로봇은 전체 반사 시트 영역의 25% 이상이 관측된다.1. More than 25% of the total reflective sheet area is observed for the robot to be tracked.

2. 추적 대상 로봇과 구별이 불가능한 로봇이 동시 관측될 수 있다.2. The robot to be tracked and the indistinguishable robot can be observed simultaneously.

3. 추적 대상 로봇은 다각형(일 예로, 사각형)이며, 대각선에 2D LiDAR가 장착된 영역을 제외하고 반사 시트가 부착되어 있다.3. The robot to be tracked is a polygon (eg, a square) and has a reflective sheet attached to it except for the area where the 2D LiDAR is mounted on the diagonal.

4. 추적 대상 로봇의 관련 파라미터는 주어진다. 4. The relevant parameters of the robot to be tracked are given.

도 2는 본 발명의 일실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 장치의 구성도이다.2 is a block diagram of a 2D LIDAR-based tracking target object recognition apparatus according to an embodiment of the present invention.

도 2에서 보듯이, 본 발명의 2D LIDAR 기반 추적 대상 객체 인식 장치는 로봇 위치 예측 모듈(robot pose estimation module)(100), 2D LiDAR 기반 line 추출 모듈 (2D LiDAR based line extraction module)(200), 다각형 모델 피팅 기반 로봇 위치 보정 모듈 (polygon model fitting based robot pose correction module)(300)을 포함하여 구성된다. 다각형 모델 피팅(polygon model fitting)은 사각형 모델 피팅(rectangle model fitting)을 포함한다.As shown in FIG. 2 , the apparatus for recognizing an object to be tracked based on 2D LIDAR of the present invention includes a robot pose estimation module 100 , a 2D LiDAR based line extraction module 200 , It is configured to include a polygon model fitting based robot pose correction module 300 . Polygon model fitting includes rectangle model fitting.

도 2에서 보듯이, 본 발명의 일실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 장치는 2D LIDAR 센서의 intensity 데이터를 활용하여 객체를 인식하는 모듈과 추출된 특성(모서리)을 통해 추적 대상 객체의 자세(위치와 방향)를 추정하는 모듈을 포함하여 구성된다. 또한 본 발명의 일실시예에 따른 2D 라이다 기반 추적 대상 객체 인식 장치는, 이전 로봇의 위치 추정 값을 기준으로, 2바퀴 로봇 기구학 모델 기반으로 추적 대상 객체의 현 위치 예측을 수행하는 로봇 위치 예측 모듈(100); 포인트 클라우드로부터 직선 방정식들을 계산하여 이를 다각형 모델 피팅 기반 로봇 위치 보정 모듈의 다각형 모델 피팅 기반 위치 추정에 사용하도록 제공하는 2D 라이다 기반 선 추출 모듈(200); 및 로봇 위치 예측 모듈로부터 현 시점 로봇의 위치 예측 값을 수신하고, 2D 라이다 기반 선 추출 모듈로부터 라이다 인텐시티 포인트 클라우드 데이터 기반으로 계산한 직선의 방정식들을 수신하여, 예측된 추적 대상 객체의 자세를 추출된 선을 기반으로 보정하는 다각형 모델 피팅 기반 로봇 위치 보정 모듈(300)을 포함하여 구성될 수 있다.As shown in Figure 2, the 2D LIDAR-based tracking target object recognition device according to an embodiment of the present invention utilizes the intensity data of the 2D LIDAR sensor to recognize the object and the extracted characteristic (edge) of the tracking target object. It consists of a module for estimating posture (position and direction). In addition, the 2D lidar-based tracking target object recognition apparatus according to an embodiment of the present invention predicts the position of a robot that predicts the current position of the tracking target object based on the two-wheeled robot kinematics model based on the position estimation value of the previous robot. module 100; a 2D lidar-based line extraction module 200 that calculates linear equations from the point cloud and provides them for use in polygon model fitting-based position estimation of a polygon model fitting-based robot position correction module; and receiving the position prediction value of the current robot from the robot position prediction module, and the equations of a straight line calculated based on the lidar intensity point cloud data from the 2D lidar-based line extraction module to determine the predicted posture of the tracking target object It may be configured to include a polygon model fitting-based robot position correction module 300 that corrects based on the extracted line.

상기 2D 라이다 기반 선 추출 모듈은 현 시점에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출한다. 상기 로봇 위치 예측 모듈은 이전 시점에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성한다. 상기 2D 라이다 기반 선 추출 모듈은 포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 직선 방정식을 도출한다. 상기 로봇 위치 보정 모듈은 점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 현 시점에서 로봇의 위치를 보정한다.The 2D LiDAR-based line extraction module obtains actual 2D LiDAR raw data at the current time point and extracts a point cloud having a high intensity value. The robot position prediction module calculates the virtual robot position based on the robot position at the previous time point, and based on the calculated robot position, using the width and length values of the robot given in advance, points on the polygonal model create The 2D lidar-based line extraction module calculates a normal of a point cloud, calculates a difference of normals (DoN), performs clustering, and derives a linear equation based on the clustering data. The robot position correction module calculates the optimal position of the robot that minimizes the distance between the point and the straight line, and corrects the position of the robot at the present time.

이하에서는 도 2-11을 참고하여, 본 발명의 2D LIDAR 기반 추적 대상 객체 인식 장치의 수행방법을 보다 더 자세히 설명한다.Hereinafter, a method of performing the apparatus for recognizing an object to be tracked based on 2D LIDAR of the present invention will be described in more detail with reference to FIGS. 2-11.

도 3은 기구학 모델 기반 로봇 자세 예측 모듈을 도시한 것이다.3 shows a kinematic model-based robot posture prediction module.

도 4는 두 바퀴 로봇 기구학 모델 기반 자세 추정 예시이다.4 is an example of posture estimation based on a two-wheeled robot kinematics model.

도 3-4에서 보듯이, 상기 로봇 위치 예측 모듈(100)에서는 이전 로봇의 위치 추정 값(xt-1, yt-1, thetat-1)을 기준으로, 2바퀴 로봇 kinematic model(기구학 모델) 기반의 현 위치 예측을 수행한다.3-4, the robot position prediction module 100 is based on the position estimation values (xt-1, yt-1, thetat-1) of the previous robot, based on the two-wheeled robot kinematic model (kinematic model) Predict the current location of

도 5는 2D LIDAR 기반 선 추출 모듈을 도시한 것이다.5 shows a 2D LIDAR based line extraction module.

도 5에서 보듯이, 2D LiDAR 기반 라인 추출 모듈(200)에서는 앞서 추적 대상 로봇의 형태를 다각형 중 사각형으로 가정하였으므로 실제 사각형 물체에 대한 2D LiDAR 데이터는 사각형의 일부분으로, 직선 또는 모서리를 포함한 직각 데이터이다. 따라서 2D LIDAR 기반 선 추출 모듈에서는 포인트 클라우드로부터 직선 방정식을 계산하여 이를 다각형 모델 피팅 기반 로봇 위치 보정 모듈(300)의 다각형 모델 피팅 기반 위치 추정에 사용하도록 제공한다.As shown in FIG. 5 , in the 2D LiDAR-based line extraction module 200 , since the shape of the tracking target robot was assumed to be a quadrangle among polygons, the 2D LiDAR data for an actual rectangular object is a part of a rectangle, and right angle data including straight lines or corners to be. Therefore, the 2D LIDAR-based line extraction module calculates a straight line equation from the point cloud and provides it to the polygon model fitting-based position estimation of the polygon model fitting-based robot position correction module 300 .

도 6은 LIDAR의 raw 데이터와 intensity 데이터 기반 필터링 후 데이터이다.6 is data after filtering based on raw data and intensity data of LIDAR.

도 6과 같이 추적 대상에 부착된 반사 시트에서 반사된 LiDAR의 intensity 데이터를 기반으로 추종 대상이 아닌 센서 거리 값들을 필터링한다. As shown in FIG. 6 , the sensor distance values that are not the tracking target are filtered based on the intensity data of the LiDAR reflected from the reflective sheet attached to the tracking target.

이후 필터링한 point cloud에서 2D normal 벡터를 계산한다. 3D point cloud의 2D normal 계산에 대해서는 https://github.com/Enderdead/PCL-Normal-Estimation-2d를 참고한다. After that, a 2D normal vector is calculated from the filtered point cloud. For 2D normal calculation of 3D point cloud, refer to https://github.com/Enderdead/PCL-Normal-Estimation-2d.

도 7은 유효 intensity 데이터의 2D normal 계산 결과이다.7 is a 2D normal calculation result of effective intensity data.

도 7에서 보듯이, Normal 벡터의 방향이 비슷한 요소들이 한 방향을 나타내는 직선을 구성한다. 그런데, 꼭지점을 공유하는 직각 데이터에서는 경계가 모호하여, 이를 조금 더 명확히 구분하고자 DoN(Difference of Normals) 방식을 이용한다. Difference of Normals에 대해서는 https://pcl-tutorials.readthedocs.io/en/master/don_segmentation.html를 참고한다.As shown in FIG. 7 , elements having similar directions of normal vectors constitute a straight line indicating one direction. However, in orthogonal data sharing vertices, the boundary is ambiguous, so the DoN (Difference of Normals) method is used to more clearly distinguish them. For Difference of Normals, refer to https://pcl-tutorials.readthedocs.io/en/master/don_segmentation.html.

도 8은 Difference of Normals 기반의 클러스터링 결과 예시이다.8 is an example of a clustering result based on Difference of Normals.

도 8에서 보듯이, DoN 방식을 적용하면 일직선에 속한 부분의 DoN은 크기가 0에 가깝고 방향이 직선의 기울기와 비슷한 특징을 지닌다. 해당 특성을 이용하여 모서리를 내포한 직각 데이터를 두 개의 클러스터로 구분 가능하다.As shown in FIG. 8 , when the DoN method is applied, the DoN of a portion belonging to a straight line has a characteristic similar to that of the inclination of the straight line with a magnitude close to 0. Using this characteristic, it is possible to classify orthogonal data with edges into two clusters.

이후, RANSAC (Random Sample Consensus) 기반의 line segment(SACMODEL_LINE)를 이용하여, 클러스터로 구분한 point cloud의 2차원 좌표 값으로 직선 방정식을 계산한다. Then, using RANSAC (Random Sample Consensus)-based line segment (SACMODEL_LINE), the linear equation is calculated with the two-dimensional coordinate value of the point cloud divided into clusters.

도 9는 다각형 모델 피팅 기반 로봇 자세 보정 모듈을 도시한 것이다.9 shows a robot posture correction module based on polygon model fitting.

도 9에서 보듯이, 다각형 모델 피팅 기반 로봇 위치 보정 모듈(300)의 입력 값은 앞선 두 모듈(100,200)의 출력 값이다. 로봇 위치 예측 모듈(100)에서는 현 시점 로봇의 위치 예측 값을 가져오고, 2D LiDAR 기반 line 추출 모듈(200)에서는 LiDAR intensity point cloud 데이터 기반으로 계산한 직선의 방정식들을 가져온다.As shown in FIG. 9 , the input values of the polygon model fitting-based robot position correction module 300 are output values of the previous two modules 100 and 200 . The robot position prediction module 100 brings the position prediction value of the current robot, and the 2D LiDAR-based line extraction module 200 brings the equations of a straight line calculated based on the LiDAR intensity point cloud data.

도 10은 다각형 모델 위 점과 LIDAR 기반 선 간 거리를 나타낸 것이다. 다각형 모델은 사각형 모델을 포함한다.10 shows the distance between a point on a polygonal model and a line based on LIDAR. Polygonal models include rectangular models.

우선, 예측한 로봇 위치를 기준으로, 미리 주어진 로봇의 width, length 값을 이용하여, 다각형(예로, 사각형) 모델 상에 points 들을 생성한다. 이후, 계산된 직선의 방정식을 이용하여 점과 직선 간의 거리를 최소화할 수 있는 현재 시점의 위치를 계산한다. 직선의 방정식 교점과 수직 관계(기울기 곱이 -1) 등을 이용하여 점과 직선 간의 거리를 계산할 요소들을 구별한다.First, based on the predicted robot position, using the width and length values of the robot given in advance, points are created on the polygon (eg, square) model. Thereafter, the position of the current viewpoint at which the distance between the point and the straight line can be minimized is calculated using the calculated equation of the straight line. Distinguish the elements to calculate the distance between a point and a straight line using the equation intersection of the straight line and the vertical relationship (the slope product is -1).

도 11은 점과 직선 간 거리를 최소화하는 로봇 자세 계산 방법을 도시한 것이다. 도 11a에서 보듯이, 아래의 수학식 1은 직선을 직교좌표계로 표시하는 경우, 점과 직선 간 거리를 최소화하는 로봇 자세 계산을 위한 점과 직선 간의 거리 기반 비용함수를 보여준다.11 is a diagram illustrating a robot posture calculation method for minimizing the distance between a point and a straight line. As shown in FIG. 11A, Equation 1 below shows a distance-based cost function between a point and a straight line for calculating a robot posture that minimizes the distance between a point and a straight line when a straight line is expressed in a Cartesian coordinate system.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

수학식 1에서 보듯이, 해당 비용함수를 최소화하는 로봇 위치는 최소 자승법(least square method)의 대표적인 해결 방법인 Levenberg-Marquardt algorithm을 이용해 계산한다. Levenberg-Marquardt algorithm에 대해서는 https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm을 참고한다.As shown in Equation 1, the robot position that minimizes the corresponding cost function is calculated using the Levenberg-Marquardt algorithm, which is a representative solution of the least square method. For the Levenberg-Marquardt algorithm, refer to https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm.

도 11b에서 보듯이, 아래의 수학식 2는 직선을 극좌표계로 표시하는 경우, 사각형 모델 피팅 기반 로봇 자세 보정 모듈에서 점과 직선 간 거리를 최소화하는 로봇 자세 계산을 위한 점과 직선 간의 거리 기반 비용함수를 보여준다.As shown in Figure 11b, Equation 2 below is a cost function based on the distance between the point and the straight line for calculating the robot posture that minimizes the distance between the point and the straight line in the rectangular model fitting-based robot posture correction module when the straight line is displayed in the polar coordinate system. shows

[수학식 2][Equation 2]

Figure pat00002
Figure pat00002

수학식 2에서 보듯이, 해당 비용함수를 최소화하는 로봇 위치는 최소 자승법(least square method)의 대표적인 해결 방법인 Levenberg-Marquardt algorithm을 이용해 계산한다.As shown in Equation 2, the robot position that minimizes the corresponding cost function is calculated using the Levenberg-Marquardt algorithm, which is a representative solution of the least square method.

도 12는 본 발명의 2D LIDAR 기반 추적 대상 객체 인식 장치의 특정 위치별 결과값들을 도시한 것이다. 도 12a는 2D LIDAR 기반 추적 객체 인식 장치의 특정 위치를 표시하고 있고, 도 12b는 특정 위치별 결과값을 도시한 것이다.12 is a diagram showing result values for each specific location of the apparatus for recognizing objects to be tracked based on 2D LIDAR according to the present invention. 12A shows a specific location of the 2D LIDAR-based tracking object recognition device, and FIG. 12B shows a result value for each specific location.

도 12에서 보듯이, 제 1 위치는 time t에서 실제 2D 라이다 raw 데이터를 보여준다. 제 2 위치는 Intensity 값이 높은 point cloud를 추출한 결과를 보여준다.12 , the first position shows the actual 2D lidar raw data at time t. The second position shows the result of extracting a point cloud with a high Intensity value.

제 3 위치는 point cloud의 normal 계산 결과를 보여준다.The third position shows the normal calculation result of the point cloud.

제4 위치는 DON 계산 및 클러스터링 결과를 보여준다.The fourth position shows the DON calculation and clustering results.

제5 위치는 클러스터링 데이터 기준의 line 수식 도출 결과를 보여준다.The fifth position shows the result of deriving the line formula based on the clustering data.

제 6 위치는 time t-1에서 로봇 위치 기준 가상의 로봇 위치 계산 및 point 생성 결과를 보여준다. The sixth position shows the result of virtual robot position calculation and point creation based on the robot position at time t-1.

제 7 위치는 점과 직산 간의 거리를 최소화하는 로봇의 최적화된 위치 계산 결과를 보여준다.The seventh position shows the optimized position calculation result of the robot that minimizes the distance between the point and the straight line.

제 8 위치는 time t에서 보정된 로봇 위치를 보여준다.The eighth position shows the corrected robot position at time t.

도 13은 본 발명의 다른 일 실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 장치의 동작방법을 도시한 것이다. 13 is a diagram illustrating a method of operating a 2D LIDAR-based tracking target object recognition apparatus according to another embodiment of the present invention.

도 13에서 보듯이, 본 발명의 다른 일 실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 장치의 동작방법은 센서데이터 획득단계(S100), 자세 추정 단계(S200), 선(line) 추출 단계(S300), 및 자세 보정 단계(S400)을 포함하여 구성된다.As shown in FIG. 13 , the operating method of the apparatus for recognizing a tracking target object based on 2D LIDAR according to another embodiment of the present invention includes a sensor data acquisition step (S100), a posture estimation step (S200), and a line extraction step (S300). ), and a posture correction step (S400).

상기 센서데이터 획득단계(S100)에서는 추적 대상 객체에 부착된 반사 시트로부터 거리 및 인텐시티 데이터로 구성된 2D 라이다 센서 데이터를 획득한다. 상기 센서데이터 획득단계는 시간 t에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출하는 과정을 더 포함한다.In the sensor data acquisition step ( S100 ), 2D lidar sensor data composed of distance and intensity data is acquired from a reflective sheet attached to a tracking target object. The sensor data acquisition step further includes obtaining real 2D lidar raw data at time t and extracting a point cloud having a high intensity value.

상기 자세 추정 단계(S200)에서는 추적 대상 객체의 외형 파라미터를 통해 기구학 모델을 유도하고 객체의 이전 자세(위치와 방향)로부터 현재 자세를 추정한다. 상기 자세 추정 단계는 시간 t-1에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성하는 과정을 더 포함한다.In the posture estimation step ( S200 ), a kinematic model is derived through the external parameters of the object to be tracked, and the current posture is estimated from the previous posture (position and direction) of the object. In the posture estimation step, a virtual robot position is calculated based on the robot position at time t-1, and based on the calculated robot position, using the width and length values of the robot given in advance, points on the polygonal model It further includes the process of generating

상기 선(line) 추출 단계(S300)에서는 2D 라이다로부터 얻은 인텐시티 데이터를 통해 처리할 데이터를 한정하고, 한정된 거리 데이터를 통해 선(line)을 추출한다. 상기 선 추출 단계는 포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 line 수식을 도출하는 과정을 더 포함한다.In the line extraction step (S300), data to be processed is defined through the intensity data obtained from the 2D lidar, and a line is extracted through the limited distance data. The line extraction step further includes calculating a normal of the point cloud, calculating a Difference of Normals (DoN), performing clustering, and then deriving a line equation based on the clustering data.

상기 자세 보정 단계(S400)에서는 기구학 모델을 통해 추정된 추적 대상 객체의 자세는 추출된 선을 기반으로 보정한다. 상기 자세 보정 단계는 점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 시간 t에서 로봇의 위치를 보정하는 과정을 더 포함한다.In the posture correction step (S400), the posture of the tracking target object estimated through the kinematic model is corrected based on the extracted line. The posture correction step further includes calculating an optimized position of the robot that minimizes the distance between the point and the straight line, and correcting the position of the robot at time t.

한편, 본 발명의 일 실시예에 따른 2D LIDAR 기반 추적 대상 객체 인식 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Meanwhile, the 2D LIDAR-based tracking target object recognition method according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various electronic information processing means and recorded in a storage medium. The storage medium may include program instructions, data files, data structures, etc. alone or in combination.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The program instructions recorded in the storage medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field. Examples of storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. (magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instruction include not only machine code such as generated by a compiler, but also a device for electronically processing information using an interpreter or the like, for example, a high-level language code that can be executed by a computer.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiment of the present invention, those of ordinary skill in the art may change the present invention in various ways within the scope without departing from the spirit and scope of the present invention described in the claims below. It will be appreciated that modifications and variations are possible.

Claims (11)

2D 라이다 기반 추적 대상 객체 인식 방법에 있어서,
추적 대상 객체에 부착된 반사 시트로부터 거리 및 인텐시티 데이터로 구성된 2D 라이다 센서 데이터를 획득하는 센서데이터 획득단계;
추적 대상 객체의 외형 파라미터를 통해 기구학 모델을 유도하고 객체의 이전 자세(위치와 방향)로부터 현재 자세를 추정하는 자세 추정 단계;
2D 라이다로부터 얻은 인텐시티 데이터를 통해 처리할 데이터를 한정하고, 한정된 거리 데이터를 통해 선(line)을 추출하는 단계; 및
기구학 모델을 통해 추정된 추적 대상 객체의 자세는 추출된 선을 기반으로 보정하는 자세 보정 단계:를 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 방법.
In the 2D lidar-based tracking target object recognition method,
A sensor data acquisition step of acquiring 2D lidar sensor data composed of distance and intensity data from a reflective sheet attached to a tracking target object;
a posture estimation step of deriving a kinematic model through the external parameters of the object to be tracked and estimating the current posture from the previous posture (position and direction) of the object;
defining data to be processed through intensity data obtained from 2D lidar, and extracting a line through limited distance data; and
2D lidar-based tracking target object recognition method, comprising: a posture correction step of correcting the posture of the tracking target object estimated through the kinematic model based on the extracted line.
 제 1 항에 있어서, 상기 센서데이터 획득단계는
현 시점(time t)에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출하는 과정을 더 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 방법.
The method of claim 1, wherein the acquiring of sensor data comprises:
2D LiDAR-based tracking target object recognition method, characterized in that it further comprises the steps of obtaining actual 2D LiDAR raw data at a current time point (time t) and extracting a point cloud having a high intensity value.
 제 1 항에 있어서, 상기 자세 추정 단계는
이전 시점(time t-1)에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성하는 과정을 더 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 방법.
The method of claim 1, wherein the estimating the posture comprises:
Calculate the virtual robot position based on the robot position at the previous time point (time t-1), and based on the calculated robot position, using the width and length values of the robot given in advance, points on the polygonal model 2D lidar-based tracking target object recognition method, characterized in that it further comprises the process of generating.
 제 1 항에 있어서, 상기 선 추출 단계는
포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 line 수식을 도출하는 과정을 더 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 방법.
According to claim 1, wherein the line extraction step
2D lidar-based tracking, characterized in that it further comprises calculating the normal of the point cloud, calculating the Difference of Normals (DoN), performing clustering, and deriving a line formula based on the clustering data. How to recognize the target object.
 제 1 항에 있어서, 상기 자세 보정 단계는
점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 현 시점(time t)에서 로봇의 위치를 보정하는 과정을 더 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 방법.
According to claim 1, wherein the posture correction step
2D lidar-based tracking target object recognition method, characterized in that it further comprises calculating an optimized position of the robot that minimizes the distance between the point and the straight line, and correcting the position of the robot at the current time (time t).
 2D 라이다 기반 추적 대상 객체 인식 장치에 있어서,
이전 로봇의 위치 추정 값을 기준으로, 2바퀴 로봇 기구학 모델 기반으로 추적 대상 객체의 현 위치 예측을 수행하는 로봇 위치 예측 모듈;
포인트 클라우드로부터 직선 방정식들을 계산하여 이를 다각형 모델 피팅 기반 로봇 위치 보정 모듈의 다각형 모델 피팅 기반 위치 추정에 사용하도록 제공하는 2D 라이다 기반 선 추출 모듈; 및
로봇 위치 예측 모듈로부터 현 시점 로봇의 위치 예측 값을 수신하고, 2D 라이다 기반 선 추출 모듈로부터 라이다 인텐시티 포인트 클라우드 데이터 기반으로 계산한 직선의 방정식들을 수신하여, 예측된 추적 대상 객체의 자세를 추출된 선을 기반으로 보정하는 다각형 모델 피팅 기반 로봇 위치 보정 모듈을 포함하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 장치.
In the 2D lidar-based tracking target object recognition device,
a robot position prediction module that predicts the current position of the tracking target object based on the two-wheeled robot kinematics model based on the position estimation value of the previous robot;
a 2D lidar-based line extraction module that calculates linear equations from the point cloud and provides them to be used for polygon model fitting-based position estimation of a polygon model fitting-based robot position correction module; and
Receives the position prediction value of the current robot from the robot position prediction module, receives the equations of a straight line calculated based on the lidar intensity point cloud data from the 2D lidar-based line extraction module, and extracts the predicted posture of the tracking target object 2D lidar-based tracking target object recognition device, characterized in that it comprises a polygon model fitting-based robot position correction module that corrects based on the line.
 제 6 항에 있어서, 상기 2D 라이다 기반 선 추출 모듈은
현 시점에서 실제 2D 라이다 원시 데이터를 구하고, 인텐시티 값이 높은 포인트 클라우드를 추출하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 장치.
The method of claim 6, wherein the 2D lidar-based line extraction module is
2D LiDAR-based tracking target object recognition device, characterized in that it obtains real 2D LIDAR raw data at the current time and extracts a point cloud with a high intensity value.
 제 6 항에 있어서, 상기 로봇 위치 예측 모듈은
이전 시점에서 로봇 위치 기준 가상의 로봇 위치를 계산하고, 계산한 로봇 위치를 기준으로, 미리 주어진 로봇의 폭과 길이 값을 이용하여, 다각형 모델 상에 포인트들(points)을 생성하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 장치.
The method of claim 6, wherein the robot position prediction module is
Calculating the virtual robot position based on the robot position at the previous time point, and using the width and length values of the robot given in advance based on the calculated robot position, to generate points on the polygonal model 2D lidar-based tracking target object recognition device.
 제 6 항에 있어서, 상기 2D 라이다 기반 선 추출 모듈은
포인트 클라우드의 노말(normal)을 계산하고, DoN(Difference of Normals)을 계산하고, 클러스터링을 수행한 후, 클러스터링 데이터 기준의 직선 방정식을 도출하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 장치.
The method of claim 6, wherein the 2D lidar-based line extraction module is
2D lidar-based tracking target object recognition device, characterized in that after calculating the normal of the point cloud, calculating the Difference of Normals (DoN), performing clustering, and deriving a linear equation based on the clustering data.
 제 6 항에 있어서, 상기 로봇 위치 보정 모듈은
점과 직선 간의 거리를 최소화하는 로봇의 최적화된 위치를 계산하고, 현 시점에서 로봇의 위치를 보정하는 것을 특징으로 하는 2D 라이다 기반 추적 대상 객체 인식 장치.
The method of claim 6, wherein the robot position correction module is
A 2D lidar-based tracking target object recognition device, characterized in that it calculates the optimal position of the robot that minimizes the distance between the point and the straight line, and corrects the position of the robot at the current time point.
 제 1 항 내지 제 5 항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium in which a program for executing the method of any one of claims 1 to 5 is recorded.
KR1020210004675A 2021-01-13 2021-01-13 Method and apparatus for object recognition using 2-d lidar KR102555442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210004675A KR102555442B1 (en) 2021-01-13 2021-01-13 Method and apparatus for object recognition using 2-d lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210004675A KR102555442B1 (en) 2021-01-13 2021-01-13 Method and apparatus for object recognition using 2-d lidar

Publications (2)

Publication Number Publication Date
KR20220102381A true KR20220102381A (en) 2022-07-20
KR102555442B1 KR102555442B1 (en) 2023-07-17

Family

ID=82609039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004675A KR102555442B1 (en) 2021-01-13 2021-01-13 Method and apparatus for object recognition using 2-d lidar

Country Status (1)

Country Link
KR (1) KR102555442B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191227A (en) * 2010-03-16 2011-09-29 Daihatsu Motor Co Ltd Object recognition device
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same
KR20170116305A (en) 2016-04-08 2017-10-19 한국전자통신연구원 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors
KR20190095592A (en) 2018-01-23 2019-08-16 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
KR20200080598A (en) * 2018-12-27 2020-07-07 (주) 퓨처로봇 Method for evaluating mobile robot movement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191227A (en) * 2010-03-16 2011-09-29 Daihatsu Motor Co Ltd Object recognition device
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same
KR20170116305A (en) 2016-04-08 2017-10-19 한국전자통신연구원 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors
KR20190095592A (en) 2018-01-23 2019-08-16 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
KR20200080598A (en) * 2018-12-27 2020-07-07 (주) 퓨처로봇 Method for evaluating mobile robot movement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1. B. Qin, Z.J. Chong, S.H. Soh, T. Bandyopadhyay, M.H. Ang, E. Frazzoli, and D. Rus, "A Spatial-Temporal Approach for Moving Object Recognition with 2D LIDAR," Experimental Robotics, pp. 807-820, Nov. 2015.
2. K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, "Pedestrian recognition using high-definition LIDAR," Proceedings of 2011 IEEE Intelligent Vehicles Symposium, June 2011.

Also Published As

Publication number Publication date
KR102555442B1 (en) 2023-07-17

Similar Documents

Publication Publication Date Title
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
US10366310B2 (en) Enhanced camera object detection for automated vehicles
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
JP6794436B2 (en) Systems and methods for unobstructed area detection
JP6630485B2 (en) Video tracking based method for automatically ordering vehicles in drive-through applications
JP5822255B2 (en) Object identification device and program
US8818702B2 (en) System and method for tracking objects
US11703334B2 (en) Mobile robots to generate reference maps for localization
KR102547274B1 (en) Moving robot and method for estiating location of moving robot
Maier et al. Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data
JP6997057B2 (en) Devices, programs and methods for estimating terminal position from non-animal body information
KR20180076815A (en) Method and apparatus for estimating localization of robot in wide range of indoor space using qr marker and laser scanner
KR20200050246A (en) Method for detecting 3d object from 2d image and apparatus thereof
US20190377358A1 (en) Systems and methods for simulation utilizing a segmentable monolithic mesh
Wang et al. Multiple obstacle detection and tracking using stereo vision: Application and analysis
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN115346192A (en) Data fusion method, system, equipment and medium based on multi-source sensor perception
Cherubini et al. Avoiding moving obstacles during visual navigation
Kumar Rath et al. Real‐time moving object detection and removal from 3D pointcloud data for humanoid navigation in dense GPS‐denied environments
KR102555442B1 (en) Method and apparatus for object recognition using 2-d lidar
AU2020317303B2 (en) Information processing device, data generation method, and program
Kang et al. Visual perception and modelling in unstructured orchard for apple harvesting robots
Saha et al. 3D LiDAR-based obstacle detection and tracking for autonomous navigation in dynamic environments
Tuong et al. Robust pedestrian detection and tracking from a moving vehicle
Saglam et al. Realtime corridor detection for mobile robot navigation with hough transform using a depth camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant