KR102259151B1 - object detection tracking system using camera and lidar - Google Patents

object detection tracking system using camera and lidar Download PDF

Info

Publication number
KR102259151B1
KR102259151B1 KR1020200125717A KR20200125717A KR102259151B1 KR 102259151 B1 KR102259151 B1 KR 102259151B1 KR 1020200125717 A KR1020200125717 A KR 1020200125717A KR 20200125717 A KR20200125717 A KR 20200125717A KR 102259151 B1 KR102259151 B1 KR 102259151B1
Authority
KR
South Korea
Prior art keywords
analysis target
lidar
analysis
target object
image data
Prior art date
Application number
KR1020200125717A
Other languages
Korean (ko)
Inventor
지창현
이호준
Original Assignee
주식회사 나노시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나노시스템즈 filed Critical 주식회사 나노시스템즈
Priority to KR1020200125717A priority Critical patent/KR102259151B1/en
Application granted granted Critical
Publication of KR102259151B1 publication Critical patent/KR102259151B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Disclosed is a technology related to an object detection tracking system using a camera and LiDAR. The object detection tracking system using a camera and LiDAR comprises: a camera that acquires image data; LiDAR that acquires LiDAR data by scanning at least a part of an object of the image data (hereinafter referred to as a target to be photographed); and an analysis target object tracking unit that detects an analysis target object from the image data and the LiDAR data and tracks the movement of the analysis target object. The analysis target object tracking unit comprises: an analysis target candidate group area definition unit that detects an analysis target candidate group from the image data and defines an analysis target candidate group area surrounding the analysis target candidate group; an analysis target object area definition unit that defines the intersection with a scan area of the LiDAR from the analysis target candidate group area as an analysis target object area; an analysis target area tracking unit that tracks the movement of the analysis target object area; and an analysis target LiDAR data detection unit that detects the LiDAR data corresponding to the analysis target object area from among the LiDAR data (hereinafter referred to as analysis target LiDAR data). The technology disclosed in the present specification can provide information on the movement direction and distance value of the analysis target object moving on the LiDAR scan area, thereby providing an effect of detecting and tracking the analysis target object.

Description

카메라와 라이다를 활용한 객체 감지 트래킹 시스템{object detection tracking system using camera and lidar}Object detection tracking system using camera and lidar

본 명세서에 개시하는 기술은 대체로 객체 감지 트래킹 시스템에 관한 것으로, 보다 구체적으로는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템에 관한 것이다.The technology disclosed herein generally relates to an object detection tracking system, and more particularly, to an object detection tracking system using a camera and lidar.

최근 자율 주행 자동차나 무인로봇 분야 등에서 주변 환경을 인식하기 위하여 카메라, 라이다, 레이더 등의 다중 센서기반의 주변 환경인식 연구가 진행 중에 있다. 주변 환경인식을 위해 하나의 단일 센서를 활용하기 보다는 다중 센서를 이용하여 이들 센서 정보를 융합하여 활용하고 있다.Recently, in order to recognize the surrounding environment in the field of autonomous vehicles or unmanned robots, research on surrounding environment recognition based on multiple sensors such as cameras, lidars, and radars is in progress. Rather than using one single sensor to recognize the surrounding environment, multiple sensors are used to converge and utilize these sensor information.

고가의 3D 라이다, 다수의 2D 라이다 또는 2대 이상의 카메라 등을 이용한 초기의 연구는 정확한 객체의 인식을 위해서는 비용이 많이 드는 문제가 있었다.Early research using expensive 3D lidar, multiple 2D lidar, or two or more cameras had a problem of high cost for accurate object recognition.

최근 이러한 고비용의 문제를 해결하여 그 응용 범위를 넓히기 위해 카메라와 저가의 2D 라이다를 이용한 대체 인식 기술 연구가 활발히 진행 중이다. 이때의 2D 라이다 데이터는 주로 깊이(depth) 정보제공과 객체의 관심영역(ROI)을 찾는 역할을 하고, 카메라로 얻은 영상 데이터로 주변환경 및 객체를 인식한다.Recently, research on alternative recognition technology using a camera and low-cost 2D lidar is being actively conducted in order to solve this high-cost problem and broaden its application range. At this time, the 2D LiDAR data mainly serves to provide depth information and find the ROI of the object, and recognize the surrounding environment and the object with the image data obtained by the camera.

주변환경 인식 기술과 관련한 종래 기술로는 대한민국등록특허 KR 10-1491314 "레이저 스캐너를 이용한 장애물 인식 장치 및 방법" 등이 있다.As a prior art related to the surrounding environment recognition technology, there is Korean Patent No. KR 10-1491314 "an apparatus and method for recognizing obstacles using a laser scanner".

본 명세서에서 개시하는 기술은 카메라로 얻은 영상데이터를 활용하여 분석대상후보군영역을 정의한 후 이들 중 라이다의 스캔 영역과 교차하는 것을 분석대상객체영역으로 정의하여 이를 통하여 분석대상객체를 감지하고, 이를 통하여 분석대상객체의 이동방향을 트래킹함으로써 적은 데이터만으로도 분석대상객체를 감지 및 트래킹할 수 있는 객체 감지 트래킹 시스템에 관한 기술을 제공하는 것이다.The technology disclosed in the present specification defines an analysis target group region by using image data obtained by a camera, and then defines an analysis target region that intersects the lidar scan region among them, detects the analysis target object through this, and It is to provide a technology for an object detection tracking system that can detect and track an analysis target object with only a small amount of data by tracking the movement direction of the analysis target object through

일 실시 예에 있어서, 카메라와 라이다를 활용한 객체 감지 트래킹 시스템에 관한 기술이 개시(disclosure)된다. 상기 카메라와 라이다를 활용한 객체 감지 트래킹 시스템은 영상데이터를 획득하는 카메라, 상기 영상데이터의 대상체-이하 촬영대상이라 함-의 적어도 일부를 스캔하여 라이다데이터를 획득하는 라이다 및 상기 영상데이터 및 상기 라이다데이터로부터 분석대상객체를 검출하고 상기 분석대상객체의 이동을 추적하는 분석대상객체추적부를 포함한다.In one embodiment, a technology related to an object detection tracking system using a camera and lidar is disclosed (disclosure). The object detection and tracking system using the camera and lidar scans at least a part of a camera for acquiring image data, an object of the image data - hereinafter referred to as a shooting object - to acquire lidar data, and the image data and an analysis target tracking unit that detects an analysis target from the lidar data and tracks the movement of the analysis target object.

상기 분석대상객체추적부는 상기 영상데이터로부터 분석대상후보군을 검출하고 상기 분석대상후보군을 둘러싸는 분석대상후보군영역을 정의하는 분석대상후보군영역정의부, 상기 분석대상후보군영역 중에서 상기 라이다의 스캔 영역과 교차하는 것을 분석대상객체영역으로 정의하는 분석대상객체영역정의부, 상기 분석대상객체영역의 이동을 추적하는 분석대상객체영역추적부 및 상기 라이다데이터 중 상기 분석대상객체영역에 대응되는 라이다데이터-이하 분석대상라이다데이터라 함-를 검출하는 분석대상라이다데이터검출부를 포함할 수 있다.The analysis target object tracking unit detects an analysis target group from the image data and defines an analysis target candidate group region defining an analysis target candidate group region surrounding the analysis target candidate group, a scan region of the lidar among the analysis target candidate group regions; An analysis target area defining unit defining an intersection as an analysis target area, an analysis target area tracking unit tracking the movement of the analysis target area, and lidar data corresponding to the analysis target area among the lidar data It may include an analysis target lidar data detection unit for detecting -hereinafter referred to as analysis target lidar data.

상기 라이다는 2D 라이다를 포함할 수 있다. 상기 2D 라이다는 상기 촬영대상의 적어도 일부를 선 형태로 스캔-이하 선스캔이라 함-하여 상기 라이다데이터를 획득할 수 있다.The lidar may include a 2D lidar. The 2D lidar may acquire the lidar data by scanning at least a portion of the object to be photographed in the form of a line - hereinafter referred to as a line scan.

상기 카메라는 상기 영상데이터를 적어도 2회 이상 획득할 수 있다. 상기 선스캔의 라인은 상기 분석대상객체영역과 교차될 수 있다. 상기 분석대상객체영역에는 분석기준위치가 마련될 수 있다. 상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에 대하여 상기 선스캔의 상기 라인을 기준좌표축으로 하여 상기 분석기준위치에서의 상기 기준좌표축에 대한 좌표값인 분석기준좌표값을 추출할 수 있다. 상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값을 비교하여 상기 분석대상객체의 상기 이동을 추적할 수 있다. 이 경우, 상기 분석기준위치는 미리 정해진 방식에 따라 상기 분석대상후보군영역 내의 소정의 위치로 정하거나, 미리 정해진 방식에 따라 상기 분석대상객체영역 내의 소정의 위치로 정할 수 있다.The camera may acquire the image data at least twice or more. The line scan line may intersect the analysis target area. An analysis reference position may be provided in the analysis target object area. The analysis target object region tracking unit may extract an analysis reference coordinate value that is a coordinate value with respect to the reference coordinate axis at the analysis reference position by using the line of the line scan as a reference coordinate axis for each of the obtained image data. The analysis target area tracking unit may track the movement of the analysis target object by comparing the analysis reference coordinate values extracted from each of the obtained image data. In this case, the analysis reference position may be determined as a predetermined position within the analysis target candidate group region according to a predetermined method, or may be determined as a predetermined position within the analysis target object region according to a predetermined method.

상기 2D 라이다는 회전식 2D 라이다를 포함할 수 있다. 상기 선스캔의 상기 라인에 대한 상기 카메라의 화각 및 상기 선스캔의 상기 라인에 대한 상기 회전식 2D 라이다의 회전평면의 방위각은 상호 매핑될 수 있다. 상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 상기 카메라의 상기 화각을 비교하여 상기 분석대상객체의 상기 이동을 추적할 수 있다.The 2D lidar may include a rotating 2D lidar. The angle of view of the camera with respect to the line of the line scan and the azimuth angle of the rotation plane of the rotary 2D lidar with respect to the line of the line scan may be mapped to each other. The analysis target area tracking unit may track the movement of the analysis target object by comparing the angle of view of the camera corresponding to the analysis reference coordinate values extracted from each of the obtained image data.

상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 상기 카메라의 상기 화각에 대응되는 상기 회전식 2D 라이다의 상기 회전평면의 방위각을 기준조건과 비교하여 상기 기준조건에 만족되는 경우 상기 분석대상객체의 상기 이동을 추적할 수 있다.The analysis target object region tracking unit compares the azimuth of the rotation plane of the rotary 2D lidar corresponding to the angle of view of the camera corresponding to the analysis reference coordinate value extracted from each of the obtained image data with a reference condition, and the When a reference condition is satisfied, the movement of the analysis target object may be tracked.

본 명세서에서 개시하는 기술은 카메라로 얻은 영상데이터를 활용하여 분석대상후보군영역을 정의한 후 이들 중 라이다의 스캔 영역과 교차하는 것을 분석대상객체영역으로 정의하여 이를 통하여 분석대상객체를 감지하고, 이를 통하여 분석대상객체의 이동방향을 트래킹함으로써 적은 데이터만으로도 분석대상객체를 감지 및 트래킹할 수 있는 효과를 제공해 줄 수 있다.The technology disclosed in the present specification defines an analysis target group region by using image data obtained by a camera, and then defines an analysis target region that intersects the lidar scan region among them, detects the analysis target object through this, and By tracking the movement direction of the analysis target through this, it is possible to provide the effect of detecting and tracking the analysis target object with only a small amount of data.

또한, 본 명세서에서 개시하는 기술은 라이다 스캔 영역 상을 이동하는 분석대상객체의 이동방향과 거리값에 대한 정보를 제공하여 분석대상객체를 감지 및 트래킹할 수 있는 효과를 제공해 줄 수 있다.In addition, the technology disclosed in the present specification can provide the effect of detecting and tracking the analysis target object by providing information on the moving direction and distance value of the analysis target object moving on the lidar scan area.

전술한 내용은 이후 보다 자세하게 기술되는 사항에 대해 간략화된 형태로 선택적인 개념만을 제공한다. 본 내용은 특허 청구 범위의 주요 특징 또는 필수적 특징을 한정하거나, 특허청구범위의 범위를 제한할 의도로 제공되는 것은 아니다.The foregoing provides only optional concepts in a simplified form for matters to be described in more detail later. The present disclosure is not intended to limit the main features or essential features of the claims, or to limit the scope of the claims.

도 1은 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템의 일례를 보여주는 도면이다.
도 2는 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템의 블록도이다.
도 3은 본 명세서에서 개시하는 카메라의 화각 및 라이다의 방위각과 카메라의 화각에 대응되는 라이다의 방위각을 보여주는 도면이다.
도 4는 본 명세서에서 개시하는 분석대상후보군에서 분석대상객체를 선정하는 과정을 보여주는 도면이다.
도 5는 본 명세서에서 개시하는 분석대상객체 중 동일한 객체를 선정하는 과정을 보여주는 도면이다.1 is a diagram showing an example of an object detection tracking system using a camera and lidar disclosed herein.
2 is a block diagram of an object detection tracking system using a camera and lidar disclosed herein.
3 is a view showing an azimuth of a camera and an azimuth of the lidar and an azimuth of the lidar corresponding to the angle of view of the camera disclosed in the present specification.
4 is a diagram illustrating a process of selecting an analysis target object from the analysis target candidate group disclosed in the present specification.
5 is a diagram illustrating a process of selecting the same object from among the analysis target objects disclosed in the present specification.

이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 본 기술분야의 통상의 기술자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안되며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the drawings. Unless otherwise specified in the text, like reference numbers in the drawings indicate like elements. The exemplary embodiments described in the detailed description, drawings, and claims are not intended to be limiting, and other embodiments may be used, and other modifications may be made without departing from the spirit or scope of the technology disclosed herein. A person skilled in the art may arrange, construct, combine, and design in variously different configurations the components of the present disclosure, i.e., the components generally described herein and illustrated in the drawings, all of which are clearly It will be readily understood that the invention is intended to form a part of the present disclosure. In the drawings, in order to clearly express various layers (or films), regions, and shapes, the width, length, thickness, or shape of components may be exaggerated and expressed.

일 구성요소가 다른 구성요소에 "마련"이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소에 직접 마련되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다.When one component is referred to as “provided” in another component, a case in which the one component is directly provided to the other component, as well as a case in which an additional component is interposed therebetween may be included.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.Since the description of the disclosed technology is merely an embodiment for structural or functional description, the scope of the rights of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, since the embodiments can be modified in various ways and have various forms, the scope of rights of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as “comprises” or “have” refer to the embodied feature, number, step, action, component, part or these It is to be understood that this is intended to indicate the existence of a combination, and does not preclude the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as being consistent with the meaning in the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템의 일례를 보여주는 도면이다. 도 2는 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템의 블록도이다. 도 3은 본 명세서에서 개시하는 카메라의 화각 및 라이다의 방위각과 카메라의 화각에 대응되는 라이다의 방위각을 보여주는 도면이다. 도 3의 (a) 및 (b)는 각각 카메라의 화각 및 라이다의 방위각과 카메라의 화각에 대응되는 라이다의 방위각을 보여주는 도면이다. 도 4는 본 명세서에서 개시하는 분석대상후보군에서 분석대상객체를 선정하는 과정을 보여주는 도면이다. 도 4의 (a)는 분석대상후보군을 보여주는 도면이며, (b)는 라이다의 선스캔 라인과 교차하는 분석대상후보군영역을 분석대상객체영역으로 정의하는 과정을 보여주는 도면이다. 도 5는 본 명세서에서 개시하는 분석대상객체 중 동일한 객체를 선정하는 과정을 보여주는 도면이다. 도 5의 (a)는 기준조건에 부합하는 객체를 감지하여 트래킹을 수행하는 모습을 보여주는 도면이며, (b)는 기준조건에 부합하지 않는 객체를 감지하여 트래킹을 멈추는 모습을 보여주는 도면이다.1 is a diagram showing an example of an object detection tracking system using a camera and lidar disclosed herein. 2 is a block diagram of an object detection tracking system using a camera and lidar disclosed herein. 3 is a view showing an azimuth of a camera and an azimuth of the lidar and an azimuth of the lidar corresponding to the angle of view of the camera disclosed in the present specification. 3A and 3B are diagrams showing the angle of view of the camera, the azimuth of the lidar, and the azimuth of the lidar corresponding to the angle of view of the camera, respectively. 4 is a diagram illustrating a process of selecting an analysis target object from the analysis target candidate group disclosed in the present specification. Fig. 4 (a) is a diagram showing the analysis target group, and (b) is a diagram showing the process of defining the analysis target group region that intersects the line scan line of the lidar as the analysis target object region. 5 is a diagram illustrating a process of selecting the same object from among the analysis target objects disclosed in the present specification. Figure 5 (a) is a view showing a state in which tracking is performed by detecting an object that meets the reference condition, (b) is a diagram showing a state in which tracking is stopped by detecting an object that does not meet the reference condition.

이하 도면을 참조하여 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템에 대하여 설명하기로 한다.Hereinafter, an object detection tracking system using a camera and lidar disclosed in the present specification will be described with reference to the drawings.

도면을 참조하면, 카메라와 라이다를 활용한 객체 감지 트래킹 시스템(100)은 카메라(110), 라이다(120) 및 분석대상객체추적부(130)를 포함한다. Referring to the drawings, the object detection tracking system 100 using a camera and lidar includes a camera 110 , a lidar 120 , and an analysis target object tracking unit 130 .

카메라(110)는 영상데이터를 획득한다. 즉, 객체 감지 및 트래킹 대상이 존재하는 영역의 영상데이터를 획득한다. 카메라(110)는 도 3의 (a)에 예로서 도시한 바와 같이 미리 정해진 화각(110a) 범위 내에 존재하는 영역의 영상데이터를 획득할 수 있다.The camera 110 acquires image data. That is, the image data of the area where the object detection and tracking target exists is acquired. The camera 110 may acquire image data of an area existing within a range of a predetermined angle of view 110a as illustrated in FIG. 3A as an example.

라이다(120)는 상기 영상데이터의 대상체-이하 촬영대상이라 함-의 적어도 일부를 스캔하여 라이다데이터를 획득한다. 구체적으로 설명하면, 라이다(120)는 반사파를 통하여 주위의 포인트 클라우드 정보를 획득할 수 있다. 라이다(120)는 광을 송신하고 반사파를 수신함으로써 거리값 정보를 포함하는 주위의 포인트 클라우드 정보를 획득할 수 있다.The lidar 120 acquires lidar data by scanning at least a portion of an object of the image data - hereinafter referred to as a photographing object. Specifically, the lidar 120 may acquire surrounding point cloud information through a reflected wave. The lidar 120 may acquire surrounding point cloud information including distance value information by transmitting light and receiving a reflected wave.

분석대상객체추적부(130)는 상기 영상데이터 및 상기 라이다데이터로부터 분석대상객체(130a)를 검출하고, 분석대상객체(130a)의 이동을 추적한다.The analysis target object tracking unit 130 detects the analysis target object 130a from the image data and the lidar data, and tracks the movement of the analysis target object 130a.

분석대상객체추적부(130)는 상기 영상데이터로부터 분석대상후보군(132b)을 검출하고 분석대상후보군(132b)을 둘러싸는 분석대상후보군영역(132a)을 정의하는 분석대상후보군영역정의부(132), 분석대상후보군영역(132a) 중에서 라이다(120)의 스캔 영역과 교차하는 것을 분석대상객체영역(134a)으로 정의하는 분석대상객체영역정의부(134), 분석대상객체영역(134a)의 이동을 추적하는 분석대상객체영역추적부(136) 및 상기 라이다데이터 중 분석대상객체영역(134a)에 대응되는 라이다데이터-이하 분석대상라이다데이터라 함-를 검출하는 분석대상라이다데이터검출부(138)를 포함할 수 있다.The analysis target object tracking unit 130 detects the analysis target candidate group 132b from the image data and defines the analysis target candidate group region 132a surrounding the analysis target candidate group 132b. The analysis target candidate group region definition unit 132 , an analysis target area defining unit 134 that defines an area intersecting with the scan area of the lidar 120 among the analysis target candidate group areas 132a as the analysis target area 134a, movement of the analysis target object area 134a An analysis target object area tracking unit 136 that tracks , and an analysis target lidar data detection unit that detects lidar data corresponding to the analysis target object region 134a among the lidar data (hereinafter referred to as analysis target lidar data) (138).

본 명세서에서 개시하는 기술은 분석대상객체(130a)를 직접 감지하여 트래킹하지 아니하고 분석대상객체(130a)를 포함하여 둘러싸는 영역인 분석대상객체영역(134a)을 설정하여 분석대상객체(130a)를 감지하고, 분석대상객체영역(134a)에 대응되는 라이다데이터로부터 분석대상객체(130a)를 트래킹함으로써 적은 데이터만으로도 분석대상객체를 낮은 오차율로 감지 및 트래킹할 수 있는 효과를 제공해 줄 수 있다.The technology disclosed in this specification does not directly detect and track the analysis target object 130a, but sets the analysis target area 134a, which is an area surrounding the analysis target object 130a, to detect the analysis target object 130a. By detecting and tracking the analysis target 130a from the lidar data corresponding to the analysis target area 134a, it is possible to provide the effect of detecting and tracking the analysis target object with a low error rate with only a small amount of data.

영상분석을 통하여 분석대상후보군(132b)에 대한 분석대상후보군영역(132a) 및 분석대상객체(130a)에 대한 분석대상객체영역(134a)을 정의하는 방식은 YOLO(You Only Look Once) 등 통상의 영상분석을 활용할 수 있다.The method of defining the analysis target candidate group region 132a for the analysis target candidate group 132b and the analysis target object region 134a for the analysis target object 130a through image analysis is a conventional method such as You Only Look Once (YOLO). Video analysis can be used.

한편, 라이다(120)는 2D 라이다를 포함할 수 있다. 상기 2D 라이다는 상기 촬영대상의 적어도 일부를 선 형태로 스캔-이하 선스캔이라 함-하여 상기 라이다데이터를 획득할 수 있다.Meanwhile, the lidar 120 may include a 2D lidar. The 2D lidar may acquire the lidar data by scanning at least a portion of the object to be photographed in the form of a line - hereinafter referred to as a line scan.

카메라(110)는 상기 영상데이터를 적어도 2회 이상 획득할 수 있다. 선스캔의 라인(122)은 분석대상객체영역(134a)과 교차될 수 있다. 분석대상객체영역(134a)에는 분석기준위치(134b)가 마련될 수 있다. 분석대상객체영역추적부(136)는 획득되는 상기 영상데이터 각각에 대하여 선스캔의 라인(122)을 기준좌표축(도면에는 예로서 X축이 표현되어 있음)으로 하여 분석기준위치(134b)에서의 상기 기준좌표축인 X축에 대한 좌표값인 분석기준좌표값을 추출할 수 있다. 분석대상객체영역추적부(136)는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값을 비교하여 분석대상객체(130a)의 이동을 추적할 수 있다. 이 경우, 분석기준위치(134b)는 미리 정해진 방식에 따라 분석대상후보군영역(132a) 내의 소정의 위치로 정하거나, 미리 정해진 방식에 따라 분석대상객체영역(134a) 내의 소정의 위치로 정할 수 있다.The camera 110 may acquire the image data at least twice or more. The line 122 of the line scan may intersect the analysis target area 134a. An analysis reference position 134b may be provided in the analysis target object area 134a. The analysis target area tracking unit 136 sets the line 122 of the line scan as a reference coordinate axis (X-axis is expressed as an example in the drawing) for each of the obtained image data at the analysis reference position 134b. An analysis reference coordinate value that is a coordinate value for the X-axis, which is the reference coordinate axis, may be extracted. The analysis target area tracking unit 136 may track the movement of the analysis target object 130a by comparing the analysis reference coordinate values extracted from each of the obtained image data. In this case, the analysis reference position 134b may be determined as a predetermined position within the analysis target candidate group region 132a according to a predetermined method, or may be determined as a predetermined position within the analysis target object region 134a according to a predetermined method. .

도면에는 분석대상후보군영역(132a)의 중심점을 분석기준위치(134b)로 정한 경우가 예로서 표현되어 있으나, 분석기준위치(134b)는 다르게 설정될 수 있음은 자명하다 할 것이다.In the drawings, the case where the center point of the analysis target group region 132a is determined as the analysis reference position 134b is shown as an example, but it will be apparent that the analysis reference position 134b may be set differently.

또한, 도면에는 선스캔의 라인(122)으로 도면 기준으로 X축 방향 즉, 수평방향으로 마련된 선스캔의 라인(122)를 예로 들고 있으나, 선스캔의 라인(122)은 도면 기준으로 수직, 대각선 등 다양한 방향으로 마련될 수 있다. 이 경우, 회전변환 등 변환을 통하여 분석기준위치(134b)로부터 선스캔의 라인(122)를 기준좌표축으로 한 분석기준위치(134b)의 상기 분석기준좌표값을 추출할 수 있다.In addition, although the line scan line 122 provided in the X-axis direction, that is, horizontally, is shown as the line scan line 122 in the drawing, the line scan line 122 is vertical and diagonal based on the drawing. etc. may be provided in various directions. In this case, the analysis reference coordinate value of the analysis reference position 134b using the line 122 of the line scan as the reference coordinate axis may be extracted from the analysis reference position 134b through transformation such as rotational transformation.

상기 2D 라이다는 회전식 2D 라이다를 포함할 수 있다. 상기 회전식 2D 라이다는 라이다 센서(미도시) 및 상기 라이다 센서를 회전시키는 회전부(미도시)를 포함할 수 있다. 상기 라이다 센서는 레이저 펄스를 방사하고 주위의 물체로부터 반사되는 반사파를 수신하여 물체까지의 거리를 측정할 수 있다. 상기 라이다 센서는 상기 회전부에 의한 회전과정에서 포인트 클라우드 정보로서 상기 라이다데이터를 획득할 수 있다. 이를 통하여 상기 2D 라이다는 주위의 정보를 임의의 평면에 대하여 상기 회전부의 회전축을 중심으로 또는 상기 라이다 센서를 기준으로 거리값 정보를 포함하는 포인트 클라우드 정보의 형태로 획득할 수 있다. 상기 임의의 평면은 예로서 지면에 평행한 평면일 수 있으나 이에 한정되는 것은 아니다. 이때, 상기 2D 라이다가 얻는 상기 라이다데이터는 도 3의 (b)에 도시한 바와 같이 방위각(120a)의 형태로 얻어질 수 있다. 방위각(120a)의 형태로 얻어지는 상기 라이다데이터 중 상기 촬영대상에서 얻어지는 라이다데이터는 방위각(120a) 중 카메라(110)의 화각(110a)에 대응되는 라이다 방위각(120b)에 매핑될 수 있다. The 2D lidar may include a rotating 2D lidar. The rotary 2D lidar may include a lidar sensor (not shown) and a rotating unit (not shown) for rotating the lidar sensor. The lidar sensor may measure the distance to the object by emitting a laser pulse and receiving a reflected wave reflected from a surrounding object. The lidar sensor may acquire the lidar data as point cloud information in a rotation process by the rotating unit. Through this, the 2D lidar can acquire surrounding information in the form of point cloud information including distance value information with respect to an arbitrary plane, with respect to the rotation axis of the rotating part or based on the lidar sensor. The arbitrary plane may be, for example, a plane parallel to the ground, but is not limited thereto. In this case, the lidar data obtained by the 2D lidar may be obtained in the form of an azimuth 120a as shown in (b) of FIG. 3 . Among the lidar data obtained in the form of the azimuth 120a, the lidar data obtained from the photographing target may be mapped to the lidar azimuth 120b corresponding to the angle of view 110a of the camera 110 among the azimuth angles 120a. .

선스캔의 라인(122)에 대한 카메라(110)의 화각(110a) 및 선스캔의 라인(122)에 대한 상기 회전식 2D 라이다의 회전평면의 방위각(120b)은 상호 매핑될 수 있다.The angle of view 110a of the camera 110 with respect to the line 122 of the line scan and the azimuth angle 120b of the rotation plane of the rotary 2D lidar with respect to the line 122 of the line scan may be mapped to each other.

분석대상객체영역추적부(136)는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 카메라(110)의 화각(110a)을 비교하여 분석대상객체(130a)의 이동을 추적할 수 있다.The analysis target area tracking unit 136 compares the angle of view 110a of the camera 110 corresponding to the analysis reference coordinate values extracted from each of the obtained image data to track the movement of the analysis target object 130a. can

한편, 분석대상객체영역추적부(136)는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 카메라(110)의 화각(110a)에 대응되는 상기 회전식 2D 라이다의 상기 회전평면의 방위각(120b)을 기준조건과 비교하여 상기 기준조건에 만족되는 경우 분석대상객체(130a)의 상기 이동을 추적할 수 있다. 즉, 분석대상객체영역추적부(136)는 카메라(110)를 통하여 적어도 2회 이상 획득한 영상데이터 중 서로 인접한 영상데이터에서 추출되는 분석대상객체영역(134a)의 분석기준좌표값의 차이로부터 파악되는 화각(110a)에 대응되는 방위각(120b)의 차이가 기준조건을 넘으면 서로 인접한 상기 영상데이터에서 추출되는 분석대상객체영역(134a)의 상기 분석기준좌표값은 서로 다른 분석대상객체영역(134a)으로부터 기인한다고 판단할 수 있다. 이를 통하여 분석대상객체영역추적부(136)는 낮은 오차 범위 내에서 동일한 분석대상객체(130a)에 대한 트래킹을 진행할 수 있다.On the other hand, the analysis target object area tracking unit 136 is the rotation plane of the rotary 2D lidar corresponding to the angle of view 110a of the camera 110 corresponding to the analysis reference coordinate values extracted from each of the obtained image data. The movement of the analysis target object 130a may be tracked when the reference condition is satisfied by comparing the azimuth angle 120b of the reference condition. That is, the analysis target area tracking unit 136 identifies from the difference in the analysis reference coordinate values of the analysis target object area 134a extracted from adjacent image data among the image data acquired at least twice through the camera 110 . When the difference between the azimuth angles 120b corresponding to the angle of view 110a exceeds the reference condition, the analysis reference coordinate values of the analysis target area 134a extracted from the image data adjacent to each other are different from each other in the analysis target area 134a. It can be judged that it is derived from Through this, the analysis target area tracking unit 136 may track the same analysis target object 130a within a low error range.

본 명세서에서 개시하는 기술은 분석대상객체영역추적부(136)를 통해 서로 인접한 영상데이터에서 추출되는 분석대상객체영역(134a)의 분석기준좌표값의 차이로부터 파악되는 화각(110a)으로부터 즉, 영상데이터분석을 통해 분석대상객체영역(134a)의 이동방향을 파악할 수 있고, 분석대상라이다데이터검출부(138)가 제공하는 분석대상객체영역(134a)에 대응되는 라이다데이터로부터 이동 중에 있는 분석대상객체영역(134a)까지의 거리정보를 얻을 수 있다.The technology disclosed in this specification is from the angle of view 110a determined from the difference in the analysis reference coordinate values of the analysis target area 134a extracted from image data adjacent to each other through the analysis target area tracking unit 136, that is, the image. The moving direction of the analysis target area 134a can be identified through data analysis, and the analysis target that is moving from the lidar data corresponding to the analysis target object area 134a provided by the analysis target lidar data detection unit 138 Distance information to the object area 134a can be obtained.

이를 통하여 본 명세서에서 개시하는 기술은 라이다(120) 스캔 영역 상을 이동하는 분석대상객체(130a)의 이동방향과 거리값에 대한 정보를 제공해 줄 수 있는 효과를 가진다.Through this, the technology disclosed herein has the effect of providing information on the moving direction and distance value of the analysis target object 130a moving on the lidar 120 scan area.

이하 도 3 내지 도 5를 예로서 활용하여 본 명세서에서 개시하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템(100)의 구체적인 동작을 설명하기로 한다.Hereinafter, a detailed operation of the object detection tracking system 100 using the camera and lidar disclosed in this specification will be described using FIGS. 3 to 5 as an example.

카메라(110)를 활용하여 획득하는 영상데이터에는 고정된 물체 또는 이동 중인 물체가 존재할 수 있다. 영상데이터에 존재하는 고정된 물체 및 이동 중인 물체는 모두 카메라(110)의 촬영대상이다.A fixed object or a moving object may exist in the image data acquired by using the camera 110 . Both a fixed object and a moving object existing in the image data are subject to photographing by the camera 110 .

카메라(110)의 경우 정해진 화각(110a)이 존재하며, 영상데이터는 카메라(110)의 화각(110a) 내에 들어오는 촬영대상을 촬영하여 영상데이터를 제공해 줄 수 있다.In the case of the camera 110 , there is a predetermined angle of view 110a , and the image data may provide image data by photographing an object to be captured within the angle of view 110a of the camera 110 .

적은 연산량으로 상기 영상데이터 상의 물체를 감지하고 이의 이동을 추적하기 위해서는 YOLO 등의 공지된 영상처리기법을 통하여 상기 영상데이터 상에 존재하는 물체를 미리 정해진 형태 즉, 영역으로 변환하는 것이 효과적이다.In order to detect an object on the image data with a small amount of computation and track its movement, it is effective to convert an object existing on the image data into a predetermined shape, that is, a region through a known image processing technique such as YOLO.

본 기술에서도 물체를 직접 감지하고 추적하는 것이 아니라 영역으로 변환된 물체를 감지하고 추적하는 방법을 취하고 있다.In this technology, instead of directly detecting and tracking an object, a method of detecting and tracking an object converted into an area is adopted.

본 기술에서는 물체의 감지 및 추적을 효과적으로 진행하기 위하여 카메라(110)와 함께 라이다(120)를 활용하는 기술을 제안한다. 또한, 본 기술에서는 라이다(120)의 스캔 영역 상을 이동하는 물체를 감지하고 추적하는 기술을 제안한다. 이를 위해 본 기술에서는 도 3에 예로서 도시한 바와 같이, 카메라(110)의 화각(110a)에 대응되는 라이다(120)의 방위각(120b)를 카메라(110a)의 화각(110a)과 매핑한다. 이하 설명의 편의상 라이다(120)로서 2D 회전식 라이다를 예로 들어 설명하기로 한다. 또한, 이하 설명의 편의상 라이다(120)의 스캔 영역으로서 선스캔 라인(122)을 예로 들어 설명하기로 한다.The present technology proposes a technology that utilizes the lidar 120 together with the camera 110 in order to effectively detect and track an object. In addition, the present technology proposes a technology for detecting and tracking an object moving on the scan area of the lidar 120 . To this end, in this technology, as shown as an example in FIG. 3 , the azimuth 120b of the lidar 120 corresponding to the angle of view 110a of the camera 110 is mapped with the angle of view 110a of the camera 110a. . Hereinafter, for convenience of description, a 2D rotary lidar will be described as the lidar 120 as an example. In addition, for convenience of description, the line scan line 122 will be exemplified as the scan area of the lidar 120 .

도 4를 참조하면, 도 4의 (a)에는 카메라(110)가 획득한 영상데이터 상에 나타나는 물체 즉, 본 기술을 통하여 감지 및 트래킹을 수행할 분석대상후보군(132b)이 표현되어 있다. 이들 분석대상후보군(132b) 중 본 기술을 통하여 감지 및 트래킹을 수행할 분석대상객체(130a)는 분석대상후보군(132b) 중 라이다(120)의 선스캔 라인(122)와 교차하는 것을 그 대상으로 한다.Referring to FIG. 4, in FIG. 4(a), an object appearing on the image data acquired by the camera 110, that is, an analysis target candidate group 132b to be detected and tracked through the present technology is represented. Among these analysis target candidates group 132b, the analysis target object 130a to be detected and tracked through the present technology intersects with the line scan line 122 of the lidar 120 among the analysis target candidate group 132b. do it with

분석대상후보군(132b) 및 분석대상객체(130a)는 각각 분석대상후보군영역(132a) 및 분석대상객체영역(134a)으로 변환되며, 본 기술에서는 분석대상객체영역(134a)를 활용하여 분석대상객체(130a)를 감지 및 추적한다.The analysis target group 132b and the analysis target object 130a are converted into the analysis target group region 132a and the analysis target object region 134a, respectively. Detect and track 130a.

분석대상객체영역(134a)에는 분석기준위치(134b)가 마련되며, 분석기준위치(134b)에는 선스캔 라인(122)를 기준좌표축으로 한 분석기준좌표값이 할당된다. 도 4의 (b)에는 선스캔 라인(122)을 X축으로 하고, 분석대상객체영역(134a)의 중앙을 분석기준위치(134b)로 한 경우가 예시되어 있다. 또한, 도 4의 (b)에는 분석대상객체영역(134a)의 중앙에서 분석대상객체영역(134a)의 가장자리까지의 거리인 Xth, Xth에 대응되는 라이다(120)의 방위각 차이인 θth를 분석을 위한 기준조건으로 한 경우가 예로서 표현되어 있다. 상기의 예시는 이해를 위한 예시로서 상기 기준조건은 다르게 정해질 수 있음은 자명하다 할 것이다.An analysis reference position 134b is provided in the analysis target object region 134a, and an analysis reference coordinate value using the line scan line 122 as a reference coordinate axis is allocated to the analysis reference position 134b. In FIG. 4B , the case where the line scan line 122 is the X-axis and the center of the analysis target area 134a is the analysis reference position 134b is exemplified. In addition, in FIG. 4(b), Xth, which is the distance from the center of the analysis target area 134a to the edge of the analysis target area 134a, and θth, which is the azimuth difference of the lidar 120 corresponding to Xth, are analyzed A case in which it is set as a standard condition for is expressed as an example. The above example is an example for understanding, and it will be apparent that the reference condition may be determined differently.

도 5를 참조하면, 도 5의 (a)에는 카메라(110)를 통하여 2회 획득된 영상데이터가 표현되어 있다. 점선으로 표시된 부분은 이전 영상데이터이며, 실선으로 표시된 현재 영상데이터이다.Referring to FIG. 5 , in FIG. 5 ( a ), image data acquired twice through the camera 110 is represented. The part indicated by the dotted line is the previous image data, and the part indicated by the solid line is the current image data.

도면의 좌측에 표현된 분석대상객체영역(134a, A)은 선스캔 라인(122) 상을 이동하는 분석대상객체영역(134a)의 경우에 해당한다. 이 경우, 이전 영상데이터와 현재 영상데이터를 비교하면, 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이인 △X1은 Xth 보다 작은 값을 가진다. 또한, 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이에 대응되는 방위각 차이인 △θ1은 θth 보다 작은 값을 가진다.The analysis target object areas 134a and A expressed on the left side of the drawing correspond to the case of the analysis target object area 134a moving on the line scan line 122 . In this case, when the previous image data and the current image data are compared, ΔX1, which is the difference between the analysis reference coordinate values based on the line scan line 122, has a value smaller than Xth. Also, Δθ1, which is an azimuth difference corresponding to a difference between analysis reference coordinate values based on the line scan line 122, has a value smaller than θth.

즉, 분석대상객체영역(134a, A)의 이전 영상데이터와 현재 영상데이터에서 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이인 △X1이 Xth 보다 작거나, 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이에 대응되는 방위각 차이인 △θ1가 θth 보다 작은 값을 가질 경우 분석대상객체영역(134a, A)는 선스캔 라인(122)을 따라 이동 중임을 알 수 있고, 이를 통하여 분석대상객체(130a)가 선스캔 라인(122)을 따라 이동 중임을 알 수 있다. 이때, 이전 영상데이터와 현재 영상데이터의 △X1이 음의 값을 가지느냐, 양의 값을 가지느냐에 따라 분석대상객체(130a)의 이동방향을 알 수 있고, 선스캔 라인(122)을 기준으로 한 분석기준좌표값에 대응되는 라이다(120)의 방위각(120b)로부터 분석대상객체영역(134a)까지의 거리정보도 얻을 수 있다. 거리정보를 얻기 위해서는 영상데이터와 방위각 데이터는 서로 동기화될 필요가 있다.That is, ΔX1, which is the difference between the analysis reference coordinate values based on the line scan line 122 in the previous image data and the current image data of the analysis target object regions 134a and A, is less than Xth, or the line scan line 122 ), when the azimuth difference Δθ1 corresponding to the difference in the analysis reference coordinate values based on the reference has a value smaller than θth, it can be seen that the analysis target area 134a, A is moving along the line scan line 122. Thereby, it can be seen that the analysis target object 130a is moving along the line scan line 122 . At this time, the movement direction of the analysis target object 130a can be known depending on whether ΔX1 of the previous image data and the current image data has a negative value or a positive value. Distance information from the azimuth angle 120b of the lidar 120 corresponding to the analysis reference coordinate value to the analysis target area 134a can also be obtained. In order to obtain distance information, image data and azimuth data need to be synchronized with each other.

한편, 도면의 가운데에 표현된 분석대상객체영역(134a, B)은 선스캔 라인(122) 상을 이동하는 분석대상객체영역(134a)의 경우에 해당한다. 이 경우, 이전 영상데이터와 현재 영상데이터를 비교하면, 도면의 가운데에 표현된 분석대상객체영역(134a, B)은 더 이상 이동하지 않는다. 대신에 이전 영상데이터에서는 분석대상에 해당하지 아니하던 대상이 현재 영상데이터에서는 분석대상객체영역(134a, C)에 해당한다. 별도의 판단기준을 마련하지 않으면 현재 영상데이터에서의 분석대상객체영역(134a, C)는 이전 영상데이터에서의 분석대상객체영역(134a, B)가 이동한 것으로 잘못 판단하는 경우가 발생할 수 있다.Meanwhile, the analysis target object areas 134a and B expressed in the center of the drawing correspond to the case of the analysis target object area 134a moving on the line scan line 122 . In this case, when the previous image data and the current image data are compared, the analysis target object regions 134a and B expressed in the center of the drawing do not move any more. Instead, a target that did not correspond to the analysis target in the previous image data corresponds to the analysis target object regions 134a and C in the current image data. If a separate determination criterion is not provided, the analysis target area 134a, C in the current image data may be incorrectly determined that the analysis target object area 134a, B in the previous image data is moved.

이를 위해 본 기술에서는 Xth와 θth를 기준조건으로 제안한다. 분석대상객체영역(134a, B)과 분석대상객체영역(134a, C)의 경우에 이전 영상데이터와 현재 영상데이터에서 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이인 △X2는 Xth 보다 크며, 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이에 대응되는 방위각 차이인 △θ2 역시 θth 보다 큰 값을 가진다. 즉, 분석대상객체(130a)의 이동을 판단하기 위하여 비교되는 영상데이터들에서 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이가 기준조건인 Xth 보다 크거나, 선스캔 라인(122)을 기준으로 한 분석기준좌표값의 차이에 대응되는 방위각 차이인 △θ2가 기준조건인 θth 보다 큰 경우에는 이전의 분석대상객체영역(134a, B)이 선스캔 라인(122)을 벗어났거나 더 이상 이동이 없는 경우로 판단할 수 있다.To this end, the present technology proposes Xth and θth as reference conditions. In the case of the analysis target area 134a, B and the analysis target area 134a, C, ΔX2, which is the difference between the analysis reference coordinate values based on the line scan line 122 in the previous image data and the current image data, is Δθ2, which is greater than Xth and is an azimuth difference corresponding to a difference in analysis reference coordinate values based on the line scan line 122, also has a value greater than θth. That is, in the image data to be compared in order to determine the movement of the analysis target object 130a, the difference between the analysis reference coordinate values based on the line scan line 122 is greater than the reference condition Xth, or the line scan line 122 ), when the azimuth difference Δθ2 corresponding to the difference in the analysis reference coordinate values is greater than the reference condition θth, the previous analysis target area 134a, B deviates from the line scan line 122 or It can be judged that there is no further movement.

정리하면, 본 명세서에서 개시하는 기술은 카메라(110)로 얻은 영상데이터를 활용하여 분석대상후보군영역(132a)을 정의한 후 이들 중 라이다(120)의 스캔 영역과 교차하는 것을 분석대상객체영역(134a)으로 정의하여 이를 통하여 분석대상객체(130a)를 감지하고, 이를 통하여 분석대상객체(130a)의 이동방향을 트래킹함으로써 적은 데이터만으로도 분석대상객체(130a)를 감지 및 트래킹할 수 있는 효과를 제공해 줄 수 있다.In summary, the technique disclosed in this specification defines the analysis target group region 132a by using the image data obtained by the camera 110 and then intersects the scan region of the lidar 120 among them the analysis target object region ( 134a), the analysis target object 130a is detected through this, and the movement direction of the analysis target object 130a is tracked through this, thereby providing the effect of detecting and tracking the analysis target object 130a with only a small amount of data. can give

또한, 본 명세서에서 개시하는 기술은 라이다 스캔 영역 상을 이동하는 분석대상객체(130a)의 이동방향과 거리값에 대한 정보를 제공하여 분석대상객체(130a)를 감지 및 트래킹할 수 있는 효과를 제공해 줄 수 있다.In addition, the technology disclosed in the present specification provides information on the moving direction and distance value of the analysis target object 130a moving on the lidar scan area to detect and track the analysis target object 130a. can provide

상기로부터, 본 개시의 다양한 실시 예들이 예시를 위해 기술되었으며, 아울러 본 개시의 범주 및 사상으로부터 벗어나지 않고 가능한 다양한 변형 예들이 존재함을 이해할 수 있을 것이다. 그리고 개시되고 있는 상기 다양한 실시 예들은 본 개시된 사상을 한정하기 위한 것이 아니며, 진정한 사상 및 범주는 하기의 청구항으로부터 제시될 것이다.From the above, various embodiments of the present disclosure have been described for illustration, and it will be understood that there are various possible modifications without departing from the scope and spirit of the present disclosure. And the disclosed various embodiments are not intended to limit the disclosed spirit, and the true spirit and scope will be presented from the following claims.

100: 카메라와 라이다를 활용한 객체 감지 트래킹 시스템
110: 카메라
110a: 화각
120: 라이다
120a: 방위각
120b: 화각에 대응되는 라이다 방위각
122: 선스캔 라인
130: 분석대상객체추적부
130a: 분석대상객체
132: 분석대상후보군영역정의부
132a: 분석대상후보군영역
132b: 분석대상후보군
134: 분석대상객체영역정의부
134a: 분석대상객체영역
134b: 분석기준위치
136: 분석대상객체영역추적부
138: 분석대상라이다데이터검출부100: Object detection tracking system using camera and lidar
110: camera
110a: angle of view
120: lidar
120a: azimuth
120b: Lidar azimuth corresponding to the angle of view
122: line scan line
130: analysis target object tracking unit
130a: object to be analyzed
132: Analysis target group area definition unit
132a: analysis target group area
132b: analysis target group
134: Analysis target object area definition unit
134a: object area to be analyzed
134b: analysis reference position
136: analysis target object area tracking unit
138: analysis target lidar data detection unit

Claims (6)

영상데이터를 획득하는 카메라;
상기 영상데이터의 대상체-이하 촬영대상이라 함-의 적어도 일부를 스캔하여 라이다데이터를 획득하는 라이다; 및
상기 영상데이터 및 상기 라이다데이터로부터 분석대상객체를 검출하고, 상기 분석대상객체의 이동을 추적하는 분석대상객체추적부를 포함하며,
상기 분석대상객체추적부는
상기 영상데이터로부터 분석대상후보군을 검출하고, 상기 분석대상후보군을 둘러싸는 분석대상후보군영역을 정의하는 분석대상후보군영역정의부;
상기 분석대상후보군영역 중에서 상기 라이다의 스캔 영역과 교차하는 것을 분석대상객체영역으로 정의하는 분석대상객체영역정의부;
상기 분석대상객체영역의 이동을 추적하는 분석대상객체영역추적부; 및
상기 라이다데이터 중 상기 분석대상객체영역에 대응되는 라이다데이터-이하 분석대상라이다데이터라 함-를 검출하는 분석대상라이다데이터검출부를 포함하며,
상기 라이다는 2D 라이다를 포함하며,
상기 2D 라이다는 상기 촬영대상의 적어도 일부를 선 형태로 스캔-이하 선스캔이라 함-하여 상기 라이다데이터를 획득하며,
상기 카메라는 상기 영상데이터를 적어도 2회 이상 획득하며,
상기 선스캔의 라인은 상기 분석대상객체영역과 교차되며,
상기 분석대상객체영역에는 분석기준위치가 마련되며,
상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에 대하여 상기 선스캔의 상기 라인을 기준좌표축으로 하여 상기 분석기준위치에서의 상기 기준좌표축에 대한 좌표값인 분석기준좌표값을 추출하며,
상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값을 비교하여 상기 분석대상객체의 상기 이동을 추적하되,
상기 분석기준위치는 미리 정해진 방식에 따라 상기 분석대상후보군영역 내의 소정의 위치로 정하거나, 미리 정해진 방식에 따라 상기 분석대상객체영역 내의 소정의 위치로 정하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템.a camera for acquiring image data;
a lidar which scans at least a part of the object of the image data - hereinafter referred to as a photographing object - to obtain lidar data; and
and an analysis target object tracking unit that detects an analysis target object from the image data and the lidar data, and tracks the movement of the analysis target object,
The analysis target object tracking unit
an analysis target candidate group region definition unit for detecting an analysis target candidate group from the image data and defining an analysis target candidate group region surrounding the analysis target candidate group;
an analysis target object region defining unit defining an analysis target object region that intersects the scan region of the lidar among the analysis target candidate group regions;
an analysis target area tracking unit that tracks the movement of the analysis target area; and
and an analysis target lidar data detection unit that detects lidar data corresponding to the analysis target area from among the lidar data - hereinafter referred to as analysis target lidar data;
The lidar includes a 2D lidar,
The 2D lidar acquires the lidar data by scanning at least a portion of the object to be photographed in a line form - hereinafter referred to as line scan;
The camera acquires the image data at least twice,
The line of the line scan intersects the analysis target area,
An analysis reference position is provided in the analysis target object area,
The analysis target object region tracking unit extracts an analysis reference coordinate value that is a coordinate value with respect to the reference coordinate axis at the analysis reference position by using the line of the line scan as a reference coordinate axis for each of the obtained image data,
The analysis target area tracking unit tracks the movement of the analysis target object by comparing the analysis reference coordinate values extracted from each of the obtained image data,
The analysis reference position is determined as a predetermined position within the analysis target candidate group region according to a predetermined method, or an object detection tracking system using a camera and lidar that determines a predetermined position within the analysis target object region according to a predetermined method . 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 2D 라이다는 회전식 2D 라이다를 포함하며,
상기 선스캔의 상기 라인에 대한 상기 카메라의 화각 및 상기 선스캔의 상기 라인에 대한 상기 회전식 2D 라이다의 회전평면의 방위각은 상호 매핑되며,
상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 상기 카메라의 상기 화각을 비교하여 상기 분석대상객체의 상기 이동을 추적하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템.The method of claim 1,
The 2D lidar includes a rotary 2D lidar,
The angle of view of the camera with respect to the line of the line scan and the azimuth angle of the rotation plane of the rotary 2D lidar with respect to the line of the line scan are mutually mapped,
The analysis target area tracking unit compares the angle of view of the camera corresponding to the analysis reference coordinate value extracted from each of the obtained image data to track the movement of the analysis target object using a camera and lidar detection tracking system. 제5항에 있어서,
상기 분석대상객체영역추적부는 획득되는 상기 영상데이터 각각에서 추출되는 상기 분석기준좌표값에 대응되는 상기 카메라의 상기 화각에 대응되는 상기 회전식 2D 라이다의 상기 회전평면의 방위각을 기준조건과 비교하여 상기 기준조건에 만족되는 경우 상기 분석대상객체의 상기 이동을 추적하는 카메라와 라이다를 활용한 객체 감지 트래킹 시스템.The method of claim 5,
The analysis target area tracking unit compares the azimuth angle of the rotation plane of the rotary 2D lidar corresponding to the angle of view of the camera corresponding to the analysis reference coordinate value extracted from each of the obtained image data with a reference condition, and the An object detection tracking system using a camera and lidar that tracks the movement of the analysis target object when a reference condition is satisfied.
KR1020200125717A 2020-09-28 2020-09-28 object detection tracking system using camera and lidar KR102259151B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200125717A KR102259151B1 (en) 2020-09-28 2020-09-28 object detection tracking system using camera and lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200125717A KR102259151B1 (en) 2020-09-28 2020-09-28 object detection tracking system using camera and lidar

Publications (1)

Publication Number Publication Date
KR102259151B1 true KR102259151B1 (en) 2021-06-01

Family

ID=76375965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200125717A KR102259151B1 (en) 2020-09-28 2020-09-28 object detection tracking system using camera and lidar

Country Status (1)

Country Link
KR (1) KR102259151B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015221A (en) 2021-07-22 2023-01-31 주식회사 영국전자 Object tracking device and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099431A (en) * 2010-03-02 2011-09-08 한국과학기술원 System and method for large-scale 3d reconstruction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099431A (en) * 2010-03-02 2011-09-08 한국과학기술원 System and method for large-scale 3d reconstruction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015221A (en) 2021-07-22 2023-01-31 주식회사 영국전자 Object tracking device and method thereof

Similar Documents

Publication Publication Date Title
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
TWI764322B (en) Laser scanning system atteched on moving object, laser scanning method for laser scanner atteched on moving object, and laser scanning program
KR102214848B1 (en) Lidar system for object recognition using background estimation technique
KR102135177B1 (en) Method and apparatus for implemeting active imaging system
Lin et al. Robust ground plane detection for obstacle avoidance of mobile robots using a monocular camera
Santos et al. Underwater place recognition using forward‐looking sonar images: A topological approach
KR102259151B1 (en) object detection tracking system using camera and lidar
Bozorgi et al. 2D laser and 3D camera data integration and filtering for human trajectory tracking
Peter et al. Line segmentation of 2d laser scanner point clouds for indoor slam based on a range of residuals
WO2017047873A1 (en) Scanning method using high-speed scanning apparatus
EP3255455A1 (en) Single pulse lidar correction to stereo imaging
Scaramuzza et al. Robust feature extraction and matching for omnidirectional images
Chakravarty et al. Anomaly detection and tracking for a patrolling robot
Perdomo et al. c-m2dp: A fast point cloud descriptor with color information to perform loop closure detection
Sobottka et al. Vision-based driver assistance using range imagery
Zhang et al. Research of the Information Fusion Technique for Millimeter Wave Radar and Camera
JP7461160B2 (en) Three-dimensional information estimation system, three-dimensional information estimation method, and computer-executable program
US11815626B2 (en) Method for detecting intensity peaks of a specularly reflected light beam
US20220130067A1 (en) Position estimation system
Wang et al. Two-dimensional environment reconstruction based on the absolute local deflection angle of laser scanning data
Hadji et al. 2D feature extraction in sensor coordinates for laser range finder
Zhao et al. Target recognition algorithm based on sparse LiDAR scanning data
Yoshihisa et al. A System to Restrict Regions of Image Processing by Laser Range Scanners
Wang et al. Monocular Vision Based Distance Measurement of Frontal Obstacles for Unmanned Aerial Vehicle
CN118191873A (en) Multi-sensor fusion ranging system and method based on light field image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant