KR20160020620A - Apparatus and method for controling automatic termial - Google Patents

Apparatus and method for controling automatic termial Download PDF

Info

Publication number
KR20160020620A
KR20160020620A KR1020140105126A KR20140105126A KR20160020620A KR 20160020620 A KR20160020620 A KR 20160020620A KR 1020140105126 A KR1020140105126 A KR 1020140105126A KR 20140105126 A KR20140105126 A KR 20140105126A KR 20160020620 A KR20160020620 A KR 20160020620A
Authority
KR
South Korea
Prior art keywords
distance
camera
image
laser beam
pixel
Prior art date
Application number
KR1020140105126A
Other languages
Korean (ko)
Other versions
KR101639264B1 (en
Inventor
이정욱
박정근
강태삼
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020140105126A priority Critical patent/KR101639264B1/en
Publication of KR20160020620A publication Critical patent/KR20160020620A/en
Application granted granted Critical
Publication of KR101639264B1 publication Critical patent/KR101639264B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Disclosed are an apparatus and a method for controlling an unmanned terminal which execute measurement of the distance from a static obstacle by using a laser point and a camera so as to generate and update map data. More particularly, according to an embodiment of the present invention, disclosed is the method for controlling the unmanned terminal in which the distance between central positions of static obstacles, which are extracted by an image processing module from images collected through the laser point of a single laser sensor moved by a motor, and the camera, is measured through a distance measurement module, and the map data is generated based on measured distance information and image information. The method of the present invention comprises an image processing step of extracting a static obstacle image based on pixel brightness values of same positions from a plurality of images collected at a predetermined period, and then correcting distortion with respect to the extracted static obstacle image, so the distance with respect to the camera and the static obstacle is measured by using one laser point and the camera, thereby allowing an inexpensive small unmanned terminal to be light, slim, short, and small, and basically reducing an image processing time and a distance measurement time since the measurement of the distance between the camera and the laser point with respect to only the static obstacle is executed based on the comparison of the pixel brightness values of the same positions from the images collected at the predetermined period.

Description

무인 단말기 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLING AUTOMATIC TERMIAL}[0001] APPARATUS AND METHOD FOR CONTROLLING AUTOMATIC TERMIAL [0002]

본 발명은 무인 단말기 제어 방법 및 장치에 관한 것으로, 보다 상세하게는 레이저 포인트 및 카메라를 이용하여 정적 장애물과의 거리 측정을 실행하여 지도 데이터를 생성 및 갱신할 수 있도록 한 장치 및 방법에 관한 것이다.The present invention relates to an unmanned terminal control method and apparatus, and more particularly, to an apparatus and method for generating and updating map data by performing distance measurement with a static obstacle using a laser point and a camera.

조종사 없이 원격 조정 가능한 소형 무인 항공기(Unmanned Aerial Vehicle)는 통신 해안 경비 등의 민간 부분에서 그 활용 범위가 확장되고 있으며, 사람이 접근하기 어려운 재난 환경, 사무실 빌딩과 상업용 센터와 같은 복잡한 환경에서 공중 감시용으로 사용될 수 있는 장점을 가진다.Unmanned aerial vehicles, which can be remotely controlled without a pilot, are expanding their use in civilian areas such as coastal traffic, and can be used in a variety of disasters such as disaster situations, And can be used for a variety of applications.

이러한 무인 항공기는 비행체의 위치 인식과 비행 환경에 대한 지도를 작성하게 되고, 이러한 위치 인식 및 지도를 생성하는 기술로는 SLAM(Simultaneous Localization And Mapping) 기법이 사용된다.These unmanned aerial vehicles are used to create a map of the aircraft's position recognition and flight environment, and the SLAM (Simultaneous Localization And Mapping) technique is used as a technique for generating such a position recognition and guidance.

이러한 SLAM 기법은 다양한 센서를 사용하여 장애물과의 거리 측정 및 비행환경에 대한 지도 정보를 생성한다. This SLAM technique uses various sensors to measure distances to obstacles and generate map information about the flight environment.

여기서 사용되는 센서로는 단일 비전 센서(Monocular vision sensor)와 레이저 레인지 파인더를 이용하는데 단일 비전 센서의 경우 무게가 가벼워 거리 및 지도 사물 인식 및 움직임 추적 등의 영상 처리에 널리 사용되고 있다.The sensor used here is a monocular vision sensor and a laser range finder. In the case of a single vision sensor, it is widely used for image processing such as distance and map object recognition and motion tracking.

그러나, 레이저 레인지 파인더 센서는 정확도와 신뢰성이 우수한 반면 고가이고 무거워 소형 무인 항공기에 탑재하여 사용하는데 적합하지 않다.However, the laser range finder sensor is excellent in accuracy and reliability, and is not suitable for use in an expensive, heavy, small unmanned aerial vehicle.

따라서, 소형 무인 항공기에 탑재할 수 있는 저렴하고 가벼운 센서 개발 및 연구의 필요성이 대두되었다.Therefore, there is a need to develop and research cheap and light sensors that can be mounted on small UAVs.

한편, 비행환경에 대한 지도 데이터를 생성함에 있어, 비전센서를 사용하여 거리 측정 후 모든 픽셀 단위의 영상 분석을 통해 지도 사물 인식 및 움직임을 추적하게 된다. 즉, 모든 픽셀 단위에 대한 영상 분석을 통해 지도 데이터가 생성되므로, 실제 지도 데이터를 생성하는 처리 시간이 긴 단점이 존재하였다.On the other hand, in generating the map data for the flight environment, the distance sensor is used to measure the distance, and the image recognition and movement are tracked through the image analysis of every pixel unit. That is, since map data is generated through image analysis for every pixel unit, a processing time for generating actual map data is long.

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정한 후 모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성함에 따라, 하나의 레이저 포인트 및 카메라를 이용하여 카메라와 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물에 대해서만 카메라와 레이저 포인트 간의 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있게 된다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a static obstacle image extracting method based on a comparison of pixel brightness values at the same position among a plurality of images collected at predetermined periods, The distance between the laser point of the single laser sensor moved by the motor and the center position of the static obstacle extracted from the image collected through the camera is measured by the distance measuring module and the measured distance information Since the distance to a static obstacle is measured using a single laser point and a camera by generating map data based on image information, a low cost small unmanned terminal can be lightened and shortened, and a large number of Based on the comparison of pixel brightness values at the same position in the image, Since the distance measurement between the camera and the laser point only run it is possible to essentially shorten the image processing time and the distance measuring time.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 무인 단말기 제어 장치는, According to a first aspect of the present invention, there is provided an apparatus for controlling an unmanned terminal,

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 장치에 있어서, An unmanned terminal control that measures the distance between the laser point of a single laser sensor moved by a motor and the center position of a static obstacle extracted from the image processing module through a distance measuring module and generates map data based on the measured distance information and image information In the apparatus,

상기 영상 처리 모듈은The image processing module

소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정하도록 구비되는 것을 특징으로 하는 제 1 특징으로 한다.A static obstacle image is extracted based on a comparison of pixel brightness values of the same position among a plurality of images collected at a predetermined period, and then distortion correction is performed on the extracted static obstacle image.

여기서, 상기 영상 처리 모듈은,Here, the image processing module may include:

이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적인 영상을 추출하도록 구비되는 것이 바람직하다.It is preferable to extract the static image based on the predetermined proportional relation based on the brightness value per pixel unit of the previous image, the pixel brightness value at the same position of the current image, and an arbitrary predetermined ratio.

아울러, 상기 영상 처리 모듈은, In addition, the image processing module may include:

상기 카메라를 통해 수집된 영상 중 밝은 영역이 분포된 비경 효과를 차단하기 위한 이미지 필터링을 실행하도록 구비되는 것이 바람직하다.It is preferable that image filtering for blocking a non-image effect in which a bright region is distributed among the images collected through the camera is performed.

상기 거리 측정 모듈은,Wherein the distance measurement module comprises:

상기 레이저 포인트의 중심 위치(xp, yp)와 카메라 간의 길이 방향 거리 (xdiff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(xdiff)를 토대로 상기 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 세로 방향 거리(ydiff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(xpp, ypp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(xsp, ysp)와, 상기 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 도출하고,And the distance (LOP) between the center position (x p, y p) and a longitudinal distance (x diff) between the camera, the center position of each pixel of the laser point moving in the vertical and horizontal directions by the motor of the laser point, (Y diff ) between the center position (x p , y p ) of the camera and the laser point on the basis of the distance LOP between the derived central positions and the longitudinal distance x diff of the X estimator, angle data is zero degrees the zero point position (x pp, y pp) and the laser beam to the seed location (x sp, y sp) of the pixel being scanned in the search area, the scanning laser to the seed location (x sp, y sp) The position (x h, y h ) at which the intensity of the beam is highest is derived,

도출된 영점 위치(xpp, ypp), 시드 위치(xsp, ysp), 및 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(xp, yp)를 도출하며, The derived zero position (x pp, y pp), the seed location (x sp, y sp), and the highest position the intensity of the laser beam (x h, y h) the central position in the pixel to which the scanning laser beam on the basis of the ( x p, y p )

도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산하도록 구비되는 것이 바람직하다.
And calculate the distance between the derived camera and the center position (x p, y p ) of the laser point.

상기 거리 측정 모듈은,Wherein the distance measurement module comprises:

상기 카메라와 레이저 빔의 중심 위치(xp, yp) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증기를 더 포함하는 것이 바람직하다.And a verifier for verifying a distance between the camera of the distance calculator and the center position of the laser point on the basis of the estimated distance between the camera and the center position (x p, y p ) of the laser beam and the actual measured distance.

상기 지도 데이터는,The map data includes:

기 정해진 설정 주기로 생성된 지도 데이터를 이전 지도 데이터에 갱신하도록 구비되는 것이 바람직하다.And update the generated map data with the predetermined set period to the previous map data.

한편 상기 무인 단말기 제어 장치는,On the other hand,

상기 지도 데이터에 정적인 장애물과의 거리 데이터를 합성하여 표시하는 표시 모듈을 더 포함하는 것이 바람직하다.
And a display module for synthesizing and displaying the street data of static obstacles in the map data.

상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 무인 단말기 제어 장치는, According to a second aspect of the present invention, there is provided an apparatus for controlling an unmanned terminal,

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 방법에 있어서, An unmanned terminal control that measures the distance between the laser point of a single laser sensor moved by a motor and the center position of a static obstacle extracted from the image processing module through a distance measuring module and generates map data based on the measured distance information and image information In the method,

소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물 영상을 추출한 후 추출된 정적인 장애물 영상에 대해 왜곡 보정하는 영상 처리 과정을 포함하도록 구비되는 것을 제2 특징으로 한다.An image processing step of extracting a static obstacle image based on a comparison of pixel brightness values at the same position among a plurality of images collected at a predetermined period and then correcting distortion of the extracted static obstacle image .

여기서, 상기 영상 처리 과정은,Here, the image processing may include:

이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적 영상을 추출하도록 구비되는 것이 바람직하다.It is preferable to extract the static image based on the predetermined proportional relation based on the brightness value of each pixel unit of the previous image, the pixel brightness value of the same position of the current image, and a predetermined arbitrary ratio.

또한, 상기 영상 처리 과정은, Also, the image processing step may include:

카메라를 통해 수집된 영상 중 밝은 영역이 분포된 비경 효과를 차단하기 위한 이미지 필터링을 실행하도록 구비되는 것이 바람직하다.It is preferable that image filtering for blocking a non-image effect in which a bright region is distributed among the images collected through the camera is performed.

상기 거리 측정 과정은,The distance measuring process includes:

상기 레이저 포인트의 중심 위치(xp, yp)와 카메라 간의 길이 방향 거리 (xdiff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(xdiff)를 토대로 상기 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 세로 방향 거리(ydiff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(xpp, ypp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(xsp, ysp)와, 상기 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 도출하고,And the distance (LOP) between the center position (x p, y p) and a longitudinal distance (x diff) between the camera, the center position of each pixel of the laser point moving in the vertical and horizontal directions by the motor of the laser point, (Y diff ) between the center position (x p , y p ) of the camera and the laser point on the basis of the distance LOP between the derived central positions and the longitudinal distance x diff of the X estimator, angle data is zero degrees the zero point position (x pp, y pp) and the laser beam to the seed location (x sp, y sp) of the pixel being scanned in the search area, the scanning laser to the seed location (x sp, y sp) The position (x h, y h ) at which the intensity of the beam is highest is derived,

도출된 영점 위치(xpp, ypp), 시드 위치(xsp, ysp), 및 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(xp, yp)를 도출하며,The derived zero position (x pp, y pp), the seed location (x sp, y sp), and the highest position the intensity of the laser beam (x h, y h) the central position in the pixel to which the scanning laser beam on the basis of the ( x p, y p )

도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산하도록 구비되는 것이 바람직하다. And calculate the distance between the derived camera and the center position (x p, y p ) of the laser point.

여기서, 상기 레이저 빔의 강도는, Here, the intensity of the laser beam is,

레이저 빔의 에너지 량, 레이저 빔의 강도 분포도, 레이저 빔의 발산 중 적어도 하나 이상을 토대로 분석되도록 구비되는 것이 바람직하다.An energy amount of the laser beam, a strength distribution of the laser beam, and a divergence of the laser beam.

또한, 상기 거리 측정 과정은,Also, the distance measuring process may include:

상기 거리 연산기의 카메라와 레이저 빔의 중심 위치(xp, yp) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증 단계를 더 포함하는 것이 바람직하다.And a verification step of verifying the distance between the camera of the distance calculator and the center position of the laser point based on the estimated distance and the actual measured distance between the center position (x p, y p ) of the camera of the distance calculator and the laser beam desirable.

바람직하게 상기 지도 데이터는Preferably, the map data

기 정해진 설정 주기로 생성된 지도를 이전 지도에 갱신하도록 구비되는 것을 특징으로 한다.
And update the generated map on the previous map with a predetermined set period.

이상에서 설명한 바와 같이, 본 발명에 따른 무인 단말기 제어 장치 및 방법에 따르면, 모터의 각도 데이터가 0으로 주어진 경우 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 도출된 영점 위치(xpp, ypp)와 모터의 각도 데이터가 소정 각도인 경우 상기 영점 위치(xpp, ypp)와 상기 X 추정기, LOP 추정기, 및 Y 추정기로부터 도출된 임의의 거리에서의 세로 방향 거리 및 하나의 픽셀 간의 거리를 토대로 탐색 영역 내의 레이저 빔이 주사되는 픽셀 위치인 시드 위치(xsp, ysp)를 도출하며, 도출된 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도를 분석한 후 레이저 빔의 강도가 가장 높은 위치 (xh, yh) 및 기 설정된 관계식을 토대로 레이저 빔이 주사되는 레이저 포인트의 중심 위치(xp, yp)를 도출하고, 도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있다.As described above, according to the unmanned terminal control apparatus and method of the present invention, when the angle data of the motor is given as 0, the zero point position (x pp, y pp ) derived from the X estimator, the LOP estimator, If the angle data of the motor to a predetermined angle based on the zero position (x pp, y pp) and the X-estimator, LOP estimator, and a vertical-direction distance and a distance between a pixel in any of the distance derived from the Y estimator (X sp, y sp ), which is the pixel position at which the laser beam in the search area is scanned, and analyzes the intensity of the scanned laser beam at the derived seed position (x sp, y sp ) the highest position (x h, y h) and the group center position of the laser point that the laser beam scanning based on a predetermined relational expression (x p, y p) to derive, and the center position of the derived camera and the laser point (x p , y p ) Since the distances to the static obstacles are measured using the laser point and the camera by calculating the distance, it is possible to reduce the size of the low-cost small unmanned terminal, and the distance between the camera and the laser point measured through calculation is compared with the measured distance The reliability of the unmanned terminal can be fundamentally improved.

또한, 본 발명에 따르면, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물의 픽셀에 대해서만 레이저 포인트를 이용한 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있는 효과를 얻는다.According to the present invention, since the distance measurement using the laser point is performed only for the pixel of the static obstacle based on the comparison of the pixel brightness values at the same position among the plurality of images collected at the predetermined period, the image processing time and the distance measurement time are fundamentally The effect can be shortened.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 구성을 보인 도이다.
도 2는 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 거리 측정 모듈의 구성을 보인 도이다.
도 3은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 탐색 영역 내의 시드 위치를 좌표형태로 보인 도이다.
도 4는 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 정적 장애물과 정적 장애물에 주사된 레이저 빔의 강도를 보인 도이다.
도 5는 본 발명의 다른 실시 예에 따른 무인 단말기 제어 과정을 보인 흐름도이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate preferred embodiments of the invention and, together with the description of the invention given below, serve to further understand the technical idea of the invention. And should not be construed as limiting.
1 is a diagram illustrating a configuration of an unmanned terminal control apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a distance measurement module of an unmanned terminal control apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram showing seed positions in the search area of the unmanned terminal control apparatus according to the embodiment of the present invention in a coordinate form. FIG.
FIG. 4 is a graph showing the intensity of a laser beam scanned on a static obstacle and a static obstacle of an unmanned terminal control apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating an unattended terminal control process according to another embodiment of the present invention.

본 발명과 본 발명의 동작상의 잇점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. For a better understanding of the present invention and its operational advantages and the objects attained by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 실시 예에 따른 무인 단말기 제어 장치의 구성을 보인 도이고, 도 2는 도 1에 도시된 거리 측정 모듈의 구성을 보인 도이다.FIG. 1 is a diagram illustrating a configuration of an unmanned terminal control apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating the configuration of the distance measurement module shown in FIG.

본 발명의 실시 예에 따른 무인 단말기 제어 장치는, 도 1 및 도 2에 도시된 바와 같이, 하나의 레이저 포인트와 카메라를 통해 정적인 장애물과의 거리를 측정하여 지도 데이터를 생성하도록 구비된다. 즉, 상기 무인 단말기는, 도 1에 도시된 바와 같이, 카메라(10), 레이저 센서(11), 영상 처리 모듈(20), 모터(30), 거리 측정 모듈(40), 및 지도 데이터 생성 모듈(50)의 구성을 갖는다.As shown in FIGS. 1 and 2, the unmanned terminal control apparatus according to the embodiment of the present invention is provided to generate map data by measuring a distance between a laser point and a static obstacle through a camera. 1, the unattended terminal includes a camera 10, a laser sensor 11, an image processing module 20, a motor 30, a distance measurement module 40, (50).

여기서, 거리 측정이 필요한 장애물이 존재하는 특정 공간을 카메라(10)를 이용하여 촬영한다.Here, a specific space in which an obstacle requiring distance measurement exists is photographed using the camera 10.

상기 장애물이란 레이저 포인트로부터 카메라까지의 실제 거리 측정이 필요한 물체를 말하는 것으로 1개 또는 2개 이상이 될 수 있으며, 이러한 장애물이 존재하는 특정 공간이 3차원이 되는 바, 카메라(10)는 통상의 3차원의 특정 공간을 연속적으로 촬영할 수 있는 비전 센서로 구비된다.The obstacle refers to an object requiring measurement of the actual distance from the laser point to the camera. The obstacle may be one or more than two, and the specific space in which the obstacle exists is three-dimensional. And a vision sensor capable of photographing a specific space of three dimensions continuously.

예를 들어, 무인 단말기는 건물 내부를 주행하여 건물 내부의 지도 데이터를 생성하기 위해서는, 건물 내에 존재하는 장애물과의 거리가 측정되어야 하는 바, 여기서, 장애물이란 건물의 벽을 말하고 특정 공간이란 건물 내부로서 카메라(10)에 의해 촬영하고자 하는 3차원 공간을 말한다. For example, in order for an unmanned terminal to travel within a building and generate map data inside the building, the distance between the obstacle and the obstacle present in the building must be measured. Here, the obstacle refers to the wall of the building. Dimensional space to be photographed by the camera 10.

물론 본 발명의 무인 단말기가 소형 무인 항공기에 한정되는 것은 아니므로, 상기 카메라(10)를 비전 센서에 한정하는 것이 아니므로, 자동 초점 카메라에도 적용 가능하고 이에 따라 상기 특정 공간은 달라 질 수 있지만 이는 장애물을 분류하기 위해 무인 단만기에 입력될 각 종 정보만 변경 설정하면 된다. 설명의 편의 상 이하에서는 건물 내부에 장애물을 토대로 건물 내부 지도 데이터를 생성하는 무인 단말기를 예로 들어 설명한다.Of course, since the unmanned terminal of the present invention is not limited to a small unmanned aerial vehicle, the camera 10 is not limited to a vision sensor, and thus can be applied to an auto-focus camera, In order to classify obstacles, only the various kinds of information to be input at the unmanned expiration date can be set. For convenience of explanation, the following description will be made by taking as an example an unattended terminal for generating map internal map data based on an obstacle inside a building.

도 2를 참조하면, 촬영 대상이 되는 특정 공간을 가로, 세로, 높이를 갖는 3차원으로 이 3차원 공간은 내부에 사람들이 실질적으로 생활하는 건물 내의 주변 환경이므로, 카메라(10)의 시야 범위에 들어오는 것으로 도 2에 도시된 바와 같이 특정 공간으로 구획된 3차원 공간이다.Referring to FIG. 2, the three-dimensional space having three dimensions including a horizontal, a vertical, and a height as a specific space to be photographed is a surrounding environment in a building in which people actually live. And is a three-dimensional space partitioned into a specific space as shown in Fig.

이러한 3차원 공간은 다양한 피사체, 예를 들어 벽, 이동하는 사람, 등이 존재하지만, 건물 내의 지도 데이터를 생성한다면, 거리 측정이 필요한 대상은 건물의 벽이므로, 이를 거리 측정이 불필요한 장애물(이동중인 사람)과는 분류해야 한다. However, if the three-dimensional space includes various objects such as a wall, a moving person, and the like, if the map data in the building is generated, the object requiring distance measurement is the wall of the building. People).

따라서, 카메라(10)를 통해 수집된 영상 중 이동중인 사람과 같은 거리 측정 비대상 장애물인 동적 장애물은 제거한 후 대상 장애물인 정적 장애물만을 추출하고 추출된 정적 장애물과의 거리 측정을 실행한다.Therefore, dynamic obstacles such as a moving person, which is a distant object to be measured, such as a moving person, are removed from the images collected through the camera 10, and then a static obstacle, which is a target obstacle, is extracted and the distance to the extracted static obstacle is measured.

즉, 카메라(10)를 통해 수집된 영상 정보는 영상 처리 모듈(20)로 제공한다. 영상 처리 모듈(20)은 카메라(10)를 통해 수집된 3차원 정보를 2차원 영상 정보로 변환하고, 변환된 2차원 영상 정보로부터 정적인 장애물을 추출한 후 추출된 장애물의 영상의 왜곡을 보정하도록 구비된다. 그러나, 저가의 소형 무인 단말기에는 3차원의 영상을 촬영하기 위한 비전 센서가 아닌 2차원 영상의 촬영 가능한 고체 촬상 소자를 이용한 카메라로 구비될 수도 있다.That is, the image information collected through the camera 10 is provided to the image processing module 20. The image processing module 20 converts the three-dimensional information collected through the camera 10 into two-dimensional image information, extracts a static obstacle from the converted two-dimensional image information, and corrects distortion of the extracted obstacle Respectively. However, the low-cost small unmanned terminal may be equipped with a camera using a solid-state image pickup device capable of shooting a two-dimensional image, not a vision sensor for capturing a three-dimensional image.

상기 영상 처리 모듈(20)은 정적 장애물을 추출하기 위해 각종 형상 정보, 색상 정보, 및 엣지 정보 등이 입력되고 이러한 정보들과 카메라(10)를 통해 수집된 영상을 비교함으로써, 정적인 장애물을 추출할 수 있으며, 이외에도 다양한 알고리즘을 통해 정적 장애물을 추출할 수 있다. 다만, 본 발명의 실시 예에서 정적 장애물은, 이전 영상의 픽셀 단위 별 밝기 값(Sb)과 현재 영상의 같은 위치의 픽셀 밝기 값(Sn) 및 기 정의된 임의의 비율 r을 토대로 기 정해진 비례 관계식을 토대로 추출되는 것이 바람직하다.The image processing module 20 inputs various shape information, color information, edge information, and the like to extract a static obstacle and compares the information with the image collected through the camera 10 to extract a static obstacle In addition, static obstacles can be extracted through various algorithms. However, in the embodiment of the present invention, the static obstacle may be determined based on the predetermined proportional relation (Sb) based on the brightness value Sb per pixel unit of the previous image, the pixel brightness value Sn at the same position of the current image, As shown in FIG.

상기 정적 장애물을 픽셀의 밝기 값(Sb)을 토대로 비례 관계식은 다음 식 1을 만족한다.Based on the brightness value (Sb) of the pixel, the proportional relation satisfies the following equation (1).

Figure pat00001
식 1
Figure pat00001
Equation 1

또한, 상기 영상 처리 모듈(20)은 카메라(10)를 통해 수집된 영상 중 밝은 영역이 분포된 비경 효과를 차단하기 위한 이미지 필터링을 더 실행하도록 구비되는 것이 바람직하다.In addition, the image processing module 20 is preferably provided to further perform image filtering to block non-circular effects in which bright regions are distributed among the images collected through the camera 10. [

그리고, 상기 영상 처리 모듈(20)은 수집된 정적 장애물을 소정 수의 픽셀로 분리하는데, 도 3에 도시된 바와 같이, 가로 방향의 픽셀 수와 세로 방향의 픽셀 수로 구비되는 바, 설명의 편의를 위해 가로 픽셀 수는 x로 정의하고, 세로 픽셀 수는 y로 정의한다. 바람직하게 본 발명의 실시 예에서는 x, y 각 픽셀 수는 60X52 로 한정하여 설명한다.The image processing module 20 separates the collected static obstacles into a predetermined number of pixels. As shown in FIG. 3, the image processing module 20 includes the number of pixels in the horizontal direction and the number of pixels in the vertical direction. The horizontal pixel number is defined as x, and the vertical pixel number is defined as y. Preferably, the number of pixels of each of x and y is limited to 60X52 in the embodiment of the present invention.

또한, 거리 측정 모듈(30)은 영상 처리 모듈(20)에서 추출된 정적 장애물 각 픽셀 내에 주사되는 레이저 포인트와 카메라(10) 간의 가로 성분 및 세로 성분의 실제 거리를 측정하기 위해 정적 장애물과 카메라 간의 가로 성분의 실제 거리를 길이 방향 거리(xdiff)로 정의하고, 세로 성분의 실제 거리를 세로 방향 거리(ydiff)로 정의한다.In order to measure the actual distance between the laser point scanned within each pixel of the static obstacle extracted by the image processing module 20 and the horizontal and vertical components between the camera 10 and the camera 10, The actual distance of the horizontal component is defined as the longitudinal distance (x diff ), and the actual distance of the vertical component is defined as the longitudinal distance (y diff ).

즉, 상기 거리 측정 모듈(30)은 정적 장애물의 각 픽셀에 레이저 센서(11)의 레이저 빔을 주사하고 주사된 픽셀 내의 레이저 포인트를 추출하고 추출된 레이저 포인트와 카메라 간의 거리를 측정한다. That is, the distance measurement module 30 scans the laser beam of the laser sensor 11 to each pixel of the static obstacle, extracts the laser point in the scanned pixel, and measures the distance between the extracted laser point and the camera.

이와 같이 정적 장애물의 각 픽셀의 중심 위치와 카메라 간의 거리를 측정하기 위해, 상기 레이저 센서(11)는 모터(30)에 의해 상하 방향 및 좌우 방향으로 회전하여 카메라와의 소정의 각도 데이터(θ)가 형성된다. In order to measure the center position of each pixel of the static obstacle and the distance between the cameras, the laser sensor 11 is rotated by the motor 30 in the up-and-down direction and the left-right direction to obtain predetermined angle data? .

여기서, 도 3에 도시된 바와 같이, 상기 카메라(10)의 렌즈 초점이 이루는 면과 상기 레이저 센서(11)의 회전 중심 면이 평행을 이루는 좌표, 즉, 각도 데이터(θ)가 0인 영점 위치(xpp, ypp)로 정의하고, 상기 영점 위치(xpp, ypp)로부터 레이저 센서(11)의 레이저 포인트와의 수직(X) 방향의 거리 및 수평(Y) 방향의 높이 및 모터에 의해 좌우 및 상하로 이동하는 레이저 포인트의 각도 데이터(θ)를 알고 있다고 가정하면, 상기 카메라(10)와 회동하는 레이저 센서(11)의 레이저 포인트 간의 거리 측정이 가능하다.As shown in FIG. 3, the coordinates at which the plane of the lens focus of the camera 10 and the center of rotation of the laser sensor 11 are parallel to each other, that is, the zero point (x pp, y pp) in the definition, and the zero point position (x pp, y pp) height, and the motor of the distance and horizontal (y) direction of the vertical (x) direction of the laser point of the laser sensor 11 and from the It is possible to measure the distance between the laser point of the laser sensor 11 rotating with the camera 10 and the distance between the laser point 11 and the camera 10.

우선, 거리 측정 모듈(40)에서 모터(30)에 의해 좌우 및 상하로 이동하는 레이저 포인트의 각도 데이터(θ)와 영점 위치(xpp, ypp)를 기준으로 임의의 거리에서 상기 레이저 센서(11)의 레이저 포인트와의 길이 방향 거리(xdiff) 및 세로 방향의 거리(ydiff)를 추정하기 위한 관계식을 도출하는 일련의 과정을 설명한다.First, the distance measurement module 40 calculates the distance between the laser sensor (or the laser sensor) at an arbitrary distance with reference to the angle data θ and the zero point position (x pp, y pp ) of the laser point moving left and right and up and down by the motor 30 A series of processes for deriving a relational expression for estimating the longitudinal distance (x diff ) and the longitudinal direction distance (y diff ) with respect to the laser point of the optical fiber 11 will be described.

상기 거리 측정 모듈(30)은, 도 3에 도시된 바와 같이, 상기 레이저 포인트의 소정 픽셀의 중심 위치와 카메라가 평행한 레이저 포인트의 위치를 상기 소정 픽셀 내의 영점 위치(xpp, ypp)로 정의하고, 상기 영점 위치(xpp, ypp)로부터 레이저 포인트의 중심 위치와 카메라 간의 길이 방향 거리(xdiff)를 예측하는 X 추정기(41)와, 모터(30)에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 중심 위치와 카메라와의 너비 및 각도 데이터를 토대로 각 픽셀의 중심 위치 간의 거리를 예측하는 LOP 추정기(42)와, 상기 LOP 추정기(42)를 통해 도출된 중심 위치 간의 거리를 토대로 상기 영점 위치(xpp, ypp)로부터 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(ydiff)를 추정하는 Y 추정기(43)와, 상기 모터의 각도 데이터가 주어지면 상기 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 영점 위치(xpp, ypp)와 탐색 영역 내의 시드 위치(xsp, ysp)를 도출한 후 도출된 시드 위치(xsp, ysp)에 주사된 레이저 빔의 중심 위치(xp, yp)를 도출하고 도출된 카메라와 레이저 포인트의 중심 위치 간의 거리를 연산하는 거리 연산기(44)를 포함한다.3, the distance measurement module 30 calculates the center position of a predetermined pixel of the laser point and the position of the laser point where the camera is parallel to the zero point position (x pp, y pp ) in the predetermined pixel An X estimator 41 for predicting a distance in the longitudinal direction (x diff ) between the center position of the laser point and the camera from the zero point position (x pp, y pp ) The LOP estimator 42 estimates the distance between the center position of the laser point and the center position of each pixel on the basis of the width and angle data of the camera and the center position derived through the LOP estimator 42, the zero position (pp x, y pp) from the camera and the vertical-direction distance between a center position of the laser point (y diff) the estimated Y estimator 43 and, given an angle data of said motor is the X estimator, that LOP Of the laser beam scanning on the seed position deriving then based on the periodic, and Y estimator deriving a zero point position (x pp, y pp) and seeded position in the search area (x sp, y sp) (x sp, y sp) And a distance calculator 44 for deriving the center position (x p, y p ) and calculating the distance between the derived camera and the center position of the laser point.

여기서, 상기 X 추정기(41)는 모터(30)에 의해 상하 좌우 방향으로 회동하는 레이저 포인트에 변동에 따른 가로 방향의 실제 거리인 길이 방향 거리(xdiff)를 추정하기 위한 관계식을 마련하고, 이러한 관계식을 기반으로 카메라(10)와 레이저 포인트 간의 임의의 거리에서 카메라(10)와 레이저 포인트 간의 길이 방향 거리(xdiff) 추정이 가능하다.Here, the X estimator 41 provides a relational expression for estimating the longitudinal distance (x diff ), which is the actual distance in the horizontal direction due to the variation, in the laser point rotating in the up, down, left, and right directions by the motor 30, It is possible to estimate the longitudinal distance (x diff ) between the camera 10 and the laser point at an arbitrary distance between the camera 10 and the laser point based on the relational expression.

즉, 카메라(10)와 레이저 센서(11)의 레이저 포인트 사이의 소정 단위 거리 마다 레이저 포인트와 카메라(10) 간의 거리 및 높이를 측정하고, 측정된 소정 단위 거리 마다 측정된 레이저 포인트와 카메라(10) 간의 거리 및 높이에 대해 최소 제곱에 의한 다항식 커브 피팅 알고리즘(polynomial curve fitting)을 이용하여 레이저 포인트의 각도 데이터와 길이 방향 거리(xdiff)에 대한 관계식이 도출된다. 도출된 관계식을 기반으로 임의의 거리에서의 카메라(10)와 레이저 포인트 간의 가로방향의 거리(X)가 추정된다. That is, the distance and height between the laser point and the camera 10 are measured at predetermined unit distances between the laser points of the camera 10 and the laser sensor 11, and the measured laser point and the camera 10 A relational expression for the angle data of the laser point and the longitudinal distance (x diff ) is derived using a least square square polynomial curve fitting algorithm. The horizontal distance X between the camera 10 and the laser point at an arbitrary distance is estimated based on the derived relational expression.

그리고, LOP(length of One Pixel) 추정기(42)는 모터(30)에 의해 상하 좌우 방향으로 회동하는 레이저 포인트에 변동에 따른 한 픽셀 간의 거리를 추정하기 위한 관계식이 마련되어 있고, 이러한 관계식을 기반으로 하나의 픽셀 간의 거리(LOP) 추정이 가능하다.The LOP (length of one pixel) estimator 42 is provided with a relational expression for estimating the distance between one pixel according to the variation in the laser point rotating in the up, down, left, and right directions by the motor 30, It is possible to estimate the distance (LOP) between one pixel.

즉, 카메라(10)와 레이저 센서(11)의 레이저 포인트 사이의 소정 단위 거리 마다 한 픽셀 간의 너비 및 각도 데이터를 측정하고, 측정된 소정 단위 거리 마다 측정된 한 픽셀간의 거리 및 높이에 대해 최소 제곱에 의한 다항식 커브 피팅 알고리즘(polynomial curve fitting)을 이용하여 임의의 거리가 주어졌을 때의 한 픽셀의 길이(LOP)를 추정하기 위한 LOP 관계식이 도출된다. 도출된 LOP 관계식을 기반으로 임의의 거리에서의 한 픽셀의 길이가 추정된다.That is, the width and angle data between one pixel are measured for each predetermined unit distance between the laser point of the camera 10 and the laser sensor 11, and the distance and height between one pixel measured for each of the measured unit distances A polynomial curve fitting algorithm is used to derive an LOP relation for estimating the length of one pixel (LOP) given an arbitrary distance. The length of one pixel at an arbitrary distance is estimated based on the derived LOP relation.

또한, Y 추정기(43)는 상기 X 추정기(41)의 길이 방향 거리(xdiff)와 상기 LOP 추정기(42)를 통해 도출된 중심 위치(LOP) 간의 거리를 토대로 상기 영점 위치(xpp, ypp)에 대한 비례 관계식을 토대로 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(ydiff)를 추정 가능하다. 즉, 상기 세로 방향 거리(ydiff)는 가로 방향 거리(xdiff)와 LOP 추정기(42)로부터 공급된 한 픽셀 간의 거리의 곱으로 도출된다. The Y estimator 43 also calculates the zero point position (x pp, y) based on the distance between the longitudinal distance (x diff ) of the X estimator 41 and the center position LOP derived through the LOP estimator 42 pp ), it is possible to estimate the vertical distance (y diff ) between the center position of the camera and the laser point. That is, the vertical distance (y diff ) is derived as a product of the horizontal distance (x diff ) and the distance between one pixel supplied from the LOP estimator (42).

또한, 상기 카메라(10)의 렌즈를 통해 획득된 영상이 카메라의 특성에 따라 왜곡되어 영상 내의 레이저 포인트의 위치와 실제 위치와의 차이가 발생하는 오류를 방지하기 위해 그래픽 라이브러리를 사용하여 이미지를 보정함에 따라, 렌즈에 결상된 영상과 실제 영상과의 오차를 최소로 줄일 수 있게 된다.In order to prevent an error in which an image acquired through the lens of the camera 10 is distorted according to the characteristics of the camera and a difference between the position of the laser point in the image and the actual position is generated, The error between the image formed on the lens and the actual image can be minimized.

이어, 상기 카메라(10)에 의해 획득된 정적 장애물에 주사되는 레이저 빔은 다수의 픽셀 위치에 걸쳐 주사되므로, 기 정해진 정적 장애물의 전체 영역(x, y) 내의 레이저 빔이 주사되는 픽셀 위치의 탐색 영역의 시드 위치(xsp, ysp)를 검색하는 일련의 과정은 다음과 같다.Then, since the laser beam scanned on the static obstacle obtained by the camera 10 is scanned over a plurality of pixel positions, the laser beam in the entire region (x, y) of the predetermined static obstacle is searched for the pixel position to be scanned The sequence of searching the seed position (x sp, y sp ) of the region is as follows.

즉, 임의의 거리(d)에서의 길이 방향 거리(xdiff)는 한 픽셀 간의 거리(LOP)와 상기 각도 데이터(θ)를 토대로 도출되며, 세로 방향 거리(ydiff)는 길이 방향 거리(xdiff)에 비해 상당히 작은 값이므로, 임의의 상수값(C)로 설정된다. 즉, 임의의 거리(d)에서의 길이 방향 거리

Figure pat00002
를 만족한다. 여기서 100은 임의의 거리(dcm)이다.That is, the longitudinal distance (x diff ) at an arbitrary distance (d) is derived based on the distance (LOP) between one pixel and the angle data (?), And the longitudinal distance (y diff ) diff ), it is set to an arbitrary constant value (C). That is, the distance in the longitudinal direction at an arbitrary distance d
Figure pat00002
. Where 100 is an arbitrary distance (dcm).

따라서, 레이저 포인트의 시드 위치(xsp, ysp)에 대한 좌표값은 다음 식 2를 만족한다.Therefore, the coordinate value for the seed position ( xsp, ysp ) of the laser point satisfies the following expression (2).

시드 위치(xsp, ysp)= (X축의 영점위치(xpp)-xdiff, Y축의 영점위치(ypp)-C) .. 식 2The seed position (x sp, y sp ) = (the zero point position (x pp ) -x diff of the X axis, the zero point position (y pp ) -C of the Y axis)

그리고, 탐색된 시드 위치(xsp, ysp)와 인접된 픽셀에 주사된 레이저 빔의 강도를 토대로 레이저 포인트의 픽셀 위치인 중심 위치(xp, yp)를 도출하는 과정을 설명한다.A process of deriving the center position (x p, y p ), which is the pixel position of the laser point, based on the searched seed position (x sp, y sp ) and the intensity of the scanned laser beam on the adjacent pixel will be described.

즉, 상기 중심 위치(xp, yp)는 도 4에 도시된 바와 같이, 레이저 빔의 에너지 량, 레이저 빔의 강도(intensity) 분포, 및 빔 발산 중 적어도 하나 이상의 파라미터를 토대로 레이저 빔의 강도가 가장 높은 픽셀 위치(xh, yh)로부터 도출된다.4, the center position (x p, y p ) of the laser beam is calculated based on at least one of the energy amount of the laser beam, the intensity distribution of the laser beam, and the beam divergence, Is derived from the highest pixel position (x h, y h ).

이때 상기 레이저 빔의 강도가 가장 높은 픽셀 위치(xh, yh)는 거리의 제곱에 반비례한다고 가정하고, 레이저 포인트의 중심 위치(xp, yp)는 기 설정된 관계식을 토대로 도출되며, 다음 식 3 및 4를 만족한다.At this time , it is assumed that the pixel position (x h, y h ) with the highest intensity of the laser beam is inversely proportional to the square of the distance, and the center position (x p, y p ) of the laser point is derived on the basis of a predetermined relation. Equations 3 and 4 are satisfied.

Figure pat00003
.. 식 3
Figure pat00003
.. Equation 3

Figure pat00004
.. 식 4
Figure pat00004
.. Equation 4

여기서, 상기 xh-1과 xh+1은 xh의 가로 방향의 이웃 픽셀이고 I(x)는 픽셀 x의 강도값이고, yh-1과 yh+1는 yh의 세로 방향의 이웃 픽셀이고, I(y)는 픽셀 y의 강도값이다.Where x h -1 and x h +1 are neighboring pixels in the horizontal direction of x h , I (x) is the intensity value of the pixel x, and y h -1 and y h +1 indicate the vertical direction of y h I (y) is the intensity value of the pixel y.

그리고, 상기 도출된 정적 장애물에 주사된 레이저 포인트의 픽셀의 중심 위치(xp, yp)를 토대로 정적 장애물과 카메라 간의 거리를 측정하고 측정된 거리 정보 및 카메라의 영상 정보는 지도 생성 모듈(50)로 전달하고, 상기 지도 생성 모듈(50)은 수신된 거리 정보 및 영상 정보를 통해 운행 지역의 지도를 형성한다.Then, the distance between the static obstacle and the camera is measured based on the center position (x p, y p ) of the pixel of the scanned laser point on the derived static obstacle, and the measured distance information and the image information of the camera are transmitted to the map generating module 50 And the map generation module 50 forms a map of the operation area through the received distance information and the image information.

한편, 상기 거리 측정 모듈(40)을 통해 카메라와 레이저 포인트의 픽셀 위치(x, y) 간의 연산으로 도출된 추정 거리와 실측 측정 거리의 비교 결과 소정치 이하의 오차율을 나타내므로, 카메라와 레이저 센서를 이용하여 고가의 스테레오 비전 센서를 이용하는 장애물과의 거리를 측정하는 무인 단말기에 비해, 저가의 카메라 및 레이저 센서가 설치된 무인 단말기로 해당 운행 지역의 지도가 생성된다.Meanwhile, since the distance between the camera and the laser point (x, y) is calculated by the distance measurement module 40, the error rate is less than or equal to a predetermined value, A map of the corresponding operating area is generated by an unmanned terminal equipped with a low-cost camera and a laser sensor, as compared with an unmanned terminal that measures the distance from an obstacle using an expensive stereo vision sensor.

또한, 본 발명의 실시 예에 따르면, 정적 장애물에 대해서만 카메라와 레이저 포인트 픽셀 위치 간의 거리가 추정되므로, 장애물과 카메라 간의 거리 측정 처리 시간이 최소로 단축될 수 있다. Further, according to the embodiment of the present invention, since the distance between the camera and the laser point pixel position is estimated only for the static obstacle, the distance measuring processing time between the obstacle and the camera can be minimized.

이상에서 설명한 바와 같이, 카메라(10)를 통해 획득된 소정 주기의 영상으로부터 정적 장애물을 추출하고 추출된 정적 장애물에 레이저 센서(11)의 레이저 빔의 중심 위치를 도출한 후 도출된 중심 위치와 카메라 간의 거리를 측정하여 지도 데이터를 생성하는 일련의 과정을 도 5를 참조하여 설명한다.As described above, the static obstacle is extracted from the image of the predetermined cycle obtained through the camera 10, the center position of the laser beam of the laser sensor 11 is derived from the extracted static obstacle, A series of processes of generating map data by measuring the distance between them will be described with reference to FIG.

도 5는 도 1에 도시된 무인 단말기의 제어 과정을 보인 흐름도로서, 도 1 내지 도 5를 참조하여 본 발명의 다른 실시 예에 따른 무인 단말기 제어 과정을 설명한다. FIG. 5 is a flowchart illustrating a control procedure of the unattended terminal shown in FIG. 1. Referring to FIG. 1 to FIG. 5, an unattended terminal control process according to another embodiment of the present invention will be described.

우선, 카메라(10)는 소정 주기로 획득된 영상을 영상 처리 모듈(20)로 전달하고, 상기 영상 처리 모듈(20)은 소정 픽셀로 샘플링한 후 저장하고 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정한다(단계 101, 단계 103, 및 단계 105).First, the camera 10 transmits an image obtained in a predetermined cycle to the image processing module 20, and the image processing module 20 samples and stores the image with a predetermined pixel, After extracting the obstacle image, distortion correction is performed on the extracted static obstacle image (steps 101, 103, and 105).

즉, 상기 영상 처리 모듈(20)은 이전 영상의 픽셀 단위 별 밝기 값(Sb)과 현재 영상의 같은 위치의 픽셀 밝기 값(Sn) 및 기 정의된 임의의 비율 r을 토대로 기 정해진 비례 관계식을 토대로 정적 장애물을 추출한다.That is, the image processing module 20 calculates the brightness value Sb of the current image based on the predetermined brightness ratio Sb of the previous image, the pixel brightness value Sn at the same position of the current image, Extract static obstacles.

상기 정적 장애물 픽셀의 밝기 값(Sb)을 토대로 한 비례 관계식은 다음 식 5를 만족한다.The proportional relation based on the brightness value Sb of the static obstacle pixel satisfies the following expression (5).

Figure pat00005
식 5
Figure pat00005
Equation 5

그리고, 상기 레이저 센서(11)는 레이저 빔을 상기 정적 장애물에 주사하고, 레이저 빔이 주사된 정적 장애물은 상기 영상 처리 모듈(20)을 통해 거리 측정 모듈(40)로 전달된다. 이때 상기 레이저 센서(11)는 모터에 의해 좌우 상하 방향으로 이동되므로 카메라(10)와의 각도 데이터(θ)가 주어진다.The laser sensor 11 scans the static obstacle with a laser beam and the static obstacle scanned with the laser beam is transmitted to the distance measuring module 40 through the image processing module 20. At this time, since the laser sensor 11 is moved in the vertical direction by the motor, the angle data? With respect to the camera 10 is given.

이어 상기 거리 측정 모듈(40)은, 단계(107)를 통해 레이저 포인트의 중심 위치와 카메라 간의 길이 방향 거리(xdiff)와, 모터(30)에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 중심 위치와 카메라와의 너비 및 각도 데이터(θ)를 토대로 각 픽셀 간의 거리(LOP)와, 상기 각 픽셀 위치 간의 거리(LOP)를 토대로 상기 카메라와 레이저 포인트의 중심 위치 간의 세로 방향 거리(ydiff)를 추정한다.Then, the distance measurement module 40 calculates a distance (x diff ) between the center position of the laser point and the camera through the distance (x diff ) between the center position of the laser point and the center position of the laser point moving in the up, (Y diff ) between the center position of the camera and the laser point on the basis of the distance LOP between each pixel and the distance LOP between the respective pixel positions based on the width and angle data θ of the camera .

즉, 거리 측정 모듈(40)은 기 저장된 관계식을 토대로 임의의 거리에서 길이 방향 거리(xdiff), 각 픽셀 간의 거리(LOP), 및 세로 방향 거리(ydiff)에 대한 추정이 가능하다.That is, the distance measurement module 40 can estimate the longitudinal distance (x diff ), the distance between each pixel (LOP), and the longitudinal distance (y diff ) at a certain distance based on the previously stored relational expression.

이어 상기 거리 측정 모듈(40)은 기 정의된 관계식을 토대로 도출된 임의의 거리에서의 길이 방향 거리(xdiff) 및 각 픽셀 간의 거리(LOP) 및 세로 방향 거리(ydiff)를 토대로 각도 데이터(θ)가 0인 픽셀 위치의 영점 위치(xpp, ypp)와 영점 위치(xpp, ypp)로부터 시드 위치(xsp, ysp)를 도출한다(단계 109, 111).The distance measurement module 40 then calculates angle data (x diff ) based on the longitudinal distance (x diff ) and the distance between each pixel (LOP) and the longitudinal distance (y diff ) at any distance derived based on the pre- (x sp, y sp ) from the zero point position (x pp, y pp ) and the zero point position (x pp, y pp )

상기 시드 위치(xsp, ysp)는 각도 데이터(θ)가 주어질 때 탐색 영역(60X52의 픽셀) 중 레이저 빔이 주사되는 픽셀 위치를 말한다. Said seed position (x sp, y sp) refers to a pixel position at which an angle data (θ) is the laser beam of the search area (60X52 pixels of) the scan time given.

그리고 상기 거리 측정 모듈(40)은, 상기 시드 위치(xsp, ysp)를 가지는 픽셀 중 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 도출하고 도출된 레이저 빔의 강도가 가장 높은 픽셀 위치(xh, yh)에 대해 기 설정된 관계식을 토대로 중심 위치(xp, yp)를 도출한다(단계 113, 115).The distance measurement module 40 derives a position (x h, y h ) in which the intensity of the laser beam among the pixels having the seed position (x sp, y sp ) is highest and determines the intensity of the derived laser beam The center position (x p, y p ) is derived on the basis of the predetermined relation for the high pixel position (x h, y h ) (steps 113, 115).

상기 중심 위치(xp, yp)는 레이저 빔의 강도의 분포가 높은 위치(xh, yh)에 대해 다음 식 6 및 식 7를 만족한다.The center position (x p, y p ) satisfies the following equations (6) and (7) with respect to the position (x h, y h ) where the intensity distribution of the laser beam is high.

Figure pat00006
.. 식 6
Figure pat00006
.. Equation 6

Figure pat00007
.. 식 7
Figure pat00007
.. Equation 7

여기서, 상기 xh-1과 xh+1은 xh의 가로 방향의 이웃 픽셀이고 I(x)는 픽셀 x의 강도값이고, yh-1과 yh+1는 yh의 세로 방향의 이웃 픽셀이고, I(y)는 픽셀 y의 강도값이다.Where x h -1 and x h +1 are neighboring pixels in the horizontal direction of x h , I (x) is the intensity value of the pixel x, and y h -1 and y h +1 indicate the vertical direction of y h I (y) is the intensity value of the pixel y.

상기 거리 측정 모듈(40)은 상기 중심 위치(xp, yp)와 카메라(10) 간의 거리를 기 정의된 관계식을 토대로 연산한 후 연산된 거리 정보는 지도 생성 모듈(50)로 전달된다(단계 117).The distance measurement module 40 calculates the distance between the center position (x p, y p ) and the camera 10 on the basis of a predetermined relational expression, and then the calculated distance information is transmitted to the map generation module 50 Step 117).

상기 지도 생성 모듈(50)은 상기 거리 측정 모듈(40)의 거리 정보와 영상 처리 모듈(20)의 영상 정보를 토대로 지도를 생성하고 생성된 거리 정보 및 영상 정보를 포함하는 지도는 표시 모듈(미도시됨)에 표시된다(단계 119).The map generation module 50 generates a map based on the distance information of the distance measurement module 40 and the image information of the image processing module 20, and the map including the generated distance information and image information is displayed in a display module (Step 119).

본 발명의 실시 예에 따르면, 모터의 각도 데이터가 주어지면 상기 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 영점 위치(xpp, ypp)와 탐색 영역 내의 시드 위치(xsp, ysp)를 도출한 후 도출된 시드 위치(xsp, ysp)에 주사된 레이저 빔의 중심 위치(xp, yp)를 도출하고 도출된 카메라와 레이저 포인트의 중심 위치 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있다.According to the embodiment of the present invention, when the angle data of the motor is given, the zero position (x pp, y pp ) and the seed position (x sp, y sp ) in the search area are calculated based on the X estimator, the LOP estimator and the Y estimator The center position (x p, y p ) of the scanned laser beam is derived from the derived seed position (x sp, y sp ) and the distance between the center position of the derived camera and the laser point is calculated, And the distance to the static obstacle is measured by using the camera. Therefore, it is possible to reduce the size of the low-cost small unmanned terminal, and by verifying the distance between the camera and the laser point measured through calculation, Can be fundamentally improved.

또한, 본 발명에 따르면, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물의 픽셀에 대해서만 레이저 포인트를 이용한 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있는 효과를 얻는다.According to the present invention, since the distance measurement using the laser point is performed only for the pixel of the static obstacle based on the comparison of the pixel brightness values at the same position among the plurality of images collected at the predetermined period, the image processing time and the distance measurement time are fundamentally The effect can be shortened.

여기에 제시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The steps of a method or algorithm described in connection with the embodiments disclosed herein may be embodied in the form of a program form which may be performed via a variety of computing means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

모터의 각도 데이터가 0으로 주어진 경우 X 추정기, LOP 추정기, 및 Y 추정기를 토대로 도출된 영점 위치(xpp, ypp)와 모터의 각도 데이터가 소정 각도인 경우 상기 영점 위치(xpp, ypp)와 상기 X 추정기, LOP 추정기, 및 Y 추정기로부터 도출된 임의의 거리에서의 세로 방향 거리 및 하나의 픽셀 간의 거리를 토대로 탐색 영역 내의 레이저 빔이 주사되는 픽셀 위치인 시드 위치(xsp, ysp)를 도출하며, 도출된 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도를 분석한 후 레이저 빔의 강도가 가장 높은 위치 (xh, yh) 및 기 설정된 관계식을 토대로 레이저 빔이 주사되는 레이저 포인트의 중심 위치(xp, yp)를 도출하고, 도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산함에 따라, 레이저 포인트 및 카메라를 이용하여 정적인 장애물에 대한 거리가 측정되므로 저가 소형 무인 단말기를 경박 단소화할 수 있고, 연산을 통해 측정된 카메라와 레이저 포인트 간의 거리를 실측 거리와 비교하여 검증함에 따라 무인 단말기의 신뢰성을 근본적으로 향상시킬 수 있고, 소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물의 픽셀에 대해서만 레이저 포인트를 이용한 거리 측정이 실행되므로 영상 처리 시간 및 거리 측정 시간을 근본적으로 단축할 수 있는 무인 단말기 제어 장치 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 적용되는 무인 단말기의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.If the angle data of the motor is given as 0 X estimator, LOP estimator, and a zero point position obtained based on the Y estimator (x pp, y pp) and when the angle data of the motor is a predetermined angle the zero point position (x pp, y pp ) and the X-estimator, LOP estimator, and a seed position the laser beam pixel position to be scanned in the vertical direction, the distance and the search area on the basis of the distance between a pixel in any of the distance derived from the Y estimator (x sp, y sp The intensity of the laser beam scanned at the derived seed position (x sp, y sp ) is analyzed. Then, based on the position (x h, y h ) where the intensity of the laser beam is highest and the predetermined relation, as the derivation to the center position of the scanning laser point are (x p, y p), and calculating the distance between the center position of the derived camera and the laser point (x p, y p), by using a laser pointer and a camera static About obstacles Therefore, it is possible to fundamentally improve the reliability of the unmanned terminal by comparing the measured distance between the camera and the laser point measured by the computation and comparing it with the measured distance, The distance measurement using the laser point is performed only for the pixel of the static obstacle based on the comparison of the pixel brightness values at the same position among the plurality of images, so that the image processing time and the distance measurement time can be fundamentally shortened. It is possible to make a great progress in terms of the accuracy of operation and reliability of the method and further in terms of performance efficiency and the possibility that the unattended terminal to be applied is not only commercially available or operable but also can be practically and practically carried out, .

Claims (14)

모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 장치에 있어서,
상기 영상 처리 모듈은
소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적 장애물 영상을 추출한 후 추출된 정적 장애물 영상에 대해 왜곡 보정하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
The distance between the laser point of the single laser sensor moved by the motor and the center position of the static obstacle extracted from the image processing module among the images collected through the camera is measured by the distance measuring module, An unattended terminal control device for generating data,
The image processing module
Wherein the controller is configured to extract a static obstacle image based on a comparison of pixel brightness values at the same position among a plurality of images collected in a predetermined period, and to correct distortion of the extracted static obstacle image.
제1항에 있어서, 상기 영상 처리 모듈은,
이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적인 영상을 추출하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
The image processing apparatus according to claim 1,
Wherein the controller is configured to extract a static image based on a predetermined proportional relation based on a brightness value per pixel unit of the previous image, a pixel brightness value at the same position of the current image, and a predefined arbitrary ratio.
제2항에 있어서 상기 영상 처리 모듈은,
상기 카메라를 통해 수집된 영상 중 밝은 영역이 분포된 비경 효과를 차단하기 위한 이미지 필터링을 실행하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
3. The image processing apparatus according to claim 2,
Wherein the image filtering unit is configured to perform image filtering to block non-diameter effects in which bright regions are distributed among the images collected through the camera.
제1항에 있어서, 상기 거리 측정 모듈은,
상기 레이저 포인트의 중심 위치(xp, yp)와 카메라 간의 길이 방향 거리 (xdiff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(xdiff)를 각각 추정하며,
추정된 상기 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 세로 방향 거리(ydiff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(xpp, ypp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(xsp, ysp)와, 상기 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 도출하고,
도출된 영점 위치(xpp, ypp), 시드 위치(xsp, ysp), 및 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(xp, yp)를 도출하며,
도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
2. The apparatus of claim 1,
And the distance (LOP) between the center position (x p, y p) and a longitudinal distance (x diff) between the camera, the center position of each pixel of the laser point moving in the vertical and horizontal directions by the motor of the laser point, (LOP) between the derived center positions and the longitudinal distance (x diff ) of the X estimator, respectively,
(X pp, y pp ) in which the angular data of the motor is 0 degrees and the laser beam in the search area (x p , y p ), which are based on the estimated vertical distance (y diff ) between the camera and the center position and a seed position of the scanned pixels (sp x, y sp), and derives the position with the highest intensity of the laser beam (x h, y h) scanning on the seed location (x sp, y sp),
The derived zero position (x pp, y pp), the seed location (x sp, y sp), and the highest position the intensity of the laser beam (x h, y h) the central position in the pixel to which the scanning laser beam on the basis of the ( x p, y p )
And calculates the distance between the derived camera and the center position (x p, y p ) of the laser point.
제4항에 있어서, 상기 거리 측정 모듈은,
상기 카메라와 레이저 빔의 중심 위치(xp, yp) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증기를 더 포함하는 것을 특징으로 하는 무인 단말기 제어 장치.
5. The apparatus of claim 4,
Further comprising a verifier for verifying a distance between a camera of the distance calculator and a center position of the laser point based on an estimated distance and an actual measured distance between the center position (x p, y p ) of the camera and the laser beam , Terminal control device.
제1항에 있어서, 상기 지도 데이터는,
기 정해진 설정 주기로 생성된 지도 데이터를 이전 지도 데이터에 갱신하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 장치.
2. The map display apparatus according to claim 1,
And update the generated map data with the predetermined set period to the previous map data.
제1항에 있어서, 상기 무인 단말기 제어 장치는,
상기 지도 데이터에 정적인 장애물과의 거리 데이터를 합성하여 표시하는 표시 모듈을 더 포함하는 것을 특징으로 하는 무인 단말기 제어 장치.
The terminal device according to claim 1,
Further comprising a display module for synthesizing and displaying distance data of the static obstacle in the map data.
모터에 의해 이동하는 단일 레이저 센서의 레이저 포인트와 카메라를 통해 수집된 영상 중 영상 처리 모듈에서 추출된 정적 장애물의 중심 위치 간의 거리를 거리 측정 모듈을 통해 측정하고 측정된 거리 정보 및 영상 정보를 토대로 지도 데이터를 생성하는 무인 단말기 제어 방법에 있어서,
소정 주기로 수집된 다수의 영상 중 동일 위치의 픽셀 밝기 값의 비교를 토대로 정적인 장애물 영상을 추출한 후 추출된 정적인 장애물 영상에 대해 왜곡 보정하는 영상 처리 과정을 포함하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
The distance between the laser point of the single laser sensor moved by the motor and the center position of the static obstacle extracted from the image processing module among the images collected through the camera is measured by the distance measuring module, An unattended terminal control method for generating data,
An image processing step of extracting a static obstacle image based on a comparison of pixel brightness values at the same position among a plurality of images collected at a predetermined period and correcting distortion of the extracted static obstacle image; Control method.
제8항에 있어서, 상기 영상 처리 과정은,
이전 영상의 픽셀 단위 별 밝기 값과 현재 영상의 같은 위치의 픽셀 밝기 값 및 기 정의된 임의의 비율을 토대로 기 정해진 비례 관계식을 토대로 정적 영상을 추출하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
The image processing method according to claim 8,
Wherein the static image is extracted based on a predetermined proportional relation based on a brightness value of each pixel unit of the previous image, a pixel brightness value of the same position of the current image, and a predefined arbitrary ratio.
제8항에 있어서, 상기 영상 처리 과정은,
카메라를 통해 수집된 영상 중 밝은 영역이 분포된 비경 효과를 차단하기 위한 이미지 필터링을 실행하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
The image processing method according to claim 8,
And performing image filtering to block a non-image effect in which a bright region is distributed among images collected through a camera.
제8항에 있어서, 상기 거리 측정 과정은,
상기 레이저 포인트의 중심 위치(xp, yp)와 카메라 간의 길이 방향 거리 (xdiff)와, 상기 모터에 의해 상하 좌우 방향으로 이동하는 레이저 포인트의 각 픽셀의 중심 위치 간의 거리(LOP)와, 도출된 중심 위치 간의 거리(LOP)와 X 추정기의 길이 방향 거리(xdiff)를 추정하며,
추정된 상기 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 세로 방향 거리(ydiff)를 토대로 상기 모터의 각도 데이터가 0도인 영점 위치(xpp, ypp)와 탐색 영역 내의 레이저 빔이 주사되는 픽셀의 시드 위치(xsp, ysp)와, 상기 시드 위치(xsp, ysp)에 주사된 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 도출하고,
도출된 영점 위치(xpp, ypp), 시드 위치(xsp, ysp), 및 레이저 빔의 강도가 가장 높은 위치(xh, yh)를 토대로 레이저 빔이 주사되는 픽셀 내의 중심 위치(xp, yp)를 도출하며,
도출된 카메라와 레이저 포인트의 중심 위치(xp, yp) 간의 거리를 연산하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
9. The method according to claim 8,
And the distance (LOP) between the center position (x p, y p) and a longitudinal distance (x diff) between the camera, the center position of each pixel of the laser point moving in the vertical and horizontal directions by the motor of the laser point, Estimate the distance (LOP) between the derived center positions and the longitudinal distance (x diff ) of the X estimator,
(X pp, y pp ) in which the angular data of the motor is 0 degrees and the laser beam in the search area (x p , y p ), which are based on the estimated vertical distance (y diff ) between the camera and the center position and a seed position of the scanned pixels (sp x, y sp), and derives the position with the highest intensity of the laser beam (x h, y h) scanning on the seed location (x sp, y sp),
The derived zero position (x pp, y pp), the seed location (x sp, y sp), and the highest position the intensity of the laser beam (x h, y h) the central position in the pixel to which the scanning laser beam on the basis of the ( x p, y p )
And calculating the distance between the derived camera and the center position (x p, y p ) of the laser point.
제11항에 있어서, 상기 레이저 빔의 강도는,
레이저 빔의 에너지 량, 레이저 빔의 강도 분포도, 레이저 빔의 발산 중 적어도 하나 이상을 토대로 분석되도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
12. The method of claim 11, wherein the intensity of the laser beam
Wherein the analysis is performed based on at least one of energy amount of the laser beam, intensity distribution of the laser beam, and divergence of the laser beam.
제11항에 있어서, 상기 거리 측정 과정은,
상기 거리 연산기의 카메라와 레이저 빔의 중심 위치(xp, yp) 간의 추정 거리와 실제 측정 거리를 토대로 상기 거리 연산기의 카메라와 레이저 포인트의 중심 위치 간의 거리를 검증하는 검증 단계를 더 포함하는 것을 특징으로 하는 무인 단말기 제어 방법.
12. The method of claim 11,
And a verification step of verifying a distance between the camera of the distance calculator and the center position of the laser point based on the estimated distance and the actual measured distance between the center position (x p, y p ) of the camera and the laser beam of the distance calculator Wherein the unattended terminal control method comprises:
제8항에 있어서, 상기 지도 데이터는
기 정해진 설정 주기로 생성된 지도를 이전 지도에 갱신하도록 구비되는 것을 특징으로 하는 무인 단말기 제어 방법.
9. The method according to claim 8,
And updating the generated map with a predetermined set period to the previous map.
KR1020140105126A 2014-08-13 2014-08-13 Apparatus and method for controling automatic termial KR101639264B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140105126A KR101639264B1 (en) 2014-08-13 2014-08-13 Apparatus and method for controling automatic termial

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140105126A KR101639264B1 (en) 2014-08-13 2014-08-13 Apparatus and method for controling automatic termial

Publications (2)

Publication Number Publication Date
KR20160020620A true KR20160020620A (en) 2016-02-24
KR101639264B1 KR101639264B1 (en) 2016-07-14

Family

ID=55449441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140105126A KR101639264B1 (en) 2014-08-13 2014-08-13 Apparatus and method for controling automatic termial

Country Status (1)

Country Link
KR (1) KR101639264B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088801A (en) * 2007-09-28 2009-04-23 Hitachi Software Eng Co Ltd Motionlessness deciding method and device for photograph object
WO2011018999A1 (en) * 2009-08-12 2011-02-17 日本電気株式会社 Obstacle detection device and method and obstacle detection system
KR20120046974A (en) * 2010-11-03 2012-05-11 삼성전자주식회사 Moving robot and simultaneous localization and map-buliding method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088801A (en) * 2007-09-28 2009-04-23 Hitachi Software Eng Co Ltd Motionlessness deciding method and device for photograph object
WO2011018999A1 (en) * 2009-08-12 2011-02-17 日本電気株式会社 Obstacle detection device and method and obstacle detection system
KR20120046974A (en) * 2010-11-03 2012-05-11 삼성전자주식회사 Moving robot and simultaneous localization and map-buliding method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging

Also Published As

Publication number Publication date
KR101639264B1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
US10268201B2 (en) Vehicle automated parking system and method
KR101725060B1 (en) Apparatus for recognizing location mobile robot using key point based on gradient and method thereof
EP2948927B1 (en) A method of detecting structural parts of a scene
KR101776621B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
US20200042803A1 (en) Information processing method, information processing apparatus, and recording medium
JP5588812B2 (en) Image processing apparatus and imaging apparatus using the same
KR101776620B1 (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
KR20150144731A (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
JP2019124537A (en) Information processor, method for controlling the same, program, and vehicle operation supporting system
KR102151815B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence
JP6552448B2 (en) Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection
CN105844692A (en) Binocular stereoscopic vision based 3D reconstruction device, method, system and UAV
KR20140054710A (en) Apparatus and method for generating 3d map
JP2019056629A (en) Distance estimation device and method
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP7145770B2 (en) Inter-Vehicle Distance Measuring Device, Error Model Generating Device, Learning Model Generating Device, Methods and Programs Therefor
Dodge et al. Convex vision-based negative obstacle detection framework for autonomous vehicles
KR101319526B1 (en) Method for providing location information of target using mobile robot
KR101639264B1 (en) Apparatus and method for controling automatic termial
CN106682584B (en) Unmanned aerial vehicle obstacle detection method and device
Cigla et al. Image-based visual perception and representation for collision avoidance

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 4