KR20220064111A - Ship block transportation equipment based on spatial information and method for detecting obstacle using the same - Google Patents

Ship block transportation equipment based on spatial information and method for detecting obstacle using the same Download PDF

Info

Publication number
KR20220064111A
KR20220064111A KR1020200150278A KR20200150278A KR20220064111A KR 20220064111 A KR20220064111 A KR 20220064111A KR 1020200150278 A KR1020200150278 A KR 1020200150278A KR 20200150278 A KR20200150278 A KR 20200150278A KR 20220064111 A KR20220064111 A KR 20220064111A
Authority
KR
South Korea
Prior art keywords
ship block
obstacle
transport device
block transport
collision
Prior art date
Application number
KR1020200150278A
Other languages
Korean (ko)
Inventor
이경호
한영수
이재준
남병욱
이정민
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200150278A priority Critical patent/KR20220064111A/en
Publication of KR20220064111A publication Critical patent/KR20220064111A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B73/00—Building or assembling vessels or marine structures, e.g. hulls or offshore platforms
    • B63B73/30—Moving or transporting modules or hull blocks to assembly sites, e.g. by rolling, lifting or floating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Structural Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a ship block transportation apparatus based on spatial information for detecting an obstacle. According to the present invention, the ship block transportation apparatus based on spatial information for detecting an obstacle comprises: a Lidar unit attached to the ship block transportation apparatus and transmitting a Lidar signal to the surroundings to acquire one or more point clouds through a reflected signal; a grouping unit grouping the detected one or more point clouds into clusters and measuring an azimuth and distance of the point clouds; a camera unit attached to the ship block transportation apparatus and photographing a driving image; an identification unit applying the driving image to a pre-learned deep learning algorithm and identifying the obstacle included in the driving image as a person or a thing; and a determination unit determining whether there is a possibility to collide with the obstacle or not by using a preset variable safety area, the azimuth and distance information of the point clouds, and the identification information on the person or the thing. As such, according to the present invention, the ship block transportation apparatus is able to detect the azimuth and distance of point clouds acquired from the Lidar signal, apply the driving image photographed by the camera to a learned deep learning algorithm, and identify the obstacle, thereby determining whether there is a possibility that the ship block transportation apparatus can collide with the obstacle or not. In addition, when there is a possibility to collide with the obstacle, the ship block transportation apparatus provides an alert on the collision to the driver of the ship block transportation apparatus, and thus, prevents a collision and jamming accident with the obstacle.

Description

공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법{SHIP BLOCK TRANSPORTATION EQUIPMENT BASED ON SPATIAL INFORMATION AND METHOD FOR DETECTING OBSTACLE USING THE SAME}A ship block transport device based on spatial information and an obstacle detection method using the same

본 발명은 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법에 관한 것으로, 더욱 상세하게는 라이다 신호로부터 획득한 검출 정보와 카메라를 이용하여 촬영된 주행 영상 정보를 융합하여 장애물을 검출하는 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법에 관한 것이다.The present invention relates to an apparatus for transporting a ship block based on spatial information and an obstacle detection method using the same, and more particularly, to detecting an obstacle by fusing detection information obtained from a lidar signal and driving image information photographed using a camera. It relates to a ship block transport device based on spatial information and an obstacle detection method using the same.

최근에는 거리 및 형상 정보 획득 기기들을 복합적으로 활용하는 기법이 주로 사용되고 있다. 여기서 각각의 센 서에 획득한 2D/3D 거리 및 형상 정보를 통합하는 과정은 주행 경로 계산 및 차량 제어를 위해 필수적인 전처리 과정 중 하나로 볼 수 있다.Recently, a technique using a combination of distance and shape information acquisition devices is mainly used. Here, the process of integrating the 2D/3D distance and shape information obtained from each sensor can be viewed as one of the essential pre-processing processes for driving route calculation and vehicle control.

일반적으로 다양한 분야의 다수의 현장 근로자가 배치되어 작업을 수행하고 있으며, 안전사고도 매우 빈번하게 발생하고 있다. 이에 따라, 현장 근로자에 대한 안전관리가 매우 중요하나 많은 현장 근로자들을 관리하는 관리자는 매우 한정되어 있으므로, 관리자가 현장에서 일어나는 모든 작업 상황을 정확하게 파악하여 안전사고를 미연에 방지함에는 한계가 있다. In general, a large number of field workers in various fields are deployed to perform work, and safety accidents occur very frequently. Accordingly, although safety management for field workers is very important, the number of managers who manage many field workers is very limited, so there is a limit in preventing safety accidents in advance by accurately understanding all the work situations that occur in the field.

특히, 선박블록 운송 장치는 조선소 내에서 대형 적재물을 적재한 상태로 조선소 야드 내를 주행하며, 일반 차량과 다른 생김새와 운용방식 갖는다. 선박블록 운송 장치는 길이가 매우 길며, 운전석이 적재물보다 낮은 높이에 위치하고 있으므로, 전방에 대한 시야확보가 어렵다. 따라서, 1대의 선박블록 운송 장치는 2~4명의 신호수와 함께 작업을 하며, 선행하는 신호수를 통하여 충돌관련 정보를 무전기를 통해 교신한다. 하지만, 선박블록 운송 장치가 신호수를 통해 이동경로 확보에 의존하는 것은 한계가 있다. 또한, 선박블록 운송 장치는 주변 장애물과의 충돌 및 협착 사고 발생 가능성이 높은 문제점이 있었다. In particular, the ship block transport device travels in the shipyard yard in a state in which a large load is loaded in the shipyard, and has a different appearance and operation method than a general vehicle. The ship block transport device has a very long length, and since the driver's seat is located at a lower height than the load, it is difficult to secure a view to the front. Therefore, one ship block transport device works with 2 to 4 signalers, and communicates collision-related information through a radio through the preceding signal number. However, there is a limit to relying on the ship block transport device to secure a movement route through the number of signals. In addition, the ship block transport device has a high probability of collision with surrounding obstacles and stenosis accidents.

이와 같은 안전 사고를 방지하기 위하여 주변 환경을 인식하는 센서에는 라이다(Lidar), 레이더(Radar), 2D 카메라, 3D 스캐너, 스테레오 비전 등이 존재하며, 이들 센서로부터 거리 및 형상 정보를 획득할 수 있다.In order to prevent such safety accidents, there are Lidar, Radar, 2D camera, 3D scanner, stereo vision, etc. sensors that recognize the surrounding environment, and distance and shape information can be obtained from these sensors. there is.

본 발명의 배경이 되는 기술은 대한민국 국내공개특허 제10-2020-0076989호 (2020.06.30 공개)에 개시되어 있다.The technology underlying the present invention is disclosed in Korean Patent Publication No. 10-2020-0076989 (published on June 30, 2020).

본 발명이 이루고자 하는 기술적 과제는 라이다 신호로부터 획득한 검출 정보와 카메라를 이용하여 촬영된 주행 영상 정보를 융합하여 장애물을 검출하는 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법을 제공하기 위한 것이다.The technical problem to be achieved by the present invention is to provide a spatial information-based ship block transport apparatus that detects obstacles by fusing detection information obtained from a lidar signal and driving image information photographed using a camera, and an obstacle detection method using the same it is for

이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 장애물을 검출하기 위한 공간정보 기반의 선박블록 운송 장치에 있어서, 상기 선박블록 운송 장치에 부착되며 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 라이다(Lidar)부, 검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 군집화부, 상기 선박블록 운송 장치에 부착되며, 주행 영상을 촬영하는 카메라부, 상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 식별부, 그리고 기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 판단부를 포함한다.According to an embodiment of the present invention for achieving this technical problem, in the spatial information-based ship block transport device for detecting obstacles, it is attached to the ship block transport device and transmits a lidar signal to the surroundings to collect the reflected signal. A lidar unit that acquires one or more point clouds through a clustering unit that clusters one or more detected point clouds into clusters, respectively, and detects an azimuth and distance to the point cloud, is attached to the ship block transport device, A camera unit for photographing a driving image, an identification unit for identifying an obstacle included in the driving image as a person or an object by applying the driving image to a previously learned deep learning algorithm, and a preset variable safety area and the point cloud and a determination unit that determines whether a collision with an obstacle is possible using the azimuth and distance information and the identification information on the person or thing.

상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 안전 영역 설정부를 더 포함할 수 있다.A variable safety area is set using the braking distance and safe turning radius according to the traveling speed of the ship block transport device, and fixed safety using shape information about the weight, center of gravity, length, width, height and loading position of the load It may further include a safe area setting unit for setting the area.

상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 알람부를 더 포함할 수 있다.When there is a possibility of a collision between the load and the obstacle, it may further include an alarm unit for providing a collision notification to the driver of the ship block transport device.

상기 가변 안전 영역은, 상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정될 수 있다.The variable safety area may be set using a braking distance for preventing collision with the obstacle when an obstacle in the driving direction of the ship block transport device exists within a reference distance.

상기 카메라부와 라이다부는 상기 선박블록 운송 장치의 전방에 일체화되어 부착될 수 있다.The camera unit and the lidar unit may be integrally attached to the front of the ship block transport device.

본 발명의 다른 실시예에 따르면, 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법에 있어서, 상기 선박블록 운송 장치에 부착된 라이다를 통해 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 단계, 검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 단계, 상기 선박블록 운송 장치에 부착된 카메라를 통해 주행 영상을 촬영하는 단계, 상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 단계, 그리고 기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 단계를 포함한다.According to another embodiment of the present invention, in the method of detecting an obstacle using a ship block transport device based on spatial information, a lidar signal is transmitted to the surroundings through a lidar attached to the ship block transport device and reflected through the signal. Acquiring one or more point clouds, grouping the detected one or more point clouds into clusters, respectively, detecting an azimuth and distance to the point cloud, photographing a driving image through a camera attached to the ship block transport device Step, applying the driving image to a pre-learned deep learning algorithm to identify obstacles included in the driving image as a person or an object, and azimuth and distance information of a preset variable safety area and the point cloud, the person or determining whether there is a possibility of collision with an obstacle by using the identification information on the object.

이와 같이 본 발명에 따르면, 라이다 신호로부터 획득한 포인트 클라우드에 대한 방위각 및 거리를 검출하고, 카메라를 통하여 촬영한 주행 영상을 학습된 딥러닝 알고리즘에 적용하여 장애물을 식별함으로써, 선박블록 운송 장치와 장애물과의 충돌 가능성 여부를 판단할 수 있다. As described above, according to the present invention, by detecting the azimuth and distance to the point cloud obtained from the LIDAR signal, and identifying obstacles by applying the driving image captured through the camera to the learned deep learning algorithm, the ship block transportation device and It is possible to determine whether there is a possibility of collision with an obstacle.

또한, 장애물과의 충돌 가능성이 있는 경우 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공함으로써, 장애물과의 충돌 및 협착 사고를 방지할 수 있다.In addition, when there is a possibility of collision with an obstacle, a collision with an obstacle and a stenosis accident can be prevented by providing a notification whether a collision exists to the driver of the ship block transport apparatus.

도 1은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치의 구성을 나타낸 구성도이다.
도 2a는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 평면도이다.
도 2b는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 측면도이다.
도 3은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S320 단계를 설명하기 위한 도면이다.
도 5는 도 3의 S330 단계를 설명하기 위한 도면이다.
도 6는 도 3의 S340 단계를 설명하기 위한 도면이다.
도 7는 도 3의 S350 단계를 설명하기 위한 도면이다.
도 8는 도 3의 S360 단계를 설명하기 위한 도면이다.1 is a block diagram showing the configuration of a ship block transport apparatus based on spatial information according to an embodiment of the present invention.
Figure 2a is a plan view of a ship block transport apparatus to which a safety area according to an embodiment of the present invention is applied.
Figure 2b is a side view of the ship block transport device to which the safety area according to the embodiment of the present invention is applied.
3 is a flowchart illustrating an obstacle detection method using a space information-based ship block transport apparatus according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining step S320 of FIG. 3 .
FIG. 5 is a diagram for explaining step S330 of FIG. 3 .
FIG. 6 is a view for explaining step S340 of FIG. 3 .
FIG. 7 is a view for explaining step S350 of FIG. 3 .
FIG. 8 is a diagram for explaining step S360 of FIG. 3 .

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Then, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them.

이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 선박블록 운송 장치(100)를 설명한다.Hereinafter, a ship block transport apparatus 100 according to an embodiment of the present invention will be described with reference to FIG. 1 .

도 1은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치의 구성을 나타낸 구성도이다.1 is a block diagram showing the configuration of a ship block transport apparatus based on spatial information according to an embodiment of the present invention.

도 1에서 나타낸 바와 같이, 본 발명의 실시예에 따른 선박블록 운송 장치(100)는 라이다부(120), 군집화부(130), 카메라부(140), 식별부(150), 판단부(160), 안전 영역 설정부(110) 및 알림부(170)를 포함한다.As shown in FIG. 1 , the ship block transport apparatus 100 according to an embodiment of the present invention includes a lidar unit 120 , a clustering unit 130 , a camera unit 140 , an identification unit 150 , and a determination unit 160 . ), a safe area setting unit 110 and a notification unit 170 .

본 발명의 실시예에 따른 선박블록 운송 장치(100)는 조선소에서 적재물을 상차지에서 적재시키고, 하자지에서 하차시키기 위한 트랜스포터(Transporter)를 의미한다. Ship block transport apparatus 100 according to an embodiment of the present invention means a transporter for loading and disembarking at a loading site in a shipyard.

먼저, 안전 영역 설정부(110)는 기 저장된 운송 장치의 주행 관련 정보 및 적재 블록 정보를 이용하여, 가변 안전 영역과 고정 안전 영역을 설정할 수 있다. First, the safety area setting unit 110 may set a variable safety area and a fixed safety area by using the previously stored driving-related information and loading block information of the transportation device.

즉, 안전 영역 설정부(110)는 선박블록 운송 장치(100)의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정한다. That is, the safety area setting unit 110 sets a variable safety area using the braking distance and the safe turning radius according to the traveling speed of the ship block transport device 100, and sets the weight and center of gravity, length, width, and height of the load. and setting the fixed safety area using the shape information about the loading position.

다음으로, 라이다부(120)는 선박블록 운송 장치(100)의 전방에 부착되며, 가변 안전 영역을 고려하여 전방, 좌측 및 우측을 탐색한다. 이때, 라이다부(120)는 라이다 신호를 주변에 송신하고, 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득할 수 있다. Next, the lidar unit 120 is attached to the front of the ship block transport device 100, and searches the front, left and right in consideration of the variable safety area. In this case, the lidar unit 120 may transmit a lidar signal to the surroundings and acquire one or more point clouds through the reflected signal.

다음으로, 군집화부(130)는 라이다부(120)로부터 획득된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하고, 포인트 클라우드에 대한 방위각 및 거리를 검출할 수 있다.Next, the clustering unit 130 may cluster one or more point clouds obtained from the lidar unit 120 into clusters, respectively, and detect an azimuth and a distance to the point cloud.

다음으로, 카메라부(140)는 선박블록 운송 장치(100)에 부착된 카메라를 이용하여 주행 영상을 촬영한다. 이때, 카메라부(140)는 선박블록 운송 장치(100)의 전방에 설치될 수 있으며, 라이다부(120)와 일체화되어 부착할 수 있다.Next, the camera unit 140 takes a driving image using a camera attached to the ship block transport apparatus 100 . In this case, the camera unit 140 may be installed in front of the ship block transport device 100 , and may be integrated with the lidar unit 120 and attached thereto.

다음으로, 식별부(150)는 촬영된 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 주행 영상에 포함된 사람 또는 사물을 식별하여 장애물로 인식할 수 있다.Next, the identification unit 150 may recognize a person or an object included in the driving image as an obstacle by applying the captured driving image to a pre-learned deep learning algorithm.

다음으로, 판단부(160)는 기 설정된 가변 안전 영역과 포인트 클라우드의 방위각 및 거리 정보, 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단한다.Next, the determination unit 160 determines whether there is a possibility of collision with an obstacle by using the preset variable safety area, azimuth and distance information of the point cloud, and identification information on a person or thing.

그리고, 알림부(170)는 적재물(200)과 장애물 사이에 충돌 가능성이 있다고 판단될 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공할 수 있다.And, when it is determined that there is a possibility of a collision between the load 200 and the obstacle, the notification unit 170 may provide a collision notification to the driver of the ship block transport apparatus 100 .

이하에서는 도 2a 및 도 2b를 통하여 안전 영역 설정부(110)가 가변 안전 영역(111)과 고정 안전 영역(112)을 설정하는 것에 대하여 설명한다. Hereinafter, the setting of the variable safety region 111 and the fixed safety region 112 by the safety region setting unit 110 will be described with reference to FIGS. 2A and 2B .

도 2a는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 평면도이고, 도 2b는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 측면도이다.Figure 2a is a plan view of a ship block transport device to which a safety area is applied according to an embodiment of the present invention, Figure 2b is a side view of a ship block transport device to which a safety zone is applied according to an embodiment of the present invention.

도 2a 및 도 2b와 같이 본 발명의 실시예에 따른 선박블록 운송 장치(100)는 적재물(200)을 적재하고 있는 것으로 도시하였다. As shown in FIGS. 2A and 2B , the ship block transport apparatus 100 according to the embodiment of the present invention is illustrated as loading the load 200 .

여기서, 선박블록 운송 장치(100)에 적재된 적재물(200)은 수십톤에서 최대 천톤을 싣고 조선소 야드 내를 주행하기 때문에 적재물(200)이 쏟아지는 것을 방지하기 위해 적재물(200)의 무게중심을 잡는 것이 중요하므로, 안전 영역 설정부(110)는 적재물(200)의 길이, 너비, 높이 및 적재 위치의 정보를 미리 제공받으며, 상기 정보를 기반으로 고정 안전 영역(112)을 설정한다. Here, the load 200 loaded on the ship block transport device 100 loads from several tens of tons to a maximum of one thousand tons and runs in the shipyard yard, so to prevent the load 200 from pouring, the center of gravity of the load 200 is held Since it is important, the safe area setting unit 110 receives information on the length, width, height and loading position of the load 200 in advance, and sets the fixed safe area 112 based on the information.

선박블록 운송 장치(100) 주변에 위치하는 장애물이 해당 고정 안전 영역(112)을 벗어나면 충돌 가능성이 적으며, 장애물이 고정 안전 영역(112) 내에 위치하면 충돌 가능성이 크다는 것을 나타낸다. When an obstacle located around the ship block transport device 100 deviates from the fixed safety area 112 , the collision probability is low, and when the obstacle is located within the fixed safety area 112 , the collision probability is high.

따라서, 안전 영역 설정부(110)는 선박블록 운송 장치(100)에 적재된 적재물(200)의 무게, 길이, 너비, 높이 정보 및 적재물(200)의 적재 위치와 무게 중심을 미리 알고 주행하며, 적재물(200)의 형상 정보를 기반으로 고정 안전 영역(112)을 설정할 수 있다. Therefore, the safety area setting unit 110 knows in advance the weight, length, width, height information of the load 200 loaded in the ship block transport device 100 and the loading position and center of gravity of the load 200, and drives, The fixed safety area 112 may be set based on the shape information of the load 200 .

그리고, 선박블록 운송 장치(100)는 주행 속도에 따라 제동 거리 및 안전 선회 반경이 달라지게 되는데, 이러한 제동거리 및 안전 선회 반경을 기반으로 안전 영역 설정부(110)는 가변 안전 영역(111)을 설정할 수 있다. In addition, the ship block transport device 100 changes the braking distance and the safe turning radius according to the traveling speed. Based on the braking distance and the safe turning radius, the safety area setting unit 110 sets the variable safety area 111 can be set.

이때, 제동 거리는 브레이크가 작동한 순간부터 자동차가 완전히 멈출 때까지 자동차가 움직인 거리를 의미하며, 적재물(200)이 적재된 선박블록 운전 장치(100)의 경우 수십톤에서 최대 천톤의 적재물을 싣기 때문에 하중으로 인해 제동거리가 길어질 수 밖에 없다. 즉, 선박블록 운전 장치(100)의 속도가 증가하면 제동거리는 더욱 길어지기 때문에 일반적으로 조선소 내에서 적재물(200)을 포함한 선박블록 운전 장치(100)의 주행속도는 10~15km/h를 유지한다. At this time, the braking distance means the distance the vehicle moves from the moment the brake is applied until the vehicle is completely stopped. Therefore, the braking distance is inevitably long due to the load. That is, when the speed of the ship block driving device 100 increases, the braking distance becomes longer. In general, the running speed of the ship block driving device 100 including the load 200 in the shipyard is maintained at 10 to 15 km/h. .

이때, 선박블록 운전 장치(100)의 경우 주요 도로만 통행이 가능하며, 적재물(200)의 크기로 인해 장애물과의 충돌 사고가 빈번히 발생하기 때문에 선회 반경에 대한 정보가 필요하다. 선회 반경은 선회하면서 그리게 되는 원의 사이즈로 속도가 느릴수록 선회반경은 작아진다. At this time, in the case of the ship block driving device 100, only the main road is allowed to pass, and since collision accidents with obstacles frequently occur due to the size of the load 200, information about the turning radius is required. The turning radius is the size of the circle drawn while turning. The slower the speed, the smaller the turning radius.

따라서, 안전 영역 설정부(110)는 선박블록 운송 장치(100)의 주행 정보를 기반으로 가변 안전 영역(111)을 설정하며, 선박블록 운송 장치(100)의 주행 방향에 장애물이 기준 거리 내에 존재할 경우, 장애물과 충동을 방지하기 위해 제동 거리만큼의 안전 영역 설정이 필요하므로, 도 2a 및 도 2b와 같이 가변 안전 영역(111)을 설정한다. Accordingly, the safety area setting unit 110 sets the variable safety area 111 based on the driving information of the ship block transportation device 100 , and an obstacle in the traveling direction of the ship block transportation device 100 exists within the reference distance. In this case, the variable safety area 111 is set as shown in FIGS. 2A and 2B because it is necessary to set a safety area equivalent to the braking distance in order to prevent collision with an obstacle.

이하에서는 도 3 내지 도 8을 이용하여 본 발명의 실시예에 따른 선박블록 운송 장치(100)를 이용한 장애물 검출 방법을 설명한다.Hereinafter, an obstacle detection method using the ship block transport apparatus 100 according to an embodiment of the present invention will be described with reference to FIGS. 3 to 8 .

도 3은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating an obstacle detection method using a space information-based ship block transport apparatus according to an embodiment of the present invention.

먼저, 안전 영역 설정부(110)는 기 저장된 주행 속도에 따른 제동 거리와 안전 선회 반경에 대한 운송 장치 주행 관련 정보 및 적재물(200)의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 적재물 형상 정보를 이용하여 안전 영역을 설정한다(S310).First, the safety area setting unit 110 provides information about the driving-related transportation device for the braking distance and safe turning radius according to the previously stored driving speed, and the weight and center of gravity of the load 200, length, width, height, and loading position. A safety area is set using the load shape information (S310).

여기서 안전 영역은 가변 안전 영역(111)과 고정 안전 영역(112)을 포함하며, 안전 영역 설정부(110)가 안전 영역을 설정하는 방법에 대해서는 도 2a 및 도 2b에서 설명하였는 바, 중복되는 설명은 생략한다. Here, the safe area includes a variable safety area 111 and a fixed safe area 112 , and the method for the safe area setting unit 110 to set the safe area has been described with reference to FIGS. 2A and 2B , and overlapping descriptions is omitted.

다음으로, 라이다부(120)는 가변 안전 영역(111)을 고려하여 주변 환경을 탐색하여, 송수신된 신호를 통해 하나 이상의 포인트 클라우드를 획득한다(S320). Next, the lidar unit 120 searches the surrounding environment in consideration of the variable safety area 111 and acquires one or more point clouds through the transmitted/received signal (S320).

도 4는 도 3의 S320 단계를 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining step S320 of FIG. 3 .

도 4에서 나타낸 것처럼, 라이다부(120)는 가변 안전 영역(111) 내에서 전방, 좌측 및 우측을 탐색한다. 이때, 라이다부(120)는 800~2000nm 레이저를 사용하고, 레이저 펄스를 발사하여 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 시간을 측정하여 물체까지의 거리 및 위치 좌표를 측정한다. As shown in FIG. 4 , the lidar unit 120 searches forward, left, and right within the variable safety area 111 . In this case, the lidar unit 120 uses an 800-2000 nm laser, emits a laser pulse, measures the time for the light to be reflected from a surrounding target object and returns to measure the distance to the object and position coordinates.

여기서, 라이다부(120)는 진행방향을 향해 라이다 신호를 송신하고, 장애물이 가변 안전 영역(111) 내에 존재할 경우 장애물에 반사된 신호를 수신하여 적어도 하나 이상의 포인트 클라우드를 생성한다. 이때, 라이다부(120)의 감지 범위는 100m 일 수 있으며, 수신이 되지 않은 신호 및 거리가 100m 이상인 포인트는 제외될 수 있다.Here, the lidar unit 120 generates at least one point cloud by transmitting a lidar signal in the moving direction, and receiving a signal reflected by the obstacle when the obstacle exists in the variable safety area 111 . In this case, the detection range of the lidar unit 120 may be 100 m, and a signal that is not received and a point having a distance of 100 m or more may be excluded.

그리고, 군집화부(130)는 라이다부(120)로부터 획득된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출한다(S330). Then, the clustering unit 130 clusters one or more point clouds obtained from the lidar unit 120 into clusters, respectively, and detects an azimuth and a distance to the point cloud ( S330 ).

도 5는 도 3의 S330 단계를 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining step S330 of FIG. 3 .

S320 단계에서 라이다부(120)로부터 수신된 신호는 적어도 하나 이상의 포인트 클라우드를 형성하며, 도 5에서 나타낸 것처럼 복수의 점으로 군집화된다. 이때, 군집화된 복수의 점은 하나 이상의 클러스터(300a, ??, 300d) 단위로 군집화되며, 군집화부(130)는 각각의 클러스터(300a, ??, 300d)에 대하여 방위각 및 거리를 측정할 수 있다. The signal received from the lidar unit 120 in step S320 forms at least one point cloud, and is clustered into a plurality of points as shown in FIG. 5 . At this time, the plurality of clustered points are clustered in units of one or more clusters 300a, ??, and 300d, and the clustering unit 130 can measure the azimuth and distance for each cluster 300a, ??, and 300d. there is.

예를 들어, 도 5에 나타낸 것처럼, 선박블록 운송 장치(100)를 기준으로 클러스터(300a)는 40° 각도로 15.2m 정도 이격된 지점에 위치하고 있으며, 클러스터(300b)는 33° 각도로 28.9m 만큼 이격된 지점에 위치하는 것으로 검출된다. 그리고, 클러스터(300c)는 -11° 각도로 22m 정도 이격된 지점에 위치하고 있으며, 클러스터(300d)는 -18° 각도로 9.3m 정도 이격된 지점에 위치하는 것으로 검출될 수 있다. 이때, 선박블록 운송 장치(100)와 각각의 클러스터 사이의 거리는 최단 거리로 결정된다.For example, as shown in FIG. 5 , the cluster 300a is located at a point spaced apart by about 15.2m at an angle of 40° with respect to the ship block transport device 100 , and the cluster 300b is 28.9m at an angle of 33° It is detected as being located at a point spaced apart as much as possible. In addition, it may be detected that the cluster 300c is positioned at a point spaced apart by about 22 m at an angle of -11°, and the cluster 300d is positioned at a point spaced apart by about 9.3 m at an angle of -18°. At this time, the distance between the ship block transport device 100 and each cluster is determined as the shortest distance.

즉, 군집화부(130)는 라이다부(120)와 클러스터 사이의 거리 및 방위각을 이용함으로써, 클러스터의 위치 좌표를 정밀하게 검출할 수 있다.That is, the clustering unit 130 may precisely detect the location coordinates of the cluster by using the distance and the azimuth between the lidar unit 120 and the cluster.

다음으로, 카메라부(130)은 주행 영상을 촬영한다(S340). 이때, 카메라부(130)는 선박블록 운송 장치(100)의 전방에 부착되며, 라이다부(120)와 일체화되어 설치될 수 있다.Next, the camera unit 130 takes a driving image (S340). In this case, the camera unit 130 may be attached to the front of the ship block transport device 100 , and may be installed integrally with the lidar unit 120 .

도 6는 도 3의 S340 단계를 설명하기 위한 도면이다.FIG. 6 is a view for explaining step S340 of FIG. 3 .

도 6에서 나타낸 것처럼, 카메라부(130)는 선박블록 운송 장치(100)의 전방 주행 영상을 촬영한다. As shown in FIG. 6 , the camera unit 130 captures a forward driving image of the ship block transport apparatus 100 .

도 6과 같이, 설명의 편의상 카메라부(130)에 의해 촬영된 영상 내에 하나 이상의 장애물(400b, 400c, 400d)이 존재하는 것으로 가정한다.As shown in FIG. 6 , for convenience of description, it is assumed that one or more obstacles 400b , 400c , and 400d exist in the image captured by the camera unit 130 .

다음으로, 식별부(140)는 촬영된 주행 영상에 포함된 장애물을 기 학습된 딥러닝 알고리즘에 적용하여, 장애물에 대하여 사람 또는 사물을 식별한다(S350).Next, the identification unit 140 applies the obstacle included in the captured driving image to the pre-learned deep learning algorithm to identify a person or an object with respect to the obstacle ( S350 ).

도 7는 도 3의 S350 단계를 설명하기 위한 도면이다.FIG. 7 is a view for explaining step S350 of FIG. 3 .

도 7에서 나타낸 것처럼, 촬영된 주행 영상은 기 학습된 딥러닝 알고리즘에 적용된다. 이때, 딥러닝 알고리즘은 장애물의 종류를 식별하기 위해 학습된 모델이다. 따라서, 식별부(140)는 주행 영상에 포함된 장애물(400b, 400c, 400d) 각각에 대하여 사람 또는 사물 중에서 어디에 해당하는지를 식별한다.As shown in FIG. 7 , the captured driving image is applied to a pre-learned deep learning algorithm. In this case, the deep learning algorithm is a model trained to identify the type of obstacle. Accordingly, the identification unit 140 identifies a person or an object for each of the obstacles 400b , 400c , and 400d included in the driving image.

또한, 식별부(140)는 학습된 알고리즘을 기반으로 사람 또는 사물의 이동가능성 여부를 판단할 수 있다.Also, the identification unit 140 may determine whether a person or thing is movable based on the learned algorithm.

예를 들어, 식별부(140)는 학습된 딥러닝 알고리즘에 의해 식별된 장애물(400c)이 사람(작업자)으로 판별된 경우 이동이 가능한 장애물로 판단할 수 있다. 또한, 식별부(140)는 식별된 장애물(400b)이 적재물로 판별된 경우 이동이 불가능한 장애물로 판단할 수 있다. For example, the identification unit 140 may determine the obstacle 400c identified by the learned deep learning algorithm as a movable obstacle when it is determined as a person (worker). In addition, when the identified obstacle 400b is determined to be a load, the identification unit 140 may determine that it is an obstacle that cannot be moved.

다음으로, 판단부(150)는 S310 단계에서 설정된 가변 안전 영역과 S320 단계에서 획득한 포인트 클라우드의 방위각 및 거리 정보, 사람 또는 사물에 대한 식별 정보를 이용하여 인식된 장애물과의 충돌 가능성 여부를 판단한다(S360).Next, the determination unit 150 determines whether a collision with the recognized obstacle is possible using the variable safety area set in step S310 and the azimuth and distance information of the point cloud obtained in step S320, and identification information on a person or object. do (S360).

도 8은 도 3의 S360 단계를 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining step S360 of FIG. 3 .

도 8에서 나타낸 것처럼, 판단부(150)는 가변 안전 영역(111)과 각각의 장애물(400b, 400c, 400d)의 위치 정보 및 주행 영상 정보를 융합하여 선박블록 운송 장치(100)와 장애물(400b, 400c, 400d)의 충돌 가능성 여부를 판단하고, 아울러 선박블록 운송 장치(100)에 적재된 적재물(200)과 장애물(400b, 400c, 400d)의 충돌 가능성 여부를 판단한다.As shown in FIG. 8 , the determination unit 150 fuses the variable safety area 111 and the location information and driving image information of each of the obstacles 400b, 400c, and 400d to the ship block transport apparatus 100 and the obstacle 400b. , 400c, 400d), it is determined whether the collision is possible, and the possibility of collision between the load 200 and the obstacles 400b, 400c, and 400d loaded in the ship block transport apparatus 100 is determined.

예를 들어, 도 8에서 가변 안전 영역(111) 주위에 각 장애물(400b, 400c, 400d)이 인접할 경우 선박블록 운송 장치(100)에 적재된 적재물(200)과 각 장애물(400b, 400c, 400d)이 충돌할 가능성이 높은 것으로 판단할 수 있다.For example, when each obstacle 400b, 400c, 400d is adjacent to the variable safety area 111 in FIG. 8, the load 200 and each obstacle 400b, 400c, 400d) can be judged to be highly likely to collide.

그리고 알림부(160)는 선박블록 운송 장치(100)에 적재된 적재물(200)과 장애물 사이에 충돌 가능성이 있는 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공한다(S370).And the notification unit 160 provides a collision notification to the driver of the ship block transport device 100 when there is a possibility of a collision between the load 200 loaded on the ship block transport device 100 and an obstacle (S370).

즉, 선박블록 운송 장치(100)은 운전자에게 충돌 검출 결과를 제공함으로써, 적재물(200)과 장애물(400b, 400c, 400d)의 충돌 및 협착 사고를 방지할 수 있다. That is, the ship block transport apparatus 100 provides a collision detection result to the driver, thereby preventing collisions and stenosis accidents between the load 200 and the obstacles 400b, 400c, and 400d.

이와 같이 본 발명의 실시예에 따르면, 라이다 신호로부터 획득한 포인트 클라우드에 대한 방위각 및 거리를 검출하고, 카메라를 통하여 촬영한 주행 영상을 학습된 딥러닝 알고리즘에 적용하여 장애물을 식별함으로써, 선박블록 운송 장치(100)와 장애물과의 충돌 가능성 여부를 판단할 수 있다. As described above, according to an embodiment of the present invention, by detecting the azimuth and distance to the point cloud obtained from the LiDAR signal, and applying the driving image photographed through the camera to the learned deep learning algorithm to identify obstacles, the ship block It may be determined whether there is a possibility of collision between the transport apparatus 100 and the obstacle.

또한, 장애물과의 충돌 가능성이 있는 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공함으로써, 장애물과의 충돌 및 협착 사고를 방지할 수 있다.In addition, when there is a possibility of a collision with an obstacle, a collision with an obstacle and a stenosis accident can be prevented by providing a notification whether a collision exists to the driver of the ship block transport apparatus 100 .

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is merely exemplary, it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 선박블록 운송 장치, 110: 안전 영역 설정부,
111: 가변 안전 영역, 112: 고정 안전 영역,
120: 라이다부, 130: 군집화부,
140: 카메라부, 150: 식별부,
160: 판단부, 170: 알림부,
200: 적재물, 300a, 300b, 300c, 300d: 클러스터,
400b, 400c, 400d: 장애물100: ship block transport device, 110: safety area setting unit,
111: variable safety zone, 112: fixed safety zone;
120: lidar unit, 130: clustering unit,
140: camera unit, 150: identification unit,
160: judgment unit, 170: notification unit,
200: load, 300a, 300b, 300c, 300d: cluster;
400b, 400c, 400d: obstacles

Claims (10)

장애물을 검출하기 위한 공간정보 기반의 선박블록 운송 장치에 있어서,
상기 선박블록 운송 장치에 부착되며 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 라이다(Lidar)부,
검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 군집화부,
상기 선박블록 운송 장치에 부착되며, 주행 영상을 촬영하는 카메라부,
상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 식별부, 그리고
기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 판단부를 포함하는 선박블록 운송 장치. In the spatial information-based ship block transport device for detecting obstacles,
A lidar unit that is attached to the ship block transport device and transmits a lidar signal to the surroundings to acquire one or more point clouds through the reflected signal;
A clustering unit that clusters the detected one or more point clouds into clusters, respectively, and detects an azimuth and a distance to the point cloud;
A camera unit attached to the ship block transport device and photographing a driving image;
An identification unit that applies the driving image to a previously learned deep learning algorithm to identify obstacles included in the driving image as a person or an object, and
Ship block transport apparatus comprising a determination unit for determining whether a collision with an obstacle is possible using a preset variable safety area, azimuth and distance information of the point cloud, and identification information on the person or thing. 제1항에 있어서,
상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 안전 영역 설정부를 더 포함하는 선박블록 운송 장치.According to claim 1,
A variable safety area is set using the braking distance and safe turning radius according to the traveling speed of the ship block transport device, and fixed safety using shape information about the weight, center of gravity, length, width, height and loading position of the load Ship block transport apparatus further comprising a safety area setting unit for setting an area. 제2항에 있어서,
상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 알람부를 더 포함하는 선박블록 운송 장치.3. The method of claim 2,
Ship block transport device further comprising an alarm unit for providing a notification whether collision to the driver of the ship block transport device when there is a possibility of a collision between the load and the obstacle. 제2항에 있어서,
상기 가변 안전 영역은,
상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정되는 영역인 선박블록 운송 장치. 3. The method of claim 2,
The variable safety region is
When an obstacle exists within a reference distance in the driving direction of the ship block transport device, the ship block transport device is an area set using a braking distance to prevent collision with the obstacle. 제1항에 있어서,
상기 카메라부와 라이다부는 상기 선박블록 운송 장치의 전방에 일체화되어 부착되는 선박블록 운송 장치.According to claim 1,
The camera unit and the lidar unit is a ship block transport device that is integrally attached to the front of the ship block transport device. 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법에 있어서,
상기 선박블록 운송 장치에 부착된 라이다를 통해 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 단계,
검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 단계,
상기 선박블록 운송 장치에 부착된 카메라를 통해 주행 영상을 촬영하는 단계,
상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 단계, 그리고
기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 단계를 포함하는 장애물 검출 방법.In a method for detecting an obstacle using a ship block transport device based on spatial information,
Transmitting a lidar signal to the surroundings through the lidar attached to the ship block transport device and acquiring one or more point clouds through the reflected signal;
clustering the detected one or more point clouds into clusters, respectively, and detecting an azimuth and a distance to the point cloud;
Taking a driving image through a camera attached to the ship block transport device;
applying the driving image to a pre-learned deep learning algorithm to identify obstacles included in the driving image as a person or an object; and
An obstacle detection method comprising the step of determining whether a collision with an obstacle is possible using a preset variable safety area, azimuth and distance information of the point cloud, and identification information on the person or thing. 제6항에 있어서,
상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 단계를 더 포함하는 장애물 검출 방법7. The method of claim 6,
A variable safety area is set using the braking distance and safe turning radius according to the traveling speed of the ship block transport device, and fixed safety using shape information about the weight, center of gravity, length, width, height and loading position of the load Obstacle detection method further comprising setting an area 제6항에 있어서,
상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 단계를 더 포함하는 장애물 검출 방법.7. The method of claim 6,
When there is a possibility of a collision between the load and the obstacle, the method further comprising the step of providing a collision notification to the driver of the ship block transport device. 제7항에 있어서,
상기 가변 안전 영역은,
상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정되는 영역인 장애물 검출 방법.8. The method of claim 7,
The variable safety region is
When an obstacle exists within a reference distance in the driving direction of the ship block transport device, the obstacle detection method is an area set using a braking distance to prevent a collision with the obstacle. 제6항에 있어서,
상기 카메라와 라이다는 상기 선박블록 운송 장치의 전방에 일체화되어 부착되는 장애물 검출 방법. 7. The method of claim 6,
The camera and the lidar obstacle detection method is integrally attached to the front of the ship block transport device.
KR1020200150278A 2020-11-11 2020-11-11 Ship block transportation equipment based on spatial information and method for detecting obstacle using the same KR20220064111A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200150278A KR20220064111A (en) 2020-11-11 2020-11-11 Ship block transportation equipment based on spatial information and method for detecting obstacle using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150278A KR20220064111A (en) 2020-11-11 2020-11-11 Ship block transportation equipment based on spatial information and method for detecting obstacle using the same

Publications (1)

Publication Number Publication Date
KR20220064111A true KR20220064111A (en) 2022-05-18

Family

ID=81800912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150278A KR20220064111A (en) 2020-11-11 2020-11-11 Ship block transportation equipment based on spatial information and method for detecting obstacle using the same

Country Status (1)

Country Link
KR (1) KR20220064111A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597427A (en) * 2023-07-18 2023-08-15 山东科技大学 Ship driver's cab identity recognition method based on deep learning
CN118011426A (en) * 2024-01-30 2024-05-10 湛江港（集团）股份有限公司 Ship close range collision prevention early warning method and system based on laser radar

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597427A (en) * 2023-07-18 2023-08-15 山东科技大学 Ship driver's cab identity recognition method based on deep learning
CN116597427B (en) * 2023-07-18 2023-10-20 山东科技大学 Ship driver's cab identity recognition method based on deep learning
CN118011426A (en) * 2024-01-30 2024-05-10 湛江港（集团）股份有限公司 Ship close range collision prevention early warning method and system based on laser radar

Similar Documents

Publication Publication Date Title
US9493163B2 (en) Driving support apparatus for vehicle
KR101760312B1 (en) A detecting system for the over loaded vehicles for the service of the road traffic safety
EP3134888B1 (en) False warning reduction using location data
US7994936B2 (en) Traffic environment recognition method and system for carrying out the same
CN111762189B (en) Vehicle control system
CN113264047B (en) Vehicle control device and non-volatile storage medium storing vehicle control program
CN105518758A (en) Method, and control and detection device for plausibilizing the wrong-way driving of a motor vehicle
US11878711B2 (en) Method of sharing and using sensor data
US11755022B2 (en) Vehicle control device
US20210387616A1 (en) In-vehicle sensor system
KR102328506B1 (en) System and method for colleting unmanned public information
KR20220064111A (en) Ship block transportation equipment based on spatial information and method for detecting obstacle using the same
US20200159234A1 (en) Vehicle control device, vehicle control method, and storage medium
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
KR20150096924A (en) System and method for selecting far forward collision vehicle using lane expansion
US20230264699A1 (en) Drive planning device, storage medium storing computer program for drive planning and drive planning method
US20240034605A1 (en) Safety device for self-propelled industrial vehicles
KR101677035B1 (en) Mobile data collection device
KR20220064112A (en) Ship block transportation equipment using augmented reality image based on multi information and method for visualization using the same
Kim et al. Identifying major accident scenarios in intersection and evaluation of collision warning system
KR20160131196A (en) Device for detecting an obstacle
US20220171063A1 (en) Target detection apparatus and vehicle having the same mounted thereon
WO2021044707A1 (en) Surroundings observation system, surroundings observation program, and surroundings observation method
CN113126631A (en) Automatic brake control method and device for AGV (automatic guided vehicle), electronic equipment and storage medium
KR20220001405A (en) A method of sharing and using sensor data

Legal Events

Date Code Title Description
A201 Request for examination