KR20220064111A - 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법 - Google Patents

공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법 Download PDF

Info

Publication number
KR20220064111A
KR20220064111A KR1020200150278A KR20200150278A KR20220064111A KR 20220064111 A KR20220064111 A KR 20220064111A KR 1020200150278 A KR1020200150278 A KR 1020200150278A KR 20200150278 A KR20200150278 A KR 20200150278A KR 20220064111 A KR20220064111 A KR 20220064111A
Authority
KR
South Korea
Prior art keywords
ship block
obstacle
transport device
block transport
collision
Prior art date
Application number
KR1020200150278A
Other languages
English (en)
Inventor
이경호
한영수
이재준
남병욱
이정민
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200150278A priority Critical patent/KR20220064111A/ko
Publication of KR20220064111A publication Critical patent/KR20220064111A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B73/00—Building or assembling vessels or marine structures, e.g. hulls or offshore platforms
    • B63B73/30—Moving or transporting modules or hull blocks to assembly sites, e.g. by rolling, lifting or floating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Structural Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 장애물을 검출하기 위한 공간정보 기반의 선박블록 운송 장치에 관한 것이다. 본 발명에 따르면, 상기 선박블록 운송 장치에 부착되며 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 라이다(Lidar)부, 검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 군집화부, 상기 선박블록 운송 장치에 부착되며, 주행 영상을 촬영하는 카메라부, 상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 식별부, 그리고 기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 판단부를 포함한다.
이와 같이 본 발명에 따르면, 라이다 신호로부터 획득한 포인트 클라우드에 대한 방위각 및 거리를 검출하고, 카메라를 통하여 촬영한 주행 영상을 학습된 딥러닝 알고리즘에 적용하여 장애물을 식별함으로써, 선박블록 운송 장치와 장애물과의 충돌 가능성 여부를 판단할 수 있다. 또한, 장애물과의 충돌 가능성이 있는 경우 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공함으로써, 장애물과의 충돌 및 협착 사고를 방지할 수 있다.

Description

공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법{SHIP BLOCK TRANSPORTATION EQUIPMENT BASED ON SPATIAL INFORMATION AND METHOD FOR DETECTING OBSTACLE USING THE SAME}
본 발명은 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법에 관한 것으로, 더욱 상세하게는 라이다 신호로부터 획득한 검출 정보와 카메라를 이용하여 촬영된 주행 영상 정보를 융합하여 장애물을 검출하는 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법에 관한 것이다.
최근에는 거리 및 형상 정보 획득 기기들을 복합적으로 활용하는 기법이 주로 사용되고 있다. 여기서 각각의 센 서에 획득한 2D/3D 거리 및 형상 정보를 통합하는 과정은 주행 경로 계산 및 차량 제어를 위해 필수적인 전처리 과정 중 하나로 볼 수 있다.
일반적으로 다양한 분야의 다수의 현장 근로자가 배치되어 작업을 수행하고 있으며, 안전사고도 매우 빈번하게 발생하고 있다. 이에 따라, 현장 근로자에 대한 안전관리가 매우 중요하나 많은 현장 근로자들을 관리하는 관리자는 매우 한정되어 있으므로, 관리자가 현장에서 일어나는 모든 작업 상황을 정확하게 파악하여 안전사고를 미연에 방지함에는 한계가 있다.
특히, 선박블록 운송 장치는 조선소 내에서 대형 적재물을 적재한 상태로 조선소 야드 내를 주행하며, 일반 차량과 다른 생김새와 운용방식 갖는다. 선박블록 운송 장치는 길이가 매우 길며, 운전석이 적재물보다 낮은 높이에 위치하고 있으므로, 전방에 대한 시야확보가 어렵다. 따라서, 1대의 선박블록 운송 장치는 2~4명의 신호수와 함께 작업을 하며, 선행하는 신호수를 통하여 충돌관련 정보를 무전기를 통해 교신한다. 하지만, 선박블록 운송 장치가 신호수를 통해 이동경로 확보에 의존하는 것은 한계가 있다. 또한, 선박블록 운송 장치는 주변 장애물과의 충돌 및 협착 사고 발생 가능성이 높은 문제점이 있었다.
이와 같은 안전 사고를 방지하기 위하여 주변 환경을 인식하는 센서에는 라이다(Lidar), 레이더(Radar), 2D 카메라, 3D 스캐너, 스테레오 비전 등이 존재하며, 이들 센서로부터 거리 및 형상 정보를 획득할 수 있다.
본 발명의 배경이 되는 기술은 대한민국 국내공개특허 제10-2020-0076989호 (2020.06.30 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 라이다 신호로부터 획득한 검출 정보와 카메라를 이용하여 촬영된 주행 영상 정보를 융합하여 장애물을 검출하는 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 장애물을 검출하기 위한 공간정보 기반의 선박블록 운송 장치에 있어서, 상기 선박블록 운송 장치에 부착되며 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 라이다(Lidar)부, 검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 군집화부, 상기 선박블록 운송 장치에 부착되며, 주행 영상을 촬영하는 카메라부, 상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 식별부, 그리고 기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 판단부를 포함한다.
상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 안전 영역 설정부를 더 포함할 수 있다.
상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 알람부를 더 포함할 수 있다.
상기 가변 안전 영역은, 상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정될 수 있다.
상기 카메라부와 라이다부는 상기 선박블록 운송 장치의 전방에 일체화되어 부착될 수 있다.
본 발명의 다른 실시예에 따르면, 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법에 있어서, 상기 선박블록 운송 장치에 부착된 라이다를 통해 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 단계, 검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 단계, 상기 선박블록 운송 장치에 부착된 카메라를 통해 주행 영상을 촬영하는 단계, 상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 단계, 그리고 기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 라이다 신호로부터 획득한 포인트 클라우드에 대한 방위각 및 거리를 검출하고, 카메라를 통하여 촬영한 주행 영상을 학습된 딥러닝 알고리즘에 적용하여 장애물을 식별함으로써, 선박블록 운송 장치와 장애물과의 충돌 가능성 여부를 판단할 수 있다.
또한, 장애물과의 충돌 가능성이 있는 경우 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공함으로써, 장애물과의 충돌 및 협착 사고를 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치의 구성을 나타낸 구성도이다.
도 2a는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 평면도이다.
도 2b는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 측면도이다.
도 3은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S320 단계를 설명하기 위한 도면이다.
도 5는 도 3의 S330 단계를 설명하기 위한 도면이다.
도 6는 도 3의 S340 단계를 설명하기 위한 도면이다.
도 7는 도 3의 S350 단계를 설명하기 위한 도면이다.
도 8는 도 3의 S360 단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 선박블록 운송 장치(100)를 설명한다.
도 1은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치의 구성을 나타낸 구성도이다.
도 1에서 나타낸 바와 같이, 본 발명의 실시예에 따른 선박블록 운송 장치(100)는 라이다부(120), 군집화부(130), 카메라부(140), 식별부(150), 판단부(160), 안전 영역 설정부(110) 및 알림부(170)를 포함한다.
본 발명의 실시예에 따른 선박블록 운송 장치(100)는 조선소에서 적재물을 상차지에서 적재시키고, 하자지에서 하차시키기 위한 트랜스포터(Transporter)를 의미한다.
먼저, 안전 영역 설정부(110)는 기 저장된 운송 장치의 주행 관련 정보 및 적재 블록 정보를 이용하여, 가변 안전 영역과 고정 안전 영역을 설정할 수 있다.
즉, 안전 영역 설정부(110)는 선박블록 운송 장치(100)의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정한다.
다음으로, 라이다부(120)는 선박블록 운송 장치(100)의 전방에 부착되며, 가변 안전 영역을 고려하여 전방, 좌측 및 우측을 탐색한다. 이때, 라이다부(120)는 라이다 신호를 주변에 송신하고, 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득할 수 있다.
다음으로, 군집화부(130)는 라이다부(120)로부터 획득된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하고, 포인트 클라우드에 대한 방위각 및 거리를 검출할 수 있다.
다음으로, 카메라부(140)는 선박블록 운송 장치(100)에 부착된 카메라를 이용하여 주행 영상을 촬영한다. 이때, 카메라부(140)는 선박블록 운송 장치(100)의 전방에 설치될 수 있으며, 라이다부(120)와 일체화되어 부착할 수 있다.
다음으로, 식별부(150)는 촬영된 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 주행 영상에 포함된 사람 또는 사물을 식별하여 장애물로 인식할 수 있다.
다음으로, 판단부(160)는 기 설정된 가변 안전 영역과 포인트 클라우드의 방위각 및 거리 정보, 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단한다.
그리고, 알림부(170)는 적재물(200)과 장애물 사이에 충돌 가능성이 있다고 판단될 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공할 수 있다.
이하에서는 도 2a 및 도 2b를 통하여 안전 영역 설정부(110)가 가변 안전 영역(111)과 고정 안전 영역(112)을 설정하는 것에 대하여 설명한다.
도 2a는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 평면도이고, 도 2b는 본 발명의 실시예에 따른 안전 영역이 적용된 선박블록 운송 장치의 측면도이다.
도 2a 및 도 2b와 같이 본 발명의 실시예에 따른 선박블록 운송 장치(100)는 적재물(200)을 적재하고 있는 것으로 도시하였다.
여기서, 선박블록 운송 장치(100)에 적재된 적재물(200)은 수십톤에서 최대 천톤을 싣고 조선소 야드 내를 주행하기 때문에 적재물(200)이 쏟아지는 것을 방지하기 위해 적재물(200)의 무게중심을 잡는 것이 중요하므로, 안전 영역 설정부(110)는 적재물(200)의 길이, 너비, 높이 및 적재 위치의 정보를 미리 제공받으며, 상기 정보를 기반으로 고정 안전 영역(112)을 설정한다.
선박블록 운송 장치(100) 주변에 위치하는 장애물이 해당 고정 안전 영역(112)을 벗어나면 충돌 가능성이 적으며, 장애물이 고정 안전 영역(112) 내에 위치하면 충돌 가능성이 크다는 것을 나타낸다.
따라서, 안전 영역 설정부(110)는 선박블록 운송 장치(100)에 적재된 적재물(200)의 무게, 길이, 너비, 높이 정보 및 적재물(200)의 적재 위치와 무게 중심을 미리 알고 주행하며, 적재물(200)의 형상 정보를 기반으로 고정 안전 영역(112)을 설정할 수 있다.
그리고, 선박블록 운송 장치(100)는 주행 속도에 따라 제동 거리 및 안전 선회 반경이 달라지게 되는데, 이러한 제동거리 및 안전 선회 반경을 기반으로 안전 영역 설정부(110)는 가변 안전 영역(111)을 설정할 수 있다.
이때, 제동 거리는 브레이크가 작동한 순간부터 자동차가 완전히 멈출 때까지 자동차가 움직인 거리를 의미하며, 적재물(200)이 적재된 선박블록 운전 장치(100)의 경우 수십톤에서 최대 천톤의 적재물을 싣기 때문에 하중으로 인해 제동거리가 길어질 수 밖에 없다. 즉, 선박블록 운전 장치(100)의 속도가 증가하면 제동거리는 더욱 길어지기 때문에 일반적으로 조선소 내에서 적재물(200)을 포함한 선박블록 운전 장치(100)의 주행속도는 10~15km/h를 유지한다.
이때, 선박블록 운전 장치(100)의 경우 주요 도로만 통행이 가능하며, 적재물(200)의 크기로 인해 장애물과의 충돌 사고가 빈번히 발생하기 때문에 선회 반경에 대한 정보가 필요하다. 선회 반경은 선회하면서 그리게 되는 원의 사이즈로 속도가 느릴수록 선회반경은 작아진다.
따라서, 안전 영역 설정부(110)는 선박블록 운송 장치(100)의 주행 정보를 기반으로 가변 안전 영역(111)을 설정하며, 선박블록 운송 장치(100)의 주행 방향에 장애물이 기준 거리 내에 존재할 경우, 장애물과 충동을 방지하기 위해 제동 거리만큼의 안전 영역 설정이 필요하므로, 도 2a 및 도 2b와 같이 가변 안전 영역(111)을 설정한다.
이하에서는 도 3 내지 도 8을 이용하여 본 발명의 실시예에 따른 선박블록 운송 장치(100)를 이용한 장애물 검출 방법을 설명한다.
도 3은 본 발명의 실시예에 따른 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법을 설명하기 위한 순서도이다.
먼저, 안전 영역 설정부(110)는 기 저장된 주행 속도에 따른 제동 거리와 안전 선회 반경에 대한 운송 장치 주행 관련 정보 및 적재물(200)의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 적재물 형상 정보를 이용하여 안전 영역을 설정한다(S310).
여기서 안전 영역은 가변 안전 영역(111)과 고정 안전 영역(112)을 포함하며, 안전 영역 설정부(110)가 안전 영역을 설정하는 방법에 대해서는 도 2a 및 도 2b에서 설명하였는 바, 중복되는 설명은 생략한다.
다음으로, 라이다부(120)는 가변 안전 영역(111)을 고려하여 주변 환경을 탐색하여, 송수신된 신호를 통해 하나 이상의 포인트 클라우드를 획득한다(S320).
도 4는 도 3의 S320 단계를 설명하기 위한 도면이다.
도 4에서 나타낸 것처럼, 라이다부(120)는 가변 안전 영역(111) 내에서 전방, 좌측 및 우측을 탐색한다. 이때, 라이다부(120)는 800~2000nm 레이저를 사용하고, 레이저 펄스를 발사하여 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 시간을 측정하여 물체까지의 거리 및 위치 좌표를 측정한다.
여기서, 라이다부(120)는 진행방향을 향해 라이다 신호를 송신하고, 장애물이 가변 안전 영역(111) 내에 존재할 경우 장애물에 반사된 신호를 수신하여 적어도 하나 이상의 포인트 클라우드를 생성한다. 이때, 라이다부(120)의 감지 범위는 100m 일 수 있으며, 수신이 되지 않은 신호 및 거리가 100m 이상인 포인트는 제외될 수 있다.
그리고, 군집화부(130)는 라이다부(120)로부터 획득된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출한다(S330).
도 5는 도 3의 S330 단계를 설명하기 위한 도면이다.
S320 단계에서 라이다부(120)로부터 수신된 신호는 적어도 하나 이상의 포인트 클라우드를 형성하며, 도 5에서 나타낸 것처럼 복수의 점으로 군집화된다. 이때, 군집화된 복수의 점은 하나 이상의 클러스터(300a, ??, 300d) 단위로 군집화되며, 군집화부(130)는 각각의 클러스터(300a, ??, 300d)에 대하여 방위각 및 거리를 측정할 수 있다.
예를 들어, 도 5에 나타낸 것처럼, 선박블록 운송 장치(100)를 기준으로 클러스터(300a)는 40° 각도로 15.2m 정도 이격된 지점에 위치하고 있으며, 클러스터(300b)는 33° 각도로 28.9m 만큼 이격된 지점에 위치하는 것으로 검출된다. 그리고, 클러스터(300c)는 -11° 각도로 22m 정도 이격된 지점에 위치하고 있으며, 클러스터(300d)는 -18° 각도로 9.3m 정도 이격된 지점에 위치하는 것으로 검출될 수 있다. 이때, 선박블록 운송 장치(100)와 각각의 클러스터 사이의 거리는 최단 거리로 결정된다.
즉, 군집화부(130)는 라이다부(120)와 클러스터 사이의 거리 및 방위각을 이용함으로써, 클러스터의 위치 좌표를 정밀하게 검출할 수 있다.
다음으로, 카메라부(130)은 주행 영상을 촬영한다(S340). 이때, 카메라부(130)는 선박블록 운송 장치(100)의 전방에 부착되며, 라이다부(120)와 일체화되어 설치될 수 있다.
도 6는 도 3의 S340 단계를 설명하기 위한 도면이다.
도 6에서 나타낸 것처럼, 카메라부(130)는 선박블록 운송 장치(100)의 전방 주행 영상을 촬영한다.
도 6과 같이, 설명의 편의상 카메라부(130)에 의해 촬영된 영상 내에 하나 이상의 장애물(400b, 400c, 400d)이 존재하는 것으로 가정한다.
다음으로, 식별부(140)는 촬영된 주행 영상에 포함된 장애물을 기 학습된 딥러닝 알고리즘에 적용하여, 장애물에 대하여 사람 또는 사물을 식별한다(S350).
도 7는 도 3의 S350 단계를 설명하기 위한 도면이다.
도 7에서 나타낸 것처럼, 촬영된 주행 영상은 기 학습된 딥러닝 알고리즘에 적용된다. 이때, 딥러닝 알고리즘은 장애물의 종류를 식별하기 위해 학습된 모델이다. 따라서, 식별부(140)는 주행 영상에 포함된 장애물(400b, 400c, 400d) 각각에 대하여 사람 또는 사물 중에서 어디에 해당하는지를 식별한다.
또한, 식별부(140)는 학습된 알고리즘을 기반으로 사람 또는 사물의 이동가능성 여부를 판단할 수 있다.
예를 들어, 식별부(140)는 학습된 딥러닝 알고리즘에 의해 식별된 장애물(400c)이 사람(작업자)으로 판별된 경우 이동이 가능한 장애물로 판단할 수 있다. 또한, 식별부(140)는 식별된 장애물(400b)이 적재물로 판별된 경우 이동이 불가능한 장애물로 판단할 수 있다.
다음으로, 판단부(150)는 S310 단계에서 설정된 가변 안전 영역과 S320 단계에서 획득한 포인트 클라우드의 방위각 및 거리 정보, 사람 또는 사물에 대한 식별 정보를 이용하여 인식된 장애물과의 충돌 가능성 여부를 판단한다(S360).
도 8은 도 3의 S360 단계를 설명하기 위한 도면이다.
도 8에서 나타낸 것처럼, 판단부(150)는 가변 안전 영역(111)과 각각의 장애물(400b, 400c, 400d)의 위치 정보 및 주행 영상 정보를 융합하여 선박블록 운송 장치(100)와 장애물(400b, 400c, 400d)의 충돌 가능성 여부를 판단하고, 아울러 선박블록 운송 장치(100)에 적재된 적재물(200)과 장애물(400b, 400c, 400d)의 충돌 가능성 여부를 판단한다.
예를 들어, 도 8에서 가변 안전 영역(111) 주위에 각 장애물(400b, 400c, 400d)이 인접할 경우 선박블록 운송 장치(100)에 적재된 적재물(200)과 각 장애물(400b, 400c, 400d)이 충돌할 가능성이 높은 것으로 판단할 수 있다.
그리고 알림부(160)는 선박블록 운송 장치(100)에 적재된 적재물(200)과 장애물 사이에 충돌 가능성이 있는 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공한다(S370).
즉, 선박블록 운송 장치(100)은 운전자에게 충돌 검출 결과를 제공함으로써, 적재물(200)과 장애물(400b, 400c, 400d)의 충돌 및 협착 사고를 방지할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 라이다 신호로부터 획득한 포인트 클라우드에 대한 방위각 및 거리를 검출하고, 카메라를 통하여 촬영한 주행 영상을 학습된 딥러닝 알고리즘에 적용하여 장애물을 식별함으로써, 선박블록 운송 장치(100)와 장애물과의 충돌 가능성 여부를 판단할 수 있다.
또한, 장애물과의 충돌 가능성이 있는 경우 선박블록 운송 장치(100)의 운전자에게 충돌여부 알림을 제공함으로써, 장애물과의 충돌 및 협착 사고를 방지할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 선박블록 운송 장치, 110: 안전 영역 설정부,
111: 가변 안전 영역, 112: 고정 안전 영역,
120: 라이다부, 130: 군집화부,
140: 카메라부, 150: 식별부,
160: 판단부, 170: 알림부,
200: 적재물, 300a, 300b, 300c, 300d: 클러스터,
400b, 400c, 400d: 장애물

Claims (10)

  1. 장애물을 검출하기 위한 공간정보 기반의 선박블록 운송 장치에 있어서,
    상기 선박블록 운송 장치에 부착되며 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 라이다(Lidar)부,
    검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 군집화부,
    상기 선박블록 운송 장치에 부착되며, 주행 영상을 촬영하는 카메라부,
    상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 식별부, 그리고
    기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 판단부를 포함하는 선박블록 운송 장치.
  2. 제1항에 있어서,
    상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 안전 영역 설정부를 더 포함하는 선박블록 운송 장치.
  3. 제2항에 있어서,
    상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 알람부를 더 포함하는 선박블록 운송 장치.
  4. 제2항에 있어서,
    상기 가변 안전 영역은,
    상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정되는 영역인 선박블록 운송 장치.
  5. 제1항에 있어서,
    상기 카메라부와 라이다부는 상기 선박블록 운송 장치의 전방에 일체화되어 부착되는 선박블록 운송 장치.
  6. 공간정보 기반의 선박블록 운송 장치를 이용한 장애물 검출 방법에 있어서,
    상기 선박블록 운송 장치에 부착된 라이다를 통해 주변에 라이다 신호를 송신하여 반사된 신호를 통해 하나 이상의 포인트 클라우드를 획득하는 단계,
    검출된 하나 이상의 포인트 클라우드를 각각 클러스터로 군집화하여, 포인트 클라우드에 대한 방위각 및 거리를 검출하는 단계,
    상기 선박블록 운송 장치에 부착된 카메라를 통해 주행 영상을 촬영하는 단계,
    상기 주행 영상을 기 학습된 딥러닝 알고리즘에 적용하여 상기 주행 영상에 포함된 장애물에 대하여 사람 또는 사물로 식별하는 단계, 그리고
    기 설정된 가변 안전 영역과 상기 포인트 클라우드의 방위각 및 거리 정보, 상기 사람 또는 사물에 대한 식별 정보를 이용하여 장애물과의 충돌 가능성 여부를 판단하는 단계를 포함하는 장애물 검출 방법.
  7. 제6항에 있어서,
    상기 선박블록 운송 장치의 주행 속도에 따른 제동 거리와 안전 선회 반경을 이용하여 가변 안전 영역을 설정하고, 적재물의 무게와 무게 중심, 길이, 너비, 높이 및 적재 위치에 대한 형상 정보를 이용하여 고정 안전 영역을 설정하는 단계를 더 포함하는 장애물 검출 방법
  8. 제6항에 있어서,
    상기 적재물과 상기 장애물 사이에 충돌 가능성이 있는 경우 상기 선박블록 운송 장치의 운전자에게 충돌여부 알림을 제공하는 단계를 더 포함하는 장애물 검출 방법.
  9. 제7항에 있어서,
    상기 가변 안전 영역은,
    상기 선박블록 운송 장치의 주행 방향에 장애물이 기준 거리 내에 존재할 경우 상기 장애물과 충돌을 방지하기 위한 제동 거리를 이용하여 설정되는 영역인 장애물 검출 방법.
  10. 제6항에 있어서,
    상기 카메라와 라이다는 상기 선박블록 운송 장치의 전방에 일체화되어 부착되는 장애물 검출 방법.
KR1020200150278A 2020-11-11 2020-11-11 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법 KR20220064111A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200150278A KR20220064111A (ko) 2020-11-11 2020-11-11 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150278A KR20220064111A (ko) 2020-11-11 2020-11-11 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법

Publications (1)

Publication Number Publication Date
KR20220064111A true KR20220064111A (ko) 2022-05-18

Family

ID=81800912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150278A KR20220064111A (ko) 2020-11-11 2020-11-11 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법

Country Status (1)

Country Link
KR (1) KR20220064111A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597427A (zh) * 2023-07-18 2023-08-15 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN118011426A (zh) * 2024-01-30 2024-05-10 湛江港（集团）股份有限公司 一种基于激光雷达的船舶近距避碰预警方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597427A (zh) * 2023-07-18 2023-08-15 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN116597427B (zh) * 2023-07-18 2023-10-20 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN118011426A (zh) * 2024-01-30 2024-05-10 湛江港（集团）股份有限公司 一种基于激光雷达的船舶近距避碰预警方法及***

Similar Documents

Publication Publication Date Title
CN105109484B (zh) 目标障碍物体确定方法及装置
US9493163B2 (en) Driving support apparatus for vehicle
KR101760312B1 (ko) 도로교통안전 서비스를 위한 화물 적재상태 검지 시스템
CN111762189B (zh) 车辆控制***
EP3134888B1 (en) False warning reduction using location data
US20180173236A1 (en) Vehicle control system, vehicle control method, and vehicle control program
US7994936B2 (en) Traffic environment recognition method and system for carrying out the same
CN113264047B (zh) 车辆控制装置及存储车辆控制用程序的非易失性存储介质
CN105518758A (zh) 用于核查机动车错误方向行驶的方法以及控制和检测装置
US11878711B2 (en) Method of sharing and using sensor data
US11755022B2 (en) Vehicle control device
US20210387616A1 (en) In-vehicle sensor system
KR102328506B1 (ko) 무인 공공정보 수집 시스템 및 방법
KR20220064111A (ko) 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
US20230264699A1 (en) Drive planning device, storage medium storing computer program for drive planning and drive planning method
US20240034605A1 (en) Safety device for self-propelled industrial vehicles
KR101677035B1 (ko) 이동형 데이터 수집장치
KR20220064112A (ko) 다중 정보 기반의 증강 현실 영상을 이용한 선박블록 운송 장치 및 그것을 이용한 가시화 방법
Kim et al. Identifying major accident scenarios in intersection and evaluation of collision warning system
KR20160131196A (ko) 장애물 감지 장치
US20220171063A1 (en) Target detection apparatus and vehicle having the same mounted thereon
WO2021044707A1 (ja) 周辺観測システム、周辺観測プログラムおよび周辺観測方法
CN113126631A (zh) Agv车的自动刹车控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination