KR102300596B1 - 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치 - Google Patents

자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102300596B1
KR102300596B1 KR1020200077571A KR20200077571A KR102300596B1 KR 102300596 B1 KR102300596 B1 KR 102300596B1 KR 1020200077571 A KR1020200077571 A KR 1020200077571A KR 20200077571 A KR20200077571 A KR 20200077571A KR 102300596 B1 KR102300596 B1 KR 102300596B1
Authority
KR
South Korea
Prior art keywords
line
driving
forklift
autonomous driving
image sensor
Prior art date
Application number
KR1020200077571A
Other languages
English (en)
Inventor
윤희상
이현오
허성우
조영철
Original Assignee
모비어스앤밸류체인(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모비어스앤밸류체인(주) filed Critical 모비어스앤밸류체인(주)
Priority to KR1020200077571A priority Critical patent/KR102300596B1/ko
Application granted granted Critical
Publication of KR102300596B1 publication Critical patent/KR102300596B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07581—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B60W2300/121—Fork lift trucks, Clarks
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/15—Fork lift trucks, Industrial trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Structural Engineering (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Human Computer Interaction (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명에 의하면, 자율 주행 지게차의 협로 주행을 위한 제어 방법에 있어서, 라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하는 단계, 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 자율 주행 지게차의 실내 위치를 인식하는 단계, 라이다 센서를 이용하여 특징점이 인식되지 않는 경우 영상 센서를 통해 주행 영역의 라인을 검출하는 단계 및 실내 위치에 기초하여 자율 주행 지게차의 주행을 제어하는 단계를 포함하는 자율 주행 지게차의 협로 주행 제어 방법을 제공할 수 있다.

Description

자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치{METHOD FOR NARROW LANE DRIVING OF AUTONOMOUS FORKLIFT AND APPARATUS FOR THE SAME}
본 발명은 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치에 관한 것이다. 보다 구체적으로, 자율 주행 지게차가 이송하는 팔레트의 이적재 장소에서 협로 주행 시 자율 주행 지게차의 움직임을 안전하게 정밀 제어하기 위한 방법 및 장치에 관한 것이다.
지게차(forklift)는 물류 창고 및 공장 등 여러 산업 현장에서 물자를 운반하고 이적재(load and unload) 하는데 널리 사용되고 있다. 일반적으로 부피가 크고 중량이 무거운 화물을 지게차로 들어올려 적재 또는 하역을 하거나 운반 및 보관 시에 화물을 받쳐주기 위해서 팔레트(pallet)가 널리 사용되고 있다. 또한, 산업의 발달의 따라 물류 이동량 및 물류 비용의 증가로 인해 지게차의 반복적인 작업을 자율화하는 연구가 활발히 진행되고 있다. 자율 주행 지게차(autonomous forklift)는 운전자 없이 스스로 목적지까지 물자를 운반 및 이적재(load and unload)하는 물자 이동 장비이다.
실제 산업 현장에서 지게차를 통한 물자 이동은 실내 현장에서 이루어지는 경우가 많다. 그러나, 이와 같은 실내 현장에서는 보편적인 측위 시스템인 GPS의 적용이 불가능하다. 따라서 지게차 자세를 측정할 수 있는 자이로 센서와 주변 환경을 인식할 수 있는 라이다(LiDAR) 센서 등을 활용하여 지게차의 정밀 측위를 가능하게 하였다.
실제 산업 현장은 물자의 유동적인 변동과 팔레트의 다단 적재 환경 등으로 인해 지게차의 위치 정보의 오차가 증가하거나, 위치 정보 오인식과 같은 문제가 발생할 가능성이 높다. 따라서, 정밀한 주행 제어 및 작업 제어가 필요한 자율 주행 지게차의 주행 제어에 있어 정확한 위치 정보 파악은 핵심적인 요소이다.
다단 적재로 인해 라이다 센서 등을 이용한 측위 시스템의 정상 동작이 어려울 경우 추측 항법(Dead Reckoning) 등의 방법을 이용하여 위치 인식이 가능하다. 추측 항법은 위치를 알고 있는 출발점에서 현재 위치까지의 이동 거리 및 방향을 계산하여 현재의 위치를 추적하는 기술이다. 그러나, 추측 항법의 경우 오차 누적의 문제점을 가지고 있어 정확한 위치 인식이 어렵다는 한계를 가지고 있다.
따라서 산업 현장의 특수한 환경으로 인해 위치 정보를 활용할 수 없는 경우 영상 센서 또는 카메라 센서를 활용한 환경 인지 정보를 이용하여 추측 항법의 오차를 보완하는 지게차의 정밀 주행 제어 방법 및 장치가 요구된다.
대한민국 등록특허 제10-1397342호
본 발명은 산업 현장에서 자율 지행 지게차의 협로 주행을 위한 제어 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 라이다 센서의 특징점 검출을 통한 실내 위치 인식이 어려운 경우 영상 센서를 이용한 라인 검출 정보에 기초하여 협로 주행을 제어하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 팔레트의 이재 구역(unload area)에서 라인 인식 정보 및 추측 항법의 위치 정보를 융합함으로써 지게차의 위치 인식 정보가 없는 경우나 부정확한 경우에도 정밀한 주행 제어가 가능한 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 추측 항법만을 이용하여 측위할 경우 지게차의 모델링 오차와 물리적 이동에 대한 바퀴의 미끄러짐 등에 의해 위치 오차가 누적되는 문제를 해결하기 위해 영상 센서를 활용한 환경 인지 정보를 이용하여 추측 항법의 오차를 보완가능한 자율 주행 지게차의 주행 제어 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 이재 구역의 라인 검출 시 관심 영역(ROI) 설정 및 탑 뷰(top view) 변환을 통해 필요한 이미지 데이터만을 분리하여 데이터 연산량을 감소시키며, 라인의 위치 오차를 최소화할 수 있는 라인 검출 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 자율 주행 지게차의 협로 주행을 위한 제어 방법에 있어서, 라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하는 단계; 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 상기 자율 주행 지게차의 실내 위치를 인식하는 단계; 및 상기 실내 위치에 기초하여 상기 자율 주행 지게차의 주행을 제어하는 단계를 포함하는 자율 주행 지게차의 협로 주행 제어 방법을 제공할 수 있다.
또한, 상기 라이다 센서를 이용하여 상기 특징점이 인식되지 않는 경우 영상 센서를 통해 주행 영역의 라인을 검출하는 단계를 더 포함하는 자율 주행 지게차의 협로 주행 제어 방법을 제공할 수 있다.
또한, 상기 라인 검출 단계는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 상기 주행 영역의 라인을 인식할 수 있다.
또한, 상기 주행 영역의 좌측 라인 및 우측 라인을 인식함으로써 라인의 중점 좌표를 획득하고, 상기 라인의 중점 좌표와 상기 자율 주행 지게차의 중점 좌표와의 위치 오차를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 자율 주행 지게차가 이재(unload) 후 후진 주행하는 경우, 상기 영상 센서를 통해 상기 주행 영역의 라인을 검출하는 단계를 더 포함할 수 있다.
또한, 상기 주행 영역의 라인을 검출하는 단계는 상기 좌측 라인 및 상기 우측 라인 중 어느 하나의 라인만 인식된 경우 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득할 수 있다.
또한, 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹(stacking)을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 상기 자율 주행 지게차의 이재 작업을 완료하고, 후진 시에 상기 영상 센서를 통한 라인 검출 단계를 활성화시키는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 자율 주행 지게차의 협로 주행을 위한 제어 장치에 있어서, 라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하도록 구성된 라이다 특징점 인식부; 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 상기 자율 주행 지게차의 실내 위치를 인식하도록 구성된 실내 위치 인식부; 및 상기 실내 위치에 기초하여 상기 자율 주행 지게차의 주행을 제어하도록 구성된 주행 제어부를 포함하는 자율 주행 지게차의 협로 주행 제어 장치를 제공할 수 있다.
또한, 상기 라이다 센서를 이용하여 상기 특징점이 인식되지 않는 경우 영상 센서를 통해 주행 영역의 라인을 검출하도록 구성된 라인 검출 처리부를 더 포함하는 자율 주행 지게차의 협로 주행 제어 장치를 제공할 수 있다.
또한, 상기 라인 검출 처리부는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 상기 주행 영역의 라인을 인식할 수 있다.
또한, 상기 라인 검출 처리부는 상기 주행 영역의 좌측 라인 및 우측 라인을 인식함으로써 라인의 중점 좌표를 획득하고, 상기 라인의 중점 좌표와 상기 자율 주행 지게차의 중점 좌표와의 위치 오차를 획득할 수 있다.
또한, 상기 라인 검출 처리부는, 상기 자율 주행 지게차가 이재(unload) 후 후진 주행하는 경우 상기 영상 센서를 통해 상기 주행 영역의 라인을 검출하고, 상기 영상 센서는 상기 자율 주행 지게차의 후방부 상단에 배치될 수 있다.
또한, 상기 라인 검출 처리부는, 상기 좌측 라인 및 상기 우측 라인 중 어느 하나의 라인만 인식된 경우 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득할 수 있다.
또한, 팔레트 스태킹(stacking)을 위한 전방 영상 센서를 더 포함하고, 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 상기 자율 주행 지게차의 이재 작업을 완료한 후, 후진 시에 상기 라인 검출 처리부가 활성화될 수 있다.
본 발명에 의하면, 산업 현장에서 자율 지행 지게차의 협로 주행을 위한 제어 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 라이다 센서의 특징점 검출을 통한 실내 위치 인식이 어려운 경우 영상 센서를 이용한 라인 검출 정보에 기초하여 협로 주행을 제어하는 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 팔레트의 이재 구역(unload area)에서 라인 인식 정보 및 추측 항법의 위치 정보를 융합함으로써 지게차의 위치 인식 정보가 없는 경우나 부정확한 경우에도 정밀한 주행 제어가 가능한 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 추측 항법만을 이용하여 측위할 경우 지게차의 모델링 오차와 물리적 이동에 대한 바퀴의 미끄러짐 등에 의해 위치 오차가 누적되는 문제를 해결하기 위해 영상 센서를 활용한 환경 인지 정보를 이용하여 추측 항법의 오차를 보완가능한 자율 주행 지게차의 주행 제어 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 이재 구역의 라인 검출 시 관심 영역(ROI) 설정 및 탑 뷰(top view) 변환을 통해 필요한 이미지 데이터만을 분리하여 데이터 연산량을 감소시키며, 라인의 위치 오차를 최소화할 수 있는 라인 검출 방법 및 장치를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행 환경을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 추측 항법을 설명하기 위한 예시도이다.
도 3a는 본 발명의 일 실시예에 따른 영상 센서를 설명하기 위한 예시도이다. 도 3b는 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 처리 장치의 구성을 설명하기 위한 블록도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 팔레트의 이재 구역에서의 라인 검출 동작을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 2단 적재를 위한 자율 주행 지게차의 모습을 나타내는 예시도이다.
종래의 실내 자율 주행 제어 방법은 위치 인식 시스템과 추측 항법을 이용하여 위치 정밀도를 향상시키는 방법이 주로 연구되었다. 이와 같은 방법은 위치 인식 시스템의 오차가 크지 않고, 지게차의 위치가 항상 정상적으로 인식된다는 가정이 전제되어야 한다. 그러나 실제 산업 현장은 도 1에 도시된 바와 같이 물자의 유동적인 변동과 물자를 다단으로 적재하는 다단 적재 팔레트(200)가 다수 존재하는 환경 조건을 가지며, 이로 인해 라이다(LiDAR) 센서를 통해 위치 인식용 라이다 특징점, 예컨대 고휘도 반사지로 구성되는 특징점이 인식되지 않는 상황이 발생할 가능성이 높다. 이러한 상황에서 추측 항법만을 이용하여 위치를 인식할 경우 추측 항법의 오차가 누적되는 문제가 발생하여 정밀한 측위가 어려워진다.
산업 현장의 특수한 환경으로 물자의 유동적인 변동 및 다단 적재 팔레트(200)들로 인해 지게차가 겨우 지나갈 정도의 협로(101)가 발생될 가능성이 높으며, 다단 적재 팔레트(200)들 사이에 형성된 협로(101)에 자율 주행 지게차가 큰 중량을 갖는 팔레트의 이송 및 이적재를 안전하게 수행하기 위해서는 정밀한 주행 제어가 필수적이다.
특히 이와 같은 협로(101) 상황에서는 라이다 센서를 이용하여 특징점을 검출할 수 없어 정밀한 위치 인식이 쉽지 않다. 본 발명에서는 이와 같은 실내 현장 환경으로 인해 라이다 센서로 특징점을 인식하지 못하여 실내 위치 정보를 활용할 수 없는 경우, 영상 센서를 이용한 환경 인식 정보를 추측 항법의 오차에 대한 문제를 보완하는데 사용할 수 있는 새로운 방법 및 장치를 제공함으로써, 추측 항법만을 통한 위치 인식의 문제점을 보완하여 자율 주행 지게차의 정밀한 협로 주행 제어가 가능하게 하고자 한다.
도 2는 본 발명의 일 실시예에 따른 추측 항법을 설명하기 위한 예시도이다.
정밀한 위치 인식을 위해 추측 항법(Dead Reckoning)을 이용하여 위치 인식의 정밀도를 향상시킬 수 있으며, 본 발명의 일 실시예에 따라 차량 자세를 단순하게 예측할 수 있는 이륜차 모델을 사용하여 자율 주행 차량의 미래 위치를 예측 및 추정할 수 있다.
도 2에 우측 수식의
Figure 112020065424940-pat00001
는 2차원상의 차량 후방 차축 위치를 나타내며, L은 차량 전방과 후방 차축 사이의 거리,
Figure 112020065424940-pat00002
는 현재 차량의 진행 방향이 전역 좌표계에서의 x축과 이루는 각도,
Figure 112020065424940-pat00003
는 현재 차량 진행방향의 종방향 속도,
Figure 112020065424940-pat00004
는 현재 차량 위치에서 경로를 추종하기 위한 차량 좌표계에서의 횡방향 변화량,
Figure 112020065424940-pat00005
는 횡방향 변화량을 통해 계산된 횡방향 각속도를 의미한다.
여기서, 횡방향 각속도
Figure 112020065424940-pat00006
는 차량 전방축 중심에서 경로와의 가장 가까운점
Figure 112020065424940-pat00007
을 기준으로 계산할 수 있다. 또한,
Figure 112020065424940-pat00008
는 전역 좌표계에서의 X축과 경로의 진행방향이 이루는 각도
Figure 112020065424940-pat00009
와 차량의 진행방향 각도
Figure 112020065424940-pat00010
의 각도 차이이며,
Figure 112020065424940-pat00011
는 차량 전방축 중심에서 경로와의 가장 가까운 점
Figure 112020065424940-pat00012
사이의 거리이다.
도 3a는 본 발명의 일 실시예에 따른 영상 센서를 설명하기 위한 예시도이다.
자율 주행 지게차에 장착된 영상 센서(110)는 예컨대 3D 깊이 카메라(depth camera)로 구성될 수 있으며, 예컨대 ToF(Time of Flight) 카메라, 구조 관성 패턴 방식의 카메라 또는 3D 레이저 스캐너 방식의 카메라 등으로 구성될 수 있으며, 이들에 한정되지 않는다. 3D 깊이 카메라의 경우 비교적 저렴한 비용으로 설치 가능하며, 거리 정보의 정확도도 초음파 센서 등 다른 거리 센서에 비해 높기 때문에 라인 검출에 유리하다.
영상 센서(110)는 예컨대 자율 주행 지게차의 후방 상단의 중앙에 배치될 수 있으며, 자율 주행 지게차의 후진 주행 시 주행 방향에 존재하는 양 쪽 라인들(좌측 라인 및 우측 라인)을 촬영하도록 구성될 수 있다.
또한, 자율 주행 지게차는 팔레트 스태킹(stacking)을 위한 전방 영상 센서(미도시됨)를 더 포함할 수 있다. 예컨대, 전방 영상 센서는 자율 주행 지게차의 전방 상단에 배치될 수 있으며, 큰 크기를 갖는 팔레트를 촬영하기 위해 지게차의 전방 천장의 좌측 및 우측에 각각 하나씩 배치될 수 있다. 예컨대 좌측 전방 영상 센서를 통해 팔레트의 좌측 코너점들을 인식하고, 우측 전방 영상 센서를 통해 팔레트의 우측 코너점들을 인식할 수 있다. 예컨대, 전방 영상 센서를 통해 획득한 팔레트의 코너점 좌표에 기초하여 1단에 위치하는 바텀(bottom) 팔레트와 2단에 스태킹할 탑(top) 팔레트의 코너점 좌표에 기초한 위치 정보를 획득하고, 바텀 팔레트와 탑 팔레트의 위치 오차를 계산함으로써, 안전한 스태킹을 위한 자율 주행 지게차의 주행 경로를 생성할 수 있다.
도 3b는 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 설명하기 위한 예시도이다.
자율 주행 지게차(100)는 예컨대 리치 타입 또는 카운터 밸런스 타입 등으로 구성될 수 있으며, 다단 적재 팔레트(200) 옆에 협로(101)를 통해 이동하여 이송 팔레트(120)를 원하는 이재 구역(unload area)에 내려 놓는 작업을 수행할 수 있다. 이송 팔레트(120)의 종류는 범용 팔레트로부터 자동차 부품용 특수 팔레트까지 다양한 종류로 구성될 수 있다.
자율 주행 지게차(100)는 협로(101)를 따라 전진 주행하고, 팔레트를 스태킹하거나 내려놓는 작업이 완료된 후에는, 다시 협로(101)를 통해 후진 주행을 통해 빠져나오게 된다. 이때, 협로(101)에서 주행 시 라이다 센서를 이용하여 특징점 검출이 불가능해져 현재 위치 정보 인식이 불가능해질 때 추측 항법만을 이용하면 위치 오차가 누적되는 문제가 발생한다. 이와 같은 문제점을 해결하기 위해 자율 주행 지게차(100)의 라이다 센서의 특징점 인식이 불가능한 경우, 영상 센서(110)를 통해 획득한 협로(101)의 라인을 검출하고, 자율 주행 지게차(100)의 중심과 협로(101)의 좌우측 라인의 중심과의 오차를 측정하여 이 위치 오차를 최소화함으로써 정밀한 주행 제어가 가능해질 수 있다.
예컨대, 자율 주행 지게차(100)의 전진 주행 시에는 라이다 센서의 특징점 인식이 가능하여 실내 위치 정보와 추측 항법을 이용하여 주행 제어를 수행하고, 팔레트의 이재 작업 시에 팔레트의 스태킹을 위한 전방 영상 센서를 이용하여 주행 제어를 수행하고, 팔레트의 이재 작업 완료 후 후진 주행 시에 후방에 배치된 영상 센서를 통해 라인 인식을 통한 주행 제어로 안전하게 협로(101)에서 빠져나올 수 있다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 장치의 구성을 설명하기 위한 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 지게차(100)의 협로 주행을 위한 협로 주행 제어 처리 장치(400)는 자율 주행 지게차(100) 내에 설치되어, 라이다 특징점 인식부(410), 추측 항법 처리부(420), 실내 위치 인식부(430), 라인 검출 처리부(440) 및 주행 제어부(450)를 포함할 수 있으며, 이들 구성 요소로 한정되지 않는다. 협로 주행 제어 처리 장치(400)는 자율 주행 지게차의 협로 주행 제어를 위해 라이다 특징점을 이용한 위치 인식, 추측 항법 처리를 통한 위치 예측, 실내 위치 인식, 영상 센서를 통해 획득한 데이터에 기초하여 라인 검출 처리, 주행 제어 등을 포함한 자율 주행 지게차의 각종 제어 및 처리를 실행하도록 구성되며, 예컨대 협로 주행 제어 처리 장치(400)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 장치 내의 메모리부 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
협로 주행 제어 처리 장치(400)의 라이다 특징점 인식부(410), 추측 항법 처리부(420), 실내 위치 인식부(430), 라인 검출 처리부(440) 및 주행 제어부(450)의 구성 요소는 하나 이상의 프로세서(processor)에 의해 실행될 수 있는 프로그램 또는 프로그램 모듈을 포함할 수 있다. 협로 주행 제어 처리 장치(400)에 포함된 프로그램 또는 프로그램 모듈들은 운영 체제(operating system), 어플리케이션 프로그램(application program) 또는 프로그램 등의 형태로 구성될 수 있으며, 널리 사용되는 다양한 종류의 저장 장치 상에 물리적으로 저장될 수 있다. 이와 같은 프로그램 또는 프로그램 모듈은 하나 이상의 루틴(routine), 서브루틴(subroutine), 프로그램(program), 오브젝트(object), 콤포넌트(component), 명령(instructions), 데이터 구조(data structure) 및 특정 작업(task)을 수행하거나 특정 데이터 유형을 실행하기 위한 다양한 형태를 포함할 수 있으며, 이들 형태로 제한되지 않는다.
먼저, 라이다 특징점 인식부(410)는 자율 주행 지게차(100)의 천장 또는 상부에 배치된 라이다 센서에서 획득한 센서 정보를 이용하여 실내 위치 인식을 위한 특징점을 인식하도록 구성될 수 있다. 예컨대 고휘도 반사지로 구성되는 특징점들이 실내 작업 환경 곳곳에 배치되어 자율 주행 지게차(100)가 이동하면서 상부에 배치된 라이다 센서를 통해 특징점을 인식할 수 있다.
추측 항법 처리부(420)는 위치 인식의 정밀도를 향상시키기 위해 추측 항법을 이용하여 자율 주행 지게차(100)의 위치를 예측 및 추정하도록 구성되며, 예컨대 도 2에 도시된 바와 같이 이륜차 모델을 사용하여 자율 주행 지게차(100)의 현재 위치를 예측할 수 있다. 그러나, 다단 적재 등 산업 현장의 특수한 환경으로 인해 라이다 특징점을 이용하여 위치 정보를 활용할 수 없는 경우 추측 항법만으로는 오차 누적으로 인해 정밀한 측위가 어려워진다.
실내 위치 인식부(430)는 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 자율 주행 지게차(100)의 실내 위치를 인식하도록 구성될 수 있다. 실내 작업 환경은 특징점과 연관되어 실내 정밀 지도가 미리 구축될 수 있어, 라이다 센서를 통해 인식된 특징점을 인식하여 지도에서 현재 실내 위치를 인식할 수 있다.
라인 검출 처리부(440)는 라이다 센서를 이용하여 특징점이 인식되지 않는 경우, 영상 센서를 통해 획득한 이미지 데이터에 기초하여 주행 영역의 라인을 검출하도록 구성될 수 있다. 라인 검출 처리부(440)는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 주행 영역의 라인을 인식함으로써, 필요한 데이터만을 분리하여 처리하여 데이터 연산량을 줄이고, 라인 위치 오차를 최소화할 수 있다.
또한, 라인 검출 처리부(440)는 주행 영역의 좌측 라인 및 우측 라인을 인식하고, 이들의 중앙으로서 라인의 중점 좌표를 획득하고, 라인의 중점 좌표와 자율 주행 지게차(100)의 중점 좌표와의 위치 오차를 획득할 수 있다. 이와 같이 획득한 위치 오차를 최소화하도록 자율 주행 차량(100)을 주행 제어함으로써 협로에 얼라인을 맞추도록 안전하게 정밀 주행 제어를 수행할 수 있다. 또한, 예컨대 다단 적재 환경 등에 의해 좌측 라인 및 우측 라인 중 어느 하나의 라인만 인식된 경우 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득하고, 이에 기초하여 위치 오차를 생성할 수도 있다.
또한, 라인 검출 처리부(440)는 자율 주행 지게차가 이재(unload) 후 후진 주행하는 경우에 활성화되어, 영상 센서를 통해 후진 주행 영역의 라인을 검출하여 안전하게 협로를 빠져나오도록 할 수 있다. 예컨대, 위치 정보의 활용이 가능할 때 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 자율 주행 지게차의 이재 작업을 완료한 후, 후진 주행 시에 라인 검출 처리부(440)가 활성화되어 영상 센서를 통한 라인 검출 정보와 추측 항법을 활용하도록 구성될 수 있다.
주행 제어부(450)는 실내 위치에 기초하여 자율 주행 지게차의 주행을 제어하도록 구성될 수 있다. 주행 제어부(450)는 라이다 특징점 인식을 통해 위치 정보 활용이 가능한 경우 위치 정보 및 추측 항법에 기초하여 주행이 제어되며, 협로 주행시 위치 정보 활용이 불가능한 경우 라인 검출 처리부(440)를 통한 라인 검출 정보 및 추측 항법 처리부(420)를 통한 추측 항법 처리를 통해 주행 제어를 수행할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 팔레트의 이재 구역에서의 라인 검출 동작을 설명하기 위한 예시도이다.
도 5a는 자율 주행 지게차(100)의 영상 센서(110)를 통해 획득한 원본 영상을 나타내며, 도 5b는 원본 영상으로부터 양쪽 라인을 검출한 모습을 나타낸다.
도 5b를 참조하면, 영상 센서(110)를 통해 얻은 영상 데이터의 필요한 정보를 추출하고, 데이터 연산량을 줄이기 위해 원본 영상의 관심 영역(ROI)를 설정하고, 관심 영역 추출을 통해 분리한 원본 데이터를 이진화 및 라인 검출 알고리즘을 적용하여 팔레트 이재 구역의 라인을 인식할 수 있다.
검출된 좌측 라인(510) 및 우측 라인(520)에 기초하여 라인의 중점 좌표(530)를 획득할 수 있고, 카메라의 위치로부터 파악할 수 있는 자율 주행 지게차(100)의 중점 좌표(540)와 획득한 라인의 중점 좌표(530)를 비교하여 위치 오차를 측정할 수 있다. 이와 같이 측정된 위치 오차를 최소화하도록 라인 인식 정보와 추측 항법의 위치 정보를 융합하여 주행 제어함으로써 자율 주행 지게차(100)의 위치 인식 정보가 없는 경우나 부정확한 경우에도 지게차의 이적재 시 정밀한 주행 제어가 가능해질 수 있다.
또한, 라인 검출 시 관심 영역(ROI) 처리 및 탑 뷰(top view) 변환을 통해 필요한 정보만을 분리하여 처리함으로써, 불필요한 정보를 제거하고 연산량을 줄임으로써 실시간 주행 제어를 통해 라인 위치 오차를 최소화할 수 있다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 방법을 설명하기 위한 흐름도이다.
라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하는 단계(S610)에서 특징점이 인식되는 경우 특징점과 관련된 실내 지도 정보 및 추측 항법에 기초하여 자율 주행 지게차(100)의 실내 위치를 인식할 수 있다.(S620)
자율 주행 지게차(100)의 실내 위치 정보를 획득하면, 실내 위치 정보에 기초하여 자율 주행 지게차의 주행을 제어할 수 있다.(S640)
한편, 라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하는 단계(S610)에서 산업 현장의 다단 적재 등의 환경에 의해 특징점이 인식되지 않는 경우, 영상 센서를 통해 주행 영역의 라인을 검출하고 추측 항법을 처리하는 단계를 수행할 수 있다.(S630)
여기서, 라인 검출 단계는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 주행 영역의 라인을 인식할 수 있다. 또한, 주행 영역의 좌측 라인 및 우측 라인을 인식함으로써 라인의 중점 좌표를 획득하고, 획득한 라인의 중점 좌표와 자율 주행 지게차(100)의 중점 좌표와의 위치 오차를 획득하는 단계를 더 포함할 수 있다. 또한, 주행 영역의 라인을 검출하는 단계는 좌측 라인 및 우측 라인 중 어느 하나의 라인만 인식된 경우에도 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득할 수 있다.
또한, 자율 주행 지게차(100)가 팔레트 이재(unload) 후 후진 주행하는 경우, 영상 센서(110)를 통해 주행 영역의 라인을 검출하는 단계를 더 포함할 수 있다. 예컨대, 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 자율 주행 지게차의 이재 작업을 완료한 후, 후진 시에 단계 S630의 라인 검출 동작을 활성화함으로써 영상 센서를 통한 라인 검출 정보와 추측 항법을 활용할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행 지게차의 협로 주행을 위한 제어 방법을 설명하기 위한 흐름도이다.
먼저, 라이다 특징점 인식을 통해 현재 위치를 인식하고, 자율 주행 지게차(100)를 팔레트 이재 구역으로 이동 제어할 수 있다.(S710)
자율 주행 지게차(100)는 팔레트 이재를 위해 이재 구역으로 이동하고, 라이다 센서 정보 및 추측 항법에 기초하여 협로 전진 주행 제어가 수행될 수 있다.(S720)
전진 주행 후 가상 링크 추종 및 센서 기반 주행을 통해 팔레트 이재(unload)가 수행될 수 있다.(S730) 팔레트 이재 또는 스태킹 작업은 전방 영상 센서를 통해 검출된 1단 팔레트 및 이재될 2단 팔레트, 두 팔레트 간의 위치 오차에 기초하여 한 번 생성된 가상 링크를 추종하여 주행 제어되는 가상 링크 추종 1차 주행 제어 단계와, 양 팔레트 사이의 종방향 거리가 미리 결정된 임계값 이하로 판단되는 경우 정밀 제어를 위해 센서 주기마다 측정된 위치 오차를 기준으로 주행 제어하는 센서 기반 2차 주행 제어 단계로 구성될 수 있다. 센서 기반 2차 주행 제어 단계에서 미리 결정된 기준을 모두 만족하는 경우 팔레트 안전하게 내려놓을 수 있다. 이와 같이 팔레트 스태킹 작업을 1차 주행 시 가상 링크를 추종함으로써 신속성 및 효율성을 높이고, 2차 주행 시 주기마다 정밀한 센서 기반 주행을 수행함으로써 위치 오차를 최소화하여 안전성을 높이는 2단계로 수행할 수 있다.
팔레트를 내려 놓은 후 자율 주행 지게차(100)는 협로에서 후진 주행을 시작하고 이때 후방 영상 센서를 활성화할 수 있다.(S740)
라인 검출 정보 및 추측 항법에 기초하여 협로 후진 주행을 제어할 수 있다.(S750) 협로 주행 시 위치 정보 인식이 불가능하기 때문에, 후진 주행 시 라인 검출 처리부(440)의 라인 검출을 통하여 라인의 중점 좌표와 지게차의 중점 좌표의 위치 오차를 측정하고 추측 항법을 퓨전하여 활용함으로써 정밀한 주행 제어가 가능해진다.
자율 주행 지게차(100)가 후진 주행을 통해 협로를 탈출하고, 라이다 센서 정보를 통해 위치 인식을 수행할 수 있다.(S760) 자율 주행 지게차(100)가 협로를 탈출하여 라이다 센서를 통한 특징점 인식이 다시 가능해지면, 위치 정보 인식에 기초하여 라이다 센서 정보 및 추측 항법을 통해 새로운 작업 구역으로 이동할 수 있다.(S760)
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그래머블 논리 디바이스(PLD)들, 필드 프로그래머블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
100: 자율 주행 지게차 101: 협로
110: 영상 센서 120: 이송 팔레트
200: 다단 적재 팔레트
400: 협로 주행 제어 처리 장치
410: 라이다 특징점 인식부 420: 추측 항법 처리부
430: 실내 위치 인식부 440: 라인 검출 처리부
450: 주행 제어부

Claims (14)

  1. 자율 주행 지게차의 협로 주행을 위한 제어 방법에 있어서,
    라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하는 단계;
    상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 상기 자율 주행 지게차의 실내 위치를 인식하는 단계; 및
    상기 실내 위치에 기초하여 상기 자율 주행 지게차의 주행을 제어하는 단계
    를 포함하고,
    상기 라이다 센서를 이용하여 상기 특징점이 인식되지 않는 경우 영상 센서를 통해 주행 영역의 라인을 검출하는 단계를 더 포함하고,
    상기 주행 영역의 좌측 라인 및 우측 라인을 인식함으로써 라인의 중점 좌표를 획득하고, 상기 라인의 중점 좌표와 상기 자율 주행 지게차의 중점 좌표와의 위치 오차를 획득하는 단계를 더 포함하는 것인, 자율 주행 지게차의 협로 주행 제어 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 라인 검출 단계는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 상기 주행 영역의 라인을 인식하는 것인, 자율 주행 지게차의 협로 주행 제어 방법.
  4. 삭제
  5. 제1항에 있어서, 상기 자율 주행 지게차가 이재(unload) 후 후진 주행하는 경우, 상기 영상 센서를 통해 상기 주행 영역의 라인을 검출하는 단계를 더 포함하는 자율 주행 지게차의 협로 주행 제어 방법.
  6. 제1항에 있어서, 상기 주행 영역의 라인을 검출하는 단계는 상기 좌측 라인 및 상기 우측 라인 중 어느 하나의 라인만 인식된 경우 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득하는 것인, 자율 주행 지게차의 협로 주행 제어 방법.
  7. 제5항에 있어서, 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹(stacking)을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 상기 자율 주행 지게차의 이재 작업을 완료하고, 후진 시에 상기 영상 센서를 통한 라인 검출 단계를 활성화시키는 단계를 더 포함하는 자율 주행 지게차의 협로 주행 제어 방법.
  8. 자율 주행 지게차의 협로 주행을 위한 제어 장치에 있어서,
    라이다 센서를 이용하여 실내 위치 인식을 위한 특징점을 인식하도록 구성된 라이다 특징점 인식부;
    상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 상기 자율 주행 지게차의 실내 위치를 인식하도록 구성된 실내 위치 인식부;
    상기 실내 위치에 기초하여 상기 자율 주행 지게차의 주행을 제어하도록 구성된 주행 제어부; 및
    상기 라이다 센서를 이용하여 상기 특징점이 인식되지 않는 경우 영상 센서를 통해 주행 영역의 라인을 검출하도록 구성된 라인 검출 처리부
    를 포함하고,
    상기 라인 검출 처리부는 상기 주행 영역의 좌측 라인 및 우측 라인을 인식함으로써 라인의 중점 좌표를 획득하고, 상기 라인의 중점 좌표와 상기 자율 주행 지게차의 중점 좌표와의 위치 오차를 획득하는 것인, 자율 주행 지게차의 협로 주행 제어 장치.
  9. 삭제
  10. 제8항에 있어서, 상기 라인 검출 처리부는 미리 설정된 관심 영역(ROI)의 데이터를 추출하고, 탑 뷰(top view) 변환을 통해 상기 주행 영역의 라인을 인식하는 것인, 자율 주행 지게차의 협로 주행 제어 장치.
  11. 삭제
  12. 제8항에 있어서, 상기 라인 검출 처리부는, 상기 자율 주행 지게차가 이재(unload) 후 후진 주행하는 경우 상기 영상 센서를 통해 상기 주행 영역의 라인을 검출하고, 상기 영상 센서는 상기 자율 주행 지게차의 후방부 상단에 배치되는 것인, 자율 주행 지게차의 협로 주행 제어 장치.
  13. 제8항에 있어서, 상기 라인 검출 처리부는, 상기 좌측 라인 및 상기 우측 라인 중 어느 하나의 라인만 인식된 경우 인식된 하나의 라인 및 미리 설정된 라인 간격 정보에 기초하여 라인의 중점 좌표를 획득하는 것인, 자율 주행 지게차의 협로 주행 제어 장치.
  14. 제12항에 있어서, 팔레트 스태킹(stacking)을 위한 전방 영상 센서를 더 포함하고, 상기 특징점과 관련된 지도 정보 및 추측 항법에 기초하여 협로에서 전진 주행 후에 팔레트 스태킹을 위한 전방 영상 센서를 이용하여 팔레트의 위치 오차 계산에 기초하여 상기 자율 주행 지게차의 이재 작업을 완료한 후, 후진 시에 상기 라인 검출 처리부가 활성화되는 것인, 자율 주행 지게차의 협로 주행 제어 장치.

KR1020200077571A 2020-06-25 2020-06-25 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치 KR102300596B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077571A KR102300596B1 (ko) 2020-06-25 2020-06-25 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077571A KR102300596B1 (ko) 2020-06-25 2020-06-25 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR102300596B1 true KR102300596B1 (ko) 2021-09-10

Family

ID=77777058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077571A KR102300596B1 (ko) 2020-06-25 2020-06-25 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102300596B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530049B1 (ko) 2022-07-29 2023-05-10 주식회사 케이피씨전자 Ai를 이용한 지게차 내비게이션시스템
KR102549026B1 (ko) 2022-07-29 2023-06-27 주식회사 케이피씨전자 Ai를 이용한 지게차용 팔레트 적재 제어 시스템
KR102590004B1 (ko) 2022-07-29 2023-10-16 주식회사 케이피씨전자 Ai를 이용한 지게차 포크 구동 제어 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130073256A (ko) * 2011-12-23 2013-07-03 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
KR20130099596A (ko) * 2012-02-29 2013-09-06 부산대학교 산학협력단 무인지게차의 팔레트 자율하역 장치 및 방법
KR20180135755A (ko) * 2017-06-13 2018-12-21 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2019002783A1 (fr) * 2017-06-29 2019-01-03 Compagnie Generale Des Etablissements Michelin Systeme de commande d'un chariot elevateur a fourche autonome, et procede de pilotage d'un tel chariot

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130073256A (ko) * 2011-12-23 2013-07-03 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
KR20130099596A (ko) * 2012-02-29 2013-09-06 부산대학교 산학협력단 무인지게차의 팔레트 자율하역 장치 및 방법
KR101397342B1 (ko) 2012-02-29 2014-05-20 부산대학교 산학협력단 무인지게차의 팔레트 자율하역 장치 및 방법
KR20180135755A (ko) * 2017-06-13 2018-12-21 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2019002783A1 (fr) * 2017-06-29 2019-01-03 Compagnie Generale Des Etablissements Michelin Systeme de commande d'un chariot elevateur a fourche autonome, et procede de pilotage d'un tel chariot
US20200133265A1 (en) * 2017-06-29 2020-04-30 Compagnie Generale Des Etablissements Michelin Autonomous forklift truck control system and method for drivng the forklift truck

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530049B1 (ko) 2022-07-29 2023-05-10 주식회사 케이피씨전자 Ai를 이용한 지게차 내비게이션시스템
KR102549026B1 (ko) 2022-07-29 2023-06-27 주식회사 케이피씨전자 Ai를 이용한 지게차용 팔레트 적재 제어 시스템
KR102590004B1 (ko) 2022-07-29 2023-10-16 주식회사 케이피씨전자 Ai를 이용한 지게차 포크 구동 제어 시스템
KR20240017310A (ko) 2022-07-29 2024-02-07 주식회사 케이피씨전자 Ai를 이용한 지게차 내비게이션시스템
KR20240017327A (ko) 2022-07-29 2024-02-07 주식회사 케이피씨전자 Ai를 이용한 지게차 포크 구동 제어 시스템
KR20240017313A (ko) 2022-07-29 2024-02-07 주식회사 케이피씨전자 Ai를 이용한 지게차용 팔레트 적재 제어 시스템

Similar Documents

Publication Publication Date Title
KR102300596B1 (ko) 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치
CN109160451B (zh) 自主导航无人叉车、***及控制方法
JP6492024B2 (ja) 移動体
US9354070B2 (en) Systems, methods, and industrial vehicles for determining the visibility of features
US10583982B2 (en) Shelf transport system, shelf transport vehicle, and shelf transport method
EP2718777B1 (en) Method for automatically calibrating vehicle parameters
EP0007789A2 (en) Driverless vehicle carrying directional detectors auto-guided by light signals
AU2014343128A1 (en) Systems, methods, and industrial vehicles for determining the visibility of features
KR102389494B1 (ko) 무인지게차 시스템
CN107814153A (zh) 一种高精度停位的agv车辆叉取装置及其停位方法
US20230137089A1 (en) Method for Controlling an Automatic Guided Vehicle and Control System Adapted to Execute the Method
Behrje et al. An autonomous forklift with 3d time-of-flight camera-based localization and navigation
CN111717843A (zh) 一种物流搬运机器人
KR20220050483A (ko) 무인 반송 차량의 위치 인식 장치 및 방법
JP2020154454A (ja) 自律移動装置、誘導システムおよび自律移動装置の移動方法
JP7216582B2 (ja) 車両の走行制御システム
KR102171077B1 (ko) 자율 주행 지게차의 2단 적재를 위한 방법 및 이를 위한 장치
JP2019061452A (ja) 地図情報更新方法
JP6687313B1 (ja) 搬送システム
KR102432148B1 (ko) 무인반송차(agv) 구동 운용 방법
JP7415830B2 (ja) 無人車両
US12038754B2 (en) Movable body, movement control system, method for controlling movable body, and program
Garibotto et al. Computer vision control of an intelligent forklift truck
JP2022045003A (ja) 自己位置推定システム
JP2023163605A (ja) 荷役システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant