KR20230168516A - 스마트 물류 차량 및 그 제어 방법 - Google Patents
스마트 물류 차량 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20230168516A KR20230168516A KR1020220069076A KR20220069076A KR20230168516A KR 20230168516 A KR20230168516 A KR 20230168516A KR 1020220069076 A KR1020220069076 A KR 1020220069076A KR 20220069076 A KR20220069076 A KR 20220069076A KR 20230168516 A KR20230168516 A KR 20230168516A
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- logistics vehicle
- cloud data
- smart logistics
- smart
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/063—Automatically guided
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Civil Engineering (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
Abstract
스마트 물류 차량의 제어 방법은 대상물을 인식하는 단계; 2D 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 3D 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하는 단계; 상기 2D 포인트 클라우드 데이터를 기반으로 상기 3D 포인트 클라우드 데이터의 오프셋을 보정하는 단계; 및 상기 보정된 3D 포인트 클라우드 데이터를 기반으로, 상기 대상물에 장착된 적층 지지물의 위치를 판단하는 단계를 포함한다.
Description
본 발명은 팔레트를 안정적으로 적층할 수 있는 스마트 물류 차량 및 그 제어 방법에 관한 것이다.
일반적인 물류 창고나 공장은 물론, 다양한 부품을 사용하여 서로 다른 사양의 물품을 제조하는 스마트 공장 등에서는 유연하고 효율적인 부품 등의 공급과 이송을 위해 스마트 물류 차량이 도입되고 있다.
스마트 물류 차량은 자율 주행 모바일 로봇(AMR: Autonomous Mobile Robot), 무인 반송차(AGV: Automated Guided Vehicle) 및 무인 지게차 등을 통칭하는 개념이며, 이러한 스마트 물류 차량은 관제 시스템의 제어에 따라 이동 및 작업을 수행할 수 있다.
스마트 공장 등에서는 물류 창고의 공간을 효율적으로 활용하기 위해 팔레트를 다단으로 적층하는 방법이 사용될 수 있다. 이를 위해, 스마트 물류 차량은 모노 타입 카메라, 스트레오 타입 카메라 또는 라이다를 이용하여 평판형 팔레트의 상단 및 하단에 대한 특징선을 추출하고, 추출된 특징선을 기반으로 팔레트의 위치를 추정하며, 적재하고 있는 팔레트를 추정된 팔레트의 위치에 적층할 수 있다.
평판형 팔레트와 달리, 스마트 물류 차량이 기둥형 팔레트를 적층하기 위해서는, 기둥형 팔레트의 기둥에 장착된 적층 지지물의 위치를 정확히 판단하는 것이 중요하다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
본 발명은 2D 및 3D 라이다 센서를 통해 기둥형 팔레트의 기둥에 장착된 적층 지지물의 위치를 정확히 판단함으로써, 차량에 적재된 기둥형 팔레트를 적층 지지물에 안정적으로 적층하는 것을 해결하고자 하는 기술적 과제로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시예에 따른 스마트 물류 차량의 제어 방법은 대상물을 인식하는 단계; 2D 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 3D 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하는 단계; 상기 2D 포인트 클라우드 데이터를 기반으로 상기 3D 포인트 클라우드 데이터의 오프셋을 보정하는 단계; 및 상기 보정된 3D 포인트 클라우드 데이터를 기반으로, 상기 대상물에 장착된 적층 지지물의 위치를 판단하는 단계를 포함할 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시예에 따른 스마트 물류 차량은 대상물을 감지하기 위한 2D 센서 및 3D 센서를 포함하는 센싱부; 상기 2D 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 상기 3D 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하며, 상기 2D 포인트 클라우드 데이터를 기반으로 상기 3D 포인트 클라우드 데이터의 오프셋을 보정하는 데이터 처리부; 및 상기 보정된 3D 포인트 클라우드 데이터를 기반으로, 상기 대상물에 장착된 적층 지지물의 위치를 판단하는 위치 판단부를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 2D 및 3D 라이다 센서를 통해 기둥형 팔레트의 기둥에 장착된 적층 지지물의 위치를 정확히 판단함으로써, 차량에 적재된 기둥형 팔레트를 적층 지지물에 안정적으로 적층할 수 있다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예들에 적용될 수 있는 스마트 팩토리 구성의 일례를 나타내는 블럭도이다.
도 2는 본 발명의 실시예들에 적용될 수 있는 관제 장치 구성의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 4은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 5는 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량의 주행 과정의 일례를 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 7은 본 발명의 일 실시예에 따른 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 8은 본 발명의 일 실시예에 따른 스마트 물류 차량에 이적재되는 기둥형 팔레트의 일례를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 3D 라이다 센서로부터 생성되는 3D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 2D 라이다 센서로부터 생성되는 2D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에서 2D 및 3D 포인트 클라우드 데이터를 기반으로 기둥형 팔레트의 기둥을 인식하는 과정의 일례를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에서 기둥형 팔레트 간의 적층 지지물의 거리 및 회전각을 판단하는 과정의 일례를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 스마트 물류 차량의 제어 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 적용될 수 있는 관제 장치 구성의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 4은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 5는 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량의 주행 과정의 일례를 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 7은 본 발명의 일 실시예에 따른 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 8은 본 발명의 일 실시예에 따른 스마트 물류 차량에 이적재되는 기둥형 팔레트의 일례를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 3D 라이다 센서로부터 생성되는 3D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 2D 라이다 센서로부터 생성되는 2D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에서 2D 및 3D 포인트 클라우드 데이터를 기반으로 기둥형 팔레트의 기둥을 인식하는 과정의 일례를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에서 기둥형 팔레트 간의 적층 지지물의 거리 및 회전각을 판단하는 과정의 일례를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 스마트 물류 차량의 제어 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 스마트 물류 차량이나 관제 장치의 내부 구성 명칭에 포함된 유닛(Unit) 또는 제어 유닛(Control Unit)은 특정 기능을 제어하는 제어 장치(Controller)의 명명에 널리 사용되는 용어일 뿐, 보편적 기능 유닛(Generic function unit)을 의미하는 것은 아니다. 예컨대, 각 제어 장치는 담당하는 기능의 제어를 위해 다른 제어 장치나 센서와 통신하는 모뎀/트랜시버, 운영체제나 로직 명령어와 입출력 정보 등을 저장하는 메모리 및 담당 기능 제어에 필요한 판단, 연산, 결정 등을 수행하는 하나 이상의 프로세서를 포함할 수 있다. 구현에 따라, 하나의 프로세서가 복수의 제어 장치에 대한 연산을 담당할 수도 있다.
먼저, 실시예에 따른 스마트 물류 차량이 배치 및 운용되는 스마트 팩토리의 구성을 도 1을 참조하여 설명한다.
도 1은 실시예들에 적용될 수 있는 스마트 팩토리 구성의 일례를 나타내는 블럭도이다.
도 1을 참조하면, 스마트 팩토리(100)는 스마트 물류 차량(110), 생산 장치(120), 감시 장치(130) 및 관제 장치(140)를 포함할 수 있다.
스마트 팩토리(100)는 생산물의 생산 공정과 목표 생산 속도에 따라 복수의 스마트 물류 차량(110), 복수의 생산 장치(120) 및 복수의 감지 장치(130)가 구비될 수 있다. 이하, 각 구성 요소를 설명한다.
먼저, 스마트 물류 차량(110)은 자율 주행 모바일 로봇(Autonomous Mobile Robot, 이하, 편의상 'AMR'이라 칭함), 무인 반송차(Automated Guided Vehicle, 이하, 편의상 'AGV'라 칭함) 및 무인 지게차를 포함할 수 있다. 스마트 팩토리(100)에서 스마트 물류 차량(110)의 운용 방침에 따라 AGV나 AMR 중 한 종류만 운용할 수도 있고, 단일 스마트 팩토리(100) 내에서 AGV와 AMR이 함께 운용될 수도 있다.
AGV는 일반적으로 AGV의 안내(guide)를 위해 바닥에 배치된 안내 설비를 인식 및 추종함으로써 스마트 팩토리(100) 내에서 요구되는 동작(이동, 방향 전환, 정지 등)을 수행하게 된다. 여기서 안내 설비란 광학적으로 인식 가능한 마커(스폿, 2D 코드 등), 근거리에서 비접촉식으로 인식 가능한 태그(예컨대, NFC 태그, RFID 태그 등), 마그네틱 스트립, 와이어 등을 의미할 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다. 안내 설비는 바닥에 연속적으로 배치될 수도 있고, 불연속적으로 상호 이격되어 배치될 수도 있다. AGV는 기본적으로 안내 설비의 인식과 추종을 통해 동작을 수행하기 때문에 운용 전에 안내 설비가 미리 설치되어 있을 것을 요구하여, 새로운 경로로 AGV를 이동시키거나 기존 경로를 수정해야 할 경우, 안내 설비의 신설이나 수정이 물리적으로 이루어질 필요가 있다. 또한, AGV는 안내 설비를 통해 설정된 경로를 벗어나지 않으므로 경로 상 또는 주변에 장애물이 감지된 경우 감지된 장애물이 사라지거나 별도의 제어를 받을 때까지 정지하는 것이 일반적이다. AGV의 운용에 있어서 관제 장치(140)는 안내 설비를 기준으로 AGV를 제어해야 하므로, 현재 위치에서 '3번째 마커가 인식될 때까지 주행', '3번째 마커가 인식되면 헤딩 방향을 90도 전환' 등과 같은 의미의 명령을 개별 명령 단위 또는 복수의 명령을 포함하는 미션(예컨대, 회수, 공급, 충전, 패트롤 등) 단위로 AGV에 전달할 수 있다.
AMR은 주변 감지를 통해 현재 위치를 판단(즉, 측위)할 수 있으며, 측위와 맵을 이용하여 자체 경로 설정(path planning)이 가능한 점이 AGV와 가장 구분되는 점이라 할 수 있다. 따라서, AMR과 관제 장치(140)에 좌표가 호환되는 맵이 공유된 경우 관제 장치(140)가 AMR에 좌표 기반으로 경로를 지시하는 방식으로 AMR을 제어할 수 있게 된다. 또한, 주행 중 장애물이 감지된 경우 AMR은 자체적으로 회피 경로를 설정하여 장애물을 회피한 후 기존 경로로 복귀할 수 있다. 관제 장치(140)가 AMR의 경로를 하나 이상의 경유 좌표로 설정하는 기능을 글로벌 패스 플래닝(global path planning)이라 칭할 수 있으며, 글로벌 패스 플래닝에 따른 경유 좌표 사이에서 AMR이 이동 경로를 설정하거나 회피 경로를 설정하는 기능을 로컬 패스 플래닝(local path planning)이라 칭할 수 있다.
보다 상세한 스마트 물류 차량(110)의 구성은 도 3 및 도 4를 참조하여, AMR의 주행 제어 과정은 도 5를 참조하여 각각 후술하기로 한다.
다음으로, 생산 장치(120)는 스마트 팩토리(100)에서 생산물의 생산 공정을 수행하는 장치(예컨대, 로봇암, 컨베이어 벨트 등)를 의미할 수 있으며, 보다 넓은 의미에서 생산 공정이 사람에 의해 수행될 경우 스마트 물류 차량(110)의 출입 등의 미션 수행을 보조하기 위해 배치된 장치를 의미할 수도 있다. 미션 수행을 보조하기 위해 배치된 장치라 함은, 특정 생산 공정이 수행되는 영역 내에서 스마트 물류 차량(110)이 운반하는 팔레트를 내려놓거나 수거할 수 있는 지정 위치의 상태를 감지하는 장치, 공정 진행도를 판단하는 장치, 영역 내 출입 차단 수단 등이 될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 생산 장치(120)는 PLC(Programmable Logic Controller)를 통해 제어되며, 공정 진행과 관련하여 관제 장치(140)와 통신을 수행할 수 있다.
감시 장치(130)는 스마트 팩토리(100) 내의 상황을 판단하기 위한 정보를 획득하여 관제 장치(140)로 전달하는 기능을 수행할 수 있다. 예컨대, 감시 장치(130)는 카메라, 근접 센서 등을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.
관제 장치(140)는 전술한 구성 요소(110, 120, 130)와 통신을 수행하여 스마트 팩토리(100)의 운용에 필요한 정보를 획득하거나 각 구성 요소를 제어할 수 있다. 예컨대, 관제 장치(140)는 스마트 물류 차량(110)의 배차, 경로 설정, 미션 할당, 생산물별 공정 관리, 자재 관리 등을 수행할 수 있다.
구현에 있어서, 관제 장치(140)는 AGV/AMR의 위치를 기반으로 주변 공정 설비를 제어하고, AGV/AMR의 미션 기반 제어를 수행하는 로컬 관제 장치(ACS: AMR/AGV Control System)와, 둘 이상의 로컬 관제 장치를 통합하여 관제하는 통합 관제 장치(MoRIMS: Mobile Robot Integrated Monitoring System)를 포함할 수 있다. 통합 관제 장치는 복수의 로컬 관제 장치 각각으로부터 스마트 팩토리(100) 내의 전 스마트 물류 로봇(110)의 상태와 경로, 물류 흐름설정 및 트래픽 제어를 수행할 수 있다. 예컨대, 로컬 관제 장치(ACS)가 동일 제조사나 동일 기종의 스마트 물류 로봇 단위로 구비될 경우, 통합 관제 장치는 복수의 로컬 관제 장치(ACS)를 통해 획득되는 정보를 기반으로 이기종간 트래픽 분산 제어를 통해 교차/중첩 구역의 병목 수준 분석, 주행 가/감속 제어, 회피 경로 재생성 등 충돌 방지를 위한 통합 제어를 수행할 수 있다.
아울러, 통합 관제 장치도 그 상위 제어 주체로 제조 실행 시스템(MES: Manufacturing Execution System)을 가질 수 있으며, 제조 실행 시스템(MES)은 다시 자동화 스케쥴러(APS: Advanced Planning & Scheduling)와 연동될 수 있다.
전술한 스마트 팩토리(100)의 구성(110, 120, 130, 140) 외에, 비컨, 중계기, AP(Access Point) 등과 같은 각 구성요소간의 상호 통신을 위한 장치, 스마트 물류 차량(110)의 충전을 위한 충전기, 부품 저장이나 적재를 위한 적재 공간, 완제품이나 중간 생산물이 보관되는 공간, 신호등, 차단기, 유휴 스마트 물류 차량(110)의 대기 공간 등이 스마트 팩토리(100) 내에 적절히 배치될 수 있음은 물론이다.
이하에서는 도 2를 참조하여 본 발명의 실시예들에 적용될 수 있는 관제 장치(140)의 구성을 설명한다.
도 2는 본 발명의 실시예들에 적용될 수 있는 관제 장치 구성의 일례를 나타내는 블럭도이다. 도 2에 도시된 각 구성 요소는 본 발명의 실시예들과 관련된 구성 요소를 위주로 나타낸 것으로, 실제 관제 장치(140)의 구현에 있어서는 이보다 많거나 적은 구성 요소가 포함될 수도 있다.
도 2를 참조하면, 관제 장치(140)는 펌웨어 관리부(141), 트래픽 제어부(142), 공정 관리부(143), 생산/물류 관리부(144), 재고 관리부(145), 통신부(146), 차량 모니터링부(147), 맵 관리부(148)를 포함할 수 있다.
펌웨어 관리부(141)는 통신부(146)를 통해 스마트 물류 차량(110)의 최신 펌웨어를 획득하고, 스마트 물류 차량(110)에 전송하여 펌웨어 업데이트가 수행되도록 하여 스마트 풀류 차량(110)의 펌웨어를 최신 상태로 유지할 수 있다.
트래픽 제어부(142)는 스마트 물류 차량(110)의 경로를 기반으로 신호등과 차단기를 제어하며, 트래픽에 따라 스마트 물류 차량(110)의 경로를 재산정할 수도 있다.
공정 관리부(143)는 생산물별 공정을 정의하고, 공정 진척도, 진행 위치 등의 미션을 관리할 수 있다.
생산/물류 관리부(144)는 미션 기반으로 스마트 물류 차량(110)을 배차할 수 있다.
재고 관리부(145)는 자재별 위치와 수량을 관리하며, 이러한 정보는 스마트 물류 차량(110)을 팔레트 픽업이나 회수를 위해 실제 자재의 조립/소모가 감지되는 시점보다 미리 목적지로 출발시키는 등 보다 효율적인 공정 운용을 위해 유용할 수 있다.
통신부(146)는 스마트 물류 차량(110), 생산 장치(120) 및 감시 장치(130)와 같은 스마트 팩토리(100)의 내부 구성 요소는 물론, 펌웨어 업데이트 서버 등과 같은 외부 개체와의 통신도 수행할 수 있다.
차량 모니터링부(147)는 개별 스마트 물류 차량(110)의 위치, 경로, 배터리 상태, 통신 상태, 파워 트레인 상태 등을 모니터링할 수 있다. 여기서, 경로는 웨이포인트 기반의 글로벌 경로와 실시간 로컬 경로를 포함하는 개념이다. 또한, 배터리 상태는 전압, 전류, 온도, 전압과 전류의 피크치, 충전 상태(SOC: State Of Charge), 내구 상태(SOH: State Of Health) 등을 포함할 수 있다. 통신 상태는 현재 활성화된 통신 프로토콜(Wi-Fi 등), 연결된 AP, AP와의 거리, 사용 중인 채널 등에 대한 정보를 포함할 수 있다. 아울러, 파워 트레인 상태는 구동계의 부하, 온도, RPM 등을 포함할 수 있다.
그 외에도 차량 모니터링부(147)는 개별 스마트 물류 차량(110)에 현재 할당된 미션, 동작 모드, 펌웨어 버전 등을 확인할 수도 있다.
맵 관리부(148)는 스마트 물류 차량(110) 중 AMR이 스마트 팩토리(100) 내부를 주행하면서 획득한 그리드 맵 형태의 맵 데이터를 획득하며, 획득된 맵 데이터를 팩토리 관리자가 편집할 수 있는 툴을 제공할 수 있다. 맵 데이터의 편집을 통해, 스마트 물류 차량(110)이 진입시 미리 설정된 하나 이상의 동작을 수행하는 영역(zone), 가상 차선(lane), 교차로, 진입 금지 영역 등이 설정될 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다. 또한, 맵 관리부(148)는 최초 그리드 맵을 실제 주행을 통해 획득한 스마트 물류 차량(110) 이외의 나머지 스마트 물류 차량(110)에 해당 맵을 통신부(146)를 통해 배포할 수도 있다.
다음으로, 도 3 및 도 4를 참조하여 스마트 물류 차량을 설명한다.
도 3은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 3을 참조하면, 스마트 물류 차량(110)은 주행부(111), 센싱부(112), 적재부(113), 통신부(114) 및 제어부(115)를 포함할 수 있다. 이하, 각 구성 요소를 설명한다.
주행부(111)는 스마트 물류 차량(110)의 이동, 조향 및 정지에 관여하는 구동원, 휠 및 서스펜션 등을 포함할 수 있다. 구동원은 내장된 배터리(미도시)로부터 전력을 공급받는 전기 모터가 이용될 수 있다. 휠은 구동원으로부터 구동력을 공급받는 하나 이상의 구동륜과, 구동력을 공급받지 않고 차체의 이동에 의해 회전하는 비구동륜을 포함할 수 있다. 구현에 따라, 복수의 구동륜이 구비된 경우 구동륜별로 구동원이 매칭되어 각 구동륜의 회전이 독립적으로 제어될 수 있다. 이러한 경우, 서로 다른 구동륜의 회전 방향을 상이하게 함으로써 별도의 조향 수단 없이도 차체를 회전시켜 조향이 이루어지도록 할 수 있다. 적어도 일부의 비구동륜은 캐스터 타입 휠로 구성될 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다.
센싱부(112)는 스마트 물류 차량(100) 주변 환경이나 자체 동작 상태 등을 감지하기 위한 것으로, 2D 레이저 스캐너(예컨대, LiDAR), 3D 비전(스테레오) 카메라, 다축 자이로 센서, 가속도 센서, 휠 인코더, 근접 센서 중 적어도 하나를 포함할 수 있다.
인코더는 발광소자(예컨대, 광 다이오드)에서 출사되는 광을 이용하여 휠이 얼마나 회전했는지 판단할 수 있는 정보를 출력할 수 있다. 예컨대, 인코더는 단위 시간동안 휠 또는 휠과 함께 회전하는 디스크에 원주 방향을 따라 배치된 슬릿의 수를 카운팅할 수 있다. 제어부(115)는 인코더와 자이로 센서를 통해 획득된 데이터로 시간 대비 위치 변화량을 분석하여 변위를 추정하는 오도메트리(odometry) 수행이 가능하다. 다만, 휠의 슬립이나 마모(휠 동반경 변화)로 인해 인코더 데이터를 기반으로 추정된 변위가 실제 변위와 오차가 있을 수 있다. 따라서, 오도메트리 수행시 제어부(115)는 휠과 자이로 센서로부터 수집된 정보를 소정 알고리즘(예컨대, EKF: Extended Kalman Filter)으로 노이즈 및 오차에 대한 보정을 수행하여 실제 값에 가까운 경향성이 있는 결과를 출력할 수 있다. 이러한 오도메트리는 후술할 2D 레이저 스캐너를 이용한 현재 위치 판단(Localization)이 불가할 경우 특히 유용할 수 있다.
2D 레이저 스캐너는 회전하는 반사경을 통해 주변에 레이저를 조사하고, 반사되어 돌아오는 신호를 감지함으로써 주변 환경을 스캔할 수 있다. 이때, 반사된 신호의 강도와 조사/수신 간의 시간 차이를 분석하여 포인트 클라우드 형상의 감지 결과를 출력할 수 있다.
3D 비전 카메라는 일정 거리만큼 이격된 두 개의 카메라 간의 시차, 즉, 각 카메라를 통해 촬영된 이미지 사이의 픽셀 거리를 기반으로 물체까지의 거리를 계산할 수 있다. 이때, 동일 색상의 평면체(예컨대, 흰 벽) 등에 대해서도 감지가 가능하도록 소정 패턴의 적외선 광을 투사하는 텍스쳐 프로젝터(texture projector)가 구비될 수도 있다.
일반적으로 2D 레이저 스캐너는 맵핑, 네비게이션, 사물 인식 등에 사용되고, 3D 카메라는 네비게이션 중 특히 장애물 회피를 위해 활용될 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다.
적재부(113)는 이송 대상 물품을 적재하기 위한 수단으로, 차체 상부의 상판 자체 또는 상판에 배치된 테이블, 리프트, 수직 축을 따라 회전하는 턴테이블, 포크 리프트, 컨베이어 또는 이들을 조합한 형태가 될 수 있다. 포크 리프트의 경우 지게차와 유사하게, 텔레스코픽 및 틸팅 기능을 지원할 수도 있다.
통신부(114)는 생산 장치(120), 관제 장치(140) 등 스마트 팩토리(100) 내의 타 구성 요소와 통신을 수행할 수 있으며, 스마트 물류 차량(110)간의 통신도 지원할 수 있으며, 충전 미션 수행시 충전기와의 통신도 가능하다.
제어부(115)는 전술한 각 구성 요소(111, 112, 113, 114)의 전반적인 제어를 수행하는 주체로서, 통신부(114)를 통해 관제 장치(140)로부터 획득된 정보를 기반으로 현재 미션, 현재 위치, 목적지 판단, 경로 플래닝, 적재부 제어 등을 수행할 수 있다.
도 4은 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 4를 참조하면, 스마트 물류 차량(110)으로 AMR의 일례가 도시된다. 차체는 전체적으로 1축 방향을 따라 연장되는 장축을 갖는 트랙형 평면 형상을 가질 수 있다. 하나의 구동륜(111-1)은 1축 방향으로 차체의 중앙부에 배치되며, 2축 방향으로 일측에 배치될 수 있으며, 다른 구동륜(미도시)은 2축 방향으로 하나의 구동륜(111-1)과 대향하도록 타측에 배치될 수 있다. 이러한 구동륜 배치를 '차동형 드라이브(DD)'라 칭할 수 있다. 도 4에 도시되지는 않았으나, 차체 하부에 둘 이상의 비구동륜이 배치될 수 있다. 이러한 경우, 두 개의 구동륜이 동일 방향으로 동일 속도로 회전하면 1축 방향을 따라 전진 또는 후진이 가능하며, 서로 반대 방향으로 동일 속도로 회전할 경우 3축 방향을 따라 연장되며 차체의 평면 중심(C)을 지나는 회전축을 기준으로 회전할 수 있다. 또한, 차체 전면부에는 센서부(112)가 배치될 수 있으며, 상면부에는 적재부(113)가 배치될 수 있다. 적재부(113)는 3축 방향을 따라 승강이 가능하도록 구성될 수 있으며, 상부면에 가이드(113-1)를 통해 랙(rack)이나 트레이(tray) 등이 고정될 수 있다.
다만, 상술한 도 4의 AMR 형태는 예시적인 것으로, AGV가 이와 유사한 형태를 갖거나, AMR이 이와 상이한 형태를 가질 수도 있음은 물론이다.
다음으로, 도 5를 참조하여 스마트 물류 차량(110)의 주행 과정을 설명한다.
도 5는 본 발명의 실시예들에 적용될 수 있는 스마트 물류 차량(110)의 주행 과정의 일례를 나타내는 순서도이다. 도 5에서는 편의상 스마트 물류 차량(110)이 측위 및 로컬 경로 설정이 가능한 AMR인 것으로 가정한다.
도 5를 참조하면, 먼저 AMR이 스마트 팩토리(100) 내부를 주행하면서 라이다 등을 통해 실측 그리드 맵을 획득할 수 있다(S501).
AMR은 획득한 그리드 맵을 관제 장치(140)로 전송하면, 관제 장치(140)의 맵 관리부(148)에서 그리드 맵 에디팅 및 매칭 과정이 수행될 수 있다(S502). 여기서 에디팅 과정은 전술한 그리드 맵에 전술한 각종 영역(zone)을 설정하는 과정, 그리드별로 코스트를 부여하는 과정 등을 포함할 수 있다. 여기서 코스트의 부여는 AMR이 장애물 주변이나 진입해서는 안되는 영역으로 이동하지 않도록 장애물이나 진입 금지 영역에 가까울수록 높게 코스트가 부여되는 방향으로 수행될 수 있다. 이는 AMR이 로컬 경로를 설정함에 있어서 웨이 포인트 사이에서 가장 코스트가 낮은 셀의 집합을 경로로 선택하기 때문이다.
또한, 맵 매칭 과정은 스마트 팩토리(100)의 설계에 사용된 CAD 맵, 실측 그리드 맵(라이다 맵)과 에디팅 과정을 거친 토폴로지(topolpogy)맵 간의 좌표를 일치시키는 과정을 의미할 수 있다.
이후 관제 장치(140)는 통신부(146)를 통해 토폴로지맵을 팩토리 내의 모든 AMR에 공유할 수 있다(S503).
이후의 단계는 개별 AMR에 적용되는 과정일 수 있다.
AMR은 센싱부(112)의 센서 데이터와 획득한 맵을 통해 맵 상에서 현재 위치를 판단(localization)할 수 있다(S504). 예컨대, AMR은 라이다를 통해 획득된 주변 지형과 맵을 특징점 기반으로 비교하여 현재 위치를 판단할 수 있다.
관제 장치(140)는 특정 AMR을 선택하여 미션을 부여할 수 있으며, 미션에는 일반적으로 글로벌 경로 설정(global path planning)을 통해 결정된 하나 이상의 웨이 포인트가 부여될 수 있다. 웨이 포인트는 맵 상의 좌표로 정의될 수 있으며, 해당 좌표에서 AMR이 향해야 할 방향(즉, heading)에 대한 정보가 수반될 수 있다. 이러한 미션 부여에 따라, AMR에 목적지가 설정될 수 있으며(S505의 Yes), AMR은 토폴로지 맵의 코스트를 기반으로 웨이 포인트 사이에서 로컬 경로 설정(local path planning)을 수행할 수 있다(S506).
경로가 판단되면 AMR은 주행을 개시하며(S507), 주행 중 센싱부(112)를 통해 장애물이 감지된 경우(S508의 Yes), 감지된 장애물을 우회하기 위한 로컬 경로 탐색을 수행하여 회피 기동을 수행할 수 있다(S509). 경우에 따라, 회피 기동에 따라, 또는 회피 기동의 실패에 따라 관제 장치(140)는 해당 AMR의 미션을 갱신할 수도 있다.
또한, AMR은 목적지에 도달할 때까지 주행 중 전술한 오도메트리 기법을 통해 이동 중 위치 오차를 보정할 수도 있다(S510).
이후 목적지에 도달한 경우(S511), AMR은 미션 기반 기동을 수행할 수 있다(S512). 예컨대, AMR은 특정 공정 구역에 진입하기 위한 조건의 클리어 여부를 판단하거나, 목적지에서 비어 있는 팔레트를 회수하거나, 적재부(113)에 적재된 적재물을 드랍할 수 있다.
본 발명의 일 실시예에서는, 팔레트에 장착된 적층 지지물의 위치를 정확히 판단함으로써, 차량에 적재된 기둥형 팔레트를 적층 지지물에 안정적으로 적층할 수 있는 스마트 물류 차량을 제안한다.
바람직하게, 팔레트는 기둥형 팔레트일 수 있으며, 적층 지지물은 기둥형 팔레트에 장착된 컵킷(cup-kit)일 수 있다. 이러한 경우, 스마트 물류 차량은 2D 및 3D 라이다 센서를 통해 기둥형 팔레트의 기둥에 장착된 컵킷의 위치를 정확히 판단함으로써 안정적으로 기둥형 팔레트를 적층할 수 있다. 또한, 기둥형 팔레트는 일반적인 평판형 팔레트의 각 모서리에 수직 방향으로 연장되는 기둥을 구비하되, 각 기둥의 상단과 하단 각각에는 적층 상태 유지에 도움을 주는 컵킷이 배치된 형태의 팔레트를 의미할 수 있다. 보다 구체적인 형태는 도 8을 참조하여 후술하기로 한다.
이하, 도 6을 참조하여 실시예에 따른 스마트 물류 차량을 설명한다.
도 6은 본 발명의 일 실시예에 따른 스마트 물류 차량 구성의 일례를 나타내는 블럭도이다.
도 6을 참조하면, 스마트 물류 차량(110a)은 주행부(111), 센싱부(112), 적재부(113) 및 제어부(115)를 포함하며, 제어부(115)는 데이터 처리부(201), 위치 판단부(202), 적재 제어부(203) 및 정합 판단부(204)를 포함할 수 있다. 이하, 각 구성 요소를 설명한다.
센싱부(112)는 스마트 물류 차량(110a) 주변의 대상물(기둥형 팔레트)을 감지하기 위한 적어도 하나의 2D 라이다 센서, 3D 라이다 센서 및 비전 센서를 포함할 수 있다. 2D 라이다 센서는 회전하는 반사경을 통해 레이저를 평면으로 조사하여 기둥형 팔레트의 기둥을 2차원 형상으로 스캔하고, 3D 라이다 센서는 레이저를 입체적으로 조사하여 기둥형 팔레트를 3차원 형상으로 스캔할 수 있다. 3D 라이다 센서는 기둥형 팔레트의 형상을 전반적으로 감지할 수 있고, 2D 라이다 센서는 3D 라이다 센서에 비해 기둥형 팔레트의 기둥에 대한 위치를 더 정밀하게 감지할 수 있다. 비전 센서는 RGB 이미지 센서로 구현될 수 있다.
적재부(113)는 이송물(기둥형 팔레트)을 적재하는 포크 리프트로 구현될 수 있다.
이하에서는, 설명의 편의상 스마트 물류 차량(110a) 주변에 위치한 기둥형 팔레트를 '제1 팔레트'로 지칭하고, 스마트 물류 차량(110a)의 적재부(113)에 적재된 기둥형 팔레트를 '제2 팔레트'로 지칭한다.
데이터 처리부(201)는 2D 라이다 센서, 3D 라이다 센서 및 비전 센서로부터 출력되는 데이터를 기반으로, 제1 팔레트의 기둥에 장착된 적층 지지물의 위치를 판단하기 위한 포인트 클라우드 데이터를 출력할 수 있다.
우선, 데이터 처리부(201)는 2D 라이다 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 3D 라이다 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성할 수 있다. 이와 동시에, 데이터 처리부(201)는 비전 센서로부터 출력되는 데이터를 기반으로, 기 설정된 인지 알고리즘(recognition algorithm)을 통해 제1 팔레트를 인식할 수 있다. 만일, 제1 팔레트를 인식하지 못할 경우, 데이터 처리부(201)는 센싱부(112)로부터 데이터를 지속적으로 수신할 수 있다.
비전 센서로부터 출력되는 데이터를 기반으로 제1 팔레트를 인식한 경우, 데이터 처리부(201)는 데이터의 노이즈를 제거하기 위해 2D 및 3D 포인트 클라우드 데이터를 전처리할 수 있다. 또한, 데이터 처리부(201)는 전처리된 2D 및 3D 포인트 클라우드 데이터 각각이 나타내는 제1 팔레트의 위치에 대한 좌표들을 스마트 물류 차량(110a)의 위치를 기준으로 좌표 변환할 수 있다. 이에 따라, 2D 및 3D 포인트 클라우드 데이터 각각은 스마트 물류 차량(110a)의 위치를 기준으로 제1 팔레트의 위치에 대한 좌표를 포함할 수 있다.
2D 라이다 센서는 3D 라이다 센서에 비해 기둥형 팔레트의 기둥에 대한 위치를 더 정밀하게 감지하므로, 데이터 처리부(201)는 2D 포인트 클라우드 데이터를 기반으로 3D 포인트 클라우드 데이터의 오프셋을 보정할 수 있다. 좀 더 구체적으로, 식 1을 참조하면 데이터 처리부(201)는 2D 포인트 클라우드 데이터를 기반으로 제1 팔레트의 기둥에 대한 좌표(a, b, c)를 판단하고, 제1 팔레트의 기둥에 대한 좌표(a, b, c)를 기준으로 x, y, z축 각각에서 기 설정된 반경(R)만큼 3D 포인트 클라우드 데이터가 나타내는 제1 팔레트의 기둥에 대한 좌표를 보정할 수 있다.
식 1:
위치 판단부(202)는 보정된 3D 포인트 클라우드 데이터를 기반으로, 제1 팔레트의 기둥에 장착된 적층 지지물의 위치를 판단할 수 있다. 좀 더 구체적으로, 위치 판단부(202)는 보정된 3D 포인트 클라우드 데이터를 기반으로 제1 팔레트의 기둥을 인식하고, 인식 결과를 기반으로 제1 팔레트의 기둥에 장착된 적층 지지물의 위치에 대한 좌표를 연산할 수 있다. 그리고, 위치 판단부(202)는 제1 팔레트의 적층 지지물의 위치와 스마트 물류 차량(110a)의 위치를 기반으로, 제1 팔레트의 적층 지지물과 적재부(113) 사이의 거리 및 회전각(비틀림의 정도)을 판단할 수 있다.
적재 제어부(203)는 제1 팔레트의 적층 지지물과 적재부(113) 사이의 거리 및 회전각을 기반으로, 주행부(111)의 이동 및 회전과 적재부(113)의 리프트 및 쉬프트를 제어함으로써, 제2 팔레트를 적재하고 있는 적재부(113)의 위치를 제어할 수 있다.
정합 판단부(204)는 제1 팔레트의 적층 지지물과 제2 팔레트의 적층 지지물 간의 거리 및 회전각을 연산하고, 연산 결과를 기반으로 적층 위치의 정합 여부를 판단할 수 있다.
적층 위치가 부정합한 것으로 판단되면, 적재 제어부(203)는 적층 위치가 정합한 것으로 판단될 때까지, 적층 지지물 간의 거리 및 회전각을 기반으로 주행부(111)의 이동 및 회전과 적재부(113)의 리프트 및 쉬프트를 제어함으로써, 제2 팔레트를 적재하고 있는 적재부(113)의 위치를 제어할 수 있다.
적층 위치가 정합한 것으로 판단되면, 적재 제어부(203)는 적재부(113)에 적재된 제2 팔레트를 제1 팔레트의 적층 지지물에 적층하도록 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 스마트 물류 차량 외관의 일례를 나타내는 사시도이다.
도 7을 참조하면, 스마트 물류 차량(110a)으로 무인 지게차의 일례가 도시된다. 차체는 전체적으로 1축 방향을 따라 연장되는 장축을 갖는 형상을 가질 수 있다. 휠(111-1a, 111-2a)은 2축 방향으로 차체의 일측에 배치되고, 다른 휠(미도시)은 2축 방향으로 휠(111-1a, 111-2a)과 대향하도록 차체의 타측에 배치될 수 있다. 포크 리프트(113a)는 1축 방향을 따라 차체의 전방에 배치되어, 적재물을 쉬프트 및 리프트하는 동작을 수행할 수 있다. 한편, 포크 리프트(113a)에는 적재물이 적재되는 위치를 균일하게 하기 위한 막대 형태의 기계적 스위치(미도시)가 장착될 수 있다. 3D 라이더 센서(112-1a, 112-2a) 및 비전 센서(112-3a, 112-4a)는 포크 리프트(113a)에 장착된 센서 고정 기구(미도시)에 의해 고정될 수 있다. 3D 라이더 센서(112-1a, 112-2a) 및 비전 센서(112-3a, 112-4a)는 포크 리프트(113a)의 쉬프트 및 리프트 동작에 따라 센서 고정 기구와 함께 이동될 수 있다. 3D 라이더 센서(112-1a) 및 비전센서(112-3a) 각각은 포크 리프트(113a)의 중심으로부터 좌측에 배치되고, 3D 라이더 센서(112-2a) 및 비전센서(112-4a) 각각은 포크 리프트(113a)의 중심으로부터 우측에 배치될 수 있다. 하나의 2D 라이더 센서(112-5a)는 2축 방향으로 차체의 일측 중앙부에 배치되며, 다른 하나의 2D 라이더 센서(도 10의 112-6a)는 2축 방향으로 2D 라이더 센서(112-5a)와 대향하도록 차체의 타측 중앙부에 배치될 수 있다.
다만, 상술한 도 7의 무인 지게차 형태는 예시적인 것으로, 이와 상이한 형태를 가질 수도 있음은 물론이다.
도 8은 본 발명의 일 실시예에 따른 스마트 물류 차량에 이적재되는 기둥형 팔레트의 일례를 나타내는 도면이다.
도 8을 참조하면, 기둥형 팔레트(220)는 기둥 지지물(L1-L4), 기둥 지지물(L1-L4) 각각에 연결된 기둥(P1-P4), 기둥(P1-P4)의 상단 각각에 장착된 적층 지지물(C1-C4) 및 기둥(P1-P4)의 하단 각각에 모서리가 연결된 팔레트 본체(B)를 포함할 수 있다. 기둥 지지물(L1-L4) 및 적층 지지물(C1-C4)은 컵킷(cup-kit)으로 구현될 수 있다. 이에 따라, 스마트 물류 차량(110a)은 하나의 기둥형 팔레트에 장착된 적층 지지물(C1-C4) 각각에 적재부(113)에 적재된 다른 기둥형 팔레트의 기둥 지지물(L1-L4)을 이재함으로써, 기둥형 팔레트를 다단으로 적층할 수 있다.
다만, 상술한 도 8의 기둥형 팔레트(220) 형태는 예시적인 것으로, 이와 상이한 형태를 가질 수도 있음은 물론이다.
도 9는 본 발명의 일 실시예에 따른 3D 라이다 센서로부터 생성되는 3D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 9를 참조하면, 3D 포인트 클라우드 데이터는 기둥형 팔레트의 적층 지지물(C1-C4)을 포함한 전반적인 형상을 나타낸다. 3D 라이다 센서(112-1a, 112-2a)는 각각의 시야(FOV, Field Of View)를 가지며, FOV 영역의 3D 클라우드 데이터를 활용하여 적층 지지물(C1-C4)의 위치를 추정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 2D 라이다 센서로부터 생성되는 2D 포인트 클라우드 데이터의 일례를 나타내는 도면이다.
도 10을 참조하면, 2D 라이다 센서(112-6a)는 도 7에서 2축 방향으로 2D 라이더 센서(112-5a)와 대향하도록 차체의 타측 중앙부에 배치될 수 있다. 2D 라이다 센서(112-5a, 112-6a)는 각각의 시야(FOV)를 가지며, 2D 포인트 클라우드 데이터는 기둥형 팔레트의 기둥을 2차원 형상으로 나타낸다.
도 11은 본 발명의 일 실시예에서 2D 및 3D 포인트 클라우드 데이터를 기반으로 기둥형 팔레트의 기둥을 인식하는 과정의 일례를 나타내는 도면이다.
도 11을 참조하면, '2D' 영역은 2D 라이다 센서(112-5a, 112-6a)로부터 생성되는 2D 포인트 클라우드 데이터를 기반으로 기둥형 팔레트의 기둥을 인식한 결과이다. '3D' 영역은 3D 라이다 센서(112-1a, 112-2a)로부터 생성되는 3D 포인트 클라우드 데이터를 기반으로 기둥형 팔레트의 기둥을 인식한 결과이다. 이에 따라, 위치 판단부(202)는 '2D' 및 '3D' 영역에서의 인식 결과를 기반으로, 기둥형 팔레트의 기둥에 장착된 적층 지지물의 위치를 정확히 판단할 수 있다.
도 12는 본 발명의 일 실시예에서 기둥형 팔레트 간의 적층 지지물의 거리 및 회전각을 판단하는 과정의 일례를 나타내는 도면이다.
도 12를 참조하면, 적층 지지물(C1-C4)은 스마트 물류 차량(110a) 주변에 위치한 제1 팔레트의 기둥에 장착되며, 적층 지지물(C1'-C4')은 스마트 물류 차량(110a)의 적재부(113)에 적재된 제2 팔레트의 기둥에 장착된다. 적층 지지물(C1-C4)은 적층 지지물(C1'-C4') 각각에 대응된다. 정합 판단부(204)는 제1 팔레트의 적층 지지물(C1-C4)과 제2 팔레트의 적층 지지물(C1'-C4') 간의 수평 거리(d1), 수직 거리(d2) 및 회전각(θ)을 연산할 수 있다.
도 13은 본 발명의 일 실시예에 따른 스마트 물류 차량의 제어 방법을 나타내는 순서도이다.
도 13을 참조하면, 센싱부(112)에 구비된 2D 라이다 센서(112-5a, 112-6a), 3D 라이다 센서(112-1a, 112-2a) 및 비전 센서(112-3a, 112-4a)는 스마트 물류 차량(110a) 주변을 감지할 수 있다(S101). 이때, 데이터 처리부(201)는 2D 라이다 센서(112-5a, 112-6a)로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 3D 라이다 센서(112-1a, 112-2a)로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성할 수 있다.
데이터 처리부(201)는 비전 센서(112-3a, 112-4a)로부터 출력되는 데이터를 기반으로 제1 팔레트의 인식 여부를 판단할 수 있다(S103). 제1 팔레트를 인식하지 못한 경우(S103의 NO), 센싱부(112)는 지속적으로 주변을 감지할 수 있다(S101).
제1 팔레트를 인식한 경우(S103의 YES), 데이터 처리부(201)는 2D 및 3D 포인트 클라우드 데이터를 전처리하고(S105), 전처리된 2D 및 3D 포인트 클라우드 데이터 각각이 나타내는 제1 팔레트 위치에 대한 좌표들을 스마트 물류 차량(110a)의 위치를 기준으로 좌표 변환할 수 있다(S107).
그 후, 데이터 처리부(201)는 2D 포인트 클라우드 데이터를 기반으로 3D 포인트 클라우드 데이터의 오프셋을 보정할 수 있다(S109). 전술된 바와 같이, 데이터 처리부(201)는 2D 포인트 클라우드 데이터를 기반으로 제1 팔레트의 기둥에 대한 좌표를 판단하고, 제1 팔레트의 기둥에 대한 좌표를 기준으로 x, y, z축 각각에서 기 설정된 반경(R)만큼 3D 포인트 클라우드 데이터가 나타내는 제1 팔레트의 기둥에 대한 좌표를 보정할 수 있다.
위치 판단부(202)는 보정된 3D 포인트 클라우드 데이터를 기반으로 제1 팔레트의 기둥을 인식하고, 인식 결과를 기반으로 제1 팔레트의 기둥에 장착된 적층 지지물의 위치를 판단할 수 있다(S111).
제1 팔레트의 적층 지지물의 위치가 판단되면, 위치 판단부(202)는 제1 팔레트의 적층 지지물과 적재부(113) 간의 거리 및 회전각을 판단하고(S113), 적재 제어부(203)는 제1 팔레트의 적층 지지물과 적재부(113) 간의 거리 및 회전각을 기반으로 적재부(113)의 위치를 제어할 수 있다(S115).
정합 판단부(204)는 제1 팔레트의 적층 지지물과 적재부(113)에 적재된 제2 팔레트의 적층 지지물 간의 거리 및 회전각을 연산하고, 연산 결과를 기반으로 적층 위치의 정합 여부를 판단할 수 있다(S117). 적층 위치가 부정합한 것으로 판단되면(S117의 NO), 적재 제어부(203)는 적층 지지물 간의 거리 및 회전각을 기반으로 적재부(113)의 위치를 제어할 수 있다(S115).
적층 위치가 정합한 것으로 판단되면(S117의 YES), 적재 제어부(203)는 적재부(113)에 적재된 제2 팔레트를 제1 팔레트의 적층 지지물에 적층하도록 제어할 수 있다.
한편, 전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 스마트 팩토리
110: 스마트 물류 차량
120: 생산 장치 130: 감시 장치
140: 관제 장치
120: 생산 장치 130: 감시 장치
140: 관제 장치
Claims (19)
- 대상물을 인식하는 단계;
2D 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 3D 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하는 단계;
상기 2D 포인트 클라우드 데이터를 기반으로 상기 3D 포인트 클라우드 데이터의 오프셋을 보정하는 단계; 및
상기 보정된 3D 포인트 클라우드 데이터를 기반으로, 상기 대상물에 장착된 적층 지지물의 위치를 판단하는 단계를 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항에 있어서,
상기 인식하는 단계는,
비전 센서를 통해 주변을 감지하는 단계; 및
상기 비전 센서로부터 출력되는 데이터를 기반으로 상기 대상물을 인식하는 단계를 포함하고,
상기 대상물을 인식할 경우, 상기 2D 및 3D 포인트 클라우드 데이터를 전처리하는 단계를 더 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항에 있어서,
상기 2D 및 3D 포인트 클라우드 데이터 각각은,
스마트 물류 차량의 위치를 기준으로 상기 대상물의 위치에 대한 좌표를 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항에 있어서,
상기 보정하는 단계는,
상기 2D 포인트 클라우드 데이터를 기반으로 상기 대상물의 기둥에 대한 좌표를 판단하는 단계; 및
상기 대상물의 기둥에 대한 좌표를 기준으로, 기 설정된 반경만큼 상기 3D 포인트 클라우드 데이터가 나타내는 상기 대상물에 대한 좌표를 보정하는 단계를 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항에 있어서,
상기 판단하는 단계는,
상기 보정된 3D 포인트 클라우드 데이터를 기반으로 상기 대상물의 기둥을 인식하는 단계; 및
상기 인식 결과를 기반으로, 상기 대상물의 기둥에 장착된 상기 적층 지지물의 위치에 대한 좌표를 연산하는 단계를 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항에 있어서,
상기 대상물에 장착된 적층 지지물의 위치를 기반으로, 이송물이 적재된 적재부의 위치를 제어하는 단계를 더 포함하는, 스마트 물류 차량의 제어 방법.
- 제6 항에 있어서,
상기 대상물의 적층 지지물과 상기 이송물의 적층 지지물 간의 거리 및 회전각을 연산하고, 연산 결과를 기반으로 적층 위치의 정합 여부를 판단하는 단계를 더 포함하는, 스마트 물류 차량의 제어 방법.
- 제7 항에 있어서,
상기 위치를 제어하는 단계는,
상기 적층 위치가 부정합한 것으로 판단될 경우, 상기 적층 지지물 간의 거리 및 회전각을 기반으로 상기 적재부의 위치를 제어하도록 수행되는, 스마트 물류 차량의 제어 방법.
- 제7 항에 있어서,
상기 적층 위치가 정합한 것으로 판단될 경우, 상기 이송물을 상기 대상물의 적층 지지부에 적층하도록 제어하는 단계를 더 포함하는, 스마트 물류 차량의 제어 방법.
- 제1 항 내지 제9 항 중 어느 한 항에 따른 스마트 물류 차량의 제어 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
- 대상물을 감지하기 위한 2D 센서 및 3D 센서를 포함하는 센싱부;
상기 2D 센서로부터 출력되는 데이터를 기반으로 2D 포인트 클라우드 데이터를 생성하고, 상기 3D 센서로부터 출력되는 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하며, 상기 2D 포인트 클라우드 데이터를 기반으로 상기 3D 포인트 클라우드 데이터의 오프셋을 보정하는 데이터 처리부; 및
상기 보정된 3D 포인트 클라우드 데이터를 기반으로, 상기 대상물에 장착된 적층 지지물의 위치를 판단하는 위치 판단부를 포함하는, 스마트 물류 차량.
- 제11 항에 있어서,
상기 센싱부는,
상기 대상물을 감지하기 위한 비전 센서를 더 포함하되,
상기 데이터 처리부는,
상기 비전 센서로부터 출력되는 데이터를 기반으로 상기 대상물을 인식하고, 상기 대상물을 인식할 경우 상기 2D 및 3D 포인트 클라우드 데이터를 전처리하는, 스마트 물류 차량.
- 제11 항에 있어서,
상기 2D 및 3D 포인트 클라우드 데이터 각각은,
스마트 물류 차량의 위치를 기준으로 상기 대상물의 위치에 대한 좌표를 포함하는, 스마트 물류 차량.
- 제11 항에 있어서,
상기 데이터 처리부는,
상기 2D 포인트 클라우드 데이터를 기반으로 상기 대상물의 기둥에 대한 좌표를 판단하고, 상기 대상물의 기둥에 대한 좌표를 기준으로 기 설정된 반경만큼 상기 3D 포인트 클라우드 데이터가 나타내는 상기 대상물에 대한 좌표를 보정하는, 스마트 물류 차량.
- 제11 항에 있어서,
상기 위치 판단부는,
상기 보정된 3D 포인트 클라우드 데이터를 기반으로 상기 대상물의 기둥을 인식하고, 상기 인식 결과를 기반으로 상기 대상물의 기둥에 장착된 상기 적층 지지물의 위치에 대한 좌표를 연산하는, 스마트 물류 차량.
- 제11 항에 있어서,
상기 대상물에 장착된 적층 지지물의 위치를 기반으로, 이송물이 적재된 적재부의 위치를 제어하는 적재 제어부를 더 포함하는, 스마트 물류 차량.
- 제16 항에 있어서,
상기 대상물의 적층 지지물과 상기 이송물의 적층 지지물 간의 거리 및 회전각을 연산하고, 연산 결과를 기반으로 적층 위치의 정합 여부를 판단하는 정합 판단부를 더 포함하는, 스마트 물류 차량.
- 제17 항에 있어서,
상기 적재 제어부는,
상기 적층 위치가 부정합한 것으로 판단될 경우, 상기 적층 지지물 간의 거리 및 회전각을 기반으로 상기 적재부의 위치를 제어하는, 스마트 물류 차량.
- 제17 항에 있어서,
상기 적재 제어부는,
상기 적층 위치가 정합한 것으로 판단될 경우, 상기 이송물을 상기 대상물의 적층 지지부에 적층하도록 제어하는, 스마트 물류 차량.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220069076A KR20230168516A (ko) | 2022-06-07 | 2022-06-07 | 스마트 물류 차량 및 그 제어 방법 |
PCT/KR2022/020790 WO2023238999A1 (ko) | 2022-06-07 | 2022-12-20 | 스마트 물류 차량 및 그 제어 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220069076A KR20230168516A (ko) | 2022-06-07 | 2022-06-07 | 스마트 물류 차량 및 그 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230168516A true KR20230168516A (ko) | 2023-12-14 |
Family
ID=89118561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220069076A KR20230168516A (ko) | 2022-06-07 | 2022-06-07 | 스마트 물류 차량 및 그 제어 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230168516A (ko) |
WO (1) | WO2023238999A1 (ko) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101059927B1 (ko) * | 2009-03-30 | 2011-08-26 | 부산대학교 산학협력단 | 무인 이송장치의 팔레트 위치 인식 장치 및 방법 |
JP6369131B2 (ja) * | 2014-05-27 | 2018-08-08 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
JP2017178567A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社豊田中央研究所 | フォークリフト |
US10315866B2 (en) * | 2016-10-20 | 2019-06-11 | Intelligrated Headquarters, Llc | 3D-2D vision system for robotic carton unloading |
KR20220040118A (ko) * | 2020-09-23 | 2022-03-30 | 현대자동차주식회사 | 라이다를 이용한 팔레트 적재 장치 및 그 방법 |
-
2022
- 2022-06-07 KR KR1020220069076A patent/KR20230168516A/ko unknown
- 2022-12-20 WO PCT/KR2022/020790 patent/WO2023238999A1/ko unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023238999A1 (ko) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10875448B2 (en) | Visually indicating vehicle caution regions | |
JP6717974B2 (ja) | 車両のためのセンサ軌道計画 | |
USRE47108E1 (en) | Automated warehousing using robotic forklifts | |
KR101323705B1 (ko) | 무인 화물 이송로봇을 이용한 무인 화물 이송시스템 | |
KR101319045B1 (ko) | 무인 화물 이송로봇 | |
US10108194B1 (en) | Object placement verification | |
JP2019529277A (ja) | 協調的在庫監視 | |
CN112875578A (zh) | 一种无人叉车控制*** | |
JP2022518012A (ja) | 自動運転車用自律放送システム | |
EP4111285B1 (en) | Method for controlling an automatic guided vehicle and control system adapted to execute the method | |
CN110703745A (zh) | 自动引导车的导航 | |
Behrje et al. | An autonomous forklift with 3d time-of-flight camera-based localization and navigation | |
US20210354924A1 (en) | Navigator for Intralogistics | |
JP6711555B1 (ja) | 搬送システム、領域決定装置、および、領域決定方法 | |
KR20230168516A (ko) | 스마트 물류 차량 및 그 제어 방법 | |
Hyla et al. | Automated guided vehicles: the survey | |
KR20240052459A (ko) | 스마트 물류 차량 및 그 조립 방법 | |
KR20240031719A (ko) | 스마트 물류 차량 및 그 제어 방법 | |
JP7300413B2 (ja) | 制御装置、移動体、移動制御システム、制御方法及びプログラム | |
KR20240054014A (ko) | 스마트 팩토리의 관제 방법 및 관제 장치 | |
KR20240047672A (ko) | 무인 충전 시스템 | |
JP2021056764A (ja) | 移動体 | |
JPWO2019069921A1 (ja) | 移動体 | |
KR20240054719A (ko) | 스마트 물류 차량 제어 시스템 및 그 방법 | |
Lecking et al. | The rts-still robotic fork-lift |