KR102585341B1

KR102585341B1 - Multiple unmanned mobile vehicle control system using flexible movement path information, device and method

Info

Publication number: KR102585341B1
Application number: KR1020230038343A
Authority: KR
Inventors: 황서연; 함형하; 유혜준; 김동휘
Original assignee: 주식회사 클로봇
Priority date: 2023-03-24
Filing date: 2023-03-24
Publication date: 2023-10-10
Also published as: KR102585341B9

Abstract

본 발명의 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어장치는 메모리, 상기 메모리와 통신을 수행하는 적어도 하나의 프로세서 및 다수 무인이동체 및 사용자 단말과 통신을 수행하는 통신모듈을 포함하고, 상기 프로세서는, 상기 사용자 단말로부터 작업 명령을 수신하면, 상기 다수 무인이동체 각각의 목적지 정보 및 상기 목적지에 도달하기 위한 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하고, 상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지 데이터, 상기 작업에 대응되는 미션 정보 및 생성된 상기 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하고, 상기 다수 무인이동체 각각과 상기 통신모듈의 통신이 단절되면, 상기 무인이동체는 통신 단절 이전 시점에 수신한 복수의 상기 이동경로 정보를 기초로 상기 목적지까지 이동하도록 구성될 수 있다.A device for controlling multiple unmanned vehicles using flexible movement path information according to an embodiment of the present invention includes a memory, at least one processor that communicates with the memory, and a communication module that communicates with multiple unmanned vehicles and a user terminal. When receiving a work command from the user terminal, the processor determines the shortest path to the destination based on destination information for each of the plurality of unmanned mobile devices and information on a plurality of waypoints to reach the destination and provides path information. Generate and transmit top-view image data about the movement space of the plurality of unmanned mobile devices, mission information corresponding to the task, and the generated movement path information to each of the plurality of unmanned mobile devices at a predetermined period, and transmitting them to each of the plurality of unmanned mobile devices and the When communication of the communication module is cut off, the unmanned vehicle may be configured to move to the destination based on the plurality of movement path information received before the communication cutoff.

Description

유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 시스템, 장치 및 방법{MULTIPLE UNMANNED MOBILE VEHICLE CONTROL SYSTEM USING FLEXIBLE MOVEMENT PATH INFORMATION, DEVICE AND METHOD}{MULTIPLE UNMANNED MOBILE VEHICLE CONTROL SYSTEM USING FLEXIBLE MOVEMENT PATH INFORMATION, DEVICE AND METHOD}

본 발명은 다수 무인이동체 제어 시스템에 관한 것으로 보다 상세하게는 유동적인 이동경로 정보를 이용하여 다수의 무인이동체를 제어하는 방법과 관련된 발명이다.The present invention relates to a control system for multiple unmanned vehicles, and more specifically, to a method for controlling multiple unmanned vehicles using dynamic movement path information.

로봇 산업은 4차 산업혁명의 핵심 기술인 인공지능, 5G, 빅데이터, IoT 등과의 융합을 통해 비약적으로 발전하고 있으며, 활용 분야도 급속도로 확대되고 있다. The robot industry is developing rapidly through convergence with artificial intelligence, 5G, big data, and IoT, which are core technologies of the 4th Industrial Revolution, and the field of application is also rapidly expanding.

특히, 다수의 로봇을 제어하고, 경로를 계획하고, 자동으로 운전하고, 작업을 수행하기 위한 다수의 로봇들 간의 무선 통신 방법에 대한 많은 연구가 진행되고 있다. 이러한 무선 통신을 통한 로봇 개발은 보안 또는 경비, 배송, 서비스, 교육, 물류 등 다양한 분야에서 요구되고 있으며 로봇 서비스 시스템 도입이 가속화되고 있다. In particular, much research is being conducted on wireless communication methods between multiple robots to control them, plan paths, drive automatically, and perform tasks. The development of robots through wireless communication is required in various fields such as security, security, delivery, service, education, and logistics, and the introduction of robot service systems is accelerating.

한편, 로봇 서비스 시스템에서 로봇 제어 정보 및 로봇 상태 정보 등에 대한 다수의 이기종 로봇들을 제어하기 위해서는 로봇 관제 시스템이 필요하며, 다수의 이기종 로봇을 제어하기 위한 로봇 관제 시스템은 무선 통신을 사용하여 다종 또는 다수의 로봇을 제어할 수 있고, 다종 또는 다수의 로봇의 상태 정보들을 수신할 수 있다.Meanwhile, in a robot service system, a robot control system is required to control multiple heterogeneous robots for robot control information and robot status information, and the robot control system to control multiple heterogeneous robots uses wireless communication to control multiple or multiple types of robots. robots can be controlled and status information of various types or multiple robots can be received.

무선 통신 환경에서 신호가 지연되거나 통신이 단절되는 경우가 발생하게 되면, 이동형 로봇을 제어할 때 안정적이지 못한 문제점이 있다. 예를 들면, 서빙 로봇이 서버와 통신이 단절되면 사용자의 요청대로 음식의 서빙 되지 않을 수도 있고, 물류 로봇이 서버 통신이 단절되면 적재 적소에 물류가 위치하지 않을 수도 있다. 경우에 따라, 무선 통신 환경에서 신호가 지연되거나 통신이 단절되면 사고가 발생하는 등 안전상으로 치명적인 결과를 초래할 수도 있으므로, 통신에 있어 안정성과 속도의 중요성이 대두되고 있다.If signals are delayed or communication is disconnected in a wireless communication environment, there is a problem of instability when controlling a mobile robot. For example, if a serving robot loses communication with the server, food may not be served as requested by the user, and if a logistics robot loses communication with the server, the goods may not be placed in the right place. In some cases, signal delay or communication interruption in a wireless communication environment may lead to fatal safety consequences such as accidents, so the importance of stability and speed in communication is emerging.

따라서, 이동형 로봇과 서버의 통신이 단절된 경우에도 이동형 로봇이 목적지까지 도달할 수 있도록 제어되는 시스템의 필요성 또한 대두되고 있다.Accordingly, the need for a system that controls the mobile robot to reach its destination even when communication between the mobile robot and the server is interrupted is also emerging.

등록특허 제10-1510075 (14.04.02.)Registered Patent No. 10-1510075 (14.04.02.)

본 개시에 개시된 실시예는 서버와 무인이동체의 통신이 단절된 경우, 무인이동체의 이동공간에 대한 탑뷰이미지 데이터, 서버로부터 미리 수신한 목적지 정보 및 복수의 경유지 정보만을 이용하여 무인이동체 자체적으로 목적지까지 이동하여 작업을 온전히 수행할 수 있는 효과를 제공하는데 그 목적이 있다.In the embodiment disclosed in the present disclosure, when communication between the server and the unmanned vehicle is cut off, the unmanned vehicle moves to the destination on its own using only top-view image data about the moving space of the unmanned vehicle, destination information received in advance from the server, and a plurality of waypoint information. The purpose is to provide the effect of fully performing the work.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어장치는,A device for controlling multiple unmanned vehicles using flexible movement path information according to one aspect of the present disclosure to achieve the above-described technical problem,

메모리,Memory,

상기 메모리와 통신을 수행하는 적어도 하나의 프로세서 및At least one processor that communicates with the memory and

다수 무인이동체 및 사용자 단말과 통신을 수행하는 통신모듈을 포함하고,It includes a communication module that communicates with multiple unmanned vehicles and user terminals,

상기 프로세서는,The processor,

상기 사용자 단말로부터 작업 명령을 수신하면, Upon receiving a work command from the user terminal,

상기 다수 무인이동체 각각의 목적지 정보 및 상기 목적지에 도달하기 위한 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하고,Generating movement route information by determining the shortest movement path to the destination based on destination information of each of the plurality of unmanned mobile devices and information on a plurality of waypoints to reach the destination,

상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지 데이터, 상기 작업에 대응되는 미션 정보 및 생성된 상기 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하고,Transmitting top-view image data about the movement space of the plurality of unmanned mobile devices, mission information corresponding to the task, and the generated movement route information to each of the plurality of unmanned mobile devices at a predetermined period,

상기 다수 무인이동체 각각과 상기 통신모듈의 통신이 단절되면,When communication between each of the plurality of unmanned mobile devices and the communication module is interrupted,

상기 무인이동체는 통신 단절 이전 시점에 수신한 복수의 상기 이동경로 정보를 기초로 상기 목적지까지 이동하도록 구성될 수 있다.The unmanned vehicle may be configured to move to the destination based on the plurality of movement path information received before communication interruption.

또한, 상기 다수 무인이동체 각각이 상기 복수의 경유지 각각에 도착 시,In addition, when each of the plurality of unmanned vehicles arrives at each of the plurality of waypoints,

상기 다수 무인이동체 각각으로부터 상기 복수의 경유지 각각에 도착한 것을 알리는 도착완료 신호 및 다음 경유지로 이동허가를 요청하는 이동허가 요청신호를 수신하면,Upon receiving an arrival completion signal indicating arrival at each of the plurality of stopping points and a movement permission request signal requesting permission to move to the next stopping point from each of the plurality of unmanned mobile devices,

상기 통신모듈로부터 전달받은 통신정보에 기초하여 상기 다수 무인이동체 각각과 통신이 정상적으로 수행되는 것으로 판단되면 이동허가를 승인하는 이동허가 승인신호를 상기 다수 무인이동체 각각에 전송함으로써 상기 다수 무인이동체를 제어할 수 있다.If it is determined that communication with each of the plurality of unmanned mobile devices is performed normally based on the communication information received from the communication module, the plurality of unmanned mobile devices can be controlled by transmitting a movement permission approval signal approving movement permission to each of the plurality of unmanned mobile devices. You can.

한편, 상기 탑뷰 이미지 데이터는,Meanwhile, the top view image data is,

상기 다수 무인이동체 각각으로부터 수신한 센싱 데이터에 기초하여 미리 설정된 주기로 업데이트 될 수 있다.It may be updated at a preset period based on sensing data received from each of the plurality of unmanned mobile devices.

또한, 상기 이동경로 정보는,In addition, the movement route information is,

업데이트 된 상기 탑뷰 이미지 데이터, 상기 다수 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터에 기초하여 복수의 경유지를 결정하고,Determining a plurality of waypoints based on the updated top-view image data, location information data, and speed information data received from each of the plurality of unmanned mobile devices,

결정된 상기 복수의 경유지에 기초하여 생성될 수 있다.It may be generated based on the determined plurality of waypoints.

또한, 상기 다수 무인이동체 각각으로부터 비상상황이 발생하였다는 신호인 비상명령을 수신한 경우,In addition, when an emergency command, which is a signal that an emergency situation has occurred, is received from each of the plurality of unmanned mobile devices,

상기 이동경로 정보는,The movement route information is,

상기 비상명령을 송신한 무인이동체를 제외한 채 상기 이동공간에 존재하는 나머지 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터를 기초로 결정될 수도 있다.It may be determined based on location information data and speed information data received from each of the remaining unmanned vehicles existing in the movement space, excluding the unmanned vehicle that transmitted the emergency command.

상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체의 제어 시스템에 있어서,In the control system for multiple unmanned vehicles using flexible movement path information according to one aspect of the present disclosure to achieve the above-described technical problem,

서버와 통신을 수행하는 사용자 단말,A user terminal that communicates with the server,

상기 사용자 단말로부터 작업명령의 수신하면 상기 서버의 제어에 따라 작업을 수행하는 다수 무인이동체 및A plurality of unmanned mobile devices that perform work under the control of the server upon receiving a work command from the user terminal, and

상기 다수 무인이동체 각각의 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하고,Generating movement route information by determining the shortest movement path to the destination based on the destination information and the plurality of waypoint information for each of the plurality of unmanned mobile devices,

상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지(Top view image) 데이터, 상기 다수 무인이동체가 수행하는 작업에 대응되는 미션 정보 및 생성된 상기 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하고,Top view image data about the movement space of the plurality of unmanned mobile devices, mission information corresponding to tasks performed by the plurality of unmanned mobile devices, and the generated movement path information are transmitted to each of the plurality of unmanned mobile devices at a predetermined period, ,

상기 다수 무인이동체는,The multiple unmanned vehicles are,

상기 다수 무인이동체 각각과 상기 서버와의 통신이 단절되면,When communication between each of the plurality of unmanned mobile devices and the server is cut off,

통신 단절 이전 시점에 수신한 복수의 상기 이동경로 정보를 기초로 상기 목적지까지 이동하도록 제어하는 상기 서버를 포함할 수 있다.It may include the server that controls movement to the destination based on the plurality of movement route information received before communication interruption.

이 때, 상기 다수 무인이동체 각각과 상기 서버와의 통신이 단절되면,At this time, if communication between each of the plurality of unmanned mobile devices and the server is cut off,

상기 다수 무인이동체 각각은 통신 단절 시점의 상기 이동공간 내의 위치에서 미리 설정된 시간만큼 대기할 수 있다.Each of the plurality of unmanned vehicles may wait for a preset time at a location within the movement space at the time of communication disconnection.

한편, 상기 미리 설정된 시간을 초과하여 상기 다수 무인이동체 각각과 상기 서버와의 통신이 단절되면,Meanwhile, if communication between each of the plurality of unmanned mobile devices and the server is cut off beyond the preset time,

상기 다수 무인이동체 각각은,Each of the above multiple unmanned vehicles,

상기 서버로부터 수신한 상기 탑뷰 이미지 데이터 및 통신 단절 이전 시점에 상기 서버로부터 수신한 복수의 상기 이동경로 정보를 기초로 자체적으로 상기 목적지까지 이동할 수 있다.It is possible to move to the destination on its own based on the top-view image data received from the server and the plurality of movement route information received from the server before communication interruption.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer-readable recording medium for execution to implement the present disclosure may be further provided.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition, a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.

본 개시의 전술한 과제 해결 수단에 의하면, 서버와 무인이동체의 통신이 단절된 경우, 무인이동체의 이동공간에 대한 탑뷰이미지 데이터, 서버로부터 미리 수신한 목적지 정보 및 복수의 경유지 정보만을 이용하여 무인이동체 자체적으로 목적지까지 이동하여 작업을 온전히 수행할 수 있는 효과를 제공한다.According to the means for solving the above-described problem of the present disclosure, when communication between the server and the unmanned vehicle is cut off, the unmanned vehicle itself uses only top-view image data about the moving space of the unmanned vehicle, destination information received in advance from the server, and a plurality of waypoint information. This provides the effect of being able to move to the destination and complete the task.

본 개시의 전술한 과제 해결 수단에 의하면, 무인이동체의 작업공간 내에 동적 장애물 또는 정적 장애물이 추가되더라도 주기적으로 업데이트 되는 탑뷰 이미지 데이터에 따라 비상상황을 회피할 수 있는 효과를 제공한다.According to the means for solving the above-described problem of the present disclosure, it is possible to avoid an emergency situation according to periodically updated top-view image data even if a dynamic obstacle or a static obstacle is added to the workspace of the unmanned vehicle.

본 개시의 전술한 과제 해결 수단에 의하면, 다수 무인이동체 각각의 이동속도가 상이하고, 예상 도착시간에 무인이동체가 도착하지 않거나, 장애물이 발생한 경우 및 네트워크가 단절된 경우에도 다수 무인이동체를 효율적으로 제어할 수 있는 효과를 제공한다.According to the means for solving the above-described problem of the present disclosure, the movement speed of each of the multiple unmanned mobile devices is different, and the multiple unmanned mobile devices are efficiently controlled even when the unmanned vehicle does not arrive at the expected arrival time, an obstacle occurs, or the network is disconnected. It provides effects that can be achieved.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 시스템을 개략적으로 나타낸 도면이다.
도 2는 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치의 구성요소를 개략적으로 나타낸 도면이다.
도 3은 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체를 제어하는 프로세서에 탑재되는 모듈을 개략적으로 나타낸 도면이다.
도 4는 일 실시예에 따른 유동적인 이동경로 정보를 이용하여 제어되는 다수 무인이동체에 탑재되는 모듈을 개략적으로 나타낸 도면이다.
도 5는 일 실시예에 따른 유동적인 이동경로 정보를 이용하여 다수 무인이동체를 제어하는 순서도를 나타낸 도면이다.
도 6은 일 실시예에 따른 무인이동체가 장애물 영역을 인식하여 탑뷰이미지 데이터가 코스트맵으로 변환되는 것을 나타낸 도면이다.
도 7은 일 실시예에 따른 무인이동체와 무인이동체 제어장치의 통신이 단절된 경우에 수행되는 알고리즘을 나타낸 도면이다.
도 8은 일 실시예에 따른 무인이동체가 수행하는 작업의 구성을 개략적으로 나타낸 도면이다.
도 9는 일 실시예에 따른 무인이동체가 제1구역의 출발지로부터 복수의 경유지를 거쳐 제4구역의 목적지로 이동하는 것을 나타낸 도면이다.
도 10은 일 실시예에 따른 비상상황에서 비상명령이 입력되면 이동경로 정보를 형성하는 것을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 비상상황에서 비상구역을 설정하여 이동경로 정보가 형성될 수 있음을 설명하기 위한 도면이다.Figure 1 is a diagram schematically showing a control system for multiple unmanned vehicles using dynamic movement path information according to an embodiment.
Figure 2 is a diagram schematically showing the components of a device for controlling multiple unmanned vehicles using flexible movement path information according to an embodiment.
Figure 3 is a diagram schematically showing a module mounted on a processor that controls multiple unmanned vehicles using dynamic movement path information according to an embodiment.
Figure 4 is a diagram schematically showing modules mounted on multiple unmanned vehicles controlled using flexible movement path information according to an embodiment.
FIG. 5 is a flowchart illustrating a flowchart of controlling multiple unmanned vehicles using flexible movement path information according to an embodiment.
FIG. 6 is a diagram illustrating how an unmanned vehicle recognizes an obstacle area and converts top-view image data into a cost map according to an embodiment.
FIG. 7 is a diagram illustrating an algorithm performed when communication between an unmanned vehicle and an unmanned vehicle control device is disconnected according to an embodiment.
Figure 8 is a diagram schematically showing the configuration of tasks performed by an unmanned mobile vehicle according to an embodiment.
Figure 9 is a diagram showing an unmanned vehicle moving from a starting point in Zone 1 to a destination in Zone 4 through a plurality of stops, according to an embodiment.
FIG. 10 is a diagram illustrating the formation of movement route information when an emergency command is input in an emergency situation according to an embodiment.
Figure 11 is a diagram to explain that movement route information can be formed by setting an emergency zone in an emergency situation according to an embodiment.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout this disclosure. The present disclosure does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present disclosure pertains is omitted. The term 'unit, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'unit, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only cases where a member is in contact with another member, but also cases where another member exists between the two members.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present disclosure will be described with reference to the attached drawings.

도 1은 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 시스템을 개략적으로 나타낸 도면이다.Figure 1 is a diagram schematically showing a control system for multiple unmanned vehicles using dynamic movement path information according to an embodiment.

도 1을 참고하면, 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 시스템은 본 발명의 동작을 수행하기 위해서는 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100), 사용자 단말(200) 및 무인이동체(300)에 의해 구성될 수 있다.Referring to FIG. 1, the multiple unmanned vehicle control system using flexible movement path information includes a multiple unmanned vehicle control device 100, a user terminal 200, and an unmanned vehicle using flexible movement path information in order to perform the operation of the present invention. It may be composed of a mobile body 300.

도 1을 참고하면, 무인이동체(300)는 작업을 수행하는 이동공간 내에서 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)와 통신을 수행할 수 있다.Referring to FIG. 1, the unmanned vehicle 300 can communicate with multiple unmanned vehicle control devices 100 using flexible movement path information within a moving space where work is performed.

본 명세서에서 '본 개시에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.In this specification, 'multiple unmanned vehicle control device 100 using flexible movement path information according to the present disclosure' includes various devices that can perform calculation processing and provide results to the user. For example, the device 100 for controlling multiple unmanned vehicles using flexible movement path information according to the present disclosure may include all of a computer, a server device, and a portable terminal, or may take the form of any one.

또한, 사용자 단말(200)은 컴퓨터 및 휴대용 사용자 단말을 모두 포함하거나, 어느 하나의 형태가 될 수 있다.Additionally, the user terminal 200 may include both a computer and a portable user terminal, or may be in either form.

여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.Here, the computer may include, for example, a laptop, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.

상기 장치(서버)는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.The device (server) is a server that processes information by communicating with external devices and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.

상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.The portable terminal is, for example, a wireless communication device that guarantees portability and mobility, such as PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), and PDA. (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, smart phone ), all types of handheld wireless communication devices, and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD). may include.

도1을 참고하면, 무인이동체(300)는 실내자율주행 로봇을 의미할 수 있다. 다만, 이에 제한되지 않으며 자율주행을 수행할 수 있는 드론 등 무인이동체 일체를 포함할수 있다.Referring to Figure 1, the unmanned mobile device 300 may refer to an indoor autonomous robot. However, it is not limited to this and may include all unmanned vehicles such as drones capable of autonomous driving.

무인이동체(300)는 입력부, 센싱부, 출력부, 인터페이스부 및 통신부 중 적어도 하나를 포함할 수 있다. The unmanned vehicle 300 may include at least one of an input unit, a sensing unit, an output unit, an interface unit, and a communication unit.

무인이동체(300)의 입력부는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit of the unmanned mobile device 300 is for inputting image information (or signal), audio information (or signal), data, or information input from the user, and includes at least one camera, at least one microphone, and a user input unit. It can contain one. Voice data or image data collected from the input unit can be analyzed and processed as a user's control command.

카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(또는 본 개시의 무인이동체(300)의 화면)에 표시되거나 메모리에 저장될 수 있다. The camera processes image frames, such as still images or moving images, obtained by the image sensor in shooting mode. The processed image frame may be displayed on the display unit (or the screen of the unmanned vehicle 300 of the present disclosure) or stored in memory.

한편, 상기 카메라가 복수개일 경우, 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라들을 통해 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있고, 또한 상기 카메라들은 3차원의 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수도 있다.On the other hand, when there are a plurality of cameras, they can be arranged to form a matrix structure. In this way, a plurality of image information with various angles or focuses can be input through the cameras forming the matrix structure, and the cameras can provide three-dimensional It may be arranged in a stereo structure to obtain left and right images for implementing a three-dimensional image.

사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 무인이동체(300)의 제어부는 입력된 정보에 대응되도록 무인이동체(300)의 동작을 제어할 수 있다. 이러한, 사용자 입력부는 하드웨어식 물리 키(예를 들어, 본 장치의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이부 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.The user input unit is for receiving information from the user. When information is input through the user input unit, the control unit of the unmanned vehicle 300 can control the operation of the unmanned vehicle 300 to correspond to the input information. This user input unit uses hardware-type physical keys (e.g., buttons, dome switches, jog wheels, jog switches, etc. located on at least one of the front, back, and sides of the device) and software-type touch keys. It can be included. As an example, the touch key consists of a virtual key, soft key, or visual key displayed on a touch screen-type display unit through software processing, or is displayed on the touch screen. It may be composed of touch keys placed in other parts. Meanwhile, the virtual key or visual key can be displayed on the touch screen in various forms, for example, graphic, text, icon, video or these. It can be made up of a combination of .

무인이동체(300)의 센싱부는 무인이동체(300) 내의 정보, 무인이동체(300)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시키고, 상기 센싱 신호에 관한 정보를 본 제어 장치(100)에 송신할 수 있다. 본 제어 장치(100)의 제어부는 이러한 센싱 신호에 기초하여, 무인이동체(300)의 구동 또는 동작을 제어하거나, 본 제어 장치(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.The sensing unit of the unmanned vehicle 300 senses at least one of information within the unmanned vehicle 300, surrounding environment information surrounding the unmanned vehicle 300, and user information, generates a corresponding sensing signal, and provides information about the sensing signal. Information can be transmitted to the control device 100. Based on these sensing signals, the control unit of the control device 100 controls the driving or operation of the unmanned vehicle 300, or performs data processing, functions, or operations related to the application installed in the control device 100. You can.

상기와 같은, 센싱부는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 중 적어도 하나를 포함함), 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 제어 장치(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 수신하고, 이를 조합하여 활용할 수 있다.As described above, the sensing unit includes a proximity sensor, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, a gravity sensor (G-sensor), and a gyro. Gyroscope sensor, motion sensor, RGB sensor, IR sensor (infrared sensor), finger scan sensor, ultrasonic sensor, optical sensor, e.g. For example, a camera), a microphone, an environmental sensor (e.g., including at least one of a barometer, a hygrometer, a thermometer, a radiation detection sensor, a heat detection sensor, and a gas detection sensor), a chemical sensor (e.g., a healthcare sensor) , biometric sensors, etc.) may be included. Meanwhile, the control device 100 can receive information sensed by at least two of these sensors and utilize it in combination.

무인이동체(300)의 출력부는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅팁 모듈 및 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 무인이동체(300)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 무인이동체(300)와 사용자 간에 출력 인터페이스를 제공할 수 있다.The output unit of the unmanned vehicle 300 is intended to generate output related to vision, hearing, or tactile sensation, and may include at least one of a display unit, an audio output unit, a haptip module, and an optical output unit. A touch screen can be implemented by forming a layered structure with the touch sensor or being integrated with the display unit. This touch screen can function as a user input unit that provides an input interface between the unmanned vehicle 300 and the user, and at the same time, can provide an output interface between the unmanned vehicle 300 and the user.

무인이동체(300)의 디스플레이부는 본 장치에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부는 무인이동체(300)에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The display unit of the unmanned vehicle 300 displays (outputs) information processed by the device. For example, the display unit may display execution screen information of an application (for example, an application) running on the unmanned vehicle 300, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. You can.

무인이동체(300)의 인터페이스부는 무인이동체(300)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 무인이동체(300)는, 상기 인터페이스부에 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.The interface unit of the unmanned vehicle 300 serves as a passageway for various types of external devices connected to the unmanned vehicle 300. These interface units include a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a port for connecting a device equipped with an identification module (SIM) ( port), an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. The unmanned vehicle 300 can perform appropriate control related to external devices connected to the interface unit.

무인이동체(300)의 통신부는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 유선통신 모듈, 무선통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The communication unit of the unmanned vehicle 300 may include one or more components that enable communication with an external device, and may include, for example, at least one of a wired communication module, a wireless communication module, and a location information module.

무인이동체(300)의 유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다. The wired communication module of the unmanned vehicle 300 includes various wired communication modules such as a local area network (LAN) module, a wide area network (WAN) module, or a value added network (VAN) module. , USB (Universal Serial Bus), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service). You can.

무인이동체(300)의 무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.The wireless communication module of the unmanned vehicle 300 includes, in addition to a Wi-Fi module and a wireless broadband module, GSM (global system for mobile communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), It may include a wireless communication module that supports various wireless communication methods such as universal mobile telecommunications system (UMTS), Time Division Multiple Access (TDMA), Long Term Evolution (LTE), 4G, 5G, and 6G.

무인이동체(300)의 무선 통신 모듈은 이동통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무인이동체(300) 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 제어 신호 변환 모듈을 더 포함할 수 있다. The wireless communication module of the unmanned vehicle 300 may include a wireless communication interface including an antenna and a transmitter that transmits mobile communication signals. In addition, the wireless communication module may further include a control signal conversion module that modulates a digital control signal output from the control unit through a wireless communication interface into an analog wireless signal under the control of the control unit of the unmanned vehicle 300.

무인이동체(300)의 무선 통신 모듈은 이동통신 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 제어 신호 변환 모듈을 더 포함할 수 있다. The wireless communication module of the unmanned vehicle 300 may include a wireless communication interface including an antenna and a receiver for receiving mobile communication signals. Additionally, the wireless communication module may further include a control signal conversion module for demodulating an analog wireless signal received through a wireless communication interface into a digital control signal.

무인이동체(300)의 위치정보 모듈은 본 개시에 따른 무인이동체(300)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 무인이동체(300)의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 무인이동체(300)의 위치를 획득할 수 있다. 필요에 따라서, 위치정보 모듈은 치환 또는 부가적으로 본 장치의 위치에 관한 데이터를 얻기 위해 통신부의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보 모듈은 무인이동체(300)의 위치를 획득하기 위해 이용되는 모듈로, 무인이동체(300)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module of the unmanned vehicle 300 is a module for acquiring the location of the unmanned vehicle 300 according to the present disclosure, and representative examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. For example, by using a GPS module, the location of the unmanned vehicle 300 can be obtained using signals sent from GPS satellites. As another example, by using a Wi-Fi module, the location of the unmanned vehicle 300 can be obtained based on information from the Wi-Fi module and a wireless AP (Wireless Access Point) that transmits or receives wireless signals. If necessary, the location information module can replace or additionally perform any of the functions of other modules of the communication unit to obtain data about the location of the device. The location information module is a module used to acquire the location of the unmanned vehicle 300, and is not limited to a module that directly calculates or obtains the location of the unmanned vehicle 300.

도 2는 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치의 구성요소를 개략적으로 나타낸 도면이다.Figure 2 is a diagram schematically showing the components of a device for controlling multiple unmanned vehicles using flexible movement path information according to an embodiment.

도 2를 참고하면, 본 개시에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)는 메모리(110), 프로세서(120) 및 통신모듈(130)(또는 통신부) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 본 개시에 따른 다수 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.Referring to FIG. 2, the multiple unmanned vehicle control device 100 using flexible movement path information according to the present disclosure may include a memory 110, a processor 120, and a communication module 130 (or communication unit). there is. The components shown in FIG. 2 are not essential for implementing the multiple unmanned vehicle control device 100 using multiple flexible movement path information according to the present disclosure, and therefore, multiple components using the flexible movement path information described in this specification The unmanned vehicle control device 100 may have more or fewer components than those listed above.

메모리(110)는 다수 무인이동체(300)이 작업을 수행하는 이동공간에 대한 탑뷰이미지(Top view image)를 저장할 수 있다. 또한, 다수 무인이동체가 작업을 수행하기 위한 복수의 미션, 목적지 정보 및 상기 목적지에 도달하기 위한 복수의 경유지 정보도 미리 저장할 수 있다.The memory 110 may store a top view image of a moving space where a plurality of unmanned vehicles 300 perform work. In addition, multiple missions for multiple unmanned vehicles to perform tasks, destination information, and multiple waypoint information for reaching the destination can be stored in advance.

한편, 탑뷰이미지는 SLAM map building 기술에 의해 구현된 로봇 이동공간 맵 이미지일 수 있도 있고, 사용자가 무인이동체(300)의 작업 수행공간에 대하여 미리 드로잉한 이미지일 수도 있다.Meanwhile, the top view image may be a map image of the robot movement space implemented using SLAM map building technology, or may be an image previously drawn by the user of the work performance space of the unmanned mobile device 300.

한편, 탑뷰이미지 데이터는 다수 무인이동체 각각으로부터 수신한 센싱 데이터에 기초하여 미리 설정된 주기로 업데이트 될 수 있다.Meanwhile, top-view image data may be updated at a preset period based on sensing data received from each of a plurality of unmanned vehicles.

한편, SLAM(Stimultaneous Localization and Mapping)은, 자율주행 로봇에 사용되어 주변 환경지도를 작성하는 동시에 로봇의 위치를 작성된 지도 안에서 인식하는 기법을 의미할 수 있다. SLAM 알고리즘을 통해, 로봇은 미지의 환경에 대한 지도를 작성할 수 있다. 이 때, 사용자는 SLAM map 정보를 사용하여 경로 계획(Path planning) 및 장애물 회피 등의 작업을 수행할 수 있다.Meanwhile, SLAM (Stimultaneous Localization and Mapping) can refer to a technique used in self-driving robots to create a map of the surrounding environment and at the same time recognize the robot's location within the created map. Through the SLAM algorithm, a robot can create a map of an unknown environment. At this time, the user can perform tasks such as path planning and obstacle avoidance using SLAM map information.

메모리(110)는 본 제어 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(120)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 제어 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 제어 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.The memory 110 can store data supporting various functions of the control device 100 and a program for the operation of the processor 120, and can store input/output data (e.g., music files, still images, etc.). , videos, etc.), a plurality of application programs (application programs or applications) running on the control device 100, data for the operation of the control device 100, and commands can be stored. At least some of these applications may be downloaded from an external server via wireless communication.

이러한, 메모리(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(110)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.The memory 110 is of a flash memory type, hard disk type, solid state disk type, SDD type (Silicon Disk Drive type), and multimedia card micro type. micro type), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM (electrically erasable) It may include at least one type of storage medium among programmable read-only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk. Additionally, the memory 110 is separate from the device, but may be a database connected by wire or wirelessly.

본 제어 장치(100)의 제어부는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(110), 및 메모리(110)와 통신을 수행하여 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(120)로 구현될 수 있다. 이때, 메모리(110)와 프로세서(120)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리(110)와 프로세서(120)는 단일 칩으로 구현될 수도 있다.The control unit of the control device 100 performs communication with the memory 110, which stores data for an algorithm for controlling the operation of components within the device or a program that reproduces the algorithm, and stores data in the memory 110. It may be implemented with at least one processor 120 that performs the above-described operations using stored data. At this time, the memory 110 and the processor 120 may each be implemented as separate chips. Alternatively, the memory 110 and processor 120 may be implemented as a single chip.

또한, 프로세서(120)는 이하의 도 5 내지 도 11에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.In addition, the processor 120 may control any one or a combination of the above-described components in order to implement various embodiments according to the present disclosure described in FIGS. 5 to 11 below on the present device.

상기 구성요소들 중 통신모듈(130)은 다수 무인이동체(300)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.Among the components, the communication module 130 may include one or more components that enable communication with a plurality of unmanned mobile devices 300, for example, a broadcast reception module, a wired communication module, a wireless communication module, and a short-distance communication module. It may include at least one of a communication module and a location information module.

본 제어 장치(100)의 무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.The wireless communication module of this control device 100 includes, in addition to the Wi-Fi module and the Wireless broadband module, GSM (global system for mobile communication), CDMA (Code Division Multiple Access), and WCDMA (Wideband Code Division Multiple Access). , may include a wireless communication module that supports various wireless communication methods such as universal mobile telecommunications system (UMTS), Time Division Multiple Access (TDMA), Long Term Evolution (LTE), 4G, 5G, and 6G.

본 제어 장치(100)의 무선 통신 모듈은 이동통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 프로세서(120)의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변조 모듈을 더 포함할 수 있다. The wireless communication module of the control device 100 may include a wireless communication interface including an antenna and a transmitter that transmits mobile communication signals. Additionally, the wireless communication module may further include a signal modulation module that modulates a digital control signal output from the control unit through a wireless communication interface into an analog wireless signal under the control of the processor 120.

본 제어 장치(100)의 무선 통신 모듈은 이동통신 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 복조 모듈을 더 포함할 수 있다. The wireless communication module of the control device 100 may include a wireless communication interface including an antenna and a receiver for receiving mobile communication signals. Additionally, the wireless communication module may further include a signal demodulation module for demodulating an analog wireless signal received through a wireless communication interface into a digital control signal.

본 제어 장치(100)의 위치정보 모듈은 본 개시에 다수 무인이동체(300)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 본 다수 무인이동체(300)의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 무인이동체(300)의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈은 치환 또는 부가적으로 무인이동체(300)의 위치에 관한 데이터를 얻기 위해 통신부의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈은 무인이동체(300)의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 무인이동체(300)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module of the control device 100 is a module for acquiring the location (or current location) of a plurality of unmanned mobile devices 300, and representative examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. ) There is a module. For example, by using a GPS module, the positions of multiple unmanned vehicles 300 can be obtained using signals sent from GPS satellites. As another example, by using a Wi-Fi module, the location of the unmanned vehicle 300 can be obtained based on information from the Wi-Fi module and a wireless AP (Wireless Access Point) that transmits or receives wireless signals. If necessary, the location information module may replace or additionally perform any of the functions of other modules of the communication unit to obtain data regarding the location of the unmanned vehicle 300. The location information module is a module used to obtain the location (or current location) of the unmanned vehicle 300, and is not limited to a module that directly calculates or obtains the location of the unmanned vehicle 300.

도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted in response to the performance of the components shown in FIG. 2. Additionally, it will be easily understood by those skilled in the art that the mutual positions of the components may be changed in response to the performance or structure of the system.

한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다. Meanwhile, each component shown in FIG. 2 refers to software and/or hardware components such as Field Programmable Gate Array (FPGA) and Application Specific Integrated Circuit (ASIC).

도 3은 일 실시예에 따른 유동적인 이동경로 정보를 이용한 다수 무인이동체를 제어하는 프로세서에 탑재되는 모듈을 개략적으로 나타낸 도면이다.Figure 3 is a diagram schematically showing a module mounted on a processor that controls multiple unmanned vehicles using dynamic movement path information according to an embodiment.

도 3을 참고하면, 프로세서(120)는 탑뷰이미지 생성 모듈(D121), 이동경로 계획 모듈(D122), 트래픽 컨트롤 모듈(D123) 및 작업 할당 모듈(D124)로 구성될 수 있다.Referring to FIG. 3, the processor 120 may be comprised of a top-view image generation module (D121), a movement path planning module (D122), a traffic control module (D123), and a task allocation module (D124).

여기서 탑뷰이미지 생성 모듈(D121)은, 무인이동체(300)가 센싱한 센싱정보에 기초하여 탑뷰이미지를 생성하는 기능을 수행하는 모듈을 의미할 수 있다. 이 때, 탑뷰이미지 생성 시 SLAM map building 기술이 구현될 수 있다.Here, the top-view image generation module D121 may refer to a module that performs the function of generating a top-view image based on sensing information sensed by the unmanned vehicle 300. At this time, SLAM map building technology can be implemented when creating a top view image.

또한, 상기 탑뷰이미지는 무인이동체(300)로부터 센싱되는 센싱 데이터에 기초하여 사용자가 미리 설정한 주기마다 업데이트될 수 있다.Additionally, the top view image may be updated at a period preset by the user based on sensing data sensed from the unmanned mobile device 300.

여기서 이동경로 계획 모듈(D122)는 사용자 단말(200)로부터 작업 명령 신호를 수신하면, 무인이동체(300)의 목적지 정보, 복수의 경유지 정보를 기초로 최단 이동경로를 판단하여 무인이동체(300)가 이동공간 내에서 이동할 경로를 계획하는 모듈을 의미할 수 있다. 이 때, 이동경로는 반드시 목적지까지의 최단 이동경로를 의미하지 않을 수 있고, 최적의 이동경로를 의미할 수 있다. Here, when the movement path planning module D122 receives a work command signal from the user terminal 200, it determines the shortest movement path based on the destination information of the unmanned vehicle 300 and a plurality of waypoint information, and the unmanned vehicle 300 It may refer to a module that plans a path to move within a moving space. At this time, the movement path may not necessarily mean the shortest movement path to the destination, but may mean the optimal movement path.

일 실시예에 따르면 후술하는 바와 같이 무인이동체(300)의 이동공간 내에 비상상황이 발생하여 탑뷰이미지 상에 블록지역이 설정된 경우에는 블록지역이 제외한 영역에 대해 이동경로를 계획할 수 있다. 예를 들어 계획된 이동경로가 블록지역을 통과해야만 최단 이동경로가 형성되는 경우였다면, 블록지역 설정 시, 블록지역을 제외한 이동공간 내에서 이동경로 계획이 이루어지기 때문에 계획된 이동경로가 '최적의 이동경로'에는 해당하나, '최단의 이동경로'에는 해당하지 않을 수 있다. 이 때, 최단의 이동경로가 아닌 이동경로라면 '최적의 이동경로'라는 용어에만 제한되지 않고, 적절한 다른 용어로써 표현될 수도 있다.According to one embodiment, as will be described later, when an emergency situation occurs within the movement space of the unmanned mobile device 300 and a block area is set on the top view image, the movement route can be planned for the area excluded from the block area. For example, if the planned movement path was to form the shortest movement path only by passing through a block area, when setting up the block area, the movement route is planned within the movement space excluding the block area, so the planned movement path is the 'optimal movement path'. ', but may not apply to 'shortest travel path'. At this time, if the path is not the shortest path, it is not limited to the term 'optimal path' and may be expressed by other appropriate terms.

여기서 트래픽 컨트롤 모듈(D123)은 다수 무인이동체 각각이 이동 시에 서로 충돌하지 않도록 제어하는 모듈을 의미할 수 있다. 즉, 트래픽 컨트롤은 다수 무인이동체 각각이 이동 시에 서로 충돌하지 않도록 컨트롤(Control) 또는 제어하는 것을 의미할 수 있다.Here, the traffic control module D123 may refer to a module that controls each of a plurality of unmanned vehicles to prevent them from colliding with each other when moving. In other words, traffic control may mean controlling or controlling multiple unmanned vehicles so that they do not collide with each other while moving.

트래픽 컨트롤 모듈(D123)은 무인이동체(300)로부터 수신한 속도 데이터, 위치 데이터, 궤적 데이터, 방향 데이터 등의 센싱 데이터에 기초하여 다수 무인이동체의 트래픽 컨트롤(Traffic control)을 할 수 있다.The traffic control module D123 can perform traffic control of multiple unmanned vehicles based on sensing data such as speed data, location data, trajectory data, and direction data received from the unmanned vehicle 300.

여기서 작업 할당 모듈(D124)은 사용자 단말(200)로부터 작업 명령을 수신한 경우 미리 저장된 작업(Task)을 무인이동체(300)에 할당하는 모듈을 의미할 수 있다.Here, the task allocation module D124 may refer to a module that assigns a pre-stored task to the unmanned vehicle 300 when a task command is received from the user terminal 200.

이 때, 작업(Task)는 무인이동체(300)가 이동공간 내에서 수행하는 임무를 의미할 수 있다. 예를 들어, 사용자 단말(200)에 물류 운반 작업 명령을 입력하면, 제1 구역의 제1 선반 위치로부터 미리 결정된 반경 내에 있는 할당 가능한 무인이동체를 선택하고(사용자가 직접 선택하거나 프로세서(120)가 할당 가능한 무인이동체를 자동으로 선택할 수도 있다.), 해당 무인이동체는 제1 구역에 있는 제1 선반위치로 이동하여 할당된 미션을 수행함으로써 작업을 구성하는 미션을 수행할 수 있다. 무인이동체(300)의 작업(Task) 수행에 관하여는 도 8에서 후술하는 바에 따른다.At this time, task may refer to a task performed by the unmanned mobile device 300 within the moving space. For example, when a logistics transport operation command is entered into the user terminal 200, an assignable unmanned mobile object within a predetermined radius from the location of the first shelf in the first zone is selected (either directly selected by the user or by the processor 120). An assignable unmanned vehicle may be automatically selected), and the unmanned vehicle moves to the first shelf location in the first zone and performs the assigned mission to perform the mission that constitutes the work. The task performance of the unmanned vehicle 300 is as described later in FIG. 8.

도 4는 일 실시예에 따른 유동적인 이동경로 정보를 이용하여 제어되는 다수 무인이동체에 탑재되는 모듈을 개략적으로 나타낸 도면이다.Figure 4 is a diagram schematically showing modules mounted on multiple unmanned vehicles controlled using flexible movement path information according to an embodiment.

도 4를 참고하면, 무인이동체(300)는 통신모듈(D310), 네비게이션 모듈(D320), 센싱 모듈(D330) 및 이동허가 승인 요청 모듈(D340)로 구성될 수 있다.Referring to FIG. 4, the unmanned vehicle 300 may be composed of a communication module (D310), a navigation module (D320), a sensing module (D330), and a movement permit approval request module (D340).

여기서 무인이동체(300)의 통신모듈(D310)은 본 제어 장치(100)와 통신을 수행하는 기능을 수행하는 모듈을 의미할 수 있다.Here, the communication module D310 of the unmanned vehicle 300 may refer to a module that performs the function of communicating with the control device 100.

통신모듈(D121)은 본 제어 장치(100)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The communication module (D121) may include one or more components that enable communication with the control device 100, for example, a broadcast reception module, a wired communication module, a wireless communication module, a short-distance communication module, and location information. It may contain at least one of the modules.

무인이동체(300)의 무선 통신 모듈은 이동통신 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 복조 모듈을 더 포함할 수 있다. The wireless communication module of the unmanned vehicle 300 may include a wireless communication interface including an antenna and a receiver for receiving mobile communication signals. Additionally, the wireless communication module may further include a signal demodulation module for demodulating an analog wireless signal received through a wireless communication interface into a digital control signal.

무인이동체(300)의 위치정보 모듈은 본 개시에 무인이동체(300)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 본 다수 무인이동체(300)의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 무인이동체(300)의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈은 치환 또는 부가적으로 무인이동체(300)의 위치에 관한 데이터를 얻기 위해 통신부의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈은 무인이동체(300)의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 무인이동체(300)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module of the unmanned vehicle 300 is a module for acquiring the location (or current location) of the unmanned vehicle 300 in the present disclosure, and representative examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. There is. For example, by using a GPS module, the positions of multiple unmanned vehicles 300 can be obtained using signals sent from GPS satellites. As another example, by using a Wi-Fi module, the location of the unmanned vehicle 300 can be obtained based on information from the Wi-Fi module and a wireless AP (Wireless Access Point) that transmits or receives wireless signals. If necessary, the location information module may replace or additionally perform any of the functions of other modules of the communication unit to obtain data regarding the location of the unmanned vehicle 300. The location information module is a module used to obtain the location (or current location) of the unmanned vehicle 300, and is not limited to a module that directly calculates or obtains the location of the unmanned vehicle 300.

여기서 네비게이션 모듈(D320)은 본 제어 장치(100)로부터 수신한 탑뷰 이미지 데이터 및 목적지 정보와 복수의 경유지 정보를 포함하는 이동경로 정보를 기초로 무인이동체(300) 자체적으로 경유지 또는 목적지까지 이동할 수 있도록 제어하는 모듈을 의미할 수 있다. Here, the navigation module (D320) allows the unmanned mobile device (300) to move to a waypoint or destination on its own based on the top-view image data received from the control device (100), destination information, and movement route information including a plurality of waypoint information. It may refer to a controlling module.

무인이동체(300)가 자체적인 네비게이션 모듈(D320)을 구비함으로써 본 제어 장치(또는 서버)(100)와 통신이 단절되더라도 본 제어 장치(100)로부터 수신한 탑뷰 이미지 데이터 및 목적지 정보와 복수의 경유지 정보를 포함하는 이동경로 정보를 기초로 무인이동체(300) 자체적으로 경유지 또는 목적지까지 이동할 수 있도록 제어할 수 있다.Since the unmanned vehicle 300 is equipped with its own navigation module (D320), even if communication with the control device (or server) 100 is interrupted, the top view image data and destination information received from the control device 100 and a plurality of waypoints are displayed. Based on the movement path information including the information, the unmanned vehicle 300 can be controlled to move to a waypoint or destination on its own.

센싱 모듈(D330)은 무인이동체(300)의 내부 정보, 무인이동체(300)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부는 이러한 센싱 신호에 기초하여, 본 장치의 구동 또는 동작을 제어하거나, 본 장치에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.The sensing module D330 senses at least one of the internal information of the unmanned vehicle 300, the surrounding environment information surrounding the unmanned vehicle 300, and the user information, and generates a sensing signal corresponding thereto. Based on these sensing signals, the control unit can control the driving or operation of the device, or perform data processing, functions, or operations related to an application program installed on the device.

상기와 같은, 센싱부는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 속도 센서(velocity sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 중 적어도 하나를 포함함), 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 무인이동체(300)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.As described above, the sensing unit includes a proximity sensor, an illumination sensor, a touch sensor, a velocity sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor. (G-sensor), gyroscope sensor, motion sensor, RGB sensor, infrared sensor, fingerprint scan sensor, ultrasonic sensor, An optical sensor (e.g., a camera), a microphone, an environmental sensor (e.g., including at least one of a barometer, a hygrometer, a thermometer, a radiation detection sensor, a heat detection sensor, and a gas detection sensor), a chemical sensor ( For example, it may include at least one of a healthcare sensor, a biometric sensor, etc.). Meanwhile, the unmanned vehicle 300 can utilize information sensed by at least two of these sensors by combining them.

이동허가 승인 요청 모듈(D340)은 무인이동체(300)가 목적지에 도달하기 위한 경유지에 도착한 경우 또는 경유지로부터 미리 결정한 반경 내에 접근한 경우 본 제어 장치(100)에 다음 경유지로 이동허가를 요청하는 기능을 수행하는 모듈일 수 있다. The movement permission approval request module (D340) has a function of requesting permission to move to the next waypoint from the control device 100 when the unmanned mobile device 300 arrives at the waypoint to reach the destination or approaches within a predetermined radius from the waypoint. It may be a module that performs.

무인이동체(300)의 이동허가 승인 요청 모듈(D340)을 통해 본 제어 장치(100)에 다음 경유지로의 이동허가 승인을 요청하면 본 제어 장치(100)는 무인이동체(300)이 원활하게 이루어지고, 다음 경유지에 비상상황 등이 발생하지 않아 이동할 수 있다고 판단한 경우에는 이동허가 승인 신호를 생성하여 무인이동체(300)에 송신할 수 있다. 이동허가 승인 신호를 수신한 무인이동체(300)는 다음 경유지로 이동할 수 있다.When the control device 100 is requested to approve movement to the next stopover through the movement permission approval request module D340 of the unmanned vehicle 300, the control device 100 ensures that the unmanned vehicle 300 operates smoothly. , if it is determined that movement is possible because no emergency situation occurs at the next stopover, a movement permission approval signal can be generated and transmitted to the unmanned mobile device 300. The unmanned mobile device 300 that has received the movement permission approval signal can move to the next stopover.

도 5는 일 실시예에 따른 유동적인 이동경로 정보를 이용하여 다수 무인이동체를 제어하는 순서도를 나타낸 도면이다.FIG. 5 is a flowchart illustrating a flowchart of controlling multiple unmanned vehicles using flexible movement path information according to an embodiment.

S510은 사용자 단말로부터 작업 명령을 수신하는 단계일 수 있다.S510 may be a step of receiving a work command from the user terminal.

S520은 다수 무인이동체 각각의 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하는 단계일 수 있다.S520 may be a step of generating movement path information by determining the shortest movement path to the destination based on the destination information of each of the multiple unmanned vehicles and the plurality of waypoint information.

메모리(110)에는 다수 무인이동체의 이동공간에 대한 탑뷰 이미지(Top view image) 데이터, 상기 다수 무인이동체가 작업을 수행하기 위한 복수의 미션, 목적지 정보 및 상기 목적지에 도달하기 위한 복수의 경유지 정보를 미리 저장할 수 있다.The memory 110 contains top view image data about the movement space of a plurality of unmanned vehicles, a plurality of missions for the plurality of unmanned vehicles to perform tasks, destination information, and a plurality of waypoint information to reach the destination. You can save it in advance.

즉, 프로세서(120)는 무인이동체(300)에 할당된 작업에 따라, 작업정보에 대응하는 미션에 관한 정보를 이용하여 미션을 수행하기 위한 목적지를 선택 또는 판단하고, 미션을 수행하기 위한 이동경로 계획을 세우기 위해 목적지까지 도달하기 위한 복수의 경유지를 판단 또는 선택할 수 있다. 또한, 이렇게 판단 또는 선택된 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지의 가장 짧은 이동경로를 판단하여 이동경로 정보를 생성할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(120)는 가장 짧은 이동경로인 최단 이동경로 뿐 아니라, 상황에 따른 최적의 이동경로 계획을 생성할 수도 있다.That is, the processor 120 selects or determines a destination for performing the mission using information about the mission corresponding to the task information, according to the task assigned to the unmanned mobile vehicle 300, and determines the movement path for performing the mission. To make a plan, you can judge or select multiple stops to reach your destination. Additionally, based on the determined or selected destination information and the plurality of waypoint information, the shortest travel route to the destination can be determined to generate travel route information. According to one embodiment of the present invention, the processor 120 can generate not only the shortest movement path, which is the shortest movement path, but also an optimal movement path plan according to the situation.

일 실시예에 따르면, 이동경로 정보는, 업데이트 된 상기 탑뷰 이미지 데이터, 다수 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터에 기초하여 복수의 경유지를 결정하고, 이렇게 결정된 복수의 경유지에 기초하여 생성되는 것일 수 있다.According to one embodiment, the movement route information determines a plurality of waypoints based on the updated top-view image data, location information data, and speed information data received from each of a plurality of unmanned mobile devices, and determines a plurality of waypoints based on the plurality of waypoints thus determined. It may be created.

S530은 탑뷰이미지 데이터, 작업에 대응되는 미션정보 및 생성된 이동경로 정보를 다수 무인이동체 각각에 전송하는 단계일 수 있다.S530 may be a step in which top-view image data, mission information corresponding to the task, and generated movement route information are transmitted to each of a plurality of unmanned mobile devices.

S540은 다수 무인이동체 각각과 무인이동체 제어장치의 통신이 단절되면 무인이동체가 통신 단절 이전 시점에 수신한 복수의 이동경로 정보를 기초로 목적지까지 이동하도록 구성되는 단계일 수 있다.S540 may be a step in which, when communication between each of the plurality of unmanned vehicles and the unmanned vehicle control device is interrupted, the unmanned vehicle is configured to move to the destination based on the plurality of movement path information received before the communication disconnection.

즉, 탑뷰이미지 데이터, 작업에 대응되는 미션정보 및 통신 단절 이전 시점에 생성된 이동경로 정보를 다수 무인이동체(300)에 전송함으로써 통신이 단절된 경우에도 무인이동체(300)의 자체 네비게이션 모듈(D320)을 통해 목적지까지 자율주행하도록 제어할 수 있다.In other words, by transmitting top-view image data, mission information corresponding to the task, and movement route information created before communication interruption to multiple unmanned vehicles 300, even when communication is interrupted, the self-navigation module (D320) of the unmanned vehicle 300 You can control it to drive autonomously to your destination.

한편, 무인이동체(300)가 경유지에 도착하거나 경유지로부터 미리 설정한 반경 이내에 접근한 경우, 이동허가 승인 요청 모듈(D340)은 본 제어 장치(100)에 경유지에 도착했다는 도착완료 신호 및 이동허가 승인 요청신호를 송신할 수 있다. Meanwhile, when the unmanned mobile device 300 arrives at the waypoint or approaches within a preset radius from the waypoint, the movement permission approval request module (D340) sends an arrival completion signal and movement permission approval to the control device 100 indicating that it has arrived at the waypoint. A request signal can be transmitted.

본 제어 장치(100)는 다수 무인이동체 각각이 상기 복수의 경유지 각각에 도착 시, 상기 다수 무인이동체 각각으로부터 상기 복수의 경유지 각각에 도착한 것을 알리는 도착완료 신호 및 다음 경유지로 이동허가를 요청하는 이동허가 요청신호를 수신하면, 상기 통신모듈로부터 전달받은 통신정보에 기초하여 상기 다수 무인이동체 각각과 통신이 정상적으로 수행되는 것으로 판단되면 이동허가를 승인하는 이동허가 승인신호를 상기 다수 무인이동체 각각에 전송함으로써 상기 다수 무인이동체를 제어할 수 있다.When each of the plurality of unmanned mobile devices arrives at each of the plurality of waypoints, the control device 100 provides an arrival completion signal indicating that each of the plurality of unmanned mobile devices has arrived at each of the plurality of waypoints and a movement permission requesting permission to move to the next waypoint. Upon receiving the request signal, if it is determined that communication with each of the plurality of unmanned mobile devices is performed normally based on the communication information received from the communication module, a movement permission approval signal approving movement permission is transmitted to each of the plurality of unmanned mobile devices. Can control multiple unmanned vehicles.

도 6은 일 실시예에 따른 무인이동체가 장애물 영역을 인식하여 탑뷰이미지 데이터가 코스트맵으로 변환되는 것을 나타낸 도면이다.FIG. 6 is a diagram illustrating how an unmanned vehicle recognizes an obstacle area and converts top-view image data into a cost map according to an embodiment.

도 6을 참고하면, 탑뷰이미지(D610)에 사용자가 미리 결정한 색정보를 추가하여 코스트맵(D620)을 형성할 수 있다.Referring to FIG. 6, a cost map (D620) can be formed by adding color information predetermined by the user to the top view image (D610).

코스트맵(Cost map)은 무인이동체가 작업을 수행하는 이동공간 내에서 존재하는 장애물에 대하여 장애물을 회피하기 위한 정도를 나타는 맵을 의미할 수 있다.A cost map may refer to a map indicating the degree to which an unmanned vehicle can avoid obstacles that exist within the moving space where it performs work.

여기서 사용자가 미리 결정한 색정보는, 예를 들면, 장애물이 존재하는 위치는 검은색으로 표시하고, 장애물이 전혀 존재하지 않으며 장애물로부터 사용자가 미리 설정한 거리가 떨어진 위치는 흰색으로 표시하고, 미지의 영역은 회색으로 표시하는 것일 수 있다.Here, the color information predetermined by the user is, for example, displayed in black for locations where obstacles exist, displayed in white for locations where no obstacles exist and a distance preset by the user from the obstacles, and displayed in white for locations where obstacles exist. The area may be displayed in gray.

한편, 본 발명의 일 실시예에 따르면 무인이동체(300)의 크기데이터에 기초하여 장애물과의 거리데이터가 생성되면, 장애물과의 거리데이터에 기초하여 탑뷰이미지(D610)가 코스트맵(D620)으로 변환될 수도 있다.Meanwhile, according to an embodiment of the present invention, when distance data to an obstacle is generated based on the size data of the unmanned mobile device 300, the top view image (D610) is converted into a cost map (D620) based on the distance data to the obstacle. It may be converted.

한편, 코스트(Cost)는 무인이동체의 이동공간 내에서, 장애정도를 나타내는 값을 의미할 수 있다. 코스트(Cost) 값이 높을수록 장애정도가 높은 것으로 보아 코스트 값이 높은 지역에 대해서는 무인이동체(300)가 경로계획을 하지 않고, 코스트 값이 낮은 곳을 기준으로 경로계획을 할 수 있다. 즉, 본 제어 장치(100)는 미리 결정된 코스트 값을 기준으로 상기 미리 결정된 코스트 값보다 코스트 값이 낮은 복수의 경유지를 판단하여 이를 기초로 목적지까지의 이동경로 계획을 할 수 있다.Meanwhile, cost may refer to a value indicating the degree of disability within the movement space of the unmanned vehicle. Considering that the higher the cost value, the higher the degree of disability, the unmanned vehicle 300 may not plan a route for an area with a high cost value, but may plan a route based on an area with a low cost value. That is, the control device 100 can determine a plurality of waypoints with a lower cost value than the predetermined cost value based on the predetermined cost value and plan a travel route to the destination based on this.

한편, 코스트맵(D620)은 탑뷰이미지(D610)에 사용자가 미리 결정한 색정보를 추가하여 형성될 수 있다. 예를 들어, 프로세서(120)는 장애물이 존재하는 위치는 검은색으로 표시하고, 장애물이 전혀 존재하지 않으며 장애물로부터 사용자가 미리 설정한 거리가 떨어진 위치는 흰색으로 표시하고, 미지의 영역은 회색으로 표시할 수 있다.Meanwhile, the cost map D620 can be formed by adding color information predetermined by the user to the top view image D610. For example, the processor 120 displays locations where obstacles exist in black, locations where no obstacles exist at all and a distance preset by the user from the obstacles is displayed in white, and unknown areas are displayed in gray. It can be displayed.

다른 일 실시예에 따르면, 본 장치에서 코스트맵에 표시되는 색정보는, 장애물이 존재하는 위치는 픽셀 값을 0으로 하여 표시하고, 장애물이 존재하는 위치로부터 상기 사용자가 미리 설정한 거리만큼 떨어져 있는 경우 장애물이 존재하지 않는 위치로서 픽셀 값을 255로 하여 표시하고, 장애물이 존재하는 위치와 상기 장애물이 존재하지 않는 위치 사이의 공간은, 장애물이 존재하는 위치로부터 상기 장애물이 존재하지 않는 위치 사이까지의 거리 값에 비례하여 픽셀 값을 0과 255 사이의 값으로 색정보를 표시할 수 있다.According to another embodiment, the color information displayed on the cost map in this device displays the location where an obstacle exists with a pixel value of 0, and displays the location where the obstacle exists by a distance preset by the user. In this case, the pixel value is displayed as 255 as the position where no obstacle exists, and the space between the position where the obstacle exists and the position where the obstacle does not exist is from the position where the obstacle exists to the position where the obstacle does not exist. Color information can be displayed with a pixel value between 0 and 255 in proportion to the distance value.

다른 일 실시예에 따르면, 통신모듈(130)은 무인이동체(D510)로부터 동적장애물(D520)이 감지되면, 무인이동체(D510)로부터 동적장애물 데이터를 수신하고, 프로세서(120)는, 무인이동체의 크기 데이터에 기초하여 상기 동적장애물(D520)과의 거리데이터를 생성하고, 코스트맵(D530)에는 동적장애물(D520)과의 거리데이터에 기초하여 상기 사용자가 결정한 색정보를 추가적으로 표시할 수 있다.According to another embodiment, when a dynamic obstacle (D520) is detected from the unmanned mobile device (D510), the communication module 130 receives dynamic obstacle data from the unmanned mobile device (D510), and the processor 120 receives the dynamic obstacle data from the unmanned mobile device (D510). Distance data to the dynamic obstacle (D520) is generated based on size data, and color information determined by the user can be additionally displayed in the cost map (D530) based on the distance data to the dynamic obstacle (D520).

다른 일 실시예에 따르면, 무인이동체(300)가 작업을 수행하는 이동공간 내에서 동적장애물을 인식하는 경우, 코스트맵(D620) 상에는 무인이동체(300)가 통신모듈(D310)을 통해 본 제어 장치(100)와 통신을 수행하여 코스트맵(D620) 상에 무인이동체(300)를 표시할 수도 있다. According to another embodiment, when the unmanned vehicle 300 recognizes a dynamic obstacle within the moving space in which it performs work, the control device seen by the unmanned vehicle 300 through the communication module (D310) is displayed on the cost map (D620). The unmanned vehicle 300 may be displayed on the cost map (D620) by performing communication with 100.

또한, 무인이동체(300)가 인식한 동적장애물은 코스트맵(D620) 상에 마찬가지로 실시간 업데이트 되어 표시될 수 있다. 이 때, 업데이트 되는 실시간 표시는 동적장애물 역시 '장애물'에 해당하므로 검은색에 해당하는 픽셀값으로 표시될 수 있다.Additionally, dynamic obstacles recognized by the unmanned vehicle 300 may be displayed in real-time updates on the cost map D620. At this time, the updated real-time display may be displayed as a pixel value corresponding to black because dynamic obstacles also correspond to 'obstacles'.

한편, 동적장애물은 무인이동체가 작업을 수행하는 이동공간 내에서 이동하고 있는 장애물을 의미할 수 있다.Meanwhile, a dynamic obstacle may refer to an obstacle that is moving within the movement space where the unmanned vehicle performs work.

도 7은 일 실시예에 따른 무인이동체와 무인이동체 제어장치의 통신이 단절된 경우에 수행되는 알고리즘을 나타낸 도면이다.FIG. 7 is a diagram illustrating an algorithm performed when communication between an unmanned vehicle and an unmanned vehicle control device is disconnected according to an embodiment.

S710은 무인이동체(300)와 본 제어 장치(100)에 해당하는 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치(100)의 통신이 단절되는 단계를 의미할 수 있다.S710 may refer to a step in which communication between the unmanned vehicle 300 and multiple unmanned vehicle control devices 100 using dynamic movement path information corresponding to the control device 100 is disconnected.

S720은 상기 S710 단계에서 무인이동체(300)와 본 제어 장치(100)의 통신이 단절된 경우 무인이동체(300)가 대기상태로 전환되는 단계를 의미할 수 있다.S720 may mean a step in which the unmanned vehicle 300 is switched to a standby state when communication between the unmanned vehicle 300 and the control device 100 is disconnected in step S710.

즉, 작업을 수행하던 무인이동체(300)는 작업을 중단하고 대기상태로 전환되어 통신이 단절된 위치에서 대기할 수 있다.In other words, the unmanned vehicle 300 that was performing work may stop working and enter a standby state to wait at a location where communication is cut off.

즉, 다수 무인이동체 각각과 본 제어 장치(또는 서버)(100)와의 통신이 단절되면, 다수 무인이동체 각각은 통신 단절 시점의 이동공간 내의 위치에서 미리 설정된 시간만큼 대기할 수 있다.That is, if communication between each of the multiple unmanned mobile devices and the control device (or server) 100 is cut off, each of the multiple unmanned mobile devices can wait for a preset time at the location in the moving space at the time of communication disconnection.

S731은 기 설정된 시간 내에 무인이동체(300)와 본 제어 장치(100)의 통신이 다시 연결되는 단계를 의미할 수 있고, S732는 기 설정된 시간 내에 무인이동체(300)와 본 제어 장치(100)의 통신이 연결되지 않는 단계를 의미할 수 있다.S731 may mean a step in which communication between the unmanned vehicle 300 and the control device 100 is reconnected within a preset time, and S732 may refer to a step in which communication between the unmanned mobile device 300 and the control device 100 is reconnected within a preset time. This may mean a stage in which communication is not connected.

S741은 상기 S731 단계에서 무인이동체(300)와 본 제어 장치(100)의 통신이 다시 연결된 경우 무인이동체(300)가 다시 작업을 수행하는 작업상태로 전환되는 단계를 의미할 수 있고, S742는 무인이동체(300)와 본 제어 장치(100)의 통신이 기 설정된 시간 내에 다시 연결되지 않은 경우 무인이동체(300) 자체에 구비된 네비게이션 모듈(D320)을 이용하여 목적지까지 이동하는 단계를 의미할 수 있다.S741 may mean a step in which the unmanned vehicle 300 is converted to a work state in which it performs work again when communication between the unmanned vehicle 300 and the control device 100 is reconnected in step S731, and S742 is the unmanned vehicle 300. If communication between the mobile device 300 and the control device 100 is not reconnected within a preset time, this may mean a step of moving to the destination using the navigation module (D320) provided in the unmanned mobile device 300 itself. .

S742를 참고하면, 무인이동체(300)는 자체적으로 네비게이션 모듈(D320)을 구비할 수 있고, 네비게이션 모듈(D320)을 통해 본 제어 장치(100)로부터 수신한 탑뷰이미지 데이터 및 이동경로 정보(목적지 정보 및 경유지 정보를 포함한다.)를 기초로 본 제어 장치(100)와 통신이 단절된 경우에도 다음 경유지로 이동할 수 있도록 제어될 수 있다.Referring to S742, the unmanned vehicle 300 may be equipped with its own navigation module (D320), and may include top-view image data and movement route information (destination information) received from the control device 100 through the navigation module (D320). and waypoint information) can be controlled to move to the next waypoint even when communication with the control device 100 is cut off.

즉, 미리 설정된 시간을 초과하여 상기 다수 무인이동체 각각과 서버와의 통신이 단절되면, 다수 무인이동체 각각은, 서버로부터 수신한 상기 탑뷰 이미지 데이터 및 통신 단절 이전 시점에 서버로부터 수신한 복수의 이동경로 정보를 기초로 자체적으로 상기 목적지까지 이동할 수 있다.That is, if communication between each of the plurality of unmanned mobile devices and the server is cut off beyond a preset time, each of the plurality of unmanned mobile devices receives the top-view image data from the server and a plurality of movement paths received from the server at the time before the communication interruption. Based on the information, it can move to the above destination on its own.

도 8은 일 실시예에 따른 무인이동체가 수행하는 작업의 구성을 개략적으로 나타낸 도면이다.Figure 8 is a diagram schematically showing the configuration of tasks performed by an unmanned mobile vehicle according to an embodiment.

도 8을 참고하면, 사용자 단말(200)로부터 입력되는 작업명령의 객체인 작업(Task)은 무인이동체(300)가 작업공간(또는 이동공간) 내에서 수행하는 임무를 의할 수 있다. 이러한 작업(Task)은 본 제어 장치(100)의 메모리(110)에 미리 저장될 수 있다. 예를 들어, 제1 작업(810), 제2 작업(820) 및 제3 작업(830)이 메모리(110)에 미리 저장될 수 있다.Referring to FIG. 8, a task, which is an object of a work command input from the user terminal 200, may refer to a task performed by the unmanned mobile device 300 within the work space (or movement space). These tasks may be stored in advance in the memory 110 of the control device 100. For example, the first task 810, the second task 820, and the third task 830 may be stored in advance in the memory 110.

제1 작업(810)은 적어도 하나의 미션(811 내지 814)으로 구성되어 있고, 미션은 적어도 하나의 액티비티로 구성될 수 있다. 여기서 미션(Mission)은 작업을 수행하기 위한 각각의 임무를 의미할 수 있고, 액티비티(Activity)는 미션을 수행하기 위한 무인이동체(300)의 움직임을 의미할 수 있다.The first task 810 consists of at least one mission 811 to 814, and the mission may consist of at least one activity. Here, mission may refer to each task to perform a task, and activity may refer to the movement of the unmanned vehicle 300 to perform the mission.

도 8을 참고하면, 예를 들어, 제1 작업(810)은 미션1-1(811), 미션1-2(812), 미션1-3(813) 및 미션1-4(814)으로 구성될 수 있다. 이 때, 미션1-1(811)은 3개의 액티비티로 구성될 수 있고, 미션1-2(812)은 4개의 액티비티로 구성될 수 있고, 미션1-3(813)은 5개의 액티비티로 구성될 수 있고, 미션1-4(814)은 4개의 액티비티로 구성될 수 있다. Referring to Figure 8, for example, the first task 810 consists of mission 1-1 (811), mission 1-2 (812), mission 1-3 (813), and mission 1-4 (814). It can be. At this time, Mission 1-1 (811) may consist of 3 activities, Mission 1-2 (812) may consist of 4 activities, and Mission 1-3 (813) may consist of 5 activities. mission 1-4 (814) can be composed of four activities.

즉, 제1 작업이 무인이동체(300)의 물류 운반작업(Task)이라면, 이러한 물류 운반작업(Task)은 제1 구역의 제1 선반위치에 있는 선반을 제4 구역의 제2 선반위치에 옮기는 미션(Mission)과 제4 구역에 있는 제3 선반위치에 있는 선반을 제2 구역에 있는 제1 선반위치로 옮기는 미션(Mission)으로 구성될 수 있다. In other words, if the first task is a logistics transport task (Task) of the unmanned mobile device 300, this logistics transport task (Task) is moving the shelf from the first shelf position in the first zone to the second shelf position in the fourth zone. It may consist of a mission and a mission to move the shelf from the third shelf position in zone 4 to the first shelf position in zone 2.

이 때, 제1 구역의 제1 선반위치에 있는 선반을 제4 구역의 제2 선반위치에 옮기는 미션(Mission)은 제1 구역에서 무인이동체(300)가 제1 선반위치의 선반을 들어올리는 액티비티(Activity)와, 이를 다시 무인이동체(300)의 받침대 위에 올려놓는 액티비티(Activity)와, 제4 구역으로 이동하게 되면, 제2 선반위치에 내려놓는 액티비티(Activity)로 구성될 수 있다. 또한, 제4 구역에 있는 제3 선반위치에 있는 선반을 제2 구역에 있는 제1 선반위치로 옮기는 미션(Mission) 역시 상기 미션을 구성하는 적어도 하나의 액티비티 구성처럼 무인이동체(300)의 복수의 움직임으로 구성될 수 있다.At this time, the mission of moving the shelf from the first shelf position in Zone 1 to the second shelf position in Zone 4 is an activity in which the unmanned mobile device 300 lifts the shelf from the first shelf position in Zone 1. It may be composed of an Activity, an Activity of putting it back on the pedestal of the unmanned vehicle 300, and an Activity of putting it down on the second shelf when it moves to the fourth zone. In addition, the mission of moving the shelf from the third shelf position in the fourth zone to the first shelf position in the second zone is also a plurality of unmanned mobile devices 300, like at least one activity constituting the mission. It can consist of movement.

마찬가지로, 제2 작업(820) 역시 미션2-1(821), 미션2-2(822) 및 미션2-3(823)으로 구성될 수 있으며, 각각의 미션은 복수의 액티비티로 구성될 수 있다(840).Likewise, the second task 820 may also be composed of mission 2-1 (821), mission 2-2 (822), and mission 2-3 (823), and each mission may be composed of multiple activities. (840).

마찬가지로, 제3 작업(830) 역시 미션3-1(831), 미션3-2(832), 미션3-3(833) 및 미션3-4(834)으로 구성될 수 있으며, 각각의 미션은 복수의 액티비티로 구성될 수 있다(840).Likewise, the third task (830) may also be composed of Mission 3-1 (831), Mission 3-2 (832), Mission 3-3 (833), and Mission 3-4 (834), and each mission is It may consist of multiple activities (840).

도 9는 일 실시예에 따른 무인이동체가 제1구역의 출발지로부터 복수의 경유지를 거쳐 제4구역의 목적지로 이동하는 것을 나타낸 도면이다. Figure 9 is a diagram showing an unmanned vehicle moving from a starting point in Zone 1 to a destination in Zone 4 through a plurality of stops, according to an embodiment.

도 9를 참고하면, 무인이동체(D910)의 작업공간은 제1구역(910), 제2구역(920), 제3구역(930) 및 제4구역(940)으로 구분될 수 있다. 한편, 작업공간에는 정적 장애물(D970)이 존재할 수 있다. 정적 장애물(D970)은 움직이지 않는 장애물로서, 벽면, 선반공간 등의 움직이지 않는 장애물을 의미할 수 있다.Referring to FIG. 9 , the work space of the unmanned vehicle D910 may be divided into a first area 910, a second area 920, a third area 930, and a fourth area 940. Meanwhile, static obstacles (D970) may exist in the workspace. A static obstacle (D970) is an obstacle that does not move, and may mean a stationary obstacle such as a wall or shelf space.

도 9를 참고하면, 무인이동체(D910)는 제1구역(910)의 START 지점에서 출발하여 본 제어 장치(100)의 이동경로 계획 모듈(D122)이 계획한 이동경로(D920)를 따라 제1 경유지(D930) 및 제2 경유지(D940)를 거쳐, END지점인 목적지(D950)에 도착하고, 제4구역(940) 내의 작업영역(D960)에서 주어진 작업 및 미션을 수행할 수 있다.Referring to FIG. 9, the unmanned vehicle (D910) starts from the START point in the first area (910) and moves to the first location along the movement path (D920) planned by the movement path planning module (D122) of the control device (100). After passing through the waypoint (D930) and the second waypoint (D940), you arrive at the destination (D950), which is the END point, and can perform tasks and missions given in the work area (D960) within the fourth area (940).

도 10은 일 실시예에 따른 비상상황에서 비상명령이 입력되면 이동경로 정보를 형성하는 것을 설명하기 위한 도면이다.FIG. 10 is a diagram illustrating the formation of movement route information when an emergency command is input in an emergency situation according to an embodiment.

본 발명의 일 실시예에 따른 도 10을 참고하면, 비상상황(예를 들면, 제1 구역에 화재가 발생한 경우의 상황)에서 제1 구역에서 작업을 수행하는 제1 무인이동체(D1010)의 입력부(D1011)를 통해 사용자가 비상버튼을 눌러 비상명령을 입력하면, 본 제어 장치(100)의 이동 경로 계획 모듈(D122)은 제1 무인이동체(D1010)를 제외한 정상 작업수행 중인 무인이동체 그룹(D1020) 내의 제2 무인이동체(D1021), 제3 무인이동체(D1022) 및 제4 무인이동체(D1023)로부터의 센싱 정보를 이용하여 이동경로를 계획할 수 있다. 이 때, 정상 작업수행 중인 무인이동체 그룹(D1020)은 비상명령이 입력된 무인이동체를 제외한 작업공간 내의 나머지 무인이동체 그룹 일체를 의미할 수 있다.Referring to FIG. 10 according to an embodiment of the present invention, the input unit of the first unmanned mobile device (D1010) that performs work in the first zone in an emergency situation (for example, a situation when a fire occurs in the first zone) When the user presses the emergency button and inputs an emergency command through (D1011), the movement path planning module (D122) of this control device (100) selects the unmanned vehicle group (D1022) that is performing normal work except for the first unmanned vehicle (D1010). ), the movement path can be planned using sensing information from the second unmanned mobile device (D1021), the third unmanned mobile device (D1022), and the fourth unmanned mobile device (D1023). At this time, the unmanned vehicle group (D1020) performing normal work may refer to all remaining unmanned vehicle groups in the work space excluding the unmanned vehicle for which an emergency command has been entered.

비상버튼에 의해 비상명령이 입력된 무인이동체는 작업을 수행하지 않는 대기상태로 전환되며, 비상명령이 입력된 장소에서 멈추고, 정상 작업수행 중인 무인이동체 그룹(D1020) 내의 무인이동체들은 정상 작업수행 중인 무인이동체 그룹(D1020) 내의 무인이동체 각각의 센싱 정보만을 이용하여 본 제어 장치(100)가 이동경로 계획을 하면, 생성된 이동경로에 기초하여 작업을 수행할 수 있다. 이 때, 비상명령이 입력된 무인이동체 위치가 작업이 불가능한 상황일 수 있는데, 이는 도 11에서 후술하는 바와 같이, 사용자가 비상구역 지정함에 따라 블록지역 설정을 하게 되고, 블록지역을 제외한 작업공간 내에서 이동경로가 계획될 수 있다.The unmanned vehicle for which an emergency command has been entered by the emergency button switches to a standby state where it does not perform work, stops at the location where the emergency command was entered, and unmanned vehicles in the unmanned vehicle group (D1020) that are performing normal work are performing normal work. When the control device 100 plans a movement path using only the sensing information of each unmanned vehicle in the unmanned vehicle group D1020, work can be performed based on the generated movement path. At this time, the location of the unmanned vehicle where the emergency command was entered may be in a situation where work is impossible. As described later in FIG. 11, the block area is set as the user designates the emergency area, and the work space excluding the block area is set. Movement routes can be planned.

도 11은 일 실시예에 따른 비상상황에서 비상구역을 설정하여 이동경로 정보가 형성될 수 있음을 설명하기 위한 도면이다.Figure 11 is a diagram to explain that movement route information can be formed by setting an emergency zone in an emergency situation according to an embodiment.

도 11을 참고하면, 비상상황(예를 들면, 제1 구역에 화재가 발생한 경우의 상황)에서 사용자는 사용자 단말(200)을 통해 제1 구역을 블록지역으로 설정할 수 있다. 한편, 블록지역은 비상상황이 발생하여 사용자가 무인이동체(300)의 접근을 금지하도록 설정하는 영역을 의미할 수 있다.Referring to FIG. 11, in an emergency situation (for example, a fire situation in the first area), the user can set the first area as a block area through the user terminal 200. Meanwhile, the block area may mean an area set by the user to prohibit access to the unmanned mobile device 300 when an emergency situation occurs.

사용자가 블록지역을 설정하면 탑뷰이미지 데이터(D1110)에 블록지역이 설정되어 블록지역이 설정된 탑뷰이미지 데이터(D1120)로 변환될 수 있고, 이를 본 제어 장치(100)가 무인이동체(300)에 전송할 수 있다.When the user sets the block area, the block area is set in the top view image data (D1110), which can be converted into top view image data (D1120) with the block area set, and the control device 100 can transmit this to the unmanned vehicle 300. You can.

블록지역이 설정된 영역에는 무인이동체(300)가 접근할 수 없고, 블록지역을 제외한 영역을 기준으로 이동경로 계획 모듈(D122)이 이동경로를 계획할 수 있다.The unmanned mobile device 300 cannot access the area where the block area is set, and the movement path planning module (D122) can plan the movement route based on the area excluding the block area.

즉, 다수 무인이동체 각각으로부터 비상상황이 발생하였다는 신호인 비상명령을 수신한 경우, 이동경로 정보는, 비상명령을 송신한 무인이동체를 제외한 채 상기 이동공간에 존재하는 나머지 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터를 기초로 결정되는 것일 수 있다.In other words, when an emergency command, which is a signal that an emergency situation has occurred, is received from each of multiple unmanned vehicles, the movement path information is received from each of the remaining unmanned vehicles present in the movement space, excluding the unmanned vehicle that transmitted the emergency command. It may be determined based on location information data and speed information data.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media storing instructions that can be decoded by a computer. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which this disclosure pertains will understand that the present disclosure may be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present disclosure. The disclosed embodiments are illustrative and should not be construed as limiting.

100 : 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 장치
200 : 사용자 단말
300 : 무인이동체100: Multiple unmanned vehicle control device using flexible movement path information
200: user terminal
300: Unmanned vehicle

Claims

메모리;
상기 메모리와 통신을 수행하는 적어도 하나의 프로세서; 및
다수 무인이동체 및 사용자 단말과 통신을 수행하는 통신모듈을 포함하고,
상기 프로세서는,
상기 사용자 단말로부터 작업 명령을 수신하면, 상기 다수 무인이동체 각각의 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하고, 상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지 데이터, 상기 다수 무인이동체가 수행하는 작업에 대응되는 미션 정보 및 상기 생성된 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하되,
상기 다수 무인이동체 각각이 상기 복수의 경유지 각각에 도착 시, 상기 다수 무인이동체 각각으로부터 상기 복수의 경유지 각각에 도착한 것을 알리는 도착완료 신호 및 다음 경유지로 이동허가를 요청하는 이동허가 요청신호를 수신하고,
상기 통신모듈로부터 전달받은 통신정보에 기초하여 상기 다수 무인이동체 각각과 통신이 정상적으로 수행되는 것으로 판단되면 상기 다수 무인이동체를 제어하도록 상기 이동허가를 승인하는 이동허가 승인신호를 상기 다수 무인이동체 각각에 전송하고,
상기 다수 무인이동체 각각과 상기 통신모듈의 통신이 단절되면, 상기 다수 무인이동체 각각이 통신 단절 시점 동안 상기 이동공간 내 위치에서 미리 설정된 시간만큼 대기하도록 상기 다수 무인이동체를 제어하고,
상기 미리 설정된 시간을 초과하여 상기 다수 무인이동체 각각과 상기 통신모듈의 통신이 단절되면, 상기 다수 무인이동체 각각이 상기 탑뷰 이미지 데이터 및 통신 단절 이전 시점에서 수신한 이동경로 정보를 기초로 상기 목적지까지 이동하도록 상기 다수 무인이동체를 제어하고,
상기 탑뷰 이미지 데이터는, 상기 다수 무인이동체 각각으로부터 수신한 센싱 데이터에 기초하여 미리 설정된 주기로 업데이트되고,
상기 이동경로 정보는, 업데이트된 탑뷰 이미지 데이터, 상기 다수 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터에 기초하여 결정된 복수의 경유지를 포함하고, 상기 다수 무인이동체 각각으로부터 상기 사용자 단말을 통해 무인이동체의 접근을 금지하도록 설정된 블록지역에 상응하는 비상명령을 수신한 경우, 상기 비상명령을 송신한 무인이동체를 제외하고 상기 이동공간에 존재하는 나머지 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터를 기초로 결정되는 것을 특징으로 하는, 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어장치.Memory;
at least one processor that communicates with the memory; and
It includes a communication module that communicates with multiple unmanned vehicles and user terminals,
The processor,
When a work command is received from the user terminal, the shortest movement path to the destination is determined based on the destination information and the plurality of waypoint information for each of the plurality of unmanned mobile devices, and movement path information is generated. Top-view image data, mission information corresponding to tasks performed by the plurality of unmanned mobile devices, and the generated movement path information are transmitted to each of the plurality of unmanned mobile devices at a predetermined period,
When each of the plurality of unmanned mobile devices arrives at each of the plurality of waypoints, receiving an arrival completion signal indicating arrival at each of the plurality of waypoints and a movement permission request signal requesting permission to move to the next waypoint from each of the plurality of unmanned mobile devices,
If it is determined that communication with each of the plurality of unmanned mobile devices is performed normally based on the communication information received from the communication module, a movement permission approval signal approving the movement permission is transmitted to each of the plurality of unmanned mobile devices to control the plurality of unmanned mobile devices. do,
When communication between each of the plurality of unmanned mobile devices and the communication module is cut off, controlling the plurality of unmanned mobile devices so that each of the plurality of unmanned mobile devices waits for a preset time at a location in the moving space during the time of communication disconnection,
If communication between each of the plurality of unmanned mobile devices and the communication module is cut off beyond the preset time, each of the plurality of unmanned mobile devices moves to the destination based on the top-view image data and the movement path information received at the time before the communication disconnection. Controlling the plurality of unmanned vehicles so that
The top-view image data is updated at a preset period based on sensing data received from each of the plurality of unmanned mobile devices,
The movement route information includes updated top-view image data, a plurality of waypoints determined based on location information data and speed information data received from each of the plurality of unmanned mobile devices, and is transmitted from each of the plurality of unmanned mobile devices through the user terminal. When an emergency command corresponding to a block area set to prohibit access to a moving object is received, location information data and speed information data received from each of the remaining unmanned vehicles existing in the moving space, excluding the unmanned vehicle that transmitted the emergency command A control device for multiple unmanned vehicles using dynamic movement path information, characterized in that it is determined based on .

삭제delete

다수 무인이동체의 제어 시스템에 있어서,
서버;
상기 서버와 통신을 수행하는 사용자 단말; 및
상기 사용자 단말로부터 작업 명령을 수신하면 상기 서버의 제어에 따라 작업을 수행하는 다수 무인이동체; 를 포함하고,
상기 서버는,
상기 사용자 단말로부터 작업 명령을 수신하면, 상기 다수 무인이동체 각각의 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하고, 상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지 데이터, 상기 다수 무인이동체가 수행하는 작업에 대응되는 미션 정보 및 상기 생성된 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하되,
상기 다수 무인이동체 각각이 상기 복수의 경유지 각각에 도착 시, 상기 다수 무인이동체 각각으로부터 상기 복수의 경유지 각각에 도착한 것을 알리는 도착완료 신호 및 다음 경유지로 이동허가를 요청하는 이동허가 요청신호를 수신하고,
상기 다수 무인이동체 각각과 통신이 정상적으로 수행되는 것으로 판단되면 상기 다수 무인이동체를 제어하도록 상기 이동허가를 승인하는 이동허가 승인신호를 상기 다수 무인이동체 각각에 전송하고,
상기 다수 무인이동체 각각과 통신이 단절되면, 상기 다수 무인이동체 각각이 통신 단절 시점 동안 상기 이동공간 내 위치에서 미리 설정된 시간만큼 대기하도록 상기 다수 무인이동체를 제어하고,
상기 미리 설정된 시간을 초과하여 상기 다수 무인이동체 각각과 통신이 단절되면, 상기 다수 무인이동체 각각이 상기 탑뷰 이미지 데이터 및 통신 단절 이전 시점에서 수신한 이동경로 정보를 기초로 상기 목적지까지 이동하도록 상기 다수 무인이동체를 제어하고,
상기 탑뷰 이미지 데이터는, 상기 다수 무인이동체 각각으로부터 수신한 센싱 데이터에 기초하여 미리 설정된 주기로 업데이트되고,
상기 이동경로 정보는, 업데이트된 탑뷰 이미지 데이터, 상기 다수 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터에 기초하여 결정된 복수의 경유지를 포함하고, 상기 다수 무인이동체 각각으로부터 상기 사용자 단말을 통해 무인이동체의 접근을 금지하도록 설정된 블록지역에 상응하는 비상명령을 수신한 경우, 상기 비상명령을 송신한 무인이동체를 제외하고 상기 이동공간에 존재하는 나머지 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터를 기초로 결정되는 것을 특징으로 하는, 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어 시스템.In the control system for multiple unmanned vehicles,
server;
a user terminal that communicates with the server; and
A plurality of unmanned mobile devices that perform a task under the control of the server when a task command is received from the user terminal; Including,
The server is,
When a work command is received from the user terminal, the shortest movement path to the destination is determined based on the destination information and the plurality of waypoint information for each of the plurality of unmanned mobile devices, and movement path information is generated. Top-view image data, mission information corresponding to tasks performed by the plurality of unmanned mobile devices, and the generated movement path information are transmitted to each of the plurality of unmanned mobile devices at a predetermined period,
When each of the plurality of unmanned mobile devices arrives at each of the plurality of stopping points, an arrival completion signal indicating arrival at each of the plurality of stopping points and a movement permission request signal requesting permission to move to the next stopping point are received from each of the plurality of unmanned mobile vehicles,
If it is determined that communication with each of the plurality of unmanned mobile objects is performed normally, a movement permission approval signal approving the movement permission to control the plurality of unmanned mobile objects is transmitted to each of the plurality of unmanned mobile objects,
When communication with each of the plurality of unmanned mobile devices is cut off, controlling the plurality of unmanned mobile devices so that each of the plurality of unmanned mobile devices waits for a preset time at a location within the movement space during the time when communication is cut off,
If communication with each of the plurality of unmanned mobile devices is cut off beyond the preset time, each of the plurality of unmanned mobile devices moves to the destination based on the top-view image data and movement path information received at the time before the communication disconnection. Control the moving object,
The top-view image data is updated at a preset period based on sensing data received from each of the plurality of unmanned mobile devices,
The movement route information includes updated top-view image data, a plurality of waypoints determined based on location information data and speed information data received from each of the plurality of unmanned mobile devices, and is transmitted from each of the plurality of unmanned mobile devices through the user terminal. When an emergency command corresponding to a block area set to prohibit access to a moving object is received, location information data and speed information data received from each of the remaining unmanned vehicles existing in the moving space, excluding the unmanned vehicle that transmitted the emergency command. A multiple unmanned vehicle control system using dynamic movement path information, characterized in that it is determined based on .

삭제delete

다수 무인이동체의 제어방법에 있어서,
사용자 단말로부터 작업 명령을 수신하는 단계;
상기 다수 무인이동체 각각의 목적지 정보 및 복수의 경유지 정보를 기초로 목적지까지 최단 이동경로를 판단하여 이동경로 정보를 생성하는 단계; 및
상기 다수 무인이동체의 이동공간에 대한 탑뷰 이미지 데이터, 상기 다수 무인이동체가 수행하는 작업에 대응되는 미션 정보 및 상기 생성된 상기 이동경로 정보를 미리 결정된 주기로 상기 다수 무인이동체 각각에 전송하는 단계; 를 포함하되,
상기 다수 무인이동체 각각이 상기 복수의 경유지 각각에 도착 시, 상기 다수 무인이동체 각각으로부터 상기 복수의 경유지 각각에 도착한 것을 알리는 도착완료 신호 및 다음 경유지로 이동허가를 요청하는 이동허가 요청신호를 수신하고,
상기 다수 무인이동체 각각과 통신이 정상적으로 수행되는 것으로 판단되면 상기 다수 무인이동체를 제어하도록 상기 이동허가를 승인하는 이동허가 승인신호를 상기 다수 무인이동체 각각에 전송하고,
상기 다수 무인이동체 각각과 통신이 단절되면, 상기 다수 무인이동체 각각이 통신 단절 시점 동안 상기 이동공간 내 위치에서 미리 설정된 시간만큼 대기하도록 상기 다수 무인이동체를 제어하고,
상기 미리 설정된 시간을 초과하여 상기 다수 무인이동체 각각과 통신이 단절되면, 상기 다수 무인이동체 각각이 상기 탑뷰 이미지 데이터 및 통신 단절 이전 시점에서 수신한 이동경로 정보를 기초로 상기 목적지까지 이동하도록 상기 다수 무인이동체를 제어하고,
상기 탑뷰 이미지 데이터는, 상기 다수 무인이동체 각각으로부터 수신한 센싱 데이터에 기초하여 미리 설정된 주기로 업데이트되고,
상기 이동경로 정보는, 업데이트된 탑뷰 이미지 데이터, 상기 다수 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터에 기초하여 결정된 복수의 경유지를 포함하고, 상기 다수 무인이동체 각각으로부터 상기 사용자 단말을 통해 무인이동체의 접근을 금지하도록 설정된 블록지역에 상응하는 비상명령을 수신한 경우, 상기 비상명령을 송신한 무인이동체를 제외하고 상기 이동공간에 존재하는 나머지 무인이동체 각각으로부터 수신한 위치정보 데이터 및 속도정보 데이터를 기초로 결정되는 것을 특징으로 하는, 유동적인 이동경로 정보를 이용한 다수 무인이동체 제어방법.In the control method of multiple unmanned vehicles,
Receiving a work command from a user terminal;
Generating movement route information by determining the shortest movement path to the destination based on destination information of each of the plurality of unmanned mobile devices and information on a plurality of waypoints; and
Transmitting top-view image data about the movement space of the plurality of unmanned mobile devices, mission information corresponding to tasks performed by the plurality of unmanned mobile devices, and the generated movement path information to each of the plurality of unmanned mobile devices at a predetermined period; Including,
When each of the plurality of unmanned mobile devices arrives at each of the plurality of stopping points, an arrival completion signal indicating arrival at each of the plurality of stopping points and a movement permission request signal requesting permission to move to the next stopping point are received from each of the plurality of unmanned mobile vehicles,
If it is determined that communication with each of the plurality of unmanned mobile objects is performed normally, a movement permission approval signal approving the movement permission to control the plurality of unmanned mobile objects is transmitted to each of the plurality of unmanned mobile objects,
When communication with each of the plurality of unmanned mobile devices is cut off, controlling the plurality of unmanned mobile devices so that each of the plurality of unmanned mobile devices waits for a preset time at a location within the movement space during the time when communication is cut off,
If communication with each of the plurality of unmanned mobile devices is cut off beyond the preset time, each of the plurality of unmanned mobile devices moves to the destination based on the top-view image data and movement path information received at the time before the communication disconnection. Control the moving object,
The top-view image data is updated at a preset period based on sensing data received from each of the plurality of unmanned mobile devices,
The movement route information includes updated top-view image data, a plurality of waypoints determined based on location information data and speed information data received from each of the plurality of unmanned mobile devices, and is transmitted from each of the plurality of unmanned mobile devices through the user terminal. When an emergency command corresponding to a block area set to prohibit access to a moving object is received, location information data and speed information data received from each of the remaining unmanned vehicles existing in the moving space, excluding the unmanned vehicle that transmitted the emergency command. A method for controlling multiple unmanned vehicles using dynamic movement path information, characterized in that it is determined based on .

하드웨어와 결합하여 상기 제9항의 방법을 실행하는 기록매체에 저장된, 컴퓨터 프로그램.A computer program stored on a recording medium that executes the method of claim 9 in combination with hardware.