KR20240076445A

KR20240076445A - ROS-based robot integrated management system

Info

Publication number: KR20240076445A
Application number: KR1020220156235A
Authority: KR
Inventors: 이재형; 이태훈; 김명수; 이준석; 김성준; 이재인
Original assignee: 이재형
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2024-05-30

Abstract

본 발명은 고정된 형태로 사용되는 방식에서 벗어나 6축 가속도 센서를 활용하여 로봇이 모듈형으로 사용될 수 있는 환경을 구축하고 이를 통해 Brainless 산업용 클라우드 로봇 시스템을 통하여 고객의 니즈에 맞는 다양한 로봇 어플리케이션과 로봇 관리를 위한 AI 제어 및 관리통합 플랫폼을 제공할 수 있는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템로봇 통합 관리 시스템을 제공한다. 이러한 본 발명은 로봇 운용 체제(ROS) 기반인 복수의 브레인리스 로봇(101, 102, 103); 복수의 상기 브레인리스 로봇(101, 102, 103)을 원격으로 제어할 수 있도록 하기 위한 통신망(200); 및 복수의 상기 브레인리스 로봇(101, 102, 103)과의 데이터 연결을 위한 클라우드(300)을 포함하여 구성됨을 특징으로 하는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템을 제공한다.The present invention moves away from the method of use in a fixed form and establishes an environment in which robots can be used in a modular manner by utilizing a 6-axis acceleration sensor, and through this, various robot applications and robots that meet customer needs are provided through a brainless industrial cloud robot system. We provide a robot integrated management system based on Robot Operating System (ROS) that can provide an AI control and management integration platform for management. The present invention includes a plurality of brainless robots (101, 102, 103) based on a robot operating system (ROS); A communication network (200) for remotely controlling a plurality of the brainless robots (101, 102, 103); and a cloud 300 for data connection with the plurality of brainless robots 101, 102, and 103. It provides a robot operating system (ROS)-based robot integrated management system.

Description

로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템{ROS-based robot integrated management system} Robot operating system (ROS)-based robot integrated management system {ROS-based robot integrated management system}

본 발명은 로봇 통합 관리에 관한 것으로, 더욱 상세하게는 고정된 형태로 사용되는 방식에서 벗어나 6축 가속도 센서를 활용하여 로봇이 모듈형으로 사용될 수 있는 환경을 구축하고 이를 통해 Brainless 산업용 클라우드 로봇 시스템을 통하여 고객의 니즈에 맞는 다양한 로봇 어플리케이션과 로봇 관리를 위한 AI 제어 및 관리통합 플랫폼을 제공할 수 있는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템로봇 통합 관리 시스템에 관한 것이다.The present invention relates to integrated management of robots, and more specifically, to build an environment in which robots can be used in a modular manner by utilizing a 6-axis acceleration sensor, rather than using a fixed form, and through this, to create a brainless industrial cloud robot system. This is about a robot integrated management system based on Robot Operating System (ROS) that can provide various robot applications that meet customer needs and an integrated AI control and management platform for robot management.

미래를 배경으로 하는 SF 영화를 보다 보면 우리 인류는 마천루가 우뚝 솟은 어느 공간 속에서 지금과 같은 일상을 살고 있다. 누군가에게는 범접 불가한 유토피아 속에서, 또 다른 누군가는 오히려 지금보다 각박한 디스토피아 속에서 생활하는 모습들이 그려지곤 한다. If you watch a science fiction movie set in the future, you will see that we humans are living our daily lives in a space with towering skyscrapers. For some, people are pictured living in an inaccessible utopia, while for others, they are depicted living in a dystopia that is harsher than it is now.

그렇다면 우리가 상상하는 먼 미래에도 ‘부익부 빈익빈’이라는 키워드는 절대 사라지지 않는 것일까? 유토피아의 미래는 우리 세대가 다음 세대를 위해 만들어낼 수 있는 노력의 결과물이 될 것이고 그 미래의 어느 시점은 다음 세대가 어떻게 유지하고 개선하느냐에 따라 확연히 달라질 것이다. So, will the keyword ‘the rich get richer and the poor get poorer’ never disappear even in the distant future we imagine? The future of utopia will be the result of the efforts our generation can make for the next generation, and the point in that future will be significantly different depending on how the next generation maintains and improves it.

현재를 사는 우리는 4차 산업혁명을 맞이했고 이 테두리 안에서 자율주행 자동차, 인공지능(AI), 빅데이터(big data), 사물인터넷(IoT) 등 수많은 키워드를 반드시 이룩해야 할 과제처럼 투자와 개발을 지속하고 있다. 1800년대 증기기관으로 1차 산업혁명이 시작되고 기계라는 것을 통해 대량생산을 하게 되었다. 전기가 탄생한 이후 기계는 전기 에너지를 통해 힘을 내기 시작했다. 컴퓨터와 인터넷 그리고 반도체와 같이 기술의 집약체가 생겨나면서 세상은 꾸준히 변화해왔다. Living today, we have entered the 4th industrial revolution, and within this framework, numerous keywords such as self-driving cars, artificial intelligence (AI), big data, and Internet of Things (IoT) are being invested and developed as tasks that must be achieved. is continuing. In the 1800s, the first industrial revolution began with the steam engine and mass production was achieved through machines. After the birth of electricity, machines began to generate power through electrical energy. The world has been steadily changing with the emergence of technology-intensive technologies such as computers, the Internet, and semiconductors.

우리는 과거 세대가 이룩한 결과물을 통해 지금을 살고 있다. 이전 세대로부터 거슬러온 연구 결과를 더욱 고도화 시키고 발전하기에 이르렀으며 이를 통해 또 하나의 새로운 결과물을 만들 수 있게 되었다. 그것은 ‘기계’가 아닌 ‘로봇’이라는 이름을 갖고 있다.We live today through the results of past generations. Research results dating back to previous generations have been further refined and developed, making it possible to create another new result. It has the name ‘robot’, not ‘machine’.

인류는 지금도 인공지능 개발에 집중하고 있다. 바둑의 황제였던 이세돌을 물리치며 인공지능의 능력은 단연 화제가 되었다. 생각해보자. 이러한 인공지능이 탑재된 영역을 브레인이라고 가정했을 때 이 브레인을 또 다시 클라우드나 인터넷 네트워크와 연결한다. 자신의 위치와 환경을 감지할 수 있는 센서와 카메라를 두 눈에 배치하고 사람의 명령을 듣고 답할 수 있는 마이크와 스피커를 마치 입모양처럼 장착한다. 손가락을 포함한 각 관절에 동력을 부여하고 인간처럼 직립보행이 가능할 수 있도록 구현한다. 당연히 이 모든 것이 작동할 수 있도록 에너지를 뿜어낼 수 있는 고용량, 고성능의 배터리로 있어야겠다. 이렇게 사람처럼 꾸민 기계가 우리가 꿈꿔왔던 로봇의 모습이라고 한다면 딱히 불가능한 수준도 아닐 것 같다. 물론 그게 전부는 아니다.Humanity is still focusing on developing artificial intelligence. The ability of artificial intelligence became a hot topic by defeating Lee Sedol, the king of baduk. Let's think about it. Assuming that the area where this artificial intelligence is installed is the brain, this brain is again connected to the cloud or Internet network. Sensors and cameras that can detect one's location and environment are placed in the eyes, and a microphone and speaker that can listen to and respond to human commands are installed like a mouth. It provides power to each joint, including the fingers, and makes it possible to walk upright like a human. Of course, it needs to be a high-capacity, high-performance battery that can emit energy to make all of this work. If a machine designed like this is the robot we've dreamed of, it wouldn't be an impossible task. Of course, that's not all.

우리나라의 포털기업인 네이버는 네이버랩스라는 연구조직을 통해 자율주행 자동차와 로봇을 연구해왔다. 네이버랩스는 생활 환경 지능(ambient Intelligence) 기반으로 작동하는 제품군과 서비스를 개발하는데 중점을 두고 있다. 주요한 연구 결과물 중 하나가 ‘에어카트(Aircart)'다. Naver, a Korean portal company, has been researching self-driving cars and robots through a research organization called Naver Labs. Naver Labs focuses on developing product products and services that operate based on ambient intelligence. One of the major research results is ‘Aircart.’

근력증강 웨어러블(pHRI, physical Human-Robot Interaction)이라고 해서 손잡이에 달려있는 힘 센서가 사용자의 조작하고자 하는 의도를 파악해 움직임을 제어한다. 즉 오르막 길에서는 밀어내는 힘을 측정하고 내리막길에서는 잡아당기는 힘을 파악해 움직인다는 것이다. 네이버의 형상가변로봇이 현실화되면 마치 영화의 한 장면을 보는듯한 느낌이 들 것 같다. It is called a muscle-enhancing wearable (pHRI, physical human-robot interaction), and the force sensor attached to the handle controls the movement by detecting the user's intention to operate it. In other words, when going uphill, the pushing force is measured, and when going downhill, the pulling force is measured and moved. When Naver's shape-shifting robot becomes a reality, it will feel like watching a scene from a movie.

이와 더불어 업계가 가장 주목한 분야는 ‘브레인리스 로봇(Brainless Robot)'이다. 첨단 인공지능을 탑재하고 인터넷을 수신할 수 있는 기기를 로봇의 머리가 되는 상단 영역에 배치한다는 의미로 앞서 언급한 바 있지만 브레인리스 로봇은 5세대 이동통신이 구현되면 이러한 영역이 없이도 구동이 가능하다는 것이다. 이미 알려진 것처럼 5세대 이동통신의 가장 큰 장점은 초고속은 기본이고 초연결과 초저지연성이다. In addition, the field that the industry has paid the most attention to is ‘Brainless Robot.’ It was mentioned earlier that a device equipped with advanced artificial intelligence and capable of receiving the Internet is placed in the upper area of the robot's head, but brainless robots can be operated without this area once 5th generation mobile communication is implemented. will be. As already known, the biggest advantage of 5th generation mobile communication is ultra-high speed, ultra-connectivity, and ultra-low latency.

쉽게 말하면 명령을 내린 이후 명령에 대한 신호가 통신으로 전달되어 수행하는 과정을 모두 포함하는데 이러한 '초저지연성‘이 5G의 가장 큰 특징이기도 하다. ’브레인리스‘ 로봇의 ’브레인‘ 역할을 하는 영역은 모두 로봇 몸체와 떨어져 외부에 존재하게 된다. 클라우드 기반으로 로봇을 제어한다는 측면에서 여러 대의 로봇을 일괄적으로 움직일 수도 있고 무엇보다 로봇마다 반드시 들어가야 할 프로세서를 하나씩 넣지 않아도 된다는 점이 꽤 매력적이다. Simply put, it includes the entire process of issuing a command and then transmitting the signal for the command through communication, and this ‘ultra-low latency’ is also the biggest feature of 5G. All areas that serve as the ‘brain’ of a ‘brainless’ robot exist outside the robot body. In terms of cloud-based robot control, it is quite attractive that multiple robots can be moved at once, and above all, there is no need to install a single processor for each robot.

Market&Markets에 따르면, 로봇 시장은 도 1에서와 같이 2016년 840만달러에서 2017년 1,900만달러로 226.2% 성장하였으며, 25년까지 CAGR 52.44% 성장해 6.7억달러까지 성장할 것으로 분석하고 있다.According to Market&Markets, the robot market grew 226.2% from $8.4 million in 2016 to $19 million in 2017, as shown in Figure 1, and is expected to grow at a CAGR of 52.44% by 25 to $670 million.

기본적으로 종래의 로봇 산업은 주로 산업용 로봇을 위주로 하였으나, 최근로봇 기술의 발전, 로봇 이용에 대한 대중의 관심 등을 통해 다양한 기능을 수행하는 로봇들이 늘어나고 있다. 하지만, 로봇들은 팔이 있는 로봇이냐, 다리 또는 바퀴가 있고 모니터가 없는 로봇이냐 등과 같은 로봇 특성이 서로 다르고, 각 로봇에서 사용하는 운영 체제 및 각 로봇에 구비된 하드웨어의 특징들이 서로 다르다. 특히 로봇은 다양한 입출력 보드들의 선택적 사용, 1개 이상의 프로세서 보드의 사용, 프로세서 보드에 리눅스, 윈도우, 실시간 운영체제, 임베디드 리눅스 등의 다양한 운영체제 및 ROS, OPRoS, OpenRTM, OROCOS와 같은 미들웨어가 작동될 수 있다. 따라서, 로봇마다 필요로 하거나, 구동 가능한 어플리케이션 및 로봇 컨텐츠들은 같은 기능을 하더라도 프로세서 보드, 운영체제, 미들웨어 또는 로봇 특성 등에 따라 서로 달라질 수 밖에 없다.Basically, the conventional robot industry mainly focused on industrial robots, but the number of robots performing various functions is increasing due to recent developments in robot technology and public interest in the use of robots. However, robots have different robot characteristics, such as whether they are robots with arms or robots with legs or wheels and no monitor, and the operating systems used by each robot and the characteristics of the hardware provided in each robot are different. In particular, the robot can selectively use various input/output boards, use more than one processor board, and run various operating systems such as Linux, Windows, real-time operating system, embedded Linux, and middleware such as ROS, OPRoS, OpenRTM, and OROCOS on the processor board. . Therefore, even if the applications and robot contents required or runnable by each robot have the same function, they inevitably differ depending on the processor board, operating system, middleware, or robot characteristics.

한편, 다양한 로봇들을 위한 어플리케이션 및 로봇 컨텐츠를 개발하더라도 해당 로봇에 직접 다운로드하여 적합한지 여부를 검증(혹은 테스트)하는 것은 로봇의 안정적 동작, 및 동작 환경 설정을 위한 많은 시간과 비용을 필요로 한다. 여러 프로세서 보드와 이종 운영체제가 필요한 로봇의 경우, 어플리케이션 및 로봇 컨텐츠 개발자 모두가 이러한 로봇 시스템을 구매하는 것은 매우 어렵다. 그렇기 때문에 기존 클라우드 시스템에서 제공하는 가상 기계 및 이종 운영체제들을 활용하여 보다 쉽게 어플리케이션 및 로봇 컨텐츠를 개발 및 검증하여 제공하는 방법이 필요하다. 즉, 대상 로봇을 위한 어플리케이션 및 로봇 컨텐츠의 개발 시에 최적의 개발 및 검증 환경을 제공하는 동시에, 대상 로봇을 위한 최적의 어플리케이션 및 로봇 컨텐츠를 활용 및 제공할 수 있는 방법이 요구되고 있다.Meanwhile, even if applications and robot content are developed for various robots, downloading them directly to the robot and verifying (or testing) whether they are suitable requires a lot of time and money to ensure stable operation of the robot and set up the operating environment. In the case of robots that require multiple processor boards and heterogeneous operating systems, it is very difficult for both application and robot content developers to purchase such robot systems. Therefore, a method is needed to more easily develop, verify, and provide applications and robot contents by utilizing virtual machines and heterogeneous operating systems provided by existing cloud systems. In other words, there is a need for a method that can provide an optimal development and verification environment when developing applications and robot contents for target robots, while utilizing and providing optimal applications and robot contents for target robots.

또한 로봇 관리 기능. 로봇 온라인 제어 보드, 이동형 / 고정형 Brainless robot 을 위한 캘리브레이션, 로봇 동작 / 로봇 데이터 실시간 Dashboard 기능, 진동 및 에너지 모니터링을 통한 AI 제어 통합 기능. AR/VR/XR 연계 감안한 네트워크 연계 기능 및 온라인 캘리브레이션이 요구되고 있다.Also robot management function. Robot online control board, calibration for mobile/stationary brainless robots, robot motion/robot data real-time dashboard function, AI control integration function through vibration and energy monitoring. Network linkage functions and online calibration considering AR/VR/XR linkage are required.

그에 따라 일반적으로 사용되는 고정형 / 반복학습만 가능한 로봇 제어에서 사용자의 요구에 적응 할 수 있는 모듈형 로봇으로 변경하여 제조 유연성 확보, 제조 환경에 적합하게 융화된 편리한 네트워크 연결 및 원격 연결 / 데이터 API 및 AI 제어 통합 플랫폼을 통해 실시간으로 로봇 상태를 파악 / 전달할 필요가 있다.Accordingly, manufacturing flexibility has been secured by changing from the commonly used fixed/repetitive learning-only robot control to a modular robot that can adapt to user needs, and convenient network and remote connection/data API and data APIs that are suitable for the manufacturing environment. There is a need to identify/deliver the robot status in real time through an AI control integrated platform.

그러나 현재까지는 다양한 업체들이 관련 기술을 개발하고 있으나 로봇과 로봇관의 관계를 고려한 형태는 하나의 메이커 기반으로 한 플랫폼만이 존재하고, 다양한 로봇을 상호적용하기 위한 데이터 파이프라인을 제공하는 아키텍처 및 클라우드 시스템으로 변할 필요성이 있다. 또한, 이를 산업현장에서 5G 기반으로 적용하기에 5G의 현재 기술력 또한 부족한 상황이고, 특히 중소업체의 경우에는 보다 어렵다는 문제가 있었다.However, to date, various companies are developing related technologies, but only one maker-based platform exists that considers the relationship between robots and robotics, and there is an architecture and cloud that provides a data pipeline for mutual application of various robots. There is a need to change the system. In addition, the current technology of 5G is insufficient to apply it based on 5G in industrial sites, and it is especially difficult for small and medium-sized companies.

특허문헌 1 : 대한민국 공개특허 10-2020-0120394호(2020년10월21일 공개) - 안드로이드 기반의 다용도 로봇 플랫폼 장치Patent Document 1: Republic of Korea Patent Publication No. 10-2020-0120394 (published on October 21, 2020) - Android-based multipurpose robot platform device 특허문헌 2 : 대한민국 공개특허 10-2021-0084025호(2021년07월07일 공개) -딥러닝 기반의 학습 클라우드 플랫폼을 이용하는 로봇용 인공지능 컴퓨팅 플랫폼Patent Document 2: Republic of Korea Patent Publication No. 10-2021-0084025 (published on July 7, 2021) - Artificial intelligence computing platform for robots using deep learning-based learning cloud platform 특허문헌 3 : 대한민국 공개특허 10-2015-0074375호(2015년07월02일 공개) -로봇 플랫폼 환경에서 다양한 기종의 로봇을 제어하는 스마트 기기 및 로봇 제어 방법Patent Document 3: Republic of Korea Patent Publication No. 10-2015-0074375 (published on July 2, 2015) - Smart device and robot control method for controlling various types of robots in a robot platform environment 특허문헌 4 : 대한민국 공개특허 10-2021-0008605호(2021년01월25일 공개) - 이동 로봇 플랫폼 시스템 및 그 운용 방법Patent Document 4: Republic of Korea Patent Publication No. 10-2021-0008605 (published on January 25, 2021) - Mobile robot platform system and method of operation thereof

따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 고정된 형태로 사용되는 방식에서 벗어나 6축 가속도 센서를 활용하여 로봇이 모듈형으로 사용될 수 있는 환경을 구축하고 이를 통해 Brainless 산업용 클라우드 로봇 시스템을 통하여 고객의 니즈에 맞는 다양한 로봇 어플리케이션과 로봇 관리를 위한 AI 제어 및 관리통합 플랫폼을 제공할 수 있는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템로봇 통합 관리 시스템을 제공하는데 목적이 있다.Therefore, the present invention is intended to solve all the shortcomings and problems of the prior art as described above. Instead of using the method in a fixed form, the present invention utilizes a 6-axis acceleration sensor to build an environment in which the robot can be used in a modular manner. We provide a robot integrated management system based on the Robot Operating System (ROS) that can provide various robot applications tailored to customer needs and an AI control and management integrated platform for robot management through the brainless industrial cloud robot system. There is a purpose.

상기한 목적을 달성하기 위하여 본 발명은 로봇 운용 체제(ROS) 기반인 복수의 브레인리스 로봇(101, 102, 103); 복수의 상기 브레인리스 로봇(101, 102, 103)을 원격으로 제어할 수 있도록 하기 위한 통신망(200); 및 복수의 상기 브레인리스 로봇(101, 102, 103)과의 데이터 연결을 위한 클라우드(300)을 포함하여 구성됨을 특징으로 하는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템을 제공한다.In order to achieve the above object, the present invention includes a plurality of brainless robots (101, 102, 103) based on a robot operating system (ROS); A communication network (200) for remotely controlling a plurality of the brainless robots (101, 102, 103); and a cloud 300 for data connection with the plurality of brainless robots 101, 102, and 103. It provides a robot operating system (ROS)-based robot integrated management system.

본 발명은 다음과 같은 효과가 있다.The present invention has the following effects.

첫째, 기존 시스템 대비 산업계 로봇 적용의 유연성 보장할 수 있다.First, it can ensure flexibility in industrial robot application compared to existing systems.

둘째, Brainless robot 보급을 통한 고도화된 스마트팩토리 모델 제시할 수 있다Second, an advanced smart factory model can be presented through the distribution of brainless robots.

셋째, 산업 5G network 활성화와 고속 시계열을 활용한 AI 고도화 Before 서비스 구축이 가능하다.Third, it is possible to activate industrial 5G networks and build AI-enhanced before services using high-speed time series.

넷째, AI 중앙 제어 시스템을 통한 숙련인력 부족의 제조 현장에 최적서비스를 제공할 수 있다.Fourth, the AI central control system can provide optimal services to manufacturing sites lacking skilled manpower.

다섯째, 산업현장 및 위험 현장의 인원 투입 피해 최소화가 가능하다.Fifth, it is possible to minimize damage from personnel input in industrial and hazardous sites.

여섯째, 단독 로봇을 공정/공방/공장까지 다양한 모델로 고객 요구에 적합하게사용할 수 있도록 할 수 있다.Sixth, independent robots can be used in a variety of models from process/workshop/factory to suit customer needs.

일곱째, 자체 개발된 클라우드 기반 플랫폼을 활용하여 로봇관리 대응하고 이상 시 Before Service 가능한 장점이 있다.Seventh, there is the advantage of responding to robot management using a self-developed cloud-based platform and enabling Before Service in case of an abnormality.

여덟째, 실시간 모니터링 시스템을 통해 시스템 관리자 및 사용자가 실시간 상황 체크 가능하다는 장점이 있다.Eighth, the real-time monitoring system has the advantage of allowing system administrators and users to check the situation in real time.

도 1은 로봇 시장의 성장 데이터를 나타낸 도면,
도 2 내지 도 4는 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 기본 개념을 설명하기 위한 도면,
도 5은 기존의 고정화된 로봇 시스템을 나타낸 도면,
도 6은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에서 클라우드 로봇 플랫폼 프로토 타입의 실시예를 나타낸 도면,
도 7은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 클라우드 로봇 플랫폼 구조를 나타낸 도면,
도 8 및 도 9는 세계 산업용 로봇과 협동 로봇 시장을 설명하기 위한 도면,
도 10 내지 도 11은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에 이용되는 6축 가속도 센서를 설명하기 위한 도면,
도 12는 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 일 실시예를 나타낸 도면,
도 13은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 다른 실시예를 나타낸 도면,
도 14는 도 12 및 도 13에 나타낸 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에서 실시간 모니터링 및 AI를 통한 중앙제어 서버의 실시예를 설명하기 위한 블록 구성도이다.Figure 1 is a diagram showing growth data of the robot market,
2 to 4 are diagrams for explaining the basic concept of a robot operating system (ROS)-based robot integrated management system according to the present invention;
Figure 5 is a diagram showing an existing fixed robot system;
Figure 6 is a diagram showing an embodiment of a cloud robot platform prototype in the Robot Operating System (ROS)-based robot integrated management system according to the present invention;
Figure 7 is a diagram showing the cloud robot platform structure of the robot operating system (ROS)-based robot integrated management system according to the present invention;
Figures 8 and 9 are diagrams to explain the global industrial robot and collaborative robot market;
10 to 11 are diagrams for explaining a 6-axis acceleration sensor used in a robot integrated management system based on a robot operating system (ROS) according to the present invention;
Figure 12 is a diagram showing an embodiment of a robot operating system (ROS)-based robot integrated management system according to the present invention;
Figure 13 is a diagram showing another embodiment of a robot operating system (ROS)-based robot integrated management system according to the present invention;
FIG. 14 is a block diagram illustrating an embodiment of a central control server through real-time monitoring and AI in the robot integrated management system based on the robot operating system (ROS) according to the present invention shown in FIGS. 12 and 13.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.A preferred embodiment of the present invention will be described in detail with the accompanying drawings as follows.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. In addition, the terms used in the present invention are general terms that are currently widely used as much as possible, but in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning is described in detail in the description of the relevant invention, so it is a simple term. We would like to make it clear that the present invention should be understood by the meaning of the term, not by its name. In addition, when describing the embodiments, description of technical content that is well known in the technical field to which the present invention belongs and that is not directly related to the present invention will be omitted. This is to convey the gist of the present invention more clearly without obscuring it by omitting unnecessary explanation.

도 2 내지 도 4는 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 기본 개념을 설명하기 위한 도면이고, 도 5은 기존의 고정화된 로봇 시스템을 나타낸 도면이며, 도 6은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에서 클라우드 로봇 플랫폼 프로토 타입의 실시예를 나타낸 도면이다.Figures 2 to 4 are diagrams for explaining the basic concept of the robot integrated management system based on the Robot Operating System (ROS) according to the present invention, Figure 5 is a diagram showing an existing fixed robot system, and Figure 6 is a diagram showing the present invention. This is a diagram showing an embodiment of a cloud robot platform prototype in a robot integrated management system based on Robot Operating System (ROS).

본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 기본 개념은 도 2 내지 도 4에 나타낸 바와 같은데, 기본적으로 고정된 형태로 사용되는 방식에서 벗어나 로봇이 모듈형으로 사용될 수 있는 환경을 구축하고, 이를 통해 Brainless 산업용 클라우드 로봇 시스템을 통하여 고객의 니즈에 맞는 다양한 로봇 어플리케이션과 로봇 관리를 위한 AI 제어와 관리통합 플랫폼으로, 도 2에 나타낸 바와 같은 매장로봇이나 실내자율주행 서비스 로봇에 대하여 클라우드 기반 로봇 플랫폼 개발하고, 자율주행 로봇 프로토타입으로 제작하여 산업용 로봇 연계 모듈 교체 시험 확인하고, 진동 및 전력 데이터 기반 로봇 예지보전을 수행하도록 한다.The basic concept of the Robot Operating System (ROS)-based robot integrated management system according to the present invention is as shown in Figures 2 to 4, and is an environment in which robots can be used in a modular way, breaking away from the method of using them in a basic fixed form. Through this, we build an AI control and management integration platform for various robot applications and robot management that meets customer needs through a brainless industrial cloud robot system, and provide cloud services for store robots and indoor autonomous service robots as shown in Figure 2. Develop a basic robot platform, produce an autonomous robot prototype, test and confirm replacement of industrial robot linkage modules, and perform robot predictive maintenance based on vibration and power data.

또한 실시간 실내 현황 데이터 체크를 위한 UI/UX 기반 디자인 모니터링 웹 페이지 제작하여 제공하고, 고속데이터 수집을 위한 5G 기반 네트워크 설계 및 DB 설계/제작, Edge와 Cloud 연동을 통한 통신환경 구축하고, 서비스 구체화 그리고 AI기반 중앙 제어 플랫폼 고도화, 진동 및 전력 데이터가 로봇의 이상을 감지할 경우 플랫폼에서 로봇의 속도 변경 및 고객전달 하여 자동으로 로봇 관리가 이루어지고 이에 따라 Before 서비스 진행하도록 한다. 또한 기 개발 프로토타입 자율주행 / 산업용 코봇(협동) 연계 플랫폼 수정 보완 및 상품화를 제공하도록 한다.In addition, we create and provide a UI/UX-based design monitoring webpage to check real-time indoor status data, design/produce a 5G-based network and DB for high-speed data collection, establish a communication environment through Edge and Cloud linkage, materialize services, and When the AI-based central control platform is advanced and vibration and power data detect an abnormality in the robot, the platform changes the speed of the robot and delivers it to the customer to automatically manage the robot and proceed with the before service accordingly. In addition, we will provide modifications, supplements, and commercialization of the already developed prototype autonomous driving / industrial cobot (collaboration) linkage platform.

그리고 산업환경에서 기존의 로봇은 도 5에서와 같이 고정된 위치에서 하나의 모델로서만 동작할 수 있도록 구성되어 변경이 매우 어렵고 이에 따라 이동형 환경이나 유연화되지 못하는 특징이 존재하였다. 그러나 산업 모델의 변화로 인해 개인의 특장점을 요구하는 Mass Customization 생산 방식을 위해서는 제조 모델의 유연성을 확보하여야 하는데, 4차 산업 혁명으로 인한 가상화 연계 / 5G 네트워크 기반 더욱 고도화된 제조 환경을 구축하고 이를 유연한 제조 환경을 구성하기 위해서는 Brainless Robot Platform 이 필요하다.And in the industrial environment, existing robots are configured to operate only as one model in a fixed position, as shown in FIG. 5, so it is very difficult to change, and thus, there is a characteristic that it cannot be used in a mobile environment or flexible. However, due to changes in the industrial model, the flexibility of the manufacturing model must be secured for the mass customization production method that requires individual characteristics. By establishing a more advanced manufacturing environment based on virtualization linkage / 5G network due to the 4th industrial revolution and flexible manufacturing environment. A Brainless Robot Platform is required to configure the manufacturing environment.

특히, 기존의 산업현장에서 Robot을 다루는 인원의 경우 고도화된 기술교육을 받은 인원으로 구성되어 있고, 사용하기 어려운 특성이 존재하며 컨트롤러를 통해 유선 / 현장으로 진행해야만 가능한 한계점이 존재한다. In particular, in the case of personnel handling robots in existing industrial sites, they are comprised of personnel who have received advanced technical training, and there are characteristics that make it difficult to use, and there are limitations that can only be achieved by wired / on-site processing through a controller.

그에 따라 제조 환경에 유연성을 보장하기 위해서는 Robot의 동작 로직을 Web에서 진행하고 이를 네트워크를 통해 상호 연결할 수 있는 플랫폼이 필요하며 이를 쉽게 사용할 수 있어야 하는데, 이를 위해서는 현재의 로봇 개발을 위한 시스템에서 Cloud 및 초저지연 5G 연결이 필요하고, 서비스를 Docker 및 마이크로아키텍처 기반으로 재편성할 필요성 존재한다.Accordingly, in order to ensure flexibility in the manufacturing environment, a platform that can process the robot's operation logic on the web and interconnect them through a network is needed, and it must be easy to use. To achieve this, the current system for robot development requires Cloud and Ultra-low latency 5G connectivity is needed, and there is a need to reorganize services based on Docker and microarchitecture.

또한, 산업재해 특별법에 의한 위험 공간에 인원 투입이 제한되고 있어 이로 인해 산업 피해 역시 대비하여야 한다.In addition, personnel input into hazardous spaces is restricted under the Special Act on Industrial Accidents, and as a result, industrial damage must also be prepared.

본 발명에서는 도 6에서와 같은 머신 비전 연동형 Brainless 로봇 플랫폼 개발하고, 자율주행 로봇 프로토타입 연동과 해당 플랫폼을 제공하고자 한다. In the present invention, the aim is to develop a brainless robot platform linked to machine vision as shown in Figure 6, and provide the platform and linkage to a self-driving robot prototype.

즉 Brainless Robot을 구성하여 모델이 변경/제조 환경이 변경되면 해당 플랫폼이 인지하고 이를 고객 및 사용자에게 전달하고, 제조 환경의 변경을 관리자가 승인 후 즉각적인 액션 변경 및 모델 변경이 가능하도록 하며, 프로토타입을 위해 머신비전을 Endpoint에 연결하여 플랫폼 활성화하고자 한다.In other words, by configuring the Brainless Robot, when the model changes/manufacturing environment changes, the platform recognizes it and communicates it to customers and users. After the manager approves the change in the manufacturing environment, immediate action changes and model changes are possible, and the prototype For this purpose, we plan to activate the platform by connecting machine vision to the endpoint.

도 7은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 클라우드 로봇 플랫폼 구조를 나타낸 도면이고, 도 8 및 도 9는 세계 산업용 로봇과 협동 로봇 시장을 설명하기 위한 도면이다.Figure 7 is a diagram showing the cloud robot platform structure of the robot operating system (ROS)-based integrated robot management system according to the present invention, and Figures 8 and 9 are diagrams for explaining the global industrial robot and collaborative robot market.

각 Robot에 5G를 보유한 IoT를 연결하여 고속 시계열 및 동작 선택의 유연성을 보장하면서 동시에 중앙 Cloud 센터와 실시간 연동을 통해 Robot 액션을 원격으로 제어하도록 한다. 그리고 Cloud로 전송된 데이터를 기반으로 로봇 실시간 모니터링 시스템 제공하며, 이를 통해 실시간 로봇 상태 감시 및 Before service 제공이 가능하도록 한다.By connecting IoT with 5G to each robot, it ensures high-speed time series and flexibility in action selection, while simultaneously controlling robot actions remotely through real-time linkage with the central cloud center. In addition, it provides a robot real-time monitoring system based on data transmitted to the cloud, which enables real-time robot status monitoring and before service provision.

그리고 AI 기반 중앙 제어를 통해 로봇 동작을 고도화한다.And robot operations are advanced through AI-based central control.

이와 같은 경우 기존 Robot 시스템 대비하여 유연한 공정 및 자동화가 필요한 공정에 개발한 ‘머신비전 연동형 Brainless Robot’을 통한 산업 효율성 개선이 가능하고, 다양한 로봇 어플리케이션 (자율주행 + ARM / ARM + Gripper / Vision + ARM)들이 적용될 수 있는 환경인 산업용 Cloud Robot 플랫폼을 구축하여 해당 유연성 보장할 수 있다.In this case, industrial efficiency can be improved through the 'Machine Vision Linked Brainless Robot' developed for processes that require flexible processes and automation compared to existing robot systems, and various robot applications (autonomous driving + ARM / ARM + Gripper / Vision + Flexibility can be guaranteed by building an industrial Cloud Robot platform, which is an environment where ARM) can be applied.

또한 자율주행 로봇과 연동 산업현장에 필요한 형태로 공급될 수 있는 Digital Worker화와 중앙 제어 및 데이터 모니터링을 통해 Before service 가능한 모델 구축이 가능하다,In addition, it is possible to build a model capable of before service through central control and data monitoring and digital worker conversion that can be supplied in the form required for industrial sites linked with self-driving robots.

한편 국내 시장에서의 로봇 활용은 다른 어느 국가보다 높은 상황이고, 2020년 기준 북미 산업용 로봇 시장에서 비자동차 부문이 자동차 부문을 처음으로 앞서기 시작했다. 2020년 전 세계적으로 전자산업의 자동차 도입이 자동차 부문을 처음 추월했고, 자동차 산업은 전기자동차 시장의 급부상으로 생산 시스템 측면에서 대전환의 시기이다. 또한 주요 고객사가 아닌 금속기계, 식음료 및 바이오, 플라스틱 및 고무, 화학 산업으로 산업용 로봇 용도 확대가 이루어지고 있다.Meanwhile, the use of robots in the domestic market is higher than in any other country, and as of 2020, the non-automotive sector began to surpass the automotive sector for the first time in the North American industrial robot market. In 2020, the introduction of automobiles in the electronics industry globally surpassed the automobile sector for the first time, and the automobile industry is in a period of great transformation in terms of production systems due to the rapid rise of the electric vehicle market. In addition, the use of industrial robots is expanding to include metal machinery, food and beverage, bio, plastic and rubber, and chemical industries that are not major customers.

도 8 및 도 9에서와 같이 산업용 로봇과 협동로봇이 성장이 예측되고 있으며, 협동로봇 비욜역시 가파르게 상승되고 있다.As shown in Figures 8 and 9, industrial robots and collaborative robots are expected to grow, and collaborative robot growth is also rising rapidly.

도 10 내지 도 11은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에 이용되는 6축 가속도 센서를 설명하기 위한 도면이다.10 to 11 are diagrams for explaining a 6-axis acceleration sensor used in a robot integrated management system based on a robot operating system (ROS) according to the present invention.

본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에 이용되는 6축 가속도 센서는 도 10 및 도 11에 나타낸 바와 같은 데, IMU는 Inertial Measurement Unit의 약자로, 관성 측정 센서이다. IMU센서는 자이로스코프/가속도계/지자기센서로 구성된 센서이며, 관성을 측정하여 최종적으로 구하고자 하는 값은 물체가 기울어진 각도이다.The 6-axis acceleration sensor used in the robot integrated management system based on the Robot Operating System (ROS) according to the present invention is as shown in Figures 10 and 11. IMU stands for Inertial Measurement Unit and is an inertial measurement sensor. The IMU sensor is a sensor composed of a gyroscope/accelerometer/geomagnetic sensor, and the final value to be obtained by measuring inertia is the angle at which the object is tilted.

IMU센서에 들어있는 세가지 센서들은 각자 다음과 같은 특징을 가지고 있다.The three sensors included in the IMU sensor each have the following characteristics.

1. 자이로스코프1. Gyroscope

* 회전의 변화량(각속도[rad/s])를 측정한다. 이는 시간당 회전한 각도가 필요할 때 사용된다.* Measures the change in rotation (angular velocity [rad/s]). This is used when the angle rotated per hour is required.

* 각속도를 출력으로 내보내기 때문에 전체 시간동안 이 각속도를 적분하면 기울어진 각도를 계산할 수 있다.* Since the angular velocity is output as output, the tilt angle can be calculated by integrating this angular velocity over the entire time.

* 센서에서 측정되는 각속도는 노이즈나 기타 이유들에 의해 측정값에 계속 작은 에러가 발생하는데, 이 값들이 적분시 누적되어 최종 값의 오차가 커지게 한다.* The angular velocity measured by the sensor continues to have small errors in the measured value due to noise or other reasons, and these values accumulate during integration, causing the error in the final value to increase.

* 오차보상을 위해 지자기 센서를 사용한다.* A geomagnetic sensor is used to compensate for errors.

2. 가속도계2. Accelerometer

* 가속도(m/s^2)를 측정하고 초기값을 계산할 때 중력가속도를 분해하여 얼마나 기울어졌는지를 측정하는데 사용한다.* When measuring acceleration (m/s^2) and calculating the initial value, the gravitational acceleration is decomposed and used to measure the degree of tilt.

* 센서가 3차원에서 움직일 때 x축, y축, z축 방향의 가속도를 측정한다.* When the sensor moves in three dimensions, it measures acceleration in the x-, y-, and z-axis directions.

* 가속도를 적분하여 속도와 이동거리값을 사용할 수도 있다.* You can also use speed and moving distance values by integrating acceleration.

* 움직이는 상태에서는 가속도계로 기울기 값을 측정할 수 없다.* In a moving state, the tilt value cannot be measured with an accelerometer.

3. 지자기센서3. Geomagnetic sensor

* 지자기(magnet)를 측정하기 위해 자북을 기준으로 자기선속의 세기를 측정하여 자북에서 얼마나 틀어졌는지를 측정한다.* To measure geomagnetism, the strength of magnetic flux is measured based on magnetic north and the degree to which it deviates from magnetic north is measured.

* 이 센서를 통해 구하는 값은 자이로 스코프의 오차를 보정해주는 작업에 쓰인다.* The value obtained through this sensor is used to correct the error of the gyroscope.

이러한, IMU 센서의 이용 사례와 형태는,These use cases and types of IMU sensors are:

* 가상현실 환경에서의 상호작용을 위한 IMU센서 기반의 제스처인식 시스템* Gesture recognition system based on IMU sensor for interaction in virtual reality environment

- 특정 제스처의 IMU센서의 결과값을 시계열 데이터화 하여 CNN(Computer Neural Network) 모델을 이용하여 학습- The results of the IMU sensor of a specific gesture are converted into time series data and learned using a CNN (Computer Neural Network) model.

- 정확도가 99.5%정도로 IMU센서의 데이터만으로도 충분히 모션 인식이 가능하다는 것을 보임- The accuracy is about 99.5%, showing that motion recognition is sufficiently possible with only the data from the IMU sensor.

(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE10448424)(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE10448424)

* GPS/IMU 센서 융합을 이용한 위치 추정에 관한 연구* Research on location estimation using GPS/IMU sensor fusion

- 위치 추적을 할 때 GPS만을 이용할 경우의 단점(결과가 부드럽지 않음)- Disadvantages of using only GPS when tracking location (results are not smooth)

IMU만을 이용할 경우의 단점(오차 누적으로 인해 위치가 크게 틀어짐)Disadvantage of using only IMU (position is greatly distorted due to error accumulation)

- 위의 두 센서의 단점을 두 센서 모두 사용함으로써 상호보완하여 위치 추적의 성능을 크게 향상시킴- The shortcomings of the above two sensors are complemented by using both sensors, greatly improving location tracking performance.

(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11108431)(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11108431)

* IMU센서를 사용한 실내 방향 추정에 관한 연구* Research on indoor direction estimation using IMU sensors

- IMU센서의 각도 검출에서 지자기센서가 교란 받는 정도를 측정하여 보정함으로써 전체 측정의 정확도를 높임- Increases the accuracy of the overall measurement by measuring and correcting the degree to which the geomagnetic sensor is disturbed in the angle detection of the IMU sensor.

(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11022866)(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11022866)

* IMU센서를 이용한 보드로봇의 무선제어 연구* Research on wireless control of board robot using IMU sensor

- IMU센서를 이용자의 팔에 부착하고, 이를 통해 이용자의 팔 위치나 행동을 분석하여, 타고있는 보드를 제어하는 연구- Research on attaching an IMU sensor to the user's arm and analyzing the user's arm position or behavior to control the board being ridden.

- 보드만이 아니라 세그웨이와 같은 탑승형 로봇에도 IMU센서가 다방면으로 이용 가능함.- IMU sensors can be used in a variety of ways, not only on boards but also on ride-on robots such as Segway.

(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE02478296)(https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE02478296)

도 12는 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 일 실시예를 나타낸 도면이다.Figure 12 is a diagram showing an embodiment of a robot operating system (ROS)-based robot integrated management system according to the present invention.

본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 일 실시예는 도 12에 나타낸 바와 같이, 복수의 브레인리스 로봇(101, 102, 103)과, 통신망(5G 네트워크)(200)과, 클라우드(300) 및 실시간 모니터링 및 AI를 통한 중앙제어 서버(400)를 포함하여 구성된다.As shown in FIG. 12, an embodiment of the robot integrated management system based on the robot operating system (ROS) according to the present invention includes a plurality of brainless robots 101, 102, 103, a communication network (5G network) 200, and , It is composed of a cloud (300) and a central control server (400) through real-time monitoring and AI.

복수의 브레인리스 로봇(101, 102, 103)은 매장로봇이나 실내자율주행 서비스 로봇, 협업로봇을 포함하는 머신 비전 연동형 산업용 로봇으로, IMU 센서가 각각 부착된 로봇이다. 이러한 복수의 브레인리스 로봇(101, 102, 103)은 금속기계, 식음료 및 바이오, 플라스틱 및 고무, 화학 산업 전반의 산업용 로봇으로 고정은 물론 이동 가능한 모듈형 로봇이며, 로봇 운용 체제(ROS) 기반으로 동작된다. The plurality of brainless robots 101, 102, and 103 are machine vision-linked industrial robots, including store robots, indoor autonomous service robots, and collaborative robots, and are robots each equipped with an IMU sensor. These brainless robots (101, 102, 103) are modular robots that can be moved as well as fixed as industrial robots in the metal machinery, food and beverage, bio, plastic and rubber, and chemical industries, and are based on the Robot Operating System (ROS). It works.

통신망(200)은 복수의 브레인리스 로봇(101, 102, 103)에 5G를 보유한 IoT를 연결하여 고속 시계열 및 동작 선택의 유연성을 보장하면서 동시에 중앙 Cloud 센터와 실시간 연동을 통해 Robot 액션을 원격으로 제어할 수 있도록 하기 위한 5G 네트워크를 포함한다.The communication network 200 connects IoT with 5G to a plurality of brainless robots 101, 102, and 103 to ensure high-speed time series and flexibility in motion selection, while remotely controlling robot actions through real-time linkage with the central cloud center. It includes a 5G network to make it possible.

클라우드(300)는 도 7에 나타낸 바와 같이 프록시 서버를 포함하며, AI 연계된 산업용 로봇인 복수의 브레인리스 로봇(101, 102, 103)과의 데이터 연결을 위한 클라우드 플랫폼으로, 특별히 한정한 필요는 없으나 중소기업의 경우 유용하게 이용할 수 있으며, 복수의 브레인리스 로봇(101, 102, 103) 운용에 필요한 각종 구동 프로그램을 제공하며, 관리자가 로봇 관리에 대응할 수 있도록 한다. 즉 AI 연계된 산업용 로봇 및 데이터 연결을 제공한다.The cloud 300 includes a proxy server as shown in FIG. 7 and is a cloud platform for data connection with a plurality of brainless robots 101, 102, and 103, which are AI-linked industrial robots. There is no need for special restrictions. However, it can be useful for small and medium-sized businesses, and provides various driving programs necessary for operating multiple brainless robots (101, 102, 103) and allows managers to respond to robot management. In other words, it provides AI-linked industrial robots and data connectivity.

실시간 모니터링 및 AI를 통한 중앙제어 서버(400)는 클라우드(300)를 통해 복수의 브레인리스 로봇(101, 102, 103)에 대하여 브레인리스 로봇(101, 102, 103) 각각에 부착된 IMU 센서를 통한 위치, 각도 정보를 수집하고, 고도화된 동작 데이터를 중앙에서 제어한다. 즉 실시간 모니터링 및 AI를 통한 중앙제어 서버(400)는 로봇 동작 / 로봇 데이터에 대하여 IMU 센서를 통해 실시간 Dashboard 기능이 가능하게 된다. 이때, 5G 네트워크 통신망(200)를 통해 초저지연에 의한 데이터 수집이 가능하고, 도 6에서와 같은 머신 비전 연동형으로 구성된 경우 진동 모니터링 및 AR/VR/XR 연계 감안한 네트워크 연계 기능이 제공된다.The central control server 400 through real-time monitoring and AI monitors the IMU sensors attached to each of the brainless robots 101, 102, and 103 for a plurality of brainless robots 101, 102, and 103 through the cloud 300. It collects location and angle information and centrally controls advanced motion data. In other words, the central control server 400 through real-time monitoring and AI enables a real-time dashboard function for robot motion/robot data through the IMU sensor. At this time, data collection with ultra-low delay is possible through the 5G network communication network 200, and when configured as machine vision-linked as shown in FIG. 6, network linkage functions considering vibration monitoring and AR/VR/XR linkage are provided.

도 13은 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 다른 실시예를 나타낸 도면이다.Figure 13 is a diagram showing another embodiment of a robot operating system (ROS)-based robot integrated management system according to the present invention.

본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템의 다른 실시예는 도 13에 나타낸 바와 같이, 제1 내지 제N브레인리스 로봇(100), 통신망(200), 클라우드(300), 실시간 모니터링 및 AI를 통한 중앙제어 서버(400), 복수의 제1 내지 제N 로봇 제조사 서버(500) 및 복수의 제1 내지 제N 로봇 관리 단말기(600)를 포함하여 구성된다.Another embodiment of the robot integrated management system based on the robot operating system (ROS) according to the present invention is as shown in Figure 13, the first to Nth brainless robots 100, the communication network 200, the cloud 300, and real-time It is configured to include a central control server 400 through monitoring and AI, a plurality of first to Nth robot manufacturer servers 500, and a plurality of first to Nth robot management terminals 600.

여기서 제1 내지 제N 브레인리스 로봇(100), 통신망(200), 클라우드(300), 실시간 모니터링 및 AI를 통한 중앙제어 서버(400)는 도 12에서와 동일하다.Here, the first to Nth brainless robots 100, the communication network 200, the cloud 300, and the central control server 400 through real-time monitoring and AI are the same as in FIG. 12.

그리고 복수의 제1 내지 제N 로봇 제조사 서버(500)는 복수의 제1 내지 제N 로봇 제조사의 서버이다. 이러한 복수의 제1 내지 제N 로봇 제조사 서버(500)는 제1 내지 제N 브레인리스 로봇(100)에 대한 제조사들의 서버로, 이동형, 고정형 블레인리스 로봇에 대한 각종 사양정보, 프로그램 운용정보, 각각의 IMU 센서 정보를 실시간 모니터링 및 AI를 통한 중앙제어 서버(400)로 제공한다.And the plurality of first to Nth robot manufacturer servers 500 are servers of a plurality of first to Nth robot manufacturers. These plural first to N robot manufacturer servers 500 are servers of manufacturers for the first to N brainless robots 100, and provide various specification information and program operation information for mobile and fixed brainless robots, respectively. IMU sensor information is provided to the central control server (400) through real-time monitoring and AI.

복수의 제1 내지 제N 로봇 관리 단말기(600)는 복수의 제1 내지 제N 브레인리스 로봇(100)에 대한 관리자의 단말기일 수 있는데, 예를 들어 스마트 패드나 스마트 폰일 수 있다. The plurality of first to Nth robot management terminals 600 may be terminals of managers for the plurality of first to Nth brainless robots 100, and may be, for example, smart pads or smart phones.

도 14는 도 12 및 도 13에 나타낸 본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에서 로봇 관리 서버의 실시예를 설명하기 위한 블록 구성도이다.FIG. 14 is a block diagram illustrating an embodiment of a robot management server in the robot integrated management system based on the robot operating system (ROS) according to the present invention shown in FIGS. 12 and 13.

본 발명에 따른 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템에서 실시간 모니터링 및 AI를 통한 중앙제어 서버의 실시예는 도 14에 나타낸 바와 같이, 통신부(401), 로봇 회원사 정보 저장부(402), 제조사별 로봇정보 수집부(403), 제조사별 로봇정보 분류부(404), 로봇 관리자 데이터 저장부(405), 로봇별 운용프로그램 저장부(406), 로봇 운용정보 수집부(407), 로봇 운용정보 분석부(408), 로봇 운용이상 검출부(409), 로봇이상정보 관리자 통보부(410), 로봇별 AI 운용정보 수집부(411), 로봇별 AI 운용정보 분석부(412), 로봇 운용정보 관리단말기 전송부(413), 로봇별-IMU 센서 운용정보 수집부(414), 로봇별-IMU 센서 운용정보 분석부(415), 로봇별-IMU 센서 운용정보 DB(416), 로봇 운용 최적화 정보 수집부(417), 로봇 운용 최적화 데이터베이스(418), 로봇 운용정보 제조사 전송부(419) 및 제어부(420)를 포함하여 구성된다.As shown in Figure 14, the embodiment of the central control server through real-time monitoring and AI in the robot integrated management system based on the robot operating system (ROS) according to the present invention includes a communication unit 401, a robot member company information storage unit 402, Robot information collection unit for each manufacturer (403), robot information classification unit for each manufacturer (404), robot manager data storage unit (405), operation program storage unit for each robot (406), robot operation information collection unit (407), robot operation. Information analysis unit 408, robot operation abnormality detection unit 409, robot abnormality information manager notification unit 410, AI operation information collection unit for each robot (411), AI operation information analysis unit for each robot (412), robot operation information Management terminal transmission unit (413), robot-specific IMU sensor operation information collection unit (414), robot-specific IMU sensor operation information analysis unit (415), robot-specific IMU sensor operation information DB (416), robot operation optimization information It is comprised of a collection unit 417, a robot operation optimization database 418, a robot operation information manufacturer transmission unit 419, and a control unit 420.

여기서 통신부(401)는 통신망(200)을 통해 복수의 로봇(100), 복수의 로봇 제조사 서버(500), 복수의 로봇 관리 단말기(600)와 실시간 모니터링 및 AI를 통한 중앙제어 서버(400)간 통신하도록 한다.Here, the communication unit 401 connects a plurality of robots 100, a plurality of robot manufacturer servers 500, a plurality of robot management terminals 600, and a central control server 400 through real-time monitoring and AI through the communication network 200. Let's communicate.

로봇 회원사 정보 저장부(402)는 복수의 로봇(100)를 설치한 공장과 같은 설치사와 로봇를 제조하는 제조사 중 회원가입된 회원사의 정보를 저장한다. 이러한 회원사 정보로는 회원사명, 회원사 연락처, 담당자 연락처, 사업장위치, 로봇 설치 주소 등이 될 수 있다.The robot member company information storage unit 402 stores information on member companies among installers, such as factories that have installed a plurality of robots 100, and manufacturers that manufacture robots. Such member company information may include member company name, member company contact information, contact information, business location, robot installation address, etc.

제조사별 로봇정보 수집부(403)는 로봇를 생산하는 제조사의 로봇 규격(스펙) 정보(로봇 크기, 로봇의 기능, 부착된 IMU 서종류, 센서위치, 로봇 가격정보, 부속품 및 센서의 가격 등), 로봇를 식별할 수 있는 고유식별번호 정보, 로봇를 실제 설치한 경우 설치위치, 설치회사명(공장명), 설치일, 점검일 정보 등이 포함될 수 있다. The robot information collection unit 403 for each manufacturer collects robot standard information (robot size, robot function, attached IMU type, sensor location, robot price information, price of accessories and sensors, etc.) of the manufacturer producing the robot, It may include unique identification number information to identify the robot, installation location if the robot is actually installed, installation company name (factory name), installation date, inspection date information, etc.

제조사별 로봇정보 분류부(404)는 제조사별 로봇정보 수집부(403)에서 수집된 제조사별 수집된 로봇의 규격정보를 분류한다. The manufacturer-specific robot information classification unit 404 classifies the robot standard information collected by manufacturer collected in the manufacturer-specific robot information collection unit 403.

로봇 관리자 데이터 저장부(405)는 복수의 로봇(100)를 관리하는 각각의 관리자(담당자)의 성함, 전화번호, PC 식별 정보, 스마트폰 정보 등이 포함된다. 물론 동일한 회사이거나, 로봇이 모여 있는 경우에는 한 사람이 여러 대를 관리할 수도 있다.The robot manager data storage unit 405 includes the name, phone number, PC identification information, smartphone information, etc. of each manager (person in charge) who manages the plurality of robots 100. Of course, if it is the same company or has a group of robots, one person can manage multiple robots.

로봇 운용 프로그램 저장부(406)는 복수의 로봇(100)들의 운용을 위한 프로그램이 로봇별로 저장된다. 이러한 운용 프로그램은 클라우드(300)와 협업될 수 있도록 된다. The robot operation program storage unit 406 stores programs for operating the plurality of robots 100 for each robot. These operating programs can collaborate with the cloud 300.

로봇 운용정보 수집부(407)는 로봇(100)의 운용정보를 수집한다.The robot operation information collection unit 407 collects the operation information of the robot 100.

로봇 운용 정보 분석부(408)는 로봇 운용정보 수집부(407)에서 수집된 정보를 분석한다. 이때, 클라우드(300)를 통해서는 실시간 운용되고, 운용되는 정보를 클라우드는 물론 로봇 운용 정보 분석부(408)에서도 분석한다.The robot operation information analysis unit 408 analyzes the information collected by the robot operation information collection unit 407. At this time, it is operated in real time through the cloud 300, and the operated information is analyzed not only in the cloud but also in the robot operation information analysis unit 408.

로봇 운용 이상 검출부(409)는 로봇 운용 정보 분석부(408)에서 분석된 복수의 로봇(100)에서의 이상상황을 검출한다. The robot operation abnormality detection unit 409 detects abnormal situations in the plurality of robots 100 analyzed by the robot operation information analysis unit 408.

로봇 이상정보 관리자 통보부(410)는 로봇 운용 이상 검출부(409)에서 수집된 이상상황에 대하여 관리자(운영자)의 PC나 스마트폰 등으로 통보한다.The robot abnormality information manager notification unit 410 notifies the manager (operator)'s PC or smartphone of abnormal situations collected by the robot operation abnormality detection unit 409.

로봇별 AI 운용정보 수집부(411)는 클라우드(300)를 통해 운용되는 로봇별 AI 운용정보를 수집한다.The AI operation information collection unit 411 for each robot collects AI operation information for each robot operated through the cloud 300.

로봇별 AI 운용정보 분석부(412)는 로봇별 AI 운용정보 수집부(411)에서 수집한 로봇별 AI 운용정보를 분석한다.The AI operation information analysis unit 412 for each robot analyzes the AI operation information for each robot collected by the AI operation information collection unit 411 for each robot.

운용정보 관리단말기 전송부(413)는 로봇별 AI 운용정보 분석부(412)에서 분석된 정보를 해당 로봇의 로봇 운용정보 관리 단말기(600)로 전송한다. 이러한 운용정보에 따라 로봇관리 대응이 가능하고 이상 시 Before Service 가능하게 된다.The operation information management terminal transmission unit 413 transmits the information analyzed by the AI operation information analysis unit 412 for each robot to the robot operation information management terminal 600 of the corresponding robot. Depending on this operation information, robot management response is possible and before service is possible in case of an abnormality.

로봇별-IMU 센서 운용정보 수집부(414)는 로봇별-IMU 센서 운용정보를 수집한다. The robot-specific IMU sensor operation information collection unit 414 collects the robot-specific IMU sensor operation information.

로봇별-IMU 센서 운용정보 분석부(415)는 로봇별-IMU 센서 운용정보 수집부(414)에서 수집한 정보를 분석한다.The robot-specific IMU sensor operation information analysis unit 415 analyzes the information collected by the robot-specific IMU sensor operation information collection unit 414.

로봇별-IMU 센서 운용정보 DB(416)는 로봇별-IMU 센서 운용정보 분석부(415)에서 분석된 정보를 저장한다.The robot-specific IMU sensor operation information DB 416 stores the information analyzed by the robot-specific IMU sensor operation information analysis unit 415.

로봇 운용 최적화 정보 수집부(417)는 제조사로부터 새롭게 업데이트된 로봇의 최적화 정보를 수집한다. 이때, 최적의 성능을 내는 로봇에 대하여 제조사의 규격정보와, 로봇를 설치한 회사(공장)의 운용정보(정기적인 점검횟수, 점검방식 등), 센서의 종류, 센서 제조사 등에 대한 정보 역시 함께 수집한다.The robot operation optimization information collection unit 417 collects newly updated robot optimization information from the manufacturer. At this time, information on the manufacturer's specifications for the robot that delivers optimal performance, operation information (frequency of regular inspection, inspection method, etc.) of the company (factory) that installed the robot, type of sensor, sensor manufacturer, etc. are also collected. .

로봇 운용 최적화 데이터베이스(418)는 로봇 운용 최적화 정보 수집부(417)에서 수집된 최적화정보를 데이터베이스화한다. 이러한 데이터베이스화에 따라 후발 로봇 제조사나 기존 회원 로봇 제조사에서는 타사의 로봇과 해당 로봇의 협업로봇, IMU 센서 정보를 통해 보다 개선된 로봇를 개발하는데 이용될 수 있다. 이러한 데이터는 특히 중소기업간에 유용하게 이용될 수 있다. The robot operation optimization database 418 converts the optimization information collected by the robot operation optimization information collection unit 417 into a database. According to this database, latecomer robot manufacturers or existing member robot manufacturers can use information from other companies' robots, their collaborative robots, and IMU sensors to develop more improved robots. This data can be particularly useful among small and medium-sized businesses.

로봇 운용정보 제조사 전송부(419)는 로봇별-IMU 센서 운용정보 DB(416) 정보와, 로봇 운용 최적화 데이터베이스(418)에서 각각의 제조사로 전송하는데 이는 제조사가 자신들의 IMU 센서가 부착된 로봇이 실제 현장에서 작동, 동작되거나, 이상이 발생한 정보 또는 최적화된 정보를 제공받아 이를 더욱 개선한데 이용하도록 할 수 있다.The robot operation information manufacturer transmission unit 419 transmits the robot-specific IMU sensor operation information DB 416 and the robot operation optimization database 418 to each manufacturer, which means that the manufacturer has a robot with its own IMU sensor attached. You can receive information that operates, operates, or has problems in the actual field, or optimized information and use it to further improve it.

제어부(420)는 통신부(401), 로봇 회원사 정보 저장부(402), 제조사별 로봇정보 수집부(403), 제조사별 로봇정보 분류부(404), 로봇 관리자 데이터 저장부(405), 로봇별 운용프로그램 저장부(406), 로봇 운용정보 수집부(407), 로봇 운용정보 분석부(408), 로봇 운용이상 검출부(409), 로봇이상정보 관리자 통보부(410), 로봇별 AI 운용정보 수집부(411), 로봇별 AI 운용정보 분석부(412), 로봇 운용정보 관리단말기 전송부(413), 로봇별-IMU 센서 운용정보 수집부(414), 로봇별-IMU 센서 운용정보 분석부(415), 로봇별-IMU 센서 운용정보 DB(416), 로봇 운용 최적화 정보 수집부(417), 로봇 운용 최적화 데이터베이스(418) 및 로봇 운용정보 제조자 전송부(419)를 제어한다.The control unit 420 includes a communication unit 401, a robot member company information storage unit 402, a robot information collection unit for each manufacturer (403), a robot information classification unit for each manufacturer (404), a robot manager data storage unit (405), and a robot information storage unit for each robot. Operation program storage unit 406, robot operation information collection unit 407, robot operation information analysis unit 408, robot operation abnormality detection unit 409, robot abnormality information manager notification unit 410, AI operation information collection for each robot. Unit 411, AI operation information analysis unit 412 for each robot, robot operation information management terminal transmission unit 413, robot-specific IMU sensor operation information collection unit 414, robot-specific IMU sensor operation information analysis unit ( 415), controls the robot-specific IMU sensor operation information DB 416, the robot operation optimization information collection unit 417, the robot operation optimization database 418, and the robot operation information manufacturer transmission unit 419.

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다. Although the present invention has been described with the above examples, the present invention is not necessarily limited to these examples, and various modifications may be made without departing from the technical spirit of the present invention. Accordingly, the examples disclosed in the present invention are not intended to limit the technical idea of the present invention but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these examples. The scope of protection of the present invention shall be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope thereof shall be construed as being included in the scope of rights of the present invention.

100 : 제1 내지 제N (브레인리스) 로봇
200 : 통신망
300 : 클라우드
400 : 실시간 모니터링 및 AI를 통한 중앙제어 서버
500 : 제1 내지 제N 로봇 제조사 서버
600 : 제1 내지 제N 로봇 관리 단말기100: 1st to Nth (brainless) robots
200: communication network
300: Cloud
400: Central control server through real-time monitoring and AI
500: 1st to Nth robot manufacturer servers
600: 1st to Nth robot management terminals

Claims

로봇 운용 체제(ROS) 기반인 복수의 브레인리스 로봇(101, 102, 103);
복수의 상기 브레인리스 로봇(101, 102, 103)을 원격으로 제어할 수 있도록 하기 위한 통신망(200); 및
복수의 상기 브레인리스 로봇(101, 102, 103)과의 데이터 연결을 위한 클라우드(300)을 포함하여 구성됨을 특징으로 하는 로봇 운용 체제(ROS) 기반 로봇 통합 관리 시스템.A plurality of brainless robots (101, 102, 103) based on Robot Operating System (ROS);
A communication network (200) for remotely controlling a plurality of the brainless robots (101, 102, 103); and
A robot operating system (ROS)-based robot integrated management system, characterized in that it includes a cloud (300) for data connection with the plurality of brainless robots (101, 102, 103).