KR102543745B1 - 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템 - Google Patents

Abstract

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법은, 로봇의 프로세서가 현장 운전상황 및 설비 정보를 수집하는 방법으로서, 상기 로봇의 이동을 제어하는 이동명령을 획득하는 단계; 상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하는 단계; 상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하는 단계; 상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하는 단계; 상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하는 단계; 및 상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 로봇이 포함하는 디스플레이 디바이스 중 적어도 하나로 송신하여 표시하도록 제공하는 단계를 포함한다.

Description

현장 운전상황 및 설비 정보 수집 방법 및 그 시스템{METHOD AND SYSTEM FOR COLLECTING THAT FIELD OPERATION SITUATION AND FACILITY INFORMATION}

본 발명은 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템에 관한 것이다. 보다 상세하게는, 원격의 위치에서 소정의 작업현장에 위치하는 로봇을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유하는 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템에 관한 것이다.

일반적으로, 대다수의 산업 분야에서 현장 작업자들은 각종 장치, 설비 또는 기기 등의 유지 보수 및 작업을 위한 업무를 수행하여 왔다.

그러나 최근 국내/외 수많은 작업현장에서 작업 위험도가 높은 업무나 공간에서의 작업을 수행하는 현장 작업자에 대한 안전 확보가 원활히 이루어지지 않아 지속적인 산업 재해가 발생하고 있는 상황이다.

자세히, 산업 현장에는 사고 발생을 유발하는 다양한 위험 요소들이 산재되어 있으나, 현장 작업자들은 이러한 위험을 감수하며 직접 위험한 구역에 들어가거나 위험을 수반하는 업무를 수행해야만 한다.

그러므로 현장 작업자의 안전을 위협하는 위와 같은 요인들에 의한 사고를 방지하기 위한 기술 도입이 필요시 되고 있다.

더하여, 다양한 위험 요소들이 산재한 작업현장에서 사고가 발생하기 이전에 이를 방지할 수 있도록 지속적인 모니터링을 수행하는 것은 매우 중요한 일이다.

그러나, 광범위한 영역에 걸쳐서 쉴 새 없이 가동되는 작업현장을 사람이 빠짐없이 모두 관찰하고 끊임없이 지속적으로 감시하기엔 한계가 존재한다는 문제가 있다.

한편, 최근에는 각종 산업 분야 등에서 그 필요성이 증대됨에 따라 지능형 로봇(Intelligent Robots)에 대한 기술 개발이 활발히 이루어지고 있다.

여기서, 지능형 로봇이란 외부환경을 인식(Perception)하고 스스로 상황을 판단(Cognition)하여 자율적으로 동작(Manipulation)하는　로봇을 의미한다.

즉, 기존의 로봇과 차별화되는 것은 상황판단 기능과 자율동작 기능이 추가된 것이다. 이때, 상기 상황판단 기능은 다시 환경인식 기능과 위치인식 기능으로 나뉘고, 자율동작 기능은 조작제어 기능과 자율이동 기능으로 나뉠 수 있다.

따라서, 위와 같은 지능형 로봇의 발전을 토대로 산업현장에서 발생할 수 있는 상술된 바와 같은 문제들을 해결할 수 있는 기술 도입을 고려할 필요성이 있다.

KR 10-1478908 B1

본 발명은, 원격의 위치에서 소정의 작업현장에 위치하는 로봇을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유하는 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템을 제공하는데 그 목적이 있다.

자세히, 본 발명은, 로봇을 이용하여 모니터링하고자 하는 작업현장에 대한 자동화된 순찰 프로세스(patrol process)를 제공하는 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템을 제공하고자 한다.

또한, 본 발명은, 상기 순찰 프로세스에 기초하여 획득되는 각종 데이터를 작업현장으로부터 원격에 위치하는 관리자와 상기 작업현장에 위치하는 작업자가 공유할 수 있는 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템을 제공하고자 한다.

또한, 본 발명은, 사용자(실시예에서, 원격 관리자 및/또는 현장 작업자)의 니즈(needs)에 따라서 상기 순찰을 수행하는 경로 및/또는 모니터링하고자 하는 타겟(target)을 변경 가능한 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템을 제공하고자 한다.

또한, 본 발명은, 상기 순찰 프로세스를 수행하며 상기 작업현장에서의 이상상황을 감지 및 알림하는 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템을 제공하고자 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법은, 로봇의 프로세서가 현장 운전상황 및 설비 정보를 수집하는 방법으로서, 상기 로봇의 이동을 제어하는 이동명령을 획득하는 단계; 상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하는 단계; 상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하는 단계; 상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하는 단계; 상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하는 단계; 및 상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 로봇이 포함하는 디스플레이 디바이스 중 적어도 하나로 송신하여 표시하도록 제공하는 단계를 포함한다.

이때, 상기 실시간 포인트 맵은, 상기 로봇이 감지 가능한 주변 영역에 배치된 적어도 하나의 오브젝트까지의 측정된 거리를 기초로 3차원 공간을 나타내는 포인트들의 집합에 기반하여 생성되는 점 지도 데이터이다.

또한, 상기 이동명령은, 타겟 작업현장 영역의 각각의 영역을 나타내는 복수의 포인트 맵을 포함하는 베이스 맵(base map)에 기초한 패트롤 이동경로 및 목표위치 중 적어도 하나를 포함한다.

또한, 상기 패트롤 이동경로는, 상기 타겟 작업현장 영역에 대한 포인트 맵을 생성하는 올어라운드(all-around) 이동경로, 상기 타겟 작업현장 영역에서 결정된 적어도 하나 이상의 핵심영역에 대한 포인트 맵을 생성하는 최단 시간의 이동경로인 핵심-최단시간 이동경로 및 사용자 입력에 따른 사용자 설정 이동경로 중 적어도 하나의 이동경로를 포함한다.

또한, 상기 로봇의 이동을 제어하는 단계는, 상기 베이스 맵의 일부 영역과 상기 실시간 포인트 맵을 맵핑하는 단계와, 상기 베이스 맵의 일부 영역의 이동경로를 상기 맵핑된 실시간 포인트 맵에 매칭하는 단계와, 상기 매칭된 실시간 포인트 맵의 이동경로에 따라서 이동하도록 이동부를 제어하는 단계를 포함한다.

또한, 상기 센싱정보를 획득하는 단계는, 상기 현재 기준영역의 기준이 되는 상기 로봇의 현재 위치정보, 상기 현재 기준영역의 적어도 일부를 촬영한 현장영상 및 상기 현재 기준영역에 대한 환경 감지정보 중 적어도 하나를 획득하는 단계를 포함한다.

또한, 상기 센싱정보를 획득하는 단계는, 상기 로봇의 이미지 센서 및 상기 로봇이 포함하는 디스플레이 디바이스의 이미지 센서 중 적어도 하나를 이용하여 상기 현장영상을 획득하는 단계를 더 포함한다.

또한, 상기 센싱정보를 획득하는 단계는, 타겟 작업현장 영역 전체에 대한 적어도 하나 이상의 포인트 맵을 포함하는 베이스 맵과, 상기 실시간 포인트 맵에 기초하여 상기 현재 위치정보를 획득하는 단계를 더 포함한다.

또한, 상기 이상객체 정보를 생성하는 단계는, 상기 이상객체 정보를 생성하는 조건을 포함하는 특정환경을 설정하는 단계와, 상기 환경 감지정보를 기초로 상기 특정환경을 감지하는 단계와, 상기 특정환경 내 오브젝트에 대한 위치정보 및 관련 특정환경 정보를 획득하는 단계를 포함한다.

또한, 본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법은, 상기 센싱정보와 상기 이상객체 정보 중 적어도 하나를 나타내는 가상 콘텐츠를 상기 현장영상에 증강하는 단계와, 상기 증강된 현장영상을 상기 원격 관리자 단말 또는 상기 현장 작업자 단말에 송신하여 표시하도록 제공하는 단계를 더 포함한다.

또한, 본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법은, 상기 센싱정보의 촬영영상을 상기 원격 관리자 단말 및 상기 현장 작업자 단말에 송신하는 단계와, 상기 촬영영상을 기초로 상기 원격 관리자 또는 상기 현장 작업자로부터 입력된 작업 가이던스를 수신하는 단계와, 상기 촬영영상에 대해 상기 작업 가이던스를 증강하여 상기 디스플레이 디바이스에 표시하는 단계를 더 포함한다.

한편, 본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 시스템은, 로봇의 본체를 이동시키는 이동부; 상기 로봇의 주변 영역을 센싱하는 센서부; 상기 로봇에 탈착 가능한 형태로 그래픽 이미지를 출력하는 디스플레이 디바이스; 소정의 컴퓨팅 장치와 통신하는 통신부; 및 현장 운전상황 및 설비 정보를 수집 서비스를 제공하는 프로세서를 포함하는 제어부;를 포함하고, 상기 프로세서는, 상기 통신부를 제어하여 상기 로봇의 이동을 제어하는 이동명령을 획득하고, 상기 센서부를 제어하여 상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하고, 상기 이동부를 제어하여 상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하고, 상기 센서부를 제어하여 상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하고, 상기 센서부를 제어하여 상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하고, 상기 통신부 및 상기 디스플레이 디바이스 중 적어도 하나를 제어하여 상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 디스플레이 디바이스 중 적어도 하나로 표시하도록 제공하는 단계를 포함한다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 원격의 위치에서 소정의 작업현장에 위치하는 로봇을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유함으로써, 다양한 사고 유발 요소가 산재하거나 유해 물질이 상존하는 등의 위험 작업현장에 대한 실시간 모니터링 정보를 작업 관계자들에게 지원하여 인명 피해를 방지하고 작업 효율 개선을 도모할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 로봇을 이용하여 모니터링하고자 하는 작업현장에 대한 자동화된 순찰 프로세스(patrol process)를 제공함으로써, 광범위한 영역에 걸쳐서 쉴 새 없이 가동되는 작업현장을 과도한 인력을 투입하지 않고도 지속적으로 일괄 모니터링할 수 있고, 이를 통해 작업현장에서의 안전성을 보다 확보할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 상기 순찰 프로세스에 기초하여 획득되는 각종 데이터를 작업현장으로부터 원격에 위치하는 관리자와 상기 작업현장에 위치하는 작업자가 공유하게 함으로써, 원격 관리자 및/또는 현장 작업자가 작업현장 내 현황을 실시간으로 파악하며 상호 관련된 정보를 용이하게 교환하도록 할 수 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 사용자(실시예에서, 원격 관리자 및/또는 현장 작업자)의 니즈(needs)에 따라서 상기 순찰을 수행하는 경로 및/또는 모니터링하고자 하는 타겟(target)을 변경 가능하게 함으로써, 상황에 따라서 사용자의 인지적 판단을 활용하여 해당 작업현장에 대한 순찰 프로세스를 동작하게 할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 상기 순찰 프로세스를 수행하며 상기 작업현장에서의 이상상황을 감지 및 알림함으로써, 해당 작업현장에서의 사고 발생을 미연에 방지할 수 있고, 위험 상황이 발생한 경우 이에 대한 빠른 대처를 수행하게 할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 로봇을 통한 현장 운전상황 및 설비 정보 수집 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 조이스틱형 단말의 모습을 나타내는 일례이다.
도 5는 본 발명의 실시예에 따른 데스크 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 6은 본 발명의 실시예에 따른 테이블 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 7은 본 발명의 실시예에 따른 로봇을 통한 현장 운전상황 및 설비 정보 수집 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 포인트 맵(Point map)의 일례이다.
도 9는 본 발명의 실시예에 따른 패트롤 이동경로와 목표위치를 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 로봇의 이동방향을 제어하는 사용자 인터페이스의 일례이다.
도 11은 본 발명의 실시예에 따른 로봇을 이용하여 실시간 센싱정보를 제공하는 구성을 설명하기 위한 개념도이다.
도 12는 본 발명의 실시예에 따른 이상객체 정보를 제공하는 방법을 설명하기 위한 도면의 일례이다.
도 13은 본 발명의 실시예에 따른 증강현실 기반 작업정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 14는 본 발명의 실시예에 따른 로봇이 서로 다른 센서를 이용하여 촬영영상을 획득하는 방법을 설명하기 위한 도면의 일례이다.
도 15는 본 발명의 실시예에 따른 서로 다른 작업현장을 촬영한 복수의 영상을 기초로 증강현실 기반 작업정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 16은 본 발명의 실시예에 따른 증강현실 기반 피드백 정보를 제공하는 방법을 설명하기 위한 개념도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 로봇을 통한 현장 운전상황 및 설비 정보 수집 시스템의 개념도이다.

- 로봇을 통한 현장 운전상황 및 설비 정보 수집 시스템

본 발명의 실시예에 따른 로봇을 통한 현장 운전상황 및 설비 정보 수집 시스템(이하, “로봇 기반의 정보 수집 시스템”)은, 원격의 위치에서 소정의 작업현장에 위치하는 로봇을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유하는 로봇을 통한 현장 운전상황 및 설비 정보 수집 서비스(이하, “로봇 기반의 정보 수집 서비스”)를 제공하기 위한 시스템이다.

도 1은 본 발명의 실시예에 따른 로봇을 통한 현장 운전상황 및 설비 정보 수집 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 로봇 기반의 정보 수집 시스템은, 컴퓨팅 장치 및 로봇(500)을 포함할 수 있다.

여기서, 상기 컴퓨팅 장치 및 로봇(500)은 네트워크(Network)를 통하여 연결될 수 있다.

이때, 상기 네트워크는, 컴퓨팅 장치 및/또는 로봇(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

이하, 첨부된 도면을 참조하여 로봇 기반의 정보 수집 시스템을 구현하는 컴퓨팅 장치 및 로봇(500)에 대해 상세히 설명한다.

- 컴퓨팅 장치(Computing Device)

본 발명의 실시예에 따른 컴퓨팅 장치는, 원격의 위치에서 소정의 작업현장에 위치하는 로봇(500)을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유하는 로봇 기반의 정보 수집 서비스를 제공하는 모니터링 애플리케이션이 설치된 컴퓨팅 디바이스일 수 있다.

예시적인 구현으로, 컴퓨팅 디바이스의 모니터링 애플리케이션은, 소정의 디스플레이 장치를 통해 로봇(500) 및/또는 타 사용자의 컴퓨팅 디바이스(100)의 영상을 획득하여 출력할 수 있으며, 상기 영상에 대응한 사용자 입력을 수신하고 수신된 사용자 입력에 따라 영상에 대응되는 가상 콘텐츠를 생성할 수 있다.

또한, 모니터링 애플리케이션은, 영상의 물리적 공간 내 센서 시스템이나 기 매칭된 가상 콘텐츠 소스로부터 데이터를 수신하고, 수신된 데이터를 영상과 매칭된 가상 콘텐츠로 생성할 수 있다.

또한, 모니터링 애플리케이션은, 이와 같이 생성된 가상 콘텐츠를 디스플레이 장치에서 출력되는 영상에 오버레이하여 출력함으로써, 사용자에게 증강현실 환경을 제공할 수 있다.

또한, 모니터링 애플리케이션은, 소정의 통신 모듈을 통해 상기 생성된 가상 콘텐츠를 커뮤니케이션 데이터로 송신하여, 음성, 화상과 더불어 물리적 공간에 대응된 가상 콘텐츠를 의사소통을 위한 매개로 활용할 수 있다.

다만, 실시예에 따라서 컴퓨팅 장치에서 상기 로봇 기반의 정보 수집 서비스를 제공하기 위해 수행하는 기능 동작의 적어도 일부는 후술되는 로봇(500)에서 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.

이하, 실시예에 따른 컴퓨팅 장치를 사용하는 주체, 환경 및/또는 목적에 따라서 구분하여 설명하기로 한다.

자세히, 실시예에서 컴퓨팅 장치는, 현장 작업자에 의해 사용되는 현장 유저 단말(1000) 및 원격 관리자에 의해 사용되는 원격 관리자 단말(2000)을 포함할 수 있다.

여기서, 실시예에 따른 원격 관리자란, 소정의 작업현장으로부터 원격의 위치에서, 상기 작업현장에서 업무를 수행하는 현장 작업자의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 콘텐츠 등에 기초하여 제공하는 자일 수 있다.

또한, 실시예에 따른 현장 작업자란, 소정의 작업현장에 위치하며 상기 가상 콘텐츠 기반의 작업 가이던스 등을 기초로 실제 작업을 수행하는 자일 수 있다.

이때, 실시예에서 상기 현장 유저 단말(1000)은, 상기 현장 유저 단말(1000)에 설치된 모니터링 애플리케이션인 현장 모니터링 애플리케이션을 포함할 수 있고, 상기 원격 관리자 단말(2000)은, 상기 원격 관리자 단말(2000)에 설치된 모니터링 애플리케이션인 원격 모니터링 애플리케이션을 포함할 수 있다.

또한, 실시예에서 컴퓨팅 장치는, 모니터링 애플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입, 모바일 타입, 데스크 탑 타입 또는 테이블 탑 타입)의 컴퓨팅 디바이스를 포함할 수 있다.

1. 웨어러블 타입 컴퓨팅 디바이스(100: 101, 102)

본 발명의 실시예에서 웨어러블 타입 컴퓨팅 디바이스(100)는, 현장 유저 단말(1000)로 사용될 수 있다.

자세히, 실시예에 따른 웨어러블 타입 컴퓨팅 디바이스(100)는, 스마트 글래스(101: smart glasses display)나 헤드 마운티드 디스플레이(102: Head Mounted Display, HMD)와 같은 웨어러블 타입 컴퓨팅 디바이스(100)를 포함할 수 있다.

스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 콘텐츠(실시예에서, 증강현실 기반 작업정보 등)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.

자세히, 실시예의 컴퓨팅 디바이스(101)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이때, 상기 가상 콘텐츠는, 스마트 글라스 타입의 컴퓨팅 디바이스(101)에서 사용자 시야의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 콘텐츠를 포함할 수 있다.

예를 들어, 가상 콘텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다.

한편, 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다.

이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수 있다.

그리고 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102) 또한, 주변 물리적 공간을 촬영한 영상 및 상기 촬영한 영상을 기초로 생성된 가상 콘텐츠를 3차원 영상으로 출력함으로써, 증강현실 환경을 제공할 수 있다.

이하에서는, 이러한 웨어러블 타입 컴퓨팅 디바이스(100) 중 스마트 글라스 타입의 컴퓨팅 디바이스(101)에 기준하여 구체적인 구성요소를 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 웨어러블 타입 컴퓨팅 디바이스(100)의 내부 블록도이다.

도 2를 참조하면, 예시적인 구현에 따른 스마트 글라스 타입 컴퓨팅 디바이스(101)는, 모니터링 애플리케이션을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 스마트 글라스 타입 컴퓨팅 디바이스(101)의 하우징 내에 포함되도록 구현될 수 있다.

메모리(110)에는, 모니터링 애플리케이션(111)이 저장되며, 모니터링 애플리케이션(111)에는 로봇 기반의 정보 수집 서비스를 제공하기 위한 가상 콘텐츠, 이미지 버퍼, 위치 엔진, 가상 콘텐츠 디스플레이 엔진 등이 포함될 수 있다.

즉, 메모리(110)는 로봇 기반의 정보 수집 서비스를 제공하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

실시예에서 모니터링 애플리케이션(111)은, 증강현실 환경에 기초하여 커뮤니케이션을 수행하기 위한 커뮤니케이션 애플리케이션을 포함할 수 있다.

여기서, 상기 커뮤니케이션 애플리케이션은, 다중 사용자 간의 증강현실 기반 커뮤니케이션 서비스를 제공하기 위한 각종 애플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.

예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(120)는, 로봇 기반의 정보 수집 서비스를 제공하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 모니터링 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(120)는, 로봇 기반의 정보 수집 서비스를 제공하기 위하여 메모리(110)의 모니터링 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

예를 들어, 프로세서 어셈블리(120)는, 소정의 이미지 센서를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 콘텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 스마트 글라스 타입 컴퓨팅 디바이스(101)의 구성요소들을 제어할 수 있다.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 로봇(500) 등)와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.

실시예로, 통신 모듈(130)은, 로봇 기반의 정보 수집 서비스를 제공하기 위한 가상 콘텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.

실시예에서 통신 모듈(130)은, 로봇 기반의 정보 수집 서비스와 관련된 각종 데이터를 로봇(500) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 스마트 글라스 타입 컴퓨팅 디바이스(101) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 로봇 기반의 정보 수집 서비스에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 스마트 글라스 타입 컴퓨팅 디바이스(101)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 스마트 글라스 타입 컴퓨팅 디바이스(101)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 상기 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

IMU(163)는 스마트 글라스 타입 컴퓨팅 디바이스(101)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어질 수 있다.

또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 스마트 글라스 타입 컴퓨팅 디바이스(101) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 모니터링 애플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(165)는, 스마트 글라스 타입 컴퓨팅 디바이스(101) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 스마트 글라스 타입 컴퓨팅 디바이스(101) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(165)는 증강현실 기반 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 스마트 글라스 타입 컴퓨팅 디바이스(101)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다.

자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(140)을 통해 스마트 글라스 타입 컴퓨팅 디바이스(101)는, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 스마트 글라스 타입 컴퓨팅 디바이스(101) 내부에 설치되는 실시예도 포함될 수 있다.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 로봇 기반의 정보 수집 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

디스플레이 시스템(170)은, 스마트 글라스 타입 컴퓨팅 디바이스(101) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이러한 디스플레이 시스템(170)은, 스마트 글라스 타입 컴퓨팅 디바이스(101)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 콘텐츠로 출력함으로써, 사용자는 가상 콘텐츠를 3차원 이미지로 인식할 수 있다.

실시예에서 디스플레이 시스템(170)은, 로봇 기반의 정보 수집 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 웨어러블 타입 스마트 글라스 타입 컴퓨팅 디바이스(101)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다.

2. 모바일 타입 컴퓨팅 디바이스(200)

본 발명의 실시예에서 모바일 타입 컴퓨팅 디바이스(200)는, 현장 유저 단말(1000)로 사용될 수 있다.

자세히, 다른 예시에서 컴퓨팅 디바이스(100)는, 모니터링 애플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 가상 콘텐츠를 표시하여 증강현실 환경을 사용자에게 제공할 수 있다.

예를 들어, 모바일 타입 컴퓨팅 디바이스(200)는 도 4와 같은 조이스틱형 단말, 또는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등을 포함할 수 있다.

도 3은 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.

도 3을 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.

모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 스마트 글라스 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 스마트 글라스 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.

이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.

이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.

또한, 입력 시스템(250)은 로봇 기반의 정보 수집 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(250)은 버튼, 조이스틱, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(250)은, 인터페이스 모듈(240)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

이러한 모바일 타입 컴퓨팅 디바이스(200)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자에게 적합할 수 있다.

3. 데스크 탑 타입 컴퓨팅 디바이스(300)

본 발명의 실시예에서 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 원격 관리자 단말(2000)로 사용될 수 있다.

또 다른 예시에서 데스크 탑 타입 컴퓨팅 디바이스(300)는, 모니터링 애플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 로봇 기반의 정보 수집 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자의 컴퓨팅 디바이스(100)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭된 가상 콘텐츠를 증강하여 표시함으로써, 로봇 기반의 정보 수집 서비스를 사용자에게 제공할 수 있다.

도 5는 본 발명의 실시예에 따른 데스크 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.

도 5를 참조하면, 예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.

데스크 탑 타입 컴퓨팅 디바이스의 상기 구성요소에 대한 설명 중 중복되는 내용은 스마트 글라스 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 스마트 글라스 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.

자세히, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.

예시적으로, 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.

또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 현장 작업자의 컴퓨팅 디바이스(100, 200)와 연동하여 원격으로 지시나 필요한 정보를 전달하는 원격 관지라가 사용하기 유리할 수 있다.

4. 테이블 탑 타입 컴퓨팅 디바이스(400)

본 발명의 실시예에서 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 서브 관리자 컴퓨팅 디바이스로 사용될 수 있다.

또 다른 예시적 구현에 따르면 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 기존 데스크 탑 타입의 컴퓨팅 디바이스(300)와 다른 새로운 형상과 구조의 테이블 탑(Tabletop) 형상으로 구현될 수 있고, 이러한 경우 테이블 탑 내에 포함된 시스템을 통해 로봇 기반의 정보 수집 서비스를 제공할 수 있다.

자세히, 테이블 탑 타입 컴퓨팅 디바이스(400)란, 원격 관리자가 타 사용자(실시예에서 현장 작업자 등)의 컴퓨팅 디바이스(100)로부터 수신되는 영상을 용이하게 확인하고, 해당 영상에 표시되는 객체에 대한 작업 가이던스를 가상 콘텐츠를 기반으로 수월하게 입력하는 인터페이스 시스템을 제공하는 장치일 수 있다.

즉, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 소정의 디스플레이 시스템을 통해 타 사용자의 컴퓨팅 디바이스(100)로부터 획득되는 촬영영상과, 상기 촬영영상에 연관된 가상 콘텐츠를 출력하여 증강현실 환경을 사용자에게 제공할 수 있다.

이하, 테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 데스크 탑 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 데스크 탑 타입 컴퓨팅 디바이스(300)와의 차이점을 중심으로 설명한다.

도 6은 본 발명의 실시예에 따른 테이블 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.

도 6을 참조하면, 예시적인 테이블 탑 타입 컴퓨팅 디바이스(400)는, 메모리(410), 프로세서 어셈블리(420), 통신 모듈(430), 인터페이스 모듈(440), 입력 시스템(450), 센서 시스템(460) 및 디스플레이 시스템(470)을 포함할 수 있다.

이러한 구성요소들은 컴퓨팅 디바이스(400)의 하우징 내에 포함되도록 구성될 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)의 디스플레이(471) 상에 터치 센서(473)를 통해 촬영영상에 대한 사용자의 포인팅, 드래그 등의 터치 입력을 받는 입출력 인터페이스를 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470) 상에 배치된 센서 시스템(460)(예컨대, 이미지 센서(461))를 통해 사용자 손의 제스처 입력을 받을 수 있으며, 가이드 도구(Guide tool)에 따른 동작 입력을 받을 수 있다. 이러한 제스처 입력과 가이드 도구의 동작 입력 또한 디스플레이(471)에 촬영영상에 대응하여 입력될 수 있으며, 테이블 탑 타입 컴퓨팅 디바이스(400)는 촬영영상에 표시된 실제객체 이미지에 매칭하여 상기 사용자 입력을 감지할 수 있다.

즉, 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)의 모니터링 애플리케이션(411)은, 센서 시스템(460)을 통해 획득된 사용자 입력 기반으로 가상 콘텐츠를 시각화하여 제공하는 서비스를 구현하기 위한 일련의 프로세스를 실행할 수 있다. 이때, 디스플레이에 표시된 촬영영상에 대응하여 사용자 입력을 수행할 수 있는 입출력 인터페이스를 제공함으로써, 사용자는 좀 더 직관적으로 촬영영상에 대한 입력을 수행할 수 있다.

- 로봇(Robot: 500)

본 발명의 실시예에 따른 로봇(500)은, 외부환경을 인식(Perception)하고 스스로 상황을 판단(Cognition)하여 자율적으로 동작(Manipulation)하는　지능형 로봇(Intelligent Robots)일 수 있다.

이때, 로봇(500)의 상기 상황판단 기능은 환경인식 기능과 위치인식 기능을 포함할 수 있고, 상기 자율동작 기능은 조작제어 기능과 자율이동 기능을 포함할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 로봇(500)을 구성하는 요소에 대해 상세히 설명한다.

다만, 도 1에 도시된 구성요소들은 로봇(500)에 필수적인 것이 아니어서, 그보다 많은 구성요소들을 갖거나 그 보다 적은 구성요소들로 로봇(500)을 구현할 수도 있다.

도 1을 더 참조하면, 본 발명의 실시예에서 로봇(500)은, 본체(510), 디스플레이 디바이스(520), 센서부(530), 이동부(540), 충전부(550), 통신부(560), 저장부(570) 및 제어부(580)를 포함할 수 있다.

자세히, 상기 로봇(500)의 본체(510)는, 로봇(500)의 외관을 형성하며, 내/외부에 로봇(500)의 구동에 필요한 각종 유닛을 구비할 수 있다.

실시예에서, 상기 본체(510)는, 후술되는 디스플레이 디바이스(520)를 탈착 가능하게 고정할 수 있는 고정부(예컨대, 고정받침대, 조임나사 및/또는 고정받침대 방향전환 모터 등을 포함)를 포함할 수 있다. 이때, 상기 고정부는, 흔들림에 의하여 장착된 디스플레이 디바이스(520)에서 촬영되는 영상의 품질 저하를 최소화하기 위한 짐벌 장치를 더 포함할 수도 있다.

또한, 상기 디스플레이 디바이스(520)는, 로봇 기반의 정보 수집 서비스와 관련된 그래픽 이미지를 출력할 수 있다.

자세히, 실시예에서 상기 디스플레이 디바이스(520)는, 디스플레이 통신 프로세서, 디스플레이 제어 프로세서, 디스플레이 모니터, 디스플레이 카메라 및 디스플레이 배터리를 포함할 수 있다.

보다 상세히, 상기 디스플레이 통신 프로세서는 외부의 컴퓨팅 장치(실시예에서, 현장 유저 단말(1000) 및/또는 원격 관리자 단말(2000) 등)와 로봇 기반의 정보 수집 서비스에 필요한 각종 데이터를 송수신할 수 있다.

또한, 상기 디스플레이 제어 프로세서는, 로봇 기반의 정보 수집 서비스를 제공하기 위하여 상기 디스플레이 디바이스(520)의 각 구성 요소를 컨트롤할 수 있다.

또한, 상기 디스플레이 모니터는, 로봇 기반의 정보 수집 서비스에 필요한 각종 데이터를 그래픽 이미지로 표시할 수 있다.

이러한 디스플레이 모니터는, 터치 스크린(Touch screen), 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 상기 센서부(530)는, 로봇 기반의 정보 수집 서비스에 필요한 센싱 데이터를 획득할 수 있다.

실시예로, 상기 센서부(530)는, 360도 회전하며 로봇(500) 주변 영역을 센싱하는 적어도 하나 이상의 센서를 포함할 수 있다.

자세히, 실시예에서 상기 센서부(530)는, 이미지 센서, 객체감지 센서 및 환경감지 센서를 포함하여 구현될 수 있다.

여기서, 상기 이미지 센서는, 외부의 오브젝트를 촬영하여 오브젝트의 형상을 포함하는 영상(이미지 및/또는 동영상)을 획득할 수 있다.

또한, 상기 이미지 센서는, 획득한 영상을 전기 신호로 변환하고 영상처리하여 디스플레이 디바이스(520)나 저장부(570)로 송신할 수 있다.

실시예에서, 이러한 이미지 센서는, 소정의 작업현장을 실시간으로 촬영한 영상을 수집하여 제공할 수 있다.

예를 들면, 상기 이미지 센서는, Nexx 360 넥밴드형 카메라로 구현될 수 있고, 이에 기초한 360도 촬영영상을 획득하여 제공할 수 있다.

또한, 실시예에서 상기 객체감지 센서는, 주변 오브젝트와의 거리를 감지할 수 있다.

실시예에서, 상기 객체감지 센서는, 라이다 센서(LIDAR Sensor, 예컨대 VLP-16 센서 및/또는 레이저 센서 등) 및/또는 레이더 센서(RADAR Sensor) 등을 포함할 수 있다.

이때, 상기 라이다 센서는, 레이저 펄스를 쏘고 반사되어 돌아오는 시간을 측정(Time-of-Flight 방법론)하여 반사체의 위치좌표를 측정하는 레이다 시스템으로서, 예컨대 VLP-16 센서의 경우 구면좌표의 반지름 r, 고도 ω, 방위각 α에 따른 자신의 위치 정보를 수집하여 제공할 수 있다.

실시예에서, 이러한 라이다 센서는, 주변 오브젝트에 대한 레이저 발사에 따른 포인트 데이터 세트를 실시간으로 획득하며 주변 환경을 스캔할 수 있다.

또한, 상기 레이더 센서는, 무선 주파수를 발사하여 주변 오브젝트까지의 거리 정보를 센싱할 수 있다.

또한, 실시예에서 상기 환경감지 센서는, 주변 환경 상의 가스(gas) 데이터, 연기(smoke) 데이터, 열(heat) 데이터 및/또는 사운드(sound) 데이터 등을 감지할 수 있다.

실시예에서, 상기 환경감지 센서는, 주변 환경의 가스 데이터를 센싱하는 가스 센서, 열 데이터를 센싱하는 열(온도) 센서 및/또는 연기 데이터 및/또는 사운드 데이터 등을 센싱하는 이미지 센서 등을 포함할 수 있다.

한편, 상기 로봇(500)의 이동부(540)는, 사용자나 프로세서의 제어에 의하여 로봇(500)이 위치를 이동하게 할 수 있다.

실시예에서, 이러한 이동부(540)는, 바퀴형 구조 이동장치 및/또는 보행형 구조 이동장치 등을 포함할 수 있다.

여기서, 상기 바퀴형 구조 이동장치는, 로봇(500)의 이동을 위한 적어도 둘 이상의 구동바퀴(예컨대, 좌/우측 구동바퀴 등)를 포함할 수 있으며, 상기 구동바퀴는 로봇(500) 하부의 적어도 일부 상에 배치될 수 있다. 이때, 상기 구동바퀴는, 각각 프로세서에 의해 작동하는 적어도 하나 이상의 모터에 의하여 회전하도록 구성될 수 있고, 상기 모터의 구동에 따라서 로봇(500)이 방향을 전환하며 이동하게 할 수 있다.

또한, 상기 보행형 구조 이동장치는, 로봇(500)의 이동을 위한 적어도 둘 이상의 다리형 지지부(예컨대, 좌측 제1 및/또는 제2 다리형 지지대와 우측 제1 및/또는 제2 다리형 지지대 등)를 포함할 수 있으며, 상기 다리형 지지부는 각각 프로세서의 제어를 따라서 작동하는 적어도 하나 이상의 모터의 구동에 의해 로봇(500)이 방향을 전환하며 보행하게 할 수 있다.

또한, 상기 충전부(550)는, 프로세서의 컨트롤에 의하여 외부의 전원 및/또는 내부의 전원을 인가받아 각 구성요소들에게 동작에 필요한 전원을 공급할 수 있다.

예를 들어, 충전부(550)는, 전원저장부(570), 연결포트, 전원공급 제어부(580) 및 충전 모니터링부 중 적어도 어느 하나 이상을 포함할 수 있다.

또한, 상기 통신부(560)는, 다른 컴퓨팅 장치(실시예에서, 현장 유저 단말(1000) 및/또는 원격 관리자 단말(2000) 등)와 통신하기 위한 하나 이상의 장치(예컨대, 통신 프로세서 등)를 포함할 수 있다.

이러한 통신부(560)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말 및/또는 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.

또한, 상기 저장부(570)는, 로봇 기반의 정보 수집 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

실시예에서, 상기 저장부(570)는, 로봇 기반의 정보 수집 프로그램을 저장 및 관리할 수 있다.

이때, 상기 저장부(570)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.

여기서, 실시예에 따른 프로그램 영역은, 로봇(500)을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 로봇(500)의 사용에 따라 발생하는 데이터가 저장될 수 있다.

또한, 일부 실시예들에서 상기 저장부(570)에 저장된 소프트웨어 컴포넌트들은, 운영 체제, 통신 모듈(또는 명령어들의 세트), 접촉/모션 모듈(또는 명령어들의 세트), 그래픽 모듈(또는 명령어들의 세트), 텍스트 입력 모듈(또는 명령어들의 세트), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트), 및 애플리케이션들(또는 명령어들의 세트들)을 포함할 수 있다.

실시예에서, 이러한 저장부(570)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 저장부(570)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

또한, 저장부(570)는, 로봇(500) 상에 탈착 가능한 형태의 기록매체일 수 있다.

또한, 상기 제어부(580)는, 로봇 기반의 정보 수집 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.

이러한 제어부(580)는, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 로봇(500)에 적합한 시스템 온 칩(SOC)일 수 있으며, 저장부(570)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 로봇(500)에 탑재된 각 구성요소들을 제어할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

또한, 제어부(580)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.

또한, 제어부(580)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

이하에서 본 발명의 실시예에 따른 로봇(500)이 상기 로봇 기반의 정보 수집 서비스를 제공하기 위하여 수행하는 기능 동작의 적어도 일부는 상술된 컴퓨팅 장치에서 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.

- 현장 운전상황 및 설비 정보 수집 방법

이하, 본 발명의 실시예에 따른 로봇(500)의 제어부(580)가 포함하는 적어도 하나 이상의 프로세서(이하, 프로세서)가 로봇(500)을 통한 현장 운전상황 및 설비 정보를 수집하는 방법을 첨부된 도 7 내지 도 16을 참조하여 상세히 설명한다.

도 7은 본 발명의 실시예에 따른 로봇(500)을 통한 현장 운전상황 및 설비 정보 수집 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 본 발명의 실시예에 따른 프로세서는, 이동명령을 획득할 수 있다. (S101)

여기서, 실시예에 따른 상기 이동명령이란, 로봇(500)의 이동을 제어하기 위한 데이터로서, 실시예에서 베이스 맵(base map)에 기초한 패트롤 이동경로 또는 적어도 하나 이상의 목표위치를 포함할 수 있다.

여기서, 실시예에 따른 상기 베이스 맵이란, 모니터링하고자 하는 타겟 작업현장 (예컨대, 위험 작업구역 등)에 대한 맵 데이터(map data)일 수 있다. 실시예에서, 베이스 맵은, 상기 타겟 작업현장 영역의 전체에 대한 적어도 하나 이상의 포인트 맵(point map)을 결합하여 생성될 수 있다.

도 8은 본 발명의 실시예에 따른 포인트 맵(Point map)의 일례이다.

이때, 도 8을 참조하면, 실시예에 따른 상기 포인트 맵이란, 소정의 영역(실시예에서, 로봇(500) 주변 영역)에 대한 점 지도 데이터로서, 실시예에서 로봇(500) 주변의 오브젝트까지의 거리 정보를 이용하여 3차원 공간을 나타내는 포인트들의 집합을 기반으로 생성되는 점 지도 데이터일 수 있다.

실시예에서, 포인트 맵은, 로봇(500)이 감지할 수 있는 감지영역에 대한 점 지도 데이터를 의미할 수 있다.

자세히, 실시예에서 프로세서는, 타겟 작업현장 영역에 대한 베이스 맵을 획득할 수 있다. 여기서, 베이스 맵은 로봇(500)이 타겟 작업현장 영역 전체에 대해 포인트 맵을 생성하고, 생성된 포인트 맵들을 결합하여 획득할 수 있고, 기 생성된 베이스 맵을 데이터베이스에서 획득할 수도 있다.

보다 상세히, 프로세서는, 이동부(540)와 연동하여 로봇(500)이 타겟 작업현장 영역 전체를 순회하며 이동하게 할 수 있다.

이때, 프로세서는, 센서부(530)의 이미지 센서 및/또는 객체감지 센서와 연동하여 상기 타겟 작업현장 내 적어도 하나 이상의 소정의 포인트 영역 별 포인트 맵을 생성할 수 있다. 본 발명의 실시예에서 프로세서가 포인트 맵을 생성하는 방법에 대한 자세한 설명은 후술되는 실시간 포인트 맵 생성 단계(S103)의 프로세서에 대한 설명을 따른다.

여기서, 상기 포인트 영역은, 상기 로봇(500)을 기준으로 하여 형성되는 소정의 주변 영역을 포함할 수 있다.

또한, 실시예에서 프로세서는, 위와 같이 생성된 타겟 작업현장 영역에 대한 적어도 하나 이상의 포인트 맵에 기초하여 상기 타겟 작업현장 영역에 대한 베이스 맵을 생성할 수 있다.

자세히, 프로세서는, 상기 적어도 하나 이상의 포인트 맵을 상기 타겟 작업현장 영역에 대하여 기설정된 3차원 공간 좌표계를 기준으로 정합하여 상기 타겟 작업현장 영역에 대한 베이스 맵을 생성할 수 있다.

본 발명의 실시예에서는, 프로세서가 타겟 작업현장을 순회하며 해당하는 타겟 작업현장 영역에 대한 복수의 포인트 맵을 획득하고 이를 기초로 베이스 맵을 생성한다고 설명하였으나 이는 일례일 뿐, 본 발명에서는 프로세서가 상기 타겟 작업현장 영역에 대한 베이스 맵을 획득하는 방법이나 알고리즘 자체를 제한하거나 한정하지는 않는다.

또한, 프로세서는, 상기 베이스 맵을 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000)로 송신하여 제공할 수 있다.

원격 권리자 단말(2000)에서는 베이스 맵이 포인트 맵 형태로 표시될 수 있고, 베이스 맵을 기초로 생성된 디지털 트윈모델을 통해 표시될 수도 있다.

또한, 실시예에서 프로세서는, 상기 베이스 맵에 기초한 패트롤 이동경로 및/또는 목표위치를 획득할 수 있다.

도 9는 본 발명의 실시예에 따른 패트롤 이동경로와 목표위치를 설명하기 위한 도면의 일례이다.

도 9를 참조하면, 여기서 실시예에 따른 상기 패트롤 이동경로(PR)란, 타겟 작업현장 영역에 대한 패트롤(patrol)에 특화된 최적 이동경로를 기설정한 정보일 수 있다. 실시예에서, 상기 패트롤 이동경로(PR)는, 상기 최적 이동경로를 포함하는 적어도 하나 이상의 이동경로 영역 각각에 대한 포인트 맵을 포함할 수 있다.

실시예에서, 이러한 패트롤 이동경로(PR)는, 상기 타겟 작업현장 영역이 포함하는 모든 이동가능 구역을 경유하는 이동경로에 대한 올어라운드(all-around) 이동경로, 반드시 순찰해야 하는 영역으로 기설정된 적어도 하나 이상의 핵심영역을 최단 시간으로 경유하는 이동경로에 대한 핵심-최단시간 이동경로 및/또는 사용자 입력에 따른 사용자 설정 이동경로 등을 포함할 수 있다.

자세히, 실시예로 프로세서는, 상기 베이스 맵을 기초로 상기 타겟 작업현장 영역을 패트롤하기 위한 올어라운드 이동경로를 설정할 수 있다.

보다 상세히, 프로세서는, 상기 베이스 맵 내 적어도 하나 이상의 오브젝트가 차지하는 영역 이외의 나머지 영역을 이동가능 구역으로 판단할 수 있다.

또한, 프로세서는, 상기 적어도 하나 이상의 오브젝트 각각에 대한 전후좌우 구역을 패트롤하기 위한 필요 구역을 상기 이동가능 구역 중 적어도 일부로 검출할 수 있다.

또한, 프로세서는, 상기 검출된 필요 구역을 상기 이동경로 영역으로 설정하여 상기 타겟 작업현장 영역을 패트롤하기 위한 올어라운드 이동경로를 획득할 수 있다.

또한, 실시예에서 프로세서는, 상기 올어라운드 이동경로를 포함하는 적어도 하나 이상의 이동경로 영역 각각에 대한 포인트 맵을 상기 베이스 맵으로부터 추출하여 획득할 수 있다.

또한, 프로세서는, 상기 획득된 적어도 하나 이상의 이동경로 영역 별 포인트 맵을 상기 설정된 올어라운드 이동경로에 더 포함할 수 있다.

즉, 실시예에서 올어라운드 이동경로는, 로봇(500)에서 1 순회시 베이스 맵의 모든 영역에 대한 포인트 맵을 생성할 수 있는 이동경로일 수 있다. 다만, 타겟 작업현장에 배치된 오브젝트가 차지하는 영역을 제외될 수 있다.

또는, 실시예에서 올어라운드 이동경로는, 로봇(500)의 올어라운드 이동경로로 이동에 따른 로봇(500)의 감지영역이 베이스 맵의 영역을 모두 커버하는 경로일 수 있다.

또한, 실시예로 프로세서는, 사용자(실시예에서, 원격 관리자 및/또는 현장 작업자 등)의 입력에 기초하여 상기 타겟 작업현장 영역을 패트롤하기 위한 핵심-최단시간 이동경로 및/또는 사용자 설정 이동경로를 설정할 수 있다.

자세히, 실시예에서 프로세서는, 컴퓨팅 장치의 모니터링 애플리케이션과 연동하여, 이동경로 설정 인터페이스를 제공할 수 있다.

또한, 프로세서는, 상기 제공된 이동경로 설정 인터페이스에 기초한 사용자 입력을 토대로 상기 타겟 작업현장 영역에 대한 상기 핵심영역 및/또는 사용자 설정 이동경로 영역을 설정할 수 있다.

또한, 프로세서는, 위와 같이 설정된 핵심영역 및/또는 사용자 설정 이동경로 영역에 기초하여 상기 타겟 작업현장 영역을 패트롤하기 위한 핵심-최단시간 이동경로 및/또는 사용자 설정 이동경로를 결정할 수 있다.

또한, 프로세서는, 상기 결정된 핵심-최단시간 이동경로 및/또는 사용자 설정 이동경로를 포함하는 적어도 하나 이상의 이동경로 영역 각각에 대한 포인트 맵을 상기 베이스 맵으로부터 추출하여 획득할 수 있다.

예를 들어, 프로세서는, 적어도 하나 이상의 순찰영역을 결정하고, 결정된 적어도 하나 이상의 순찰영역에 대한 포인트 맵을 생성할 수 있는 최단시간의 이동경로를 상기 핵심-최단시간 이동경로로 검출하여 생성할 수 있다.

또한, 프로세서는, 상기 획득된 적어도 하나 이상의 이동경로 영역 별 포인트 맵을 상기 설정된 핵심-최단시간 이동경로 및/또는 사용자 설정 이동경로에 더 포함할 수 있다.

한편, 도 9를 더 참조하면, 실시예에 따른 상기 목표위치(TL)란, 타겟 작업현장 영역 내에서 로봇(500)을 위치시키고자 하는 소정의 지점을 기설정한 정보일 수 있다. 실시예에서, 상기 목표위치(TL)는, 해당하는 목표위치(TL)를 포함하는 소정의 주변영역에 대한 포인트 맵(이하, 목표위치 포인트 맵)을 포함할 수 있다.

자세히, 실시예에서 프로세서는, 컴퓨팅 장치의 모니터링 애플리케이션과 연동하여, 목표위치 설정 인터페이스를 제공할 수 있다.

또한, 프로세서는, 상기 제공된 목표위치 설정 인터페이스에 기초한 사용자 입력을 토대로 상기 타겟 작업현장 영역에 대한 상기 목표위치(TL)를 설정할 수 있다.

또한, 프로세서는, 위와 같이 설정된 목표위치(TL)의 목표위치 포인트 맵을 상기 베이스 맵으로부터 추출하여 획득할 수 있다.

또한, 프로세서는, 상기 획득된 목표위치 포인트 맵을 상기 설정된 목표위치(TL)에 더 포함할 수 있다.

그리하여 실시예에서 프로세서는, 로봇(500)의 이동을 제어하기 위한 베이스 맵 기반의 패트롤 이동경로(PR) 및/또는 목표위치(TL)를 포함하는 이동명령을 상술된 바와 같은 방식으로 획득할 수 있다.

한편, 프로세서는, 실시간 이동명령을 수신하고, 수신된 이동명령에 따라 로봇(500)의 이동을 제어할 수도 있다.

예를 들어, 프로세서는, 원격 관리자 단말(2000)로부터 이동방향, 이동속도, 회전이동 등에 대한 실시간 이동명령을 수신하고, 수신된 실시간 이동명령에 따라 이동부(540)를 제어하여 로봇(500)을 이동시키며 포인트 맵을 생성할 수 있다.

또한, 프로세서는, 현장 작업자 단말(1000)으로부터 이동방향, 이동속도, 회전이동 등에 대한 실시간 이동명령을 수신하고, 수신된 실시간 이동명령에 따라 이동부(540)를 제어하여 로봇(500)을 이동시키며 포인트 맵을 생성할 수 있다.

또한, 실시예에서 프로세서는, 현재 로봇(500)의 주변 감지영역에 대한 실시간 포인트 맵(Point map)을 생성할 수 있다. (S103)

도 8을 더 참조하여, 다시 말하자면 포인트 맵은, 소정의 영역(실시예에서, 로봇(500) 주변 영역)에 대한 점 지도 데이터로서, 실시예에서 로봇(500) 주변의 오브젝트까지의 거리 정보를 이용하여 3차원 공간을 나타내는 포인트들의 집합을 기반으로 생성되는 점 지도 데이터일 수 있다.

자세히, 실시예예서 프로세서는, 센서부(530)의 이미지 센서 및/또는 객체감지 센서를 기초로 획득되는 주변 오브젝트와의 뎁스 데이터(depth data)를 이용하여 실시간 포인트 맵을 생성할 수 있다.

보다 상세히, 프로세서는, 센서부(530)의 이미지 센서 및/또는 객체감지 센서를 기초로 현재 위치(즉, 현재 로봇(500)의 위치)에 기준하여 형성되는 감지가 가능한 소정의 주변 영역(이하, 현재 기준영역)에 대한 포인트 맵을 생성할 수 있다.

구체적으로, 실시예에서 프로세서는, 상기 이미지 센서에 기초하여 실시간으로 상기 현재 기준영역의 적어도 일부를 촬영한 현장영상을 획득할 수 있다. 예를 들어, 프로세서는, 센서부(530)의 이미지 센서가 감지한 이동방향 측 현장영상을 획득할 수 있다.

또한, 실시예에서 프로세서는, 상기 객체감지 센서(실시예에서, 라이다(LIDAR) 센서(예컨대, VLP-16 센서 및/또는 레이저 센서 등) 및/또는 레이더 센서 등)에 기초하여 상기 현재 기준영역 내 적어도 하나 이상의 주변 오브젝트까지의 실시간 거리 정보를 포함하는 뎁스 데이터를 획득할 수 있다.

이때, 실시예에 따른 상기 뎁스 데이터는, 상기 주변 오브젝트까지의 거리 정보에 따른 포인트 데이터 세트를 더 포함할 수도 있다.

예를 들어, 프로세서는, 벨로다인 라이다 센서(Velodyne LIDAR sensors)를 이용하여 Time-of-Flight 방법론 즉, 빛이 반사되어 오는 시간을 측정하여 거리를 계산하는 방식을 기초로 상기 뎁스 데이터를 획득할 수 있으며, 상기 빛의 발사에 따른 포인트 데이터 세트를 실시간으로 획득하며 주변 환경을 스캔할 수 있다.

이때, 실시예에 따라서 프로세서는, 센서 간의 간섭을 최소화하기 위하여 레이저 발사가 중첩되는 영역을 제어할 수 있는 위상잠금 다중센서 지원 프로세스를 제공할 수 있다.

또한, 실시예에서 프로세서는, 위와 같이 획득된 현장영상 및/또는 뎁스 데이터를 기반으로 상기 현재 기준영역에 대한 포인트 맵을 생성할 수 있다.

또한, 실시예에서 프로세서는, 실시간 포인트 맵과 이동명령에 기초한 이동 제어(moving control)를 수행할 수 있다. (S105)

자세히, 실시예에서 프로세서는, 상술된 바와 같이 획득된 이동명령과 상기 생성된 실시간 포인트 맵에 기초하여, 로봇(500)의 이동을 제어할 수 있다.

보다 상세히, 실시예에서 프로세서는, 상기 실시간 포인트 맵을 상술된 베이스 맵의 적어도 일부영역에 맵핑(mapping)할 수 있다. 즉, 프로세서는, 상기 실시간 포인트 맵과, 상기 실시간 포인트 맵에 대응되는 상기 베이스 맵의 적어도 일부영역에 대한 포인트 맵을 상호 맵핑할 수 있다.

또한, 실시예에서 프로세서는, 상기 맵핑된 실시간 포인트 맵을 기초로 상기 이동명령을 따라서 로봇(500)이 이동하도록 제어할 수 있다.

자세히, 프로세서는, 1) 상기 이동명령의 패트롤 이동경로(PR)를 기초로 상기 로봇(500)의 이동을 제어할 수 있다.

보다 상세히, 프로세서는, 상기 패트롤 이동경로(PR)에 대한 적어도 하나 이상의 포인트 맵(이하, 패트롤 포인트 맵)을 추출할 수 있다.

또한, 프로세서는, 상기 추출한 패트롤 포인트 맵 중 적어도 일부와 상기 실시간 포인트 맵 간의 일치 여부(맵핑 여부)를 판단할 수 있다.

이때, 실시예에서 프로세서는, 상기 패트롤 포인트 맵 중 적어도 일부와 상기 실시간 포인트 맵이 일치하는 영역(이하, 맵핑 영역)이 부재하는 경우, 이동부(540)를 이용하여 로봇(500)의 현재 위치를 변경하는 이동을 수행할 수 있다.

또한, 프로세서는, 상기 변경된 현재 위치에 기준하는 현재 기준영역을 기초로 상기 실시간 포인트 맵을 생성하고, 생성된 실시간 포인트 맵과 상기 패트롤 포인트 맵 중 적어도 일부가 일치하는지 여부를 판단하는 프로세스를 반복할 수 있다.

한편, 실시예에서 프로세서는, 상기 패트롤 포인트 맵 중 적어도 일부와 상기 실시간 포인트 맵 간의 맵핑 영역이 존재하는 경우, 이동부(540)와 연동하여 상기 맵핑 영역을 따라서 현재 위치를 변경하는 이동을 수행할 수 있다.

즉, 프로세서는, 상술된 패트롤 이동경로(PR)를 나타내는 패트롤 포인트 맵과 일치하는 영역을 가지는 실시간 포인트 맵을 검출하고, 위와 같이 검출된 실시간 포인트 맵을 따라서 로봇(500)이 이동하도록 제어함으로써, 로봇(500)이 해당하는 타겟 작업현장 영역을 상기 패트롤 이동경로(PR)에 따라서 이동하게 할 수 있다.

따라서, 프로세서는, 타겟 작업현장 영역에 대한 패트롤(patrol)에 특화된 최적 이동경로를 토대로 로봇(500)이 자율주행하게 할 수 있다.

이때, 실시예에서 프로세서는, 상기 패트롤 이동경로(PR)를 따라서 이동을 수행할 시 해당하는 이동경로 상의 장애물 오브젝트가 감지되면, 감지된 장애물 객체를 회피하는 우회 이동경로를 생성할 수 있다. 이때, 상기 우회 이동경로는, 해당하는 우회 이동경로를 포함하는 적어도 하나 이상의 이동경로 영역 각각에 대한 포인트 맵을 포함할 수 있다.

실시예에서, 프로세서는, 위와 같은 우회 이동경로를 공지된 자율주행 장애물 인지 알고리즘 중 적어도 일부를 활용하여 생성할 수 있으며, 본 발명의 실시예에서는 상기 알고리즘 자체를 한정하거나 제한하지는 않는다.

또한, 실시예에서 프로세서는, 위와 같이 생성된 우회 이동경로를 따라서 로봇(500)이 이동하게 할 수 있다.

따라서, 프로세서는, 소정의 자율주행 장애물 인지 알고리즘에 기초하여 로봇(500)이 해당하는 타겟 작업현장 영역 내 장애물 오브젝트를 보다 안전하게 회피하며 이동하게 할 수 있다.

한편, 실시예에서 프로세서는, 2) 상기 이동명령의 적어도 하나의 목표위치(TL)를 기초로 상기 로봇(500)의 이동을 제어할 수 있다.

자세히, 프로세서는, 상기 목표위치(TL)에 매칭되는 목표위치 포인트 맵을 상술된 베이스 맵 상에서 상기 목표위치(TL)에 대응되는 지점인 목표 포인트를 포함하는 소정의 주변영역에 대한 포인트 맵(이하, 목표 포인트 맵)과 맵핑할 수 있다.

여기서, 실시예에 따른 상기 목표 포인트 맵은, 상술된 베이스 맵이 나타내는 타겟 작업현장 영역 전체에 대한 적어도 하나 이상의 포인트 맵(이하, 베이스 포인트 맵)의 적어도 일부일 수 있다.

또한, 실시예에서 프로세서는, 상기 베이스 맵을 기초로 현재 위치에서 상기 목표 포인트로 이동하기 위한 최적 이동경로인 목표위치(TL) 기반 이동경로를 생성할 수 있다. 이때, 실시예에서 상기 목표위치(TL) 기반 이동경로는, 상기 최적 이동경로를 포함하는 적어도 하나 이상의 이동경로 영역 각각에 대한 포인트 맵(이하, 목표위치 포인트 맵)을 포함할 수 있다.

또한, 프로세서는, 상기 목표위치 포인트 맵 중 적어도 일부와 상기 실시간 포인트 맵이 일치하는 맵핑 영역이 부재하는 경우, 이동부(540)를 이용하여 로봇(500)의 현재 위치를 변경하는 이동을 수행할 수 있다.

또한, 프로세서는, 상기 변경된 현재 위치에 기준하는 현재 기준영역을 기초로 상기 실시간 포인트 맵을 생성하고, 생성된 실시간 포인트 맵과 상기 목표위치 포인트 맵 중 적어도 일부가 일치하는지 여부를 판단하는 프로세스를 반복할 수 있다.

한편, 실시예에서 프로세서는, 상기 목표위치 포인트 맵 중 적어도 일부와 상기 실시간 포인트 맵 간의 맵핑 영역이 존재하는 경우, 이동부(540)와 연동하여 상기 맵핑 영역을 따라서 현재 위치를 변경하는 이동을 수행할 수 있다.

즉, 프로세서는, 상술된 목표위치(TL) 기반 이동경로를 나타내는 목표위치 포인트 맵과 일치하는 영역을 가지는 실시간 포인트 맵을 검출하고, 위와 같이 검출된 실시간 포인트 맵을 따라서 로봇(500)이 이동하도록 제어함으로써, 해당 타겟 작업현장 영역 내에 기설정된 목표위치(TL)로 로봇(500)이 자율 이동하게 할 수 있다.

이때, 실시예에서 프로세서는, 상기 패트롤 이동경로(PR)를 따라서 이동을 수행할 시 해당하는 이동경로 상의 장애물 오브젝트가 감지되면, 감지된 장애물 객체를 회피하는 우회 이동경로를 생성할 수 있으며, 생성된 우회 이동경로를 따라서 로봇(500)이 이동하게 할 수 있다. 이에 대한 자세한 설명은 상술된 우회 이동경로에 대한 설명으로 대체하기로 한다.

한편, 실시예에 따라서 프로세서는, 사용자(실시예에서, 원격 관리자 및/또는 현장 유저 등)의 실시간 입력에 따라서 로봇(500)이 이동하도록 제어할 수 있다.

도 10은 본 발명의 실시예에 따른 로봇(500)의 이동방향을 제어하는 사용자 인터페이스의 일례이다.

자세히, 도 10을 참조하면, 실시예에서 프로세서는, 컴퓨팅 장치의 모니터링 애플리케이션과 연동하여 로봇(500)의 실시간 이동방향 입력 인터페이스(DI)를 제공할 수 있다.

여기서, 상기 실시간 이동방향 입력 인터페이스(DI)는, 로봇(500)의 실시간 이동방향을 제어하는 사용자 입력을 획득할 수 있는 사용자 인터페이스일 수 있다.

또한, 프로세서는, 상기 제공된 실시간 이동방향 입력 인터페이스(DI)에 기초한 사용자 입력(예컨대, 전, 후, 좌 또는 우측 이동 입력 등)을 기반으로 이동부(540)를 제어하여, 로봇(500)이 상기 사용자 입력에 따른 이동을 수행하게 할 수 있다.

따라서, 프로세서는, 기설정된 이동명령 이외에도 실시간 사용자(실시예에서, 원격 관리자 및/또는 현장 작업자 등)의 입력에 따른 이동을 수행할 수 있다.

상술된 바와 같이, 실시예에서 프로세서는, 동시적 위치 추정 및 지도 작성(Simultaneous Localization and Mapping: SLAM) 기술, 자율주행 장애물 인지 기술 및/또는 원격 제어 기술 등을 활용하여, 모니터링하고자 하는 타겟 작업현장 영역(예컨대, 사람이 진입하기 위험한 작업현장 영역 등)에서의 로봇(500) 이동을 제어할 수 있고, 이를 통해 해당하는 타겟 작업현장 영역에 대한 로봇 기반의 패트롤 즉, 순찰 프로세스를 수행할 수 있다.

또한, 실시예에서 프로세서는, 실시간 센싱정보를 제공할 수 있다. (S107)

자세히, 실시예에서 프로세서는, 패트롤 모드(patrol mode)가 활성화된 경우, 이동 중 실시간 센싱정보를 획득하여 제공할 수 있다.

여기서, 실시예에 따른 상기 패트롤 모드란, 모니터링하고자 하는 타겟 작업현장 영역에 대한 순찰 기능을 구현하는 모드로서, 실시예에서 상기 타겟 작업현장 영역을 돌아다니며 관련 영역에 대한 실시간 현재 위치정보, 실시간 현장영상 및/또는 실시간 환경 감지정보 등을 포함하는 실시간 센싱정보를 획득해 제공하는 기능 동작을 구현하는 모드일 수 있다.

도 11은 본 발명의 실시예에 따른 로봇(500)을 이용하여 실시간 센싱정보를 제공하는 구성을 설명하기 위한 개념도이다.

보다 상세히, 도 11을 참조하면, 실시예에서 프로세서는, 패트롤 모드가 활성화된 경우 센서부(530)에 기초하여 상기 실시간 센싱정보를 획득할 수 있다.

구체적으로, 실시예에서 프로세서는, 1) 실시간 현재 위치정보를 획득할 수 있다.

자세히, 프로세서는, 상기 베이스 맵과 상기 실시간 포인트 맵에 기초하여 로봇(500)의 실시간 현재 위치정보를 제공할 수 있다.

보다 상세히, 프로세서는, 상기 실시간 포인트 맵과 상기 베이스 맵을 맵핑하여 실시간 현재 위치정보를 추적할 수 있다.

실시예로, 프로세서는, 상기 실시간 포인트 맵이 포함하는 소정의 제1 포인트군 정보(즉, 실시예에서 객체감지 센서를 기초로 감지된 포인트들의 집합)와, 상기 베이스 맵에 대한 적어도 하나 이상의 포인트 맵인 베이스 포인트 맵이 포함하는 소정의 제2 포인트군 정보에 기초하여, 상기 실시간 포인트 맵을 상기 베이스 포인트 맵 중 적어도 일부에 맵핑할 수 있다.

구체적으로, 프로세서는, 상기 실시간 포인트 맵에서 기 설정된 반경 내의 포인트들을 제1 포인트군 정보로 결정할 수 있다.

그리고 상기 베이스 맵의 기 설정된 반경을 기준으로 한 포인트군들 중 상기 제1 포인트군의 포인트들과 매칭되는 포인트 비율이 소정의 퍼센트 이상인 포인트군을 제2 포인트군으로 검출할 수 있다.

즉, 프로세서는, 제1 포인트군 정보와 상기 베이스 포인트 맵의 제2 포인트군 정보를 비교하여, 상기 제1 포인트군 정보와 기 설정된 비율 이상의 매칭율로 상호 일치하는 포인트군 정보를 가지는 제2 포인트군 정보를 검출할 수 있다. 또한, 프로세서는, 제2 포인트군과 제1 포인트군을 매칭시켜, 베이스 맵과 포인트 맵을 실시간 맵핑할 수 있다.

이때, 실시예에서 프로세서는, 상기 실시간 포인트 맵에 맵핑되는 상기 베이스 포인트 맵(이하, 맵핑 포인트 맵)의 3차원 위치정보를 획득할 수 있다.

자세히, 프로세서는, 상기 베이스 맵에 대하여 기설정된 3차원 공간 좌표계에 기반하여 상기 맵핑 포인트 맵에 대한 3차원 위치정보를 획득할 수 있다.

또한, 프로세서는, 상기 획득된 3차원 위치정보를 토대로, 상기 맵핑 포인트 맵에 맵핑되는 상기 실시간 포인트 맵에 대한 현재 3차원 위치정보(즉, 실시예에서 실시간 현재 위치정보)를 획득할 수 있다.

이러한 3차원 위치정보는, 타겟 작업현장 영역에서의 로봇(500)의 실시간 위치와, 상기 실시간 위치에서 로봇(500)의 감시영역을 나타내는 정보를 포함하므로, 이를 송신한 원격 관리자 단말(2000)과, 현장 작업자 단말(1000)에서는 상기 3차원 위치정보를 통해 로봇(500)의 실시간 위치 및 감시영역을 파악할 수 있다.

이때, 실시예에 따라서 프로세서는, 상기 실시간 현재 위치정보가 가리키는 영역에서의 AR 원격 협업이 필요한 경우, 컴퓨팅 장치의 모니터링 애플리케이션과 연동하여 상기 AR 원격 협업 프로세스를 진행할 수 있다. 이에 대한 자세한 설명은 후술되는 증강현실 기반 작업정보를 제공하는 단계(S111)에서 기술하기로 한다.

즉, 프로세서는, 타겟 작업현장 영역에 대하여 패트롤을 수행하고 있는 로봇(500)의 실시간 위치를 추적하여 제공함으로써, 상기 타겟 작업현장 영역에 대한 모니터링의 품질을 향상시키고 해당 모니터링을 통해 획득되는 정보들에 기초한 원격 협업 서비스의 성능 향상을 도모할 수 있다.

또한, 실시예에서 프로세서는, 2) 실시간 현장영상을 획득할 수 있다.

자세히, 실시예에서 프로세서는, 이미지 센서와 연동하여 실시간으로 현재 기준영역을 촬영한 주변 촬영영상 즉, 실시간 현장영상을 제공할 수 있다.

실시예로, 프로세서는, 현재 기준영역에 대한 실시간 360도 현장영상(예컨대, Nexx 360 넥밴드형 카메라에 기초한 360도 촬영영상)을 획득할 수 있다.

이를 통해, 프로세서는, 사용자가 위험 구역과 같은 특정한 작업현장에 직접 위치하지 않고도 해당하는 작업현장의 실시간 상황을 실감나게 모니터링하도록 할 수 있다.

또한, 실시예에서 프로세서는, 3) 실시간 환경 감지정보를 획득할 수 있다.

여기서, 실시예에 따른 상기 환경 감지정보란, 소정의 센서(실시예에서, 센서부(530)의 환경감지 센서 및/또는 이미지 센서 등)를 이용하여 감지되는 주변 환경에 대한 가스, 연기, 열 및/또는 사운드 데이터 등을 포함하는 정보일 수 있다.

자세히, 프로세서는, 센서부(530)의 환경감지 센서(실시예에서, 가스(gas) 센서 및/또는 열(온도) 센서 등) 및/또는 이미지 센서 등과 연동하여, 현재 기준영역에 대한 실시간 환경 감지정보를 획득할 수 있다.

실시예로, 프로세서는, 상기 환경감지 센서의 가스 센서를 이용하여 해당하는 현재 기준영역에 대한 실시간 가스 데이터(예컨대, 가스 발생여부 및/또는 가스 기준치 초과여부 등)를 획득할 수 있다. 또한, 프로세서는, 상기 환경감지 센서의 열(온도) 센서를 이용하여 상기 현재 기준영역에 대한 실시간 열(온도) 데이터(예컨대, 측정 온도, 온도 기준치 초과여부 등)를 획득할 수 있다. 또한, 프로세서는, 상기 이미지 센서를 이용하여 상기 현재 기준영역에 대한 실시간 연기 데이터(예컨대, 연기 발생여부 및/또는 연기 기준치 초과여부 등) 및/또는 사운드 데이터(예컨대, 특정 사운드 발생여부 등)를 획득할 수 있다.

따라서, 프로세서는, 작업현장에서 주의를 기울여야 하는 환경 상황 정보들(예컨대, 가스, 연기, 열(온도) 및/또는 사운드 데이터 등)을 쉽고 직관적으로 파악하게 할 수 있다.

또한, 실시예에서 프로세서는, 위와 같이 획득된 실시간 현재 위치정보, 실시간 현장영상 및/또는 실시간 환경 감지정보를 기초로 해당 현재 기준영역에 대한 실시간 센싱정보를 생성할 수 있다.

또한, 프로세서는, 생성된 실시간 센싱정보를 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000)로 송신하여 제공할 수 있다.

즉, 프로세서는, 상기 실시간 센싱정보를 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000)로 시각화하여 제공함으로써, 원격 관리자 및/또는 현장 유저가 상기 실시간 센싱정보를 공유하게 할 수 있다.

또한, 실시예에서 프로세서는, 이상객체 정보를 생성 및 제공할 수 있다. (S109)

도 12는 본 발명의 실시예에 따른 이상객체 정보를 제공하는 방법을 설명하기 위한 도면의 일례이다.

자세히, 도 12를 참조하면, 실시예에서 프로세서는, 기설정된 특정환경(SE)이 감지되는 경우, 상기 감지된 특정환경(SE)에 위치하는 소정의 오브젝트인 이상객체(PO)에 대한 이상객체 정보를 생성하여 제공할 수 있다.

여기서, 실시예에 따른 상기 이상객체 정보란, 기설정된 특정환경(SE)에 위치하는 오브젝트인 이상객체(PO)에 대한 위치정보 및/또는 관련 특정환경 정보를 포함하는 정보일 수 있다.

보다 상세히, 실시예에서 프로세서는, 컴퓨팅 장치의 모니터링 애플리케이션과 연동하여, 상기 특정환경(SE)을 설정하는 사용자 인터페이스를 제공할 수 있다.

또한, 실시예에서 프로세서는, 상기 제공된 사용자 인터페이스에 대한 입력을 토대로 상기 특정환경(SE)을 기설정할 수 있다.

여기서, 실시예에 따른 상기 특정환경(SE)은, 상기 이상객체 정보를 생성하는 조건을 포함하는 정보로서, 위험 가스수치 데이터, 위험 연기수치 데이터, 위험 온도수치 데이터 및/또는 위험 사운드 데이터 등을 포함하는 정보일 수 있다.

또한, 실시예에서 프로세서는, 상술된 이동 제어에 따라서 로봇(500)의 이동을 수행하며 상기 실시간 센싱정보를 수집하는 도중에 상기 기설정된 특정환경(SE)이 감지되면, 해당 특정환경(SE)에 대한 이상객체 정보를 생성하여 제공할 수 있다.

실시예에서, 프로세서는, 상술된 환경감지 센서 및/또는 이미지 센서를 기초로 획득된 실시간 센싱정보를 이용하여 해당하는 현재 기준영역에 대한 상기 특정환경(SE) 충족 여부를 판단할 수 있다.

또한, 프로세서는, 상기 특정환경(SE)이 충족된다고 판단되면, 상기 특정환경(SE)을 충족하는 현재 기준영역에 위치하는 이상객체(PO)가 어떠한 특정환경(SE)과 관련되는지 나타내는 관련 특정환경 정보를 생성할 수 있다.

실시예로, 프로세서는, 상기 가스 센서를 통해 획득된 가스 데이터와 상기 기설정된 특정환경(SE)의 위험 가스수치 데이터를 기초로 해당하는 현재 기준영역이 소정의 특정환경(SE)(여기서, 가스가 위험 수치를 초과하는 상황 등)을 충족하는지 판단할 수 있다. 또한, 프로세서는, 상기 열(온도) 센서를 통해 획득된 열(온도) 데이터와 상기 기설정된 특정환경(SE)의 위험 온도수치 데이터를 기초로 해당하는 현재 기준영역이 소정의 특정환경(SE)(여기서, 온도가 위험 수치를 초과하는 상황 등)을 충족하는지 판단할 수 있다. 또한, 프로세서는, 상기 이미지 센서를 통해 획득된 연기 데이터 및/또는 사운드 데이터와 상기 기설정된 특정환경(SE)의 위험 온도수치 데이터 및/또는 위험 사운드 데이터를 기초로 해당하는 현재 기준영역이 소정의 특정환경(SE)(여기서, 온도가 위험 수치를 초과하는 상황 및/또는 위험 상황을 알리는 사운드가 감지되는 상황 등)을 충족하는지 판단할 수 있다.

또한, 프로세서는, 위와 같이 수행된 판단의 결과를 토대로 상기 현재 기준영역이 상기 특정환경(SE) 중 적어도 일부를 충족한다고 판단되면, 상기 특정환경(SE) 즉, 상기 현재 기준영역 내 위치하는 이상객체(PO)가 어떠한 특정환경(SE)과 관련되는지를 나타내는 관련 특정환경 정보를 생성할 수 있다.

또한, 실시예에서 프로세서는, 해당하는 현재 기준영역이 상기 특정환경(SE)을 충족한다고 판단되면, 상기 이상객체(PO)에 대한 위치를 나타내는 이상객체(PO) 위치정보를 획득할 수 있다.

자세히, 실시예에서 프로세서는, 해당하는 현재 기준영역이 상기 특정환경(SE)을 충족한다고 판단되면, 상기 특정환경(SE)에 위치하는 즉, 상기 현재 기준영역에 위치하는 이상객체(PO)를 검출할 수 있다.

실시예로, 프로세서는, 센서부(530)를 이용하여 상기 특정환경(SE) 상에 위치하는 이상객체(PO)를 검출할 수 있다.

또한, 실시예에서 프로세서는, 상기 검출된 이상객체(PO)에 대한 위치를 나타내는 이상객체(PO) 위치정보를 획득할 수 있다.

자세히, 프로세서는, 상기 이상객체(PO)를 포함하는 포인트 맵(이하, 이상객체(PO) 포인트 맵)과 상술된 베이스 맵에 기초하여 상기 이상객체(PO) 위치정보를 획득할 수 있다.

보다 상세히, 프로세서는, 상기 이상객체(PO) 포인트 맵과 상기 베이스 맵을 맵핑하여 상기 이상객체(PO) 위치정보를 추적할 수 있다.

실시예에서, 프로세서는, 상기 이상객체(PO) 포인트 맵이 포함하는 소정의 제1 포인트군 정보와, 상기 베이스 맵에 대한 적어도 하나 이상의 포인트 맵인 베이스 포인트 맵이 포함하는 소정의 제2 포인트군 정보에 기초하여, 상기 이상객체(PO) 포인트 맵을 상기 베이스 포인트 맵 중 적어도 일부에 맵핑할 수 있다.

구체적으로, 프로세서는, 상기 이상객체(PO) 포인트 맵의 제1 포인트군 정보와 상기 베이스 포인트 맵의 제2 포인트군 정보를 비교하여, 상기 제1 포인트군 정보와 상호 일치하는 포인트군 정보를 가지는 제3 포인트군 정보를 검출할 수 있다. 또한, 프로세서는, 위와 같이 검출된 제3 포인트군 정보에 매칭되는 상기 베이스 포인트 맵의 적어도 일부와 상기 이상객체(PO) 포인트 맵을 맵핑할 수 있다.

이때, 실시예에서 프로세서는, 상기 이상객체(PO) 포인트 맵에 맵핑되는 상기 베이스 포인트 맵인 맵핑 포인트 맵의 3차원 위치정보를 획득할 수 있다.

자세히, 프로세서는, 상기 베이스 맵에 대하여 기설정된 3차원 공간 좌표계에 기반하여 상기 맵핑 포인트 맵에 대한 3차원 위치정보를 획득할 수 있다.

또한, 프로세서는, 상기 획득된 3차원 위치정보를 토대로, 상기 맵핑 포인트 맵에 맵핑되는 상기 이상객체(PO) 포인트 맵에 대한 현재 3차원 위치정보(즉, 실시예에서 이상객체(PO) 위치정보)를 획득할 수 있다.

또한, 실시예에서 프로세서는, 위와 같이 획득된 이상객체(PO) 위치정보와 상기 관련 특정환경 정보에 기초하여 상기 이상객체 정보를 생성할 수 있다.

또한, 실시예에서 프로세서는, 상기 생성된 이상객체 정보를 상기 특정환경(SE)이 감지된 현재 기준영역을 촬영한 현장영상에 기초하여 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000)로 제공할 수 있다.

자세히, 프로세서는, 이미지 센서를 기초로 상기 특정환경(SE)이 감지된 현재 기준영역을 촬영한 현장영상 상에, 상기 이상객체 정보를 증강한 가상 콘텐츠를 표시하여 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000)로 제공할 수 있다.

이때, 실시예에서 프로세서는, 상기 현장영상 내 소정의 이상객체(PO)에 대한 이상객체(PO) 위치정보를 기초로 상기 가상 콘텐츠를 증강할 위치를 결정하여 표시할 수 있다.

따라서, 프로세서는, 타겟 작업현장 영역에서 이상상황이 감지된 영역에 대한 위치, 관련 오브젝트 및/또는 이상상황 발생원인 등을 포함하는 종합적인 정보를 사용자(실시예에서, 원격 관리자 및/또는 현장 작업자 등)가 직관적으로 파악하게 용이한 형태로 실시간 생성하여 제공할 수 있다.

또한, 실시예에서 프로세서는, 증강현실 기반 작업정보를 제공할 수 있다. (S111)

도 13은 본 발명의 실시예에 따른 증강현실 기반 작업정보를 제공하는 방법을 설명하기 위한 개념도이다.

도 13을 참조하면, 실시예에 따른 상기 증강현실 기반 작업정보란, 작업현장으로부터 원격에 위치하는 원격 관리자(1)에 의해 현장 작업자(2)의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 제공하는 가상 콘텐츠를 포함할 수 있다. 이때, 실시예에 따른 상기 원격 관리자(1)는, 작업현장으로부터 원격의 위치에서 상기 작업현장에 위치하는 현장 작업자(2)의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 콘텐츠로 제공하는 자일 수 있다.

실시예에서, 이러한 증강현실 기반 작업정보는, 원격 관리자 단말(2000)을 이용하는 원격 관리자(1)의 입력에 기초한 텍스트, 포인팅, 이미지, 드로잉 및/또는 음성 데이터 등을 기반으로 작업 가이던스를 제공하는 가상 콘텐츠를 포함할 수 있다.

자세히, 실시예에서 프로세서는, 원격 관리자 단말(2000)과 연동하여 원격 관리자(1)의 입력에 의한 증강현실 기반 작업정보를 획득할 수 있다. 즉, 프로세서는, 원격 관리자 단말(2000)로부터 원격 관리자(1)가 현장 작업자(2)의 작업을 지시 또는 보조하기 위해 입력한 텍스트, 포인팅, 이미지, 드로잉 및/또는 음성 데이터 등을 포함하는 작업 가이던스를 제공하는 가상 콘텐츠를 획득할 수 있다.

또한, 실시예에서 프로세서는, 1) 소정의 이미지 센서를 이용하여 촬영된 영상에 기초하여 증강현실 기반 작업정보를 제공할 수 있다.

보다 상세히, 프로세서는, 소정의 이미지 센서를 통해 획득되는 촬영영상 상에 상기 획득된 증강현실 기반 작업정보를 표시할 수 있다.

이때, 실시예에 따른 상기 이미지 센서는, 로봇(500)의 이미지 센서(이하, 제1 이미지 센서), 디스플레이 디바이스(520)의 디스플레이 카메라(이하, 제2 이미지 센서), 현장 유저 단말(1000)의 이미지 센서(이하, 제3 이미지 센서) 및/또는 타겟 작업현장 영역 내 소정의 위치에 설치된 현장 이미지 센서(이하, 제4 이미지 센서) 등을 포함할 수 있다.

즉, 실시예에서 프로세서는, 상기 제1 내지 제4 이미지 센서를 통하여 획득되는 촬영영상 상에 상기 증강현실 기반 작업정보를 표시할 수 있다.

구체적으로, 프로세서는, 상기 제1 이미지 센서에 기반한 현장영상 상에 상기 증강현실 기반 작업정보를 표시해 제공할 수 있다. 또한, 프로세서는, 상기 제2 이미지 센서에 기반한 서브 현장영상 상에 상기 증강현실 기반 작업정보를 표시해 제공할 수 있다. 또한, 프로세서는, 상기 제3 이미지 센서에 기반한 유저영상 상에 상기 증강현실 기반 작업정보를 표시해 제공할 수 있다. 또한, 프로세서는, 상기 제4 이미지 센서에 기반한 현장 카메라 영상(예컨대, CCTV 영상 등) 상에 상기 증강현실 기반 작업정보를 표시할 수 있다.

이때, 실시예에서 원격 관리자 단말(2000)은, 로봇(500)의 제1 이미지 센서에 기반한 현장영상, 디스플레이 디바이스(520)의 제2 이미지 센서에 기반한 서브 현장영상, 현장 유저 단말(1000)의 제3 이미지 센서에 기반한 유저영상 및/또는 현장 이미지 센서에 기반한 현장 카메라 영상 중 적어도 하나의 영상을 기초로, 원격 관리자(1)의 입력에 의한 증강현실 기반 작업정보를 획득할 수 있고, 상기 획득된 증강현실 기반 작업정보가 표시된 영상을 프로세서와 공유할 수 있다.

또한, 실시예에서 프로세서는, 위와 같이 증강현실 기반 작업정보를 표시한 소정의 촬영영상(실시예에서, 현장영상, 서브 현장영상, 유저영상 및/또는 현장 카메라 영상 등)을 디스플레이 디바이스(520), 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000) 중 적어도 하나와 연동하여 출력해 제공할 수 있다.

따라서, 프로세서는, 작업현장의 일 영역을 촬영한 영상 상에 해당 영역과 관련된 증강현실 기반 작업정보를 가상 콘텐츠로 증강 표시하여 제공할 수 있다.

또한, 실시예에 따라서 프로세서는, 2) 베이스 맵에 기초하여 증강현실 기반 작업정보를 제공할 수 있다.

자세히, 프로세서는, 원격 관리자 단말(2000)과 연동하여 상기 베이스 맵에 기초한 원격 관리자(1)의 작업정보 제공 목표지점 설정정보(이하, 목표지점 설정정보)를 획득할 수 있다.

여기서, 실시예에 따른 상기 목표지점 설정정보는, 원격 관리자(1)가 원격 관리자 단말(2000)로 출력된 베이스 맵을 기초로 선택한 상기 베이스 맵 상의 특정 지점 또는 특정 오브젝트에 대한 위치정보를 포함할 수 있다.

보다 상세히, 실시예에서 원격 관리자 단말(2000)은, 상기 베이스 맵 상의 특정 지점 또는 특정 오브젝트를 선택하는 원격 관리자(1)의 입력을 획득할 수 있고, 획득된 입력을 토대로 상기 목표지점 설정정보를 생성하여 프로세서로 제공할 수 있다.

계속해서, 상기 목표지점 설정정보를 획득한 프로세서는, 상기 획득된 목표지점 설정정보에 기초한 촬영영상을 획득할 수 있다.

도 14는 본 발명의 실시예에 따른 로봇(500)이 서로 다른 센서를 이용하여 촬영영상을 획득하는 방법을 설명하기 위한 도면의 일례이다.

이때, 도 14를 참조하면, 실시예에서 프로세서는, 1] 제1 이미지 센서(531)를 기초로 상기 목표지점 설정정보에 따른 제1 촬영영상(즉, 현장영상)을 획득할 수 있다.

보다 상세히, 프로세서는, 상기 획득된 목표지점 설정정보를 기초로 로봇(500)을 이동시킬 수 있다.

구체적으로, 프로세서는, 이동부(540)와 연동하여 상기 목표지점 설정정보가 포함하는 상기 베이스 맵 상의 특정 지점 또는 특정 오브젝트에 대한 위치정보(이하, 목표 위치정보)가 가리키는 목표 위치로 로봇(500)을 이동시킬 수 있다. 즉, 프로세서는, 상기 목표 위치가 로봇(500)의 현재 위치가 되도록 상기 로봇(500)을 이동시킬 수 있다.

또한, 프로세서는, 제1 이미지 센서(531)를 이용하여 상기 목표 위치를 현재 위치로 하여 형성되는 소정의 주변 영역(즉, 실시예에서 현재 기준영역)을 촬영한 현장영상을 획득할 수 있다.

한편, 도 14를 더 참조하면, 다른 실시예에서 프로세서는, 2] 제2 이미지 센서(521)를 기초로 상기 목표지점 설정정보에 따른 제2 촬영영상(즉, 서브 현장영상)을 획득할 수 있다.

이때, 본 실시예에서 프로세서는, 고정부를 이용하여 로봇(500) 본체(510)에 장착된 디스플레이 디바이스(520)의 촬영방향을 제어할 수 있고, 이를 통해 상기 제2 이미지 센서(521)의 촬영방향을 컨트롤하는 기능 동작을 수행할 수 있다.

자세히, 프로세서는, 상기 획득된 목표지점 설정정보를 기초로 로봇(500) 이동 제어 및/또는 디스플레이 디바이스(520) 촬영방향 제어를 수행할 수 있다.

자세히, 프로세서는, 상기 획득된 목표지점 설정정보를 기초로 로봇(500)을 이동시킬 수 있다.

보다 상세히, 프로세서는, 이동부(540)와 연동하여 상기 목표지점 설정정보가 포함하는 상기 베이스 맵 상의 특정 지점 또는 특정 오브젝트의 목표 위치정보가 가리키는 목표 위치로 로봇(500)을 이동시킬 수 있다. 즉, 프로세서는, 상기 목표 위치가 로봇(500)의 현재 위치가 되도록 상기 로봇(500)을 이동시킬 수 있다.

또는, 실시예에 따라서 프로세서는, 상기 획득된 목표지점 설정정보를 기초로 디스플레이 디바이스(520)의 촬영방향을 제어할 수도 있다.

자세히, 프로세서는, 로봇(500) 본체(510)의 고정부를 제어하여 상기 로봇(500) 본체(510)에 장착된 디스플레이 디바이스(520)의 촬영방향을 상기 목표지점 설정정보에 따라서 변경할 수 있고, 이를 통해 상기 디스플레이 디바이스(520)가 포함하는 제2 이미지 센서(521)의 촬영방향이 상기 목표지점 설정정보의 특정 지점 또는 특정 오브젝트에 대한 목표 위치정보가 가리키는 목표 위치를 향하도록 컨트롤할 수 있다.

이때, 실시예에 따라서 프로세서는, 흔들림에 의하여 제2 이미지 센서(521)를 통해 촬영되는 서브 현장영상의 품질 저하를 최소화하기 위해 소정의 짐벌 장치와 연동하여 상기 제2 이미지 센서(521)의 흔들림을 방지하는 짐벌 기능을 더 제공할 수도 있다.

또한, 본 실시예에서 프로세서는, 이동 후의 현재 위치(즉, 여기서 목표 위치) 및/또는 디스플레이 디바이스(520) 촬영방향에 기초하여 결정되는 소정의 제2 이미지 센서(521) 촬영영역을 상기 제2 이미지 센서(521)를 이용해 촬영하여 서브 현장영상을 획득할 수 있다.

다시 돌아와서, 또한 실시예에서 위와 같이 목표지점 설정정보에 기초한 촬영영상을 획득한 프로세서는, 상기 획득된 촬영영상(실시예에서, 현장영상 및/또는 서브 현장영상) 상에 상기 증강현실 기반 작업정보를 표시할 위치를 결정할 수 있다.

예를 들면, 프로세서는, 상기 촬영영상 내 소정의 오브젝트로부터 소정의 거리 이내의 영역을 포함하는 주변영역 상의 적어도 일부를 상기 증강현실 기반 작업정보를 표시할 위치로 설정할 수 있다.

또한, 실시예에서 프로세서는, 상기 결정된 위치 상에 상기 증강현실 기반 작업정보를 표시하여 제공할 수 있다.

자세히, 실시예에서 프로세서는, 상기 촬영영상(실시예에서, 현장영상 및/또는 서브 현장영상)에 대하여 결정된 표시 위치 상에 상기 증강현실 기반 작업정보를 표시할 수 있다.

또한, 프로세서는, 상기 증강현실 기반 작업정보가 표시된 촬영영상(실시예에서, 현장영상 및/또는 서브 현장영상)을 디스플레이 디바이스(520), 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000) 중 적어도 하나와 연동하여 출력해 제공할 수 있다.

따라서, 프로세서는, 거시적 관점으로 타겟 작업현장 영역을 관리할 수 있는 베이스 맵을 기초로 증강현실 기반 작업정보를 제공하고자 하는 지점을 설정하고, 설정된 지점에 대한 촬영영상 상에 상기 증강현실 기반 작업정보를 증강 표시하여 제공하게 할 수 있다.

도 15는 본 발명의 실시예에 따른 서로 다른 작업현장을 촬영한 복수의 영상을 기초로 증강현실 기반 작업정보를 제공하는 방법을 설명하기 위한 개념도이다.

또한, 도 15를 참조하면, 실시예에 따라서 프로세서는, 3) 서로 다른 작업현장을 촬영한 복수의 영상에 기초하여 증강현실 기반 작업정보를 제공할 수 있다.

자세히, 본 발명의 실시예에 따른 로봇(500)의 디스플레이 디바이스(520)는, 상기 로봇(500) 본체(510) 상에 장착되거나 또는 이격되어 별도의 장치로서 동작할 수 있다.

여기서, 실시예에 따른 프로세서는, 상기 디스플레이 디바이스(520)가 로봇(500) 본체(510)로부터 이격되는 경우, 상기 로봇(500)이 위치하는 현재 기준영역에 대한 현장영상과, 상기 로봇(500)으로부터 이격된 별도의 위치에서 주변 영역을 촬영한 서브 현장영상을 획득할 수 있다.

즉, 프로세서는, 소정의 제1 영역(즉, 로봇(500)의 현재 기준영역)을 제1 이미지 센서(531)를 이용하여 촬영한 현장영상과, 상기 제1 영역과는 다른 소정의 제2 영역을 제2 이미지 센서(521)를 이용하여 촬영한 서브 현장영상을 획득할 수 있다.

또한, 프로세서는, 위와 같이 획득된 현장영상과 서브 현장영상을 포함하는 복수의 영상에 기초하여 증강현실 기반 작업정보를 제공할 수 있다.

따라서, 프로세서는, 하나의 로봇(500)이 포함하는 복수의 이미지 센서(실시예에서, 제1 및 제2 이미지 센서(521))를 기초로 타겟 작업현장 내 서로 다른 영역에 기준한 복수의 촬영영상을 획득하고, 이를 기초로 증강현실 기반 작업정보를 증강 표시하여 제공할 수 있다.

한편, 실시예에 따라서 프로세서는, 위와 같은 증강현실 기반 작업정보를 해당하는 증강현실 기반 작업정보에 대응되는 영역(실시예에서, 소정의 촬영영상을 획득한 영역 등)에 매칭하여 저장 및 관리할 수 있다.

실시예로, 프로세서는, 상기 증강현실 기반 작업정보를 상기 대응 영역에 매칭하여 저장부(570)에 저장 및 관리할 수도 있고, 상기 증강현실 기반 작업정보를 상기 대응 영역에 매칭해 현장 유저 단말(1000) 및/또는 원격 관리자 단말(2000) 등으로 송신하여 저장 및 관리하게 할 수도 있다.

또한, 프로세서는, 추후 상기 대응 영역에서 이상상황을 감지할 시(즉, 실시예에서 기설정된 특정환경(SE) 감지 시 등), 현장 작업자(2)가 현장 유저 단말(1000) 및/또는 디스플레이 디바이스(520)에 기초하여 상기 대응 영역에서 증강현실 기반 작업정보를 요청할 시 및/또는 원격 관리자(1)가 원격 관리자 단말(2000)에 기초하여 상기 대응 영역에 대한 증강현실 기반 작업정보를 요청하는 등의 상황일 시, 상기 대응 영역에 매칭된 증강현실 기반 작업정보를 독출하여 제공할 수 있다.

따라서, 프로세서는, 타겟 작업현장 영역을 순찰하는 로봇(500)을 이용한 증강현실 기반 작업정보 제공 서비스의 활용성과 편의성을 보다 향상시킬 수 있다.

또한, 실시예에서 프로세서는, 증강현실 기반 피드백 정보(이하, 피드백 정보)를 제공할 수 있다. (S113)

도 16은 본 발명의 실시예에 따른 증강현실 기반 피드백 정보를 제공하는 방법을 설명하기 위한 개념도이다.

도 16을 참조하면, 실시예에 따른 상기 피드백 정보란, 작업현장에 위치하는 현장 작업자(2)의 입력에 기초한 작업 피드백을 제공하는 가상 콘텐츠를 포함할 수 있다. 이때, 실시예에 따른 상기 현장 작업자(2)는, 해당 작업현장에서 원격 관리자(1)로부터 수신된 증강현실 기반 작업정보를 기반으로 실제 작업을 수행하는 자일 수 있다.

실시예에서, 상기 피드백 정보는, 현장 유저 단말(1000) 및/또는 디스플레이 디바이스(520)를 이용하는 현장 작업자(2)의 입력에 기초한 텍스트, 포인팅, 이미지, 드로잉 및/또는 음성 데이터 등을 기반으로 작업 피드백을 제공하는 가상 콘텐츠를 포함할 수 있다.

이때, 상기 작업 피드백은, 예시적으로 작업 문의사항 정보, 작업 진척사항 정보 및/또는 작업 요청사항 정보 등을 포함할 수 있다.

자세히, 실시예에서 프로세서는, 현장 유저 단말(1000)과 연동하여 상기 현장 유저 단말(1000)에 기초한 현장 작업자(2)의 입력에 따른 피드백 정보를 획득할 수 있다.

또는, 실시예에 따라서 프로세서는, 디스플레이 디바이스(520)에 기초한 현장 작업자(2)의 입력에 따른 피드백 정보를 획득할 수도 있다.

즉, 실시예에서 프로세서는, 현장 유저 단말(1000) 및/또는 디스플레이 디바이스(520)를 이용하여 현장 작업자(2)가 소정의 작업에 대한 피드백 정보를 제공하기 위해 입력한 텍스트, 포인팅, 이미지, 드로잉 및/또는 음성 데이터 등에 기초한 가상 콘텐츠를 포함하는 피드백 정보를 획득할 수 있다.

이때, 실시예에서 프로세서는, 상기 피드백 정보를 1) 소정의 이미지 센서를 이용하여 촬영된 영상을 기초로 획득할 수도 있고, 2) 베이스 맵에 기초하여 획득할 수도 있고, 3) 서로 다른 작업현장을 촬영한 복수의 영상에 기초하여 획득할 수도 있다. 상기 피드백 정보를 위와 같은 다양한 방식을 통해 획득하는 방법에 대한 자세한 설명은 상술된 증강현실 기반 작업정보를 제공하는 단계(S111)에서의 상기 증강현실 기반 작업정보를 획득하는 방법에 대한 설명으로 대체하기로 한다.

또한, 실시예에서 프로세서는, 위와 같이 획득된 피드백 정보가 표시된 촬영영상(실시예에서, 현장영상, 서브 현장영상, 유저영상 및/또는 현장 카메라 영상 등)을 디스플레이 디바이스(520), 원격 관리자 단말(2000) 및/또는 현장 유저 단말(1000) 중 적어도 하나와 연동하여 출력해 제공할 수 있다.

따라서, 프로세서는, 원격 관리자(1)로부터 생성된 가상 콘텐츠 기반의 작업 가이던스를 현장 작업자(2)에게 전달하고, 현장 작업자(2)로부터 생성된 가상 콘텐츠 기반의 작업 피드백을 원격 관리자(1)에게 전달하는 증강현실 환경 기반의 양방향 커뮤니케이션을 구현하는 원격 협업 서비스를 제공할 수 있다.

이상, 본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 원격의 위치에서 소정의 작업현장에 위치하는 로봇(500)을 이용해 해당 작업현장을 모니터링(monitoring)하고, 이와 관련된 데이터를 사용자 간 공유함으로써, 다양한 사고 유발 요소가 산재하거나 유해 물질이 상존하는 등의 위험 작업현장에 대한 실시간 모니터링 정보를 작업 관계자들에게 지원하여 인명 피해를 방지하고 작업 효율 개선을 도모할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 로봇(500)을 이용하여 모니터링하고자 하는 작업현장에 대한 자동화된 순찰 프로세스(patrol process)를 제공함으로써, 광범위한 영역에 걸쳐서 쉴 새 없이 가동되는 작업현장을 과도한 인력을 투입하지 않고도 지속적으로 일괄 모니터링할 수 있고, 이를 통해 작업현장에서의 안전성을 보다 확보할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 상기 순찰 프로세스에 기초하여 획득되는 각종 데이터를 작업현장으로부터 원격에 위치하는 관리자와 상기 작업현장에 위치하는 작업자가 공유하게 함으로써, 원격 관리자(1) 및/또는 현장 작업자(2)가 작업현장 내 현황을 실시간으로 파악하며 상호 관련된 정보를 용이하게 교환하도록 할 수 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 사용자(실시예에서, 원격 관리자(1) 및/또는 현장 작업자(2))의 니즈(needs)에 따라서 상기 순찰을 수행하는 경로 및/또는 모니터링하고자 하는 타겟(target)을 변경 가능하게 함으로써, 상황에 따라서 사용자의 인지적 판단을 활용하여 해당 작업현장에 대한 순찰 프로세스를 동작하게 할 수 있는 효과가 있다.

본 발명의 실시예에 따른 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템은, 상기 순찰 프로세스를 수행하며 상기 작업현장에서의 이상상황을 감지 및 알림함으로써, 해당 작업현장에서의 사고 발생을 미연에 방지할 수 있고, 위험 상황이 발생한 경우 이에 대한 빠른 대처를 수행하게 할 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (12)

1. 로봇의 프로세서가 현장 운전상황 및 설비 정보를 수집하는 방법으로서,
   상기 로봇의 이동을 제어하는 이동명령을 획득하는 단계;
   상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하는 단계;
   상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하는 단계;
   상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하는 단계;
   상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하는 단계; 및
   상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 로봇이 포함하는 디스플레이 디바이스 중 적어도 하나로 송신하여 표시하도록 제공하는 단계를 포함하고,
   상기 센싱정보를 획득하는 단계는, 상기 현재 기준영역의 기준이 되는 상기 로봇의 현재 위치정보, 상기 현재 기준영역의 적어도 일부를 촬영한 현장영상 및 상기 현재 기준영역에 대한 환경 감지정보 중 적어도 하나를 획득하는 단계를 포함하고,
   상기 이상객체 정보를 생성하는 단계는, 상기 이상객체 정보를 생성하는 조건을 포함하는 특정환경을 설정하는 단계와, 상기 환경 감지정보를 기초로 상기 특정환경을 감지하는 단계와, 상기 특정환경 내 오브젝트에 대한 위치정보 및 관련 특정환경 정보를 획득하는 단계를 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
2. 제1 항에 있어서,
   상기 실시간 포인트 맵은,
   상기 로봇이 감지 가능한 주변 영역에 배치된 적어도 하나의 오브젝트까지의 측정된 거리를 기초로 3차원 공간을 나타내는 포인트들의 집합에 기반하여 생성되는 점 지도 데이터인
   현장 운전상황 및 설비 정보 수집 방법.
3. 제2 항에 있어서,
   상기 이동명령은,
   타겟 작업현장 영역의 각각의 영역을 나타내는 복수의 포인트 맵을 포함하는 베이스 맵(base map)에 기초한 패트롤 이동경로 및 목표위치 중 적어도 하나를 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
4. 제3 항에 있어서,
   상기 패트롤 이동경로는,
   상기 타겟 작업현장 영역에 대한 포인트 맵을 생성하는 올어라운드(all-around) 이동경로, 상기 타겟 작업현장 영역에서 결정된 적어도 하나 이상의 핵심영역에 대한 포인트 맵을 생성하는 최단 시간의 이동경로인 핵심-최단시간 이동경로 및 사용자 입력에 따른 사용자 설정 이동경로 중 적어도 하나의 이동경로를 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
5. 제4 항에 있어서,
   상기 로봇의 이동을 제어하는 단계는,
   상기 베이스 맵의 일부 영역과 상기 실시간 포인트 맵을 맵핑하는 단계와, 상기 베이스 맵의 일부 영역의 이동경로를 상기 맵핑된 실시간 포인트 맵에 매칭하는 단계와, 상기 매칭된 실시간 포인트 맵의 이동경로에 따라서 이동하도록 이동부를 제어하는 단계를 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
6. 삭제
7. 제1 항에 있어서,
   상기 센싱정보를 획득하는 단계는,
   상기 로봇의 이미지 센서 및 상기 로봇이 포함하는 디스플레이 디바이스의 이미지 센서 중 적어도 하나를 이용하여 상기 현장영상을 획득하는 단계를 더 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
8. 제1 항에 있어서,
   상기 센싱정보를 획득하는 단계는,
   타겟 작업현장 영역 전체에 대한 적어도 하나 이상의 포인트 맵을 포함하는 베이스 맵과, 상기 실시간 포인트 맵에 기초하여 상기 현재 위치정보를 획득하는 단계를 더 포함하는
   현장 운전상황 및 설비 정보 수집 방법.
9. 삭제
10. 제1 항에 있어서,
    상기 센싱정보와 상기 이상객체 정보 중 적어도 하나를 나타내는 가상 콘텐츠를 상기 현장영상에 증강하는 단계와, 상기 증강된 현장영상을 상기 원격 관리자 단말 또는 상기 현장 작업자 단말에 송신하여 표시하도록 제공하는 단계를 더 포함하는
    현장 운전상황 및 설비 정보 수집 방법.
11. 로봇의 프로세서가 현장 운전상황 및 설비 정보를 수집하는 방법으로서,
    상기 로봇의 이동을 제어하는 이동명령을 획득하는 단계;
    상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하는 단계;
    상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하는 단계;
    상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하는 단계;
    상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하는 단계; 및
    상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 로봇이 포함하는 디스플레이 디바이스 중 적어도 하나로 송신하여 표시하도록 제공하는 단계를 포함하고,
    상기 센싱정보의 촬영영상을 상기 원격 관리자 단말 및 상기 현장 작업자 단말에 송신하는 단계와,
    상기 촬영영상을 기초로 상기 원격 관리자 또는 상기 현장 작업자로부터 입력된 작업 가이던스를 수신하는 단계와,
    상기 촬영영상에 대해 상기 작업 가이던스를 증강하여 상기 디스플레이 디바이스에 표시하는 단계를 더 포함하는
    현장 운전상황 및 설비 정보 수집 방법.
12. 로봇의 본체를 이동시키는 이동부;
    상기 로봇의 주변 영역을 센싱하는 센서부;
    상기 로봇에 탈착 가능한 형태로 그래픽 이미지를 출력하는 디스플레이 디바이스;
    소정의 컴퓨팅 장치와 통신하는 통신부; 및
    현장 운전상황 및 설비 정보를 수집 서비스를 제공하는 프로세서를 포함하는 제어부;를 포함하고,
    상기 프로세서는,
    상기 통신부를 제어하여 상기 로봇의 이동을 제어하는 이동명령을 획득하고, 상기 센서부를 제어하여 상기 로봇의 현재 위치의 소정의 주변 영역을 포함하는 현재 기준영역에 대한 실시간 포인트 맵(point map)을 생성하고, 상기 이동부를 제어하여 상기 생성된 실시간 포인트 맵과 상기 이동명령을 기초로 상기 로봇의 이동을 제어하고, 상기 센서부를 제어하여 상기 로봇의 이동에 따른 주변 영역에 대한 센싱정보를 획득하고, 상기 센서부를 제어하여 상기 주변 영역 내에 이상객체를 검출하고, 상기 검출된 이상객체에 대한 이상객체 정보를 생성하고, 상기 통신부 및 상기 디스플레이 디바이스 중 적어도 하나를 제어하여 상기 센싱정보 및 이상객체 정보를 상기 현장으로부터 원격에 위치하는 원격 관리자 단말, 상기 현장에 위치하는 현장 작업자 단말 및 상기 디스플레이 디바이스 중 적어도 하나로 표시하도록 상기 통신부를 통해 제어하며,
    상기 프로세서는, 상기 센싱정보의 촬영영상을 상기 원격 관리자 단말 및 상기 현장 작업자 단말에 송신하도록 상기 통신부를 제어하고, 상기 통신부를 통해 촬영영상을 기초로 상기 원격 관리자 또는 상기 현장 작업자로부터 입력된 작업 가이던스를 수신하며, 상기 촬영영상에 대해 상기 작업 가이던스를 증강하여 상기 디스플레이 디바이스에 표시하도록 제어하는
    현장 운전상황 및 설비 정보 수집 시스템.

Images