KR20240039628A - 증강현실 기반 원격제어 시스템 및 그 방법 - Google Patents

Abstract

증강현실 기반 원격제어 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 증강현실 기반 원격제어 시스템은, 현장에서 현장 작업자가 휴대 가능하며, 현장 작업자의 현실세계를 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며 인식된 실제 객체를 추적하면서 실제 객체에 증강현실(Augmented　Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 출력하는 현장 디바이스와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하여 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하며, 검색된 작업대상에 대한 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 원격 서비스 제공장치를 포함한다.

Description

증강현실 기반 원격제어 시스템 및 그 방법 {Augmented reality-based remote control system and method thereof}

본 발명은 원격제어 기술에 관한 것이다.

장치의 제어, 원격수리, 유지관리 등의 작업을 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장치 도입 시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 작업 절차를 숙지하고 있을 수가 없고, 언제 어떤 작업 요구가 발생할지 예측하기가 어렵다. 이에 따라, 현장 작업자들은 작업을 위한 매뉴얼을 항상 휴대하여, 작업 업무를 수행하여 왔다.

이러한 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장이 난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.

일 실시 예에 따라, 복잡한 구조의 장치일지라도 또는 숙련된 현장 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고, 현장 작업자가 작업 매뉴얼 없이도 작업이 가능하고, 현장 디바이스를 통해 손이 자유로우며, 증강현실 객체를 재활용하여 증강현실 기반 원격제어 서비스의 효율성을 높일 수 있는 증강현실 기반 원격제어 시스템 및 그 방법을 제안한다.

일 실시 예에 따른 증강현실 기반 원격제어 시스템은, 현장에서 현장 작업자가 휴대 가능하며, 현장 작업자의 현실세계를 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며 인식된 실제 객체를 추적하면서 실제 객체에 증강현실(Augmented　Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 출력하는 현장 디바이스와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하여 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하며, 검색된 작업대상에 대한 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 원격 서비스 제공장치를 포함한다.

AR 객체는 손 모양, 툴 및 방향 중 적어도 하나를 포함하는 AR 지도도구(AR Direction tool)를 포함할 수 있다.

원격 서비스 제공장치는, 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하고 있다가, 추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원할 수 있다.

2차 가이드는 소정의 작업단계를 반복하여 다시 보여주는 기능을 포함할 수 있고, 반복하여 다시 보여줄 때 소정의 빠르기로 제공하되, 소정의 빠르기는 기본값으로 설정되거나 사용자에 의해 설정될 수 있다.

2차 가이드는 객체 단위로 복수의 단계로 분할한 뒤, 소정의 작업단계로 접근하여 다시 제공하는 기능을 포함할 수 있으며, 소정의 작업단계로의 접근 기능은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 처음 작업단계로의 이동 또는 다른 작업단계로의 이동 중 적어도 하나를 포함할 수 있다.

원격 서비스 제공장치는, 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 2차 가이드를 지원할 수 있다.

원격 서비스 제공장치는, AR 객체 및 실제 객체를 기계학습을 통해 인식할 수 있다.

원격 서비스 제공장치는, 복수의 전문가 명령을 함께 수신하면 해당하는 전문가 간에 협의하도록 중개할 수 있다.

다른 실시 예에 따른 원격 서비스 제공장치를 이용한 증강현실 기반 원격제어 방법은, 현장 디바이스로부터 원격지원 요청을 수신하는 단계와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하는 단계와, 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하는 단계와, 검색된 작업대상에 대한 문제를 확인하는 단계와, 확인된 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 단계를 포함한다.

증강현실 기반 원격제어 방법은, 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하는 단계와, 추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 단계를 더 포함할 수 있다.

증강현실 기반 원격제어 방법은, 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하는 단계와, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 단계를 더 포함할 수 있다.

일 실시에 따른 증강현실 기반 원격제어 시스템은, 현장 내 복잡한 구조의 장치일지라도 또는 숙련된 현장 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고, 현장 작업자가 작업 매뉴얼 없이도 작업이 가능하다.

또한, 현장 디바이스를 통해 현장 작업자의 손이 자유로우며, 전문가의 도움이 필요할 때 전문가로부터 기술을 지원받을 수 있다.

나아가, 증강현실 객체를 재활용함에 따라 증강현실 기반 원격제어 서비스의 효율성을 높일 수 있다. 예를 들어, 전문가의 1차 가이드 시 현장 작업자가 익숙하지 않아 다시 질문하는 경우에도 증강현실 객체를 재활용하는 전문가의 2차 가이드(예를 들어, 빠르게 다시 보여주기, 단계 별 보여주기 등)를 통해 현장 작업자의 작업을 도와줄 수 있다. 교육이 필요한 초보자에게도 쉽게 적용할 수 있어 유지보수 교육 등에도 활용 가능하다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격제어 시스템(이하 '시스템'이라 칭함)의 구성을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 현장 디바이스의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 원격 서비스 제공장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 객체 인식 단계의 프로세스를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 1차 가이드 프로세스를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 1차 가이드 시 현장 디바이스 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 2차 가이드 프로세스를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격제어 시스템(이하 '시스템'이라 칭함)의 구성을 도시한 도면이다.

도 1을 참조하면, 시스템(1)은 현장 디바이스(1), 네트워크(2) 및 원격 서비스 제공장치(3)를 포함한다.

시스템(1)은 현장 작업자가 현장 디바이스(1)를 통해 작업현장의 실제세계를 실시간으로 촬영한 영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며, 인식한 실제 객체에 증강현실(Augmented Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 AR 가이드 화면을 제공한다. 이에 따라, 현장 작업자가 AR 객체를 따라 스스로 작업할 수 있다. AR 객체는 현장 작업자가 문제가 발생한 작업대상을 조작하기 위해 작업 정보를 제공하는 가상의 AR 콘텐츠이다. 예를 들어, 텍스트 형태의 작업순서, 작업대상과 동일한 형태의 이미지, 화살표나 숫자, 색상, 영상 등으로 다양하게 표현될 수 있다. 또한, AR 객체는 손 모양, 작업 툴(Tool)을 포함하는 AR 지도도구(Direction Tool)를 포함할 수 있다. 작업 툴은 예를 들어, 니퍼, 펜치, 톱, 니퍼 등이 있다.

현장 작업자는 AR 가이드를 통해 작업대상에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다.

작업대상은 작업현장에 설치된 장비, 기계, 설비 등을 포함하며, 하나의 장치를 구성하는 부품, 모듈 등을 포함할 수 있다. 예를 들어, 작업대상은 OS를 탑재한 장치, 스마트 IoT 기기일 수 있다. 작업대상은 스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 복수의 IoT 기기들을 포함할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 AR 기반 원격 가이드를 제공할 수도 있다. 예를 들어, 시스템(1)은 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 현장 디바이스(1)를 이용한 AR 기반 원격 가이드를 제공할 수 있다.

작업현장은 공장(스마트 팩토리)이나 빌딩(스마트 빌딩)과 같은 산업현장이 될 수도 있으며, 가정집(스마트 홈)이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 AR 기반 원격 가이드를 제공할 수 있다. 원격 서비스 제공장치(3)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 현장 작업자에게 알리며, 현장 작업자는 AR 기반 원격 가이드 정보를 이용하여 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.

작업은 제어, 원격수리, 정비, 시스템 유지보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장치에 대한 정비나, 문제가 발생할 가능성이 있는 장치에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.

현장 디바이스(1)는 작업현장에서 작업하는 현장 작업자가 휴대 가능한 사용자 단말이다. 현장 디바이스(1)는 마이크로소프트 홀로 렌즈, 구글 글래스 등과 같은 스마트 글래스일 수 있다. 현장 디바이스(1)는 현장의 상황을 촬영할 수 있는 카메라를 장착하고, 촬영 영상 내 실제 객체에 AR 객체를 오버레이 할 수 있는 화면을 제공한다. 현장 디바이스(1)는 현장 작업자가 두 손으로 잡고 확인할 수 있는 스마트 기기일 수 있고, 현장 작업자의 두 손을 자유롭게 할 수 있는 웨어러블 디바이스일 수 있다.

작업대상에 대한 증강현실 매뉴얼이 작성되어 있을 경우, 현장 작업자는 현장 디바이스(1)를 통해 이를 다운로드하여 셀프로 작동법을 확인하거나 반복 숙달할 수도 있다.

일반적인 시스템은 원격 서버가 원격으로 현장 디바이스에 접속하여 현장의 촬영화면을 보면서 가이드 할 때, 화이트 보드 기반의 그리기 도구를 사용하므로 카메라가 이동하면 그리기 도구가 다른 곳을 지시하게 되는 단점이 있다. 이에 비해, 일 실시 예에 따른 현장 디바이스(1)는 증강현실 기술을 적용하여 사물을 인식하고 객체를 추적(tracking) 할 수 있으므로 현장 작업자에 정확한 지시 및 의견 전달이 가능하다. 증강현실 기술 적용방법으로는 손 모양이나 툴(예: 드라이버, 니퍼) 및 방향 등을 제시하는 방법 등이 있다.

현장 디바이스(1)는 원격 서비스 제공장치(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent) 이다. 현장 디바이스(1)는 원격 가이드를 위해 앱(App)을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.

원격 서비스 제공장치(3)는 원격에 모니터링하거나 수리가 필요한 작업대상의 상태를 수집하고 작업대상의 정보를 축적 및 분석한다. 원격 서비스 제공장치(3)는 작업대상에 문제가 발생할 때 이를 단계별로 현장의 현장 작업자에 전달한다.

원격 서비스 제공장치(3)가 원격에 존재하는 작업대상의 문제해결을 위해, 현장 작업자가 사용하는 현장 디바이스(1)와 연결되어, 현장 디바이스(1)를 통해 화면의 실제 객체에 AR 객체를 오버레이 하는 AR 가이드 화면을 제공하여 실재감을 증강시킨다.

원격 서비스 제공장치(3)를 통해 전문가가 원격으로 현장 작업자를 지도할 수 있다. 이때, 전문가는 단일의 전문가 또는 복수의 전문가일 수 있고, 복수의 전문가의 경우, 서로 간의 협업을 지원할 수 있다. 전문가는 각 분야의 전문가뿐만 아니라, 제조 설비사의 기술 엔지니어를 포함한다. 복수의 전문가 간에 협업하여 현장 디바이스(1)에 대한 스마트 원격지원이 가능하다. 이를 위해, 전문가 간에 현장 작업자의 작업에 대한 기술 지원을 공유할 수 있다. 전문가가 현장 작업자에게 AR 영상과 함께 음성 등을 제공하는 원격 가이드를 통해 심도 높은 기술 지원도 가능하다.

현장 디바이스(1) 및 원격 서비스 제공장치(3)는 객체 인식을 협업할 수 있다. 예를 들어, 현장 디바이스(1)는 AR 기반 객체인식을 통해 작업대상의 윤곽을 인식하고 원격 서비스 제공장치(3)로부터 수신된 기계학습 기반 객체인식 결과를 수신하여 작업대상인 부품 및 모듈을 추가로 인식할 수 있다.

원격 서비스 제공장치(3)는 AR 기반 원격 가이드를 가정 환경에서 제공할 수 있다. 예를 들어, 원격 서비스 제공장치(3)는 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한, 해당 가정기기에 문제가 발생한 경우, 소비자가 현장 디바이스(1)만 가지고 있으면 문제 해결을 위한 AR 기반 원격 가이드를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다.

전술한 구성요소들은 네트워크(2)를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 현장 디바이스의 구성을 도시한 도면이다.

도 1 및 도 2를 참조하면, 현장 디바이스(1)는 데이터 획득부(20), 입력부(21), 제어부(22), 출력부(23), 통신부(24) 및 저장부(25)를 포함한다.

데이터 획득부(20)는 작업현장에서 현장 작업자가 작업대상을 바라보는 현재시점을 기준으로 실시간으로 실제세계를 촬영한 촬영영상을 획득한다. 데이터 획득부(20)는 카메라로부터 촬영영상을 획득할 수 있다. 데이터 획득부(20)는 획득된 촬영 영상을 제어부(22)에 전달한다. 데이터 획득부(20)는 현장 디바이스(1) 내 설치된 앱(App)을 통해 원격 가이드를 이용할 수 있고, 이 경우 앱 카메라를 통해 실시간 촬영영상을 획득할 수 있다. 현장 작업자가 AR 기반 원격 가이드를 이용하는 동안에 실시간으로 촬영영상이 들어온다.

입력부(21)는 사용자 조작신호를 입력 받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 등이 있다. 입력부(21)는 입력 받은 사용자 조작신호를 제어부(22)에 전달한다.

출력부(23)는 제어부(22)를 통해 처리된 정보를 화면에 출력한다. 출력되는 정보는 실제 객체와 AR 객체가 있다. 출력부(23)는 실제 객체에 AR 객체를 오버레이 하여 현장 작업자의 작업을 가이드 할 수 있다. 제어부(22)는 움직이는 실제 객체를 트래킹부(222)를 통해 트래킹 하여 트래킹된 실제 객체의 위치에 맞게 AR 객체를 오버레이 하므로 정확한 지시 및 의견 전달이 가능하다.

출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.

실시간으로 촬영되는 실제화면은 계속 움직인다. 따라서, 출력부(23)는 AR 객체 역시 움직이는 실제 객체에 맞추어 이동한다.

출력부(23)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장치 내 작업이 필요한 제어 파라미터 등 장치에 관한 각종 상태정보를 표시할 수 있다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장치가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장치가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 출력부(23)는 작업이 필요한 장치를 대상으로 자동으로 상태정보를 표시할 수 있지만, 현장 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 현장 작업자가 화면 내에서 소정의 장치를 선택하면, 선택된 장치에 대한 각종 상태정보를 화면에 표시할 수 있다.

출력부(23)는 작업에 필요한 도구를 포함하는 AR 객체를 화면에 표시할 수 있다. 작업 도구는 예를 들어, 망치, 드라이버, 손 등이 있다. 출력부(23)는 복수의 작업단계로 구성된 AR 객체를 대상으로 단계 상태를 파악할 수 있도록 하는 프로세스 마커를 화면에 표시할 수 있다. 프로세스 마커는 AR 객체 별 식별자 정보와, AR 객체 내 각 작업단계 별 식별자 정보와, 사용자가 원하는 작업단계로의 접근을 위해 현재 작업단계를 기준으로 적어도 하나의 작업단계 식별자에 할당되는 마커 정보를 포함한다.

통신부(24)는 원격 서비스 제공장치(3)와 네트워크 연결되어, 유무선 통신을 수행한다. 현장 디바이스(1)는 통신부(24)를 통해 원격 서비스 제공장치(3)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.

일 실시 예에 따른 통신부(24)는 데이터 획득부(20)를 통해 획득된 촬영영상을 원격 서비스 제공장치(3)에 전송하여 공유한다. 그리고 객체 인식결과를 원격 서비스 제공장치(3)와 교환할 수 있다. 예를 들어, 현장 디바이스(1)의 AR 기반 영상분석을 통한 객체인식 결과를 원격 서비스 제공장치(3)에 전송하며, 원격 서비스 제공장치(3)로부터 AI 기반 객체인식 결과를 수신할 수 있다.

저장부(25)는 각종 데이터를 저장한다. 데이터는 작업현장의 장치들의 고유정보, 위치정보, 장치들의 도면, 작업 매뉴얼 정보, 장치 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격 서비스 제공장치(3)로부터 다운로드 받아 저장될 수도 있고, 입력부(21)를 통해 사용자로부터 입력 받을 수도 있다.

제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 획득부(20)를 통해 획득된 촬영영상을 대상으로 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복적으로 수행하여 촬영영상에 AR 객체를 연동시킨다.

일 실시 예에 따른 제어부(22)는 영상 인식부(220), 트래킹부(222) 및 렌더링부(224), 원격제어 처리부(226) 및 디바이스 제어부(228)를 포함한다.

영상 인식부(220)는 촬영영상에서 AR 및 인공지능(Artificial Intelligence: AI, 이하 'AI'라 칭함)에 기반하여 작업대상에 해당하는 실제 객체를 인식한다. 트래킹부(222)는 영상 인식부(220)를 통해 인식된 실제 객체를 트래킹 한다. 카메라를 통해 포착된 촬영영상은 고정된 것이 아니라 현장 작업자의 움직임 등으로 인해 계속 움직이므로, 트래킹부(222)는 촬영영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다. 렌더링부(224)는 실제 객체 및 AR 객체와의 상호작용을 계산하고 계산결과를 반영하여 작업대상에 대한 작업을 돕기 위한 AR 객체를 실제 객체에 정합 한 후 렌더링하거나, AR 객체를 렌더링한 후 실제 객체에 정합 한다. 이때, 촬영영상에서 AR 객체 위치를 선정하여 배치할 수 있다.

일 실시 예에 따른 영상 인식부(220)는 객체 인식을 위해 AR 기반 영상분석과 AI 기반 기계학습을 이용한다. 영상분석은 획득된 촬영영상 내에서 실제 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.

기계학습은 AI에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.

영상 인식부(220)는 이러한 AI 기반 객체 인식을 AR 기반 영상분석의 보조수단으로 활용함에 따라 객체 인식의 정확성을 높이고자 한다. 예를 들어, 영상 인식부(220)는 현장 디바이스(1)을 통한 AR 기반 객체 인식결과에, 현장 디바이스(1)을 통한 AI 기반 객체 인식결과 또는 통신부(24)를 통해 수신된 원격 서비스 제공장치(3)의 AI 기반 객체 인식결과를 반영하여 객체 인식 정확도를 높인다.

원격제어 처리부(226)는 원격 제어 요청 메시지를 생성하여 통신부(23)를 통해 원격 서비스 제공장치(3)에 전송하여 원격제어를 요청한다. 이때, 원격 서비스 제공장치(3)의 제어에 따라 원격으로 AR 가이드 화면을 공유할 수 있다. 원격제어 처리부(226)는 현장 작업자가 자신의 현장 디바이스(1)에 제공되는 AR 객체에 따라 작업을 진행하는 도중에 현장 작업자가 전문가의 도움을 받아야 되는 상황이 발생한 경우, 원격 서비스 제공장치(3)를 통해 원격 서비스 제공장치(3)에 기술 지원을 요청할 수 있다.

디바이스 제어부(228)는 원격 서비스 제공장치(3)의 원격 제어명령을 처리한다. 원격 제어명령은 원격 서비스 제공장치(3)로부터 전달받는 기술 지원을 위한 전문가 명령일 수 있다.

도 3은 본 발명의 일 실시 예에 따른 원격 서비스 제공장치의 구성을 도시한 도면이다.

도 1 및 도 3을 참조하면, 원격 서비스 제공장치(3)는 객체 인식부(300), 모니터링부(302), 1차 가이드부(304), 2차 가이드부(306), 협업 지원부(308), 네트워크 연결부(310), 클라이언트 관리부(312), 데이터 분석부(314), 프로토콜 처리부(316) 및 저장부(318)를 포함한다.

객체 인식부(300)는 네트워크 연결부(310)를 통해 현장 디바이스(1)로부터 수신된 촬영영상을 대상으로 학습 데이터에 기반하여 기계학습을 통해 객체를 인식한다. 기계학습 기반 객체인식 결과는 네트워크 연결부(310)를 통해 현장 디바이스(1)에 전달된다. 객체는 실제 객체, AR 객체를 포함한다.

객체 인식부(300)는 저장부(318)에 저장된 작업대상 카테고리 모델을 검색하여, 인식된 객체와 동일한 작업대상 카테고리 모델을 선택할 수 있다.

모니터링부(302)는 현장 작업자의 현장 디바이스(1) 화면을 모니터링하여 AR 객체의 동작상태를 파악한다. 이때, AR 객체가 정상적으로 동작하는지 여부를 확인할 수 있다.

1차 가이드부(304)는 현장 작업자의 요청에 따라 또는 현장 작업자가 전문가에 의한 기술 지원이 필요한지 여부를 파악한 후 기술 지원이 필요하면 원격으로 현장 디바이스(1)에 원격제어 기술을 지원한다.

일 실시 예에 따른 1차 가이드부(304)는 실제 객체가 보이는 현장 디바이스 화면에 복수의 AR 객체를 순차적으로 제공하면서, 해당하는 AR 객체를 이용한 전문가 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스(1)를 원격 제어하는 1차 가이드를 제공한다. 예를 들어, 전문가가 현장 작업자에게 업무를 지시하기 위해, AR 객체를 화면에 표시할 때 정해진 화면 내 작업위치에 1)니퍼 -> 2) 펜치 -> 3) 톱 -> 4)드라이버 순으로 복수의 AR 객체를 배치할 수 있다. AR 객체는 손 모양, 툴 및 방향 중 적어도 하나를 포함하는 AR 지도도구(AR Direction tool)를 포함할 수 있다. 전문가 액션은 작업 내용을 설명하는 전문가의 동작, 음성, 텍스트 등을 포함한다. 음성의 예를 들면, “니퍼를 아래쪽에 놓고 꼭지를 잘라내세요”와 같이, 작업 내용을 설명하는 것일 수 있다. 현장 작업자는 자신의 현장 디바이스(1)에 제공되는 AR 객체 및 AR 제어정보에 따라 작업을 진행하게 된다.

일 실시 예에 따른 1차 가이드부(304)는 모니터링부(302)를 통해 파악된 AR 객체 동작상태, 클라이언트 관리부(312)를 통해 파악된 현장 디바이스 상태 및 데이터 분석부(314)를 통해 파악된 현장 작업자 상태 중 적어도 하나를 이용하여 전문가의 기술 지원 여부를 판단하고, 기술 지원을 요청할 전문가를 선택할 수 있다.

1차 가이드부(304)는 복수의 AR 객체를 순차적으로 제공하면서 AR 제어정보를 함께 제공하는 1차 가이드 시, 2차 가이드부(306)의 2차 가이드를 위해 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장부(318)에 저장할 수 있다.

2차 가이드부(306)는 1차 가이드부(304)를 통한 1차 가이드 시 저장부(318)에 저장된 정보를 재사용 하여 2차 가이드를 현장 디바이스(1)에 제공할 수 있다. 재사용 시, 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공할 수 있다. 정보를 다시 제공하므로 재활용하는 개념이다.

2차 가이드는 소정의 작업단계를 반복하여 보여주는 기능을 포함할 수 있다. 반복하여 보여주는 기능은 빠르기 제어기능을 함께 제공할 수 있다. 예를 들어, 소정의 빠르기로 반복하여 제공할 수 있는데, 소정의 빠르기는 기본값으로 설정되거나 사용자에 의해 설정될 수 있다.

2차 가이드는 객체 단위로 복수의 단계로 분할한 뒤, 소정의 작업단계로의 접근하는 기능을 포함할 수 있다. 소정의 작업단계로의 접근 기능은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 처음 작업단계로의 이동 또는 다른 작업단계로의 이동 중 적어도 하나를 포함할 수 있다.

2차 가이드부(306)는 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공할 수 있다. 예를 들어, 전문가(예를 들어, 기술창구의 기술 엔지니어)가 현장 작업자의 음성(예를 들어, "니퍼, 보일러 전면, 장면 다시!")을 청취하면, 작업자 음성으로부터 작업 위치(보일러)와 AR 객체(니퍼)를 인식하여 '보일러' 전면에 '니퍼'가 있는 장면으로 이동하고, 작업자 액션(장면 다시)에 따라 해당 장면의 전문가 액션(예를 들어, 설명 음성)을 다시 제공한다.

2차 가이드부(306)가 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하기 위해, 객체 인식부(300)의 기계학습을 통해 AR 객체 및 실제 객체를 인식하여, '보일러' 전면에 '니퍼'가 있는 장면으로 접근할 수 있다.

객체 인식부(300)가 AR 객체 및 실제 객체를 기계학습을 통해 인식한 경우, 2차 가이드부(306)는 인식된 화면 내 작업위치에 AR 객체가 있는 화면으로 이동할 수 있다.

1차 가이드부(305)를 통한 전문가의 1차 가이드 시 현장 작업자가 익숙하지 않아 다시 질문하는 경우에도 2차 가이드부(306)의 2차 가이드(예를 들어, 빠르게 다시 보여주기, 단계 별 보여주기 등)가 유용하게 사용이 가능하다. 교육이 필요한 초보자에게도 쉽게 적용할 수 있어 유지보수 교육 등에도 활용 가능하다.

협업 지원부(308)는 복수의 전문가 간 기술 지원 협업을 중계한다. 예를 들어, 협업 지원부(308)는 복수의 전문가가 동시에 참여 가능한 원격회의 기능을 제공한다. 이때, 협업 지원부(308)는 원격회의 시에 각 전문가의 영상과 함께 음성을 수신하여 이를 현장 디바이스(1)에 전달할 수 있다.

네트워크 연결부(310)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 일 실시 예에 따른 네트워크 연결부(310)는 현장 작업자의 현장 디바이스(1)와 정보를 송수신한다. 예를 들어, 네트워크 연결부(310)는 현장 디바이스(1)로부터 촬영영상을 포함하여 원격지원 요청을 수신하고, 현장 디바이스(1)의 AR에 기반한 영상분석을 통해 인식된 객체정보를 수신하며, 기계학습 기반 객체 인식결과를 현장 디바이스(1)에 전송한다. 네트워크 연결부(310)는 현장 디바이스(1)로부터 원격제어 요청을 수신하면 현장 디바이스(1)의 화면을 공유하며, 원격제어 명령을 네트워크 연결부(310)를 통해 현장 디바이스(1)에 전송한다.

클라이언트 관리부(312)는 클라이언트의 실시간 상태정보를 수신하여 클라이언트의 상태를 확인한다. 클라이언트가 정상적으로 작동하는지, 작동하지 않으면 어떤 문제가 있는지 파악 후 처리한다. 클라이언트는 현장 디바이스(1), 현장 디바이스(1)에서 실행되는 앱, 작업현장 내 각종 장치일 수 있다. 일 실시 예에 따른 클라이언트 관리부(312)는 작업현장 내 장치들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장치에 대한 에러를 처리하기 위한 작업 명령을 생성한다. 생성된 작업 명령은 네트워크 연결부(310)를 통해 현장 작업자의 현장 디바이스(1)에 전송된다.

데이터 분석부(314)는 현장 작업자의 현장 디바이스(1)에 대한 사용정보를 분석하여 현장 작업자 상태를 파악한다. 예를 들어, 현장 작업자가 현장 디바이스(1)을 사용한 정보로부터 앱 사용빈도 및 현장 작업자의 작업에 대한 숙달 여부를 알 수 있다.

프로토콜 처리부(316)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.

저장부(318)는 1차 가이드부(304)를 통해 복수의 AR 객체를 순차적으로 제공하면서 AR 제어정보를 함께 제공하는 1차 가이드 시, 2차 가이드부(306)에 의해 AR 객체와 화면 내 작업위치 및 AR 제어정보가 함께 저장되며, 2차 가이드부(306)의 요청에 따라 해당 정보를 제공한다.

도 4는 본 발명의 일 실시 예에 따른 객체 인식 단계의 프로세스를 도시한 도면이다.

도 1 및 도 4를 참조하면, 원격 서비스 제공장치(3)는 현장 디바이스(1)로부터 원격지원 요청을 수신(410) 하여, 요청에 응답하면, 현장 디바이스(1)로부터 촬영 영상을 포함한 디바이스 화면을 수신한다(420).

이어서, 원격 서비스 제공장치(3)는 기계학습을 통해 학습 모델을 인식한다(430). 그리고 작업대상 카테고리 모델을 검색(440) 하여, 인식된 학습 모델과 동일한 작업대상 카테고리 모델을 선택한다(450).

도 5는 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 1차 가이드 프로세스를 도시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 1차 가이드 시 현장 디바이스 화면을 도시한 도면이다.

도 1, 도 5 및 도 6을 참조하면, 원격 서비스 제공장치(3)가 도 4의 객체 인식 프로세스에 따라 객체를 인식한 후, 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공한다.

예를 들어, 도 5 및 도 6에 도시된 바와 같이, 증상 수집, 데이터 확인, 문제원인 파악, 화면/대화 확인(510)을 거쳐, 문제 A를 인식하면, 인식된 문제 A에 따라 AR 객체를 순차적으로 제공하면서, 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하는 1차 가이드를 지원한다.

도 5의 실시 예에서는, 원격 서비스 제공장치(3)가 AR 객체 1(니퍼)을 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 1(니퍼)를 확인된 작업위치에 생성하고 AR 객체 1(니퍼)을 이용한 작업자 액션(예를 들어, '음성 작업설명: 니퍼를 아래쪽에 놓고 꼭지를 잘라내세요)을 제공한다(520).

이어서, 원격 서비스 제공장치(3)가 AR 객체 2(펀치)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 2(펀치)를 확인된 작업위치에 생성하고 AR 객체 2(펀치)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(530).

이어서, 원격 서비스 제공장치(3)가 AR 객체 3(톱)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 3(톱)를 확인된 작업위치에 생성하고 AR 객체 3(톱)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(540).

이어서, 원격 서비스 제공장치(3)가 AR 객체 4(드라이버)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 4(드라이버)를 확인된 작업위치에 생성하고 AR 객체 4(드라이버)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(550).

원격 서비스 제공장치(3)는 1차 가이드 지원 시, 각 단계(520, 530, 540, 550)에서 AR 객체와 화면 내 작업 위치 및 AR 제어정보를 함께 저장한다(560).

이어서, 원격 서비스 제공장치(3)가 문제 A가 발생한 작업대상이 정상적으로 가동하여 문제 A가 해결되었는지 여부를 확인(570) 하고, 해결이 되면 작업을 종료하고, 해결되지 않으면 재분석을 수행한다(580).

도 6은 도 5의 단계 520, 530, 540, 550에 따라 현장 디바이스(1)의 촬영영상 화면 내 각각의 작업 위치에 AR 객체 1(니퍼), AR 객체 2(펜치) AR 객체 3(톱), AR 객체 4(드라이버)가 순차적으로 생성되는 것을 보여주고 있다.

도 7은 본 발명의 일 실시 예에 따른 2차 가이드 프로세스를 도시한 도면이다.

도 1 및 도 7을 참조하면, 원격 서비스 제공장치(3)는 도 5를 참조로 하여 전술한 1차 가이드 제공 이후, 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식(700) 하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 전문가(예를 들어, 기술창구의 기술 엔지니어)가 현장 작업자의 음성(예를 들어, "니퍼, 보일러 전면, 장면 다시!")을 청취하면, 작업자 음성으로부터 작업 위치(보일러)와 AR 객체(니퍼)를 인식하여 '보일러' 전면에 '니퍼'가 있는 장면(AR 객체 1)으로 이동(710) 하여 AR 객체 1을 다시 생성(520) 하고, 작업자 액션(장면 다시)에 따라 해당 장면의 전문가 액션(AR 객체 1 액션: 설명 음성)을 다시 제공한다.

원격 서비스 제공장치(3)가 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하기 위해, 기계학습을 통해 AR 객체 및 실제 객체를 인식하여, '보일러' 전면에 '니퍼'가 있는 장면으로 접근할 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

1. 현장에서 현장 작업자가 휴대 가능하며, 현장 작업자의 현실세계를 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며 인식된 실제 객체를 추적하면서 실제 객체에 증강현실(Augmented　Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 출력하는 현장 디바이스; 및
   현장 디바이스로부터 원격으로 촬영영상 화면을 수신하여 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하며, 검색된 작업대상에 대한 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 원격 서비스 제공장치;
   를 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
2. 제 1 항에 있어서,
   AR 객체는 손 모양, 툴 및 방향 중 적어도 하나를 포함하는 AR 지도도구(AR Direction tool)를 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
3. 제 1 항에 있어서, 원격 서비스 제공장치는
   복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하고 있다가, 추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
4. 제 3 항에 있어서,
   2차 가이드는 소정의 작업단계를 반복하여 다시 보여주는 기능을 포함하고,
   반복하여 다시 보여줄 때 소정의 빠르기로 제공하되, 소정의 빠르기는 기본값으로 설정되거나 사용자에 의해 설정되는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
5. 제 3 항에 있어서,
   2차 가이드는 객체 단위로 복수의 단계로 분할한 뒤, 소정의 작업단계로 접근하여 다시 제공하는 기능을 포함하며,
   소정의 작업단계로의 접근 기능은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 처음 작업단계로의 이동 또는 다른 작업단계로의 이동 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
6. 제 3 항에 있어서, 원격 서비스 제공장치는
   1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
7. 제 3 항에 있어서, 원격 서비스 제공장치는
   AR 객체 및 실제 객체를 기계학습을 통해 인식하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
8. 제 1 항에 있어서, 원격 서비스 제공장치는
   복수의 전문가 명령을 함께 수신하면 해당하는 전문가 간에 협의하도록 중개하는 것을 특징으로 하는 증강현실 기반 원격제어 시스템.
9. 원격 서비스 제공장치를 이용한 증강현실 기반 원격제어 방법에 있어서,
   현장 디바이스로부터 원격지원 요청을 수신하는 단계;
   현장 디바이스로부터 원격으로 촬영영상 화면을 수신하는 단계;
   촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하는 단계;
   검색된 작업대상에 대한 문제를 확인하는 단계; 및
   확인된 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 단계;
   를 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 방법.
10. 제 9 항에 있어서, 증강현실 기반 원격제어 방법은
    복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하는 단계; 및
    추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 단계;
    를 더 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 방법.
11. 제 9 항에 있어서, 증강현실 기반 원격제어 방법은
    1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하는 단계; 및
    촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 증강현실 기반 원격제어 방법.