KR102279247B1

KR102279247B1 - 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템

Info

Publication number: KR102279247B1
Application number: KR1020200010723A
Authority: KR
Inventors: 권도균
Original assignee: 주식회사 에이펀인터렉티브
Priority date: 2019-01-30
Filing date: 2020-01-29
Publication date: 2021-07-19
Also published as: KR20200094694A

Abstract

본 발명은 증강 현실로 구현되는 기준선 등을 기준으로 건설 장비의 작동 범위 및 작동 방법을 제공함으로써 원격에서 장비를 제어하는 가상 현실 구현 시스템 및 방법 및 이를 이용한 관리 시스템에 관한 것이다.

Description

증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템{VIRTUAL REALITY REALIZATION SYSTEM AND METHOD FOR REMOTE CONTROLLING THE MACHINERY USING THE AUGMENTED REALITY AND MANAGEMENT SYSTEM THEREOF}

일반적으로, 건설 현장에서는 폭발물을 제거하거나 터널 등의 사고 현장 등 위험한 장소에서의 작업이 요구되는 경우가 많이 있다. 이러한 위험한 작업 현장에 사람이 직접 들어가서 작업하는 경우, 작업자의 목숨까지 위험한 상황이 발생될 수 있다. 따라서, 이러한 문제점을 해결하기 위하여 원격으로 장비를 제어하여 작업을 수행하는 방법이 필요해지고 있다.

대한민국 공개특허 10-2016-0022856는 원격으로 로봇 청소기를 제어하는 장치이다. 상기 선행문헌은 로봇 청소기의 위치 및 청소 진행 여부 등을 별도의 디스플레이로 확인하여 로봇 청소기를 제어하는 발명에 관한 것이다.

본 발명은 단순히 장비를 원격으로 확인하는 것뿐만 아니라, 작업 환경의 시각정보 및 공간정보를 시각화 하여 가상 및 증강 현실로 제공하고, 지정된 작업조건을 매핑하여 디스플레이에 매핑된 시각정보에 따라 운전자가 작업을 수행할 수 있는 원격 제어 장치 및 방법 시스템을 제공하고자 한다.

대한민국 공개특허 10-2016-0022856 (2016.03.02 공개) 대한민국 공개특허 10-2008-0009891 (2008.01.30 공개)

본 발명은 기존의 원격 조정 장치가 가지는 문제점을 해결하기 위한 것으로서, 원격으로 장비, 특히 건설 장비의 주변 환경을 파악하면서 건설 장비를 제어하면서, 동시에 운전자가 작업 영역을 파악할 수 있는 건설 장비 원격 제어 장치를 제공하는 것을 주된 목적으로 한다.

이를 위하여 본 발명은 운전자가 장비를 원격으로 조작하고 운전자에게 가상 및 증강 현실을 제공하는 운전자 단말기, 운전자 단말기에 전달하는 증강 현실 및 가상 현실 정보를 제공하는 가상 및 증강 현실 제공부, 가상 및 증강 현실 제공부에 장비의 작업 영역 등의 작업 조건을 결정 및 제공하는 관리자 단말기, 장비의 주변 환경 정보를 상기 가상 및 증강 현실 제공부에 제공하는 주변 환경 감지부, 및 운전자의 조작에 따라 작업을 수행하는 장비를 포함하는 장비 원격 제어 시스템을 제공한다.

본 발명에 따르면, 건설 장비의 운전자는 직접 장비에 탑승하지 않고도 원격으로 장비를 조작할 수 있기 때문에, 위험한 장소 등에서 장비에 직접 탑승하지 않고도 안전하게 장비를 조작할 수 있다. 또한, 원격의 제어 장소에서 다수의 운전자가 위치하기 때문에, 운전자들 사이의 의사 소통이나 작업 지시가 용이하다는 장점이 있다.

더 나아가, 본 발명에 따르면, 해당 작업자에게 개별적으로 작업 범위 및 영역을 증강현실로 보여주면서 작업을 진행할 수 있기 때문에, 기존에 작업자가 개인의 경험 및 노하우별로 차이가 났던 작업 수행 편차를 줄이고 체계적이고 통합적인 운전자 관리 시스템을 구축할 수 있다.

도 1은 본 발명에 따른 장비 원격 제어 시스템의 주요 구성 요소와 그 사이의 각종 정보 전달을 개략적으로 도시한 도면이다.
도 2는 본 발명에 따른 장비 원격 제어 시스템의 동작 방법을 단계별로 도시한 순서도이다.
도 3은 본 발명에 따른 주변 환경 감지 단계의 각 세부 단계를 나타내는 도면이다.
도 4은 도 1의 주요 구성요소를 기능별 세부 구성요소별로 나누어 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이부의 화면을 나타낸 도면이다.
도 6는 본 발명의 일 실시예에 따른 운전자 단말기 및 가상 및 증강 현실 제공부를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 주변 환경 감지부를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 제어부를 통한 수평 배치 단계를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 제1 산출 단계, 제2 산출 단계 및 재배치 단계를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 제3 산출 단계 및 화각 조정 단계를 나타내는 도면이다.

도 1은 본 발명에 따른 장비 원격 제어 시스템의 주요 구성 요소와 그 사이의 각종 정보 전달을 개략적으로 도시한 도면이다.

본 발명에 따른 장비 원격 제어 시스템은 운전자가 장비를 원격으로 조작하고 운전자에게 가상 및 증강 현실을 제공하는 운전자 단말기(100), 운전자 단말기에 전달하는 증강 현실 및 가상 현실 정보를 제공하는 가상 및 증강 현실 제공부(200), 가상 및 증강 현실 제공부에 장비의 작업 영역 등의 작업 조건을 결정 및 제공하는 관리자 단말기(300), 장비의 주변 환경 정보를 상기 가상 및 증강 현실 제공부(200)에 제공하는 주변 환경 감지부(400), 및 운전자의 조작에 따라 작업을 수행하는 장비(500)를 포함한다. 또한, 주변 환경 감지부와 연결되어 가상 및 증강 현실의 구현을 정밀하게 이루기 위한 컨트롤부(600)를 더 포함한다.

이하, 도 2를 참조하여 전체적인 본 시스템의 동작 방법을 설명한다.

먼저 주변 환경 감지부(400)는 장비의 주변 환경 또는 작업 대상이 되는 환경의 정보를 카메라 또는 센서부를 통해서 식별하여 이를 시각 정보 또는 공간의 크기 등을 나타내는 수치적인 정보(주변 환경 정보)로 변환하여 원격에 위치하는 가상 및 증강 현실 제공부(200)에 전달한다(주변 환경 감지 단계(S100)).

가상 및 증강 현실 제공부(200)는 1차적으로 상기 주변 환경 감지부(400)로부터 전달되는 주변 환경 정보를 수신하고, 이 중 장비의 주변 환경 중 시각 정보를 기초로 장비를 중심으로 하는 가상 현실을 구현한다(가상 현실 구현 단계(S200)). 여기서, "가상 현실"이란, 운전자의 입장에서 볼 때, 실제 탑승하고 있지 않는 장비에 마치 타고 있는 것과 같은 느낌을 받을 수 있는 360도 실시간의 가상 현실 감각을 제공한다는 점에서 "가상 현실"이란 단어를 사용한 것이다.

관리자 단말기는 관리자가 입력한 작업 조건을 상기 가상 및 증강 현실 제공부(200)에 전달한다(작업 조건 결정 단계(S300)). 단, 본 단계는 반드시 가상 현실 구현 단계 이후에 이루어지는 것은 아니며, 주변 환경 감지부(400)를 통해서 얻어지는 주변 환경 정보를 기준으로 이미 사전에 관리자가 입력해 놓을 수도 있다. 즉, 본 단계는 주변 환경 감지 단계(S100) 또는 가상 현실 구현 단계(S200)와는 독립적으로 위 2 단계 이전에 이루어질 수도 있고 위 2 단계와 동시에 이루어질 수도 있지만, 후술하는 증강 현실 매핑 단계(S400) 이전에 이루어져야만 한다.

가상 및 증강 현실 제공부(200)는 관리자 단말기로부터 전달되는 작업 조건 정보 및 공간 인식부를 통해서 전달되는 공간 정보를 기초로 상기 가상 현실 상에 상기 작업 조건을 공간 상에서 시각적으로 보일 수 있도록 증강 현실 방법을 통해 매핑한다(증강현실 매핑 단계(S400)).

이후 상기 증강 현실 정보가 매핑된 가상 현실 정보를 운전자 단말기에 전달하고 운전자 단말기는 이를 시각적으로 운전자에게 표시한다(운전자 단말기 상의 시각적 표시 단계(S500)).

이후 운전자는 위 가상 현실 상의 증강 현실 정보를 기준으로 조작부를 움직여 장비를 원격으로 제어하고, 장비가 원격으로 제어되는 영상을 상기 주변 환경 감지부를 통해서 다시 가상 현실로 실시간으로 제공받으면서 장비를 조작할 수 있다.

이를 통해서 본 발명에 따른 시스템은 현재 실시간으로 제공되는 장비의 주변 환경의 시각 정보를 기초로 하는 가상 현실 상에 작업 조건이 시각적으로 나타나기 때문에, 운전자는 어떤 부분을 정확하게 작업을 해야 하는지, 어디까지 작업을 해야 하는지를 눈으로 확인하면서 장비를 동작시킬 수 있다(운전자 조작 단계(S600)).

보다 바람직한 실시예로서, 주변 환경 감지 단계(s100)는 수평 배치 단계(s110), 제1 산출 단계(s120), 제2 산출 단계(s130), 재배치 단계(s140), 제3 산출 단계(s150) 및 화각 조정 단계(s160)를 포함할 수 있다. 위와 같은 주변 환경 감지 단계(s100)의 각 세부 단계들은 증강 현실의 매핑 및 가상 현실의 구현을 보다 용이하고 정밀하게 실시하기 위한 단계이다. 이에 대한 보다 상세한 설명은 도 8 내지 도 10에서 후술하도록 한다.

이하, 도 4을 참조하여 도 1의 주요 구성요소를 기능별 세부 구성요소별로 상세히 설명한다.

운전자 단말기(100)는 직접 상기 가상 및 증강 현실 제공부를 통해서 전달받는 작업 조건이 증강 현실로 매핑된 가상 현실 정보를 시각적으로 운전자에게 보여주는 디스플레이부(110) 및 운전자가 직접 핸들, 버튼, 래버 등의 조작 수단을 통해서 원격의 장비를 제어하는 조작부(130)를 포함한다.

운전자 단말기의 디스플레이부(110)는 바람직한 실시예로서, 가상 현실을 제공하는 HMD(Head Mounted Display)로서 사용자가 볼 수 있는 시야 각도를 감지하여 해당 시야 각도 상의 시각 정보를 디스플레이하는 장치가 바람직하지만, 가상 및 증강 현실 제공부로부터 전달되는 360도의 실시간 시각 정보를 제공하는 장치라면 어떤 장치라도 좋다. 바람직한 또 다른 실시예로서, 상기 디스플레이부(110)는 운전자의 주변을 360도로 복수의 디스플레이로 감싸서 하나의 폐쇄 공간을 제공하는 것도 좋다.

운전자 단말기의 조작부(130)는 실제 조작의 대상이 되는 장비의 조작 수단과 동일한 구성으로 이루어지는 것이 바람직하다. 예를 들어, 포크레인이 조작의 대상이 되는 장비인 경우, 기존 포크레인의 조작에 사용되는 복수의 레버 및 버튼 등으로 조작부가 구성될 수 있다. 이는 가상 및 증강 현실 하에서 실제 대상 장비를 조작하는 것과 같은 사용자 경험을 제공하고 기존 장비의 숙련자도 쉽게 본 시스템에 따른 조작부를 다룰 수 있도록 하기 위함이다.

가상 및 증강 현실 제공부(200)는 작업 환경 감지부를 통해서 전달되는 장비의 주변 환경, 예를 들어 작업 지역의 지리적 정보, 작업 대상물의 형태, 날씨 상태 등 장비 주변에 시각적으로 인지할 수 있는 360도의 실시간 시각 정보를 운전자 단말기에 제공하는 가상 현실 제공부(210), 및 관리자 단말기로부터 전달받는 소정의 작업 조건 정보를 기초로 해당 작업 조건을 상기 가상 현실 정보 상에 시각적으로 매핑하여 작업 조건이 증강 현실로 표시되도록 하는 증강 현실 제공부(230)를 포함한다. 특히, 상기 증강 현실 제공부(230)의 경우, 작업 조건을 가상 현실 상에 매핑할 때, 후술하는 공간 인식부(430)를 통해서 얻어지는 공간 정보를 기초로 매핑하는 것이 바람직하다.

가상 현실 제공부(210)는 장비 주변 환경 감지부(400)로부터 전달받는 장비 주변, 특히 360도의 실시간 시각 정보를 작업자 단말기에 제공하는 구성이고, 증강 현실 제공부(230) 역시 카메라에서 촬영된 시각 정보 상에 특정 정보를 시각적으로 매핑하는 구성으로서, 가상 현실 및 증강 현실을 구현하는 기본적인 방법은 이미 공지된 기술인 바, 본 명세서에서 자세한 설명은 생략한다.

관리자 단말기(300)는 상기 가상 및 증강 현실 제공부(200), 특히 증강 현실 제공부(230)에 작업을 수행함에 있어서 기준이 되는 작업 조건 정보를 결정한다. 상기 작업 조건 정보는 이후 가상 현실 상에 시각적으로 매핑(증강 현실)되어 작업자가 시각적으로 해당 작업 조건 정보를 인식하면서 장비를 원격 조정한다.

작업 조건이란, 예를 들어 도 5를 참고하면, 장비가 굴착 장비이고 특정 작업 대상물(예를 들어, 언덕)을 10 m 굴착하여야 한다면, 해당 언덕에서 10m가 되는 목표 영역을 붉은 색 선 또는 영역으로 표시하여, 작업자가 굴착 장비를 원격으로 조작하여 굴착을 하다 보면 해당 붉은 색 선 또는 영역이 나오도록 증강 현실(AR)로 시각화 시킬 수 있다. 이로써, 작업자는 목표 영역까지 작업이 달성되었음을 직관적 및 시각적으로 알 수 있다.

주변 환경 감지부(400)는 장비가 위치하는 주변 환경에 대한 각종 정보를 감지하는 구성으로서, 장비에 부착되는 카메라부(410) 및 장비에 부착되거나 별도로 구비되는 공간 인식부(430)를 포함할 수 있다.

특히, 주변 환경 정보 중 시각적인 정보는 가상 현실을 구현할 때 반드시 필요한 필수 구성인바, 예를 들어 장비(500)에 부착되는 하나 이상의 카메라부(410) 등과 같은 수집 모듈을 통해서 주변 환경에 대한 시각적 정보를 실시간으로 촬영하여 가상 현실 제공부(210)으로 전달하는 것이 바람직하다. 바람직한 실시예로서, 카메라부(410)는 복수의 카메라부가 서로 다른 영역을 촬영하고 이를 취합하여 360도의 시각 정보를 전달할 수도 있다. 또 다른 바람직한 실시예로서, 상기 카메라부(410)는 단일의 카메라로서 조작자의 시야 각도를 인식하여 조작자가 보고 있는 시야 쪽으로 360도 촬영 각도를 변경할 수 있도록 구성하여도 좋다. 본 실시예는 조작자 단말기가 HMD인 경우에 보다 효과적이다.

상기 주변 환경 감지부의 공간 인식부(430)는 장비가 위치하는 지점을 중심으로 주변 공간의 지리적 정보를 감지하는 장비로서, 예를 들어, 3D 공간 스캐너 등이 사용될 수 있다.

바람직한 실시예에 따르면, 상기 공간 인식부(430)를 통해서 얻어지는 공간 정보는 카메라부(410)를 통해서 얻어지는 시각 정보와 결합하여 시각적으로 보여지는 대상물의 크기, 지리적 위치 등을 인식할 수 있다. 만약 주변 공간이 상대적으로 큰 개방된 공간이라면 드론 등을 통해서 전체적인 공간을 인식하는 것도 좋고, 레이저, 적외선, 초음파 등의 반사를 통해서 공간을 인식하는 방법도 좋다. 이와 같은 방법으로 얻어지는 공간 정보는 특히 증강 현실 제공부(230)으로 전달되어 관리자 단말기로부터 전달되는 작업 조건을 상기 공간 정보에 적용하여 증강 현실로서 해당 공간 정보 상에 작업의 대상 및 목적이 되는 공간을 시각적으로 표시할 수 있도록 한다.

단, 실시간으로 계속적으로 촬영을 하는 카메라부와 달리 공간 인식부의 경우, 반드시 실시간으로 공간을 인식하여야 할 필요는 없고, 작업을 시작할 때 또는 소정의 시간 간격을 두고 측정하여도 좋다.

장비(500)는 실제 운전자가 조작하는 작업을 수행하는 장치로서, 바람직한 실시예로서, 포크레인이나 크레인 등의 건설 장비일 수 있다. 또 다른 바람직한 실시예로서, 폭발물을 제거하는 장치나 터널 등의 사고 현장과 같이 직접 사람이 들어가서 작업하기에 위험한 장소에서 작업을 수행하는 장비일 수 있다.

이하, 도 5내지 도 7을 참조하여 본 발명의 일 실시예를 보다 상세히 설명하도록 한다. 도 5는 본 발명의 일 실시예에 따른 디스플레이부의 화면을 나타낸 도면이다.

도 5를 참조하면, 운전자 단말기의 디스플레이부(110)는 운전자의 시야 각도를 감지하여 해당 시야 각도 상의 시각 정보를 운전자에게 시각적으로 보여줄 수 있다. 여기서, 시각 정보는 주변 환경 정보를 시각화 한 가상 현실 정보(VR) 및 지정된 작업 조건을 가상 현실 정보 상에 매핑한 증강 현실 정보(AR)를 포함할 수 있다. 상세하게, 가상 현실 정보(VR)는 주변 환경 감지부(400)로부터 전달받은 주변 환경 정보를 시각화 한 정보이며, 증강 현실 정보(AR)는 시각화 된 가상 현실 정보(VR) 상에 미리 지정된 작업 조건을 매핑하여 나타낸 정보이다. 따라서, 운전자는 디스플레이부(110)를 통해 실제 작업환경과 동일한 가상 및 증강 현실 정보를 시각적으로 확인하여 제3의 공간에서 장비(500)를 제어할 수 있다.

도 6는 본 발명의 일 실시예에 따른 운전자 단말기 및 가상 및 증강 현실 제공부를 나타낸 도면이다. 도 6를 참조하면, 운전자는 가상 및 증강현실 제공부(200)로부터 시각적으로 제공받은 가상 및 증강 현실 정보를 통해 장비(500)를 제어할 수 있다. 상세하게, 운전자는 디스플레이부(110)로 제공된 작업환경의 가상 및 증강 현실 정보를 바탕으로 조작부(130)를 제어할 수 있으며, 운전자의 조작부(130) 제어(입력)에 따라 장비(500)가 조작될 수 있다.

도 7은 본 발명의 일 실시예에 따른 주변 환경 감지부를 나타낸 도면이다. 일 실시예에 따르면, 주변 환경 감지부(400)는 시각적인 정보를 감지하는 카메라부(410) 및 공간 정보를 감지하는 공간 인식부(430)를 포함할 수 있다. 상세하게, 카메라부(410)를 통해 실시간으로 촬영된 시각적 정보 및 공간 인식부(430)를 통해 실시간으로 감지된 공간 정보는 가상 및 증강 현실 제공부(200)에 전달될 수 있다. 따라서, 전달된 정보를 통해 운전자가 조작부(130)를 제어하여 장비(500)가 조작되는 것이 바람직하다.

도 8 내지 도 10은 본 발명의 일 실시예에 따른 주변 환경 감지 단계(s100)에 포함되는 각 단계를 나타내는 도면이다. 주변 환경 감지 단계(s100)는 수평 배치 단계(s110), 제1 산출 단계(s120), 제2 산출 단계(s130), 재배치 단계(s140), 제3 산출 단계(s150) 및 화각 조정 단계(s160)를 포함한다. 도 8 내지 도 10을 설명하기에 앞서, “기준 지점(s)”은 가상 및 증강 현실을 구현하기 위한 기준이 되는 지점으로서, 장비와 수평하거나 수평하지 않도록 구비될 수 있다. 또한, 선술한 공간 인식부는 제1 인식부(431) 및 제2 인식부(432)를 더 포함할 수 있다.

도 8은 수평 배치 단계(s110), 제1 산출 단계(s120) 및 제2 산출 단계(s130)를 나타내는 도면으로서, 궁극적으로 장비 내 위치한 카메라부(410)의 화각을 조정하기 위한 기준을 설정하는 목적으로 구비된다.

제1 인식부(431)는 장비의 위치를 인식하고, 후술할 제2 인식부(432)의 초기 배치에 대한 기준이 되기 위해 구비된다. 상세하게, 제1 인식부(431)는 제2 인식부(432)와의 상호 작용을 통해 기준 지점(s)의 상하방향으로의 높이를 측정하기 위한 수단이다. 이를 위해, 제1 인식부(431)는 장비(500)의 상측 방향에 위치한다. 보다 상세하게, 제1 인식부(431)는 장비(500) 내 카메라부(410)로부터 소정의 제1 높이(h1)만큼 상측 방향에 위치하되, 직상 방향으로 이격되어 배치되어야 함이 바람직하다. 또한, 상기 카메라부(410)는 별도의 송수신 수단을 구비하기에, 제1 인식부(432)와 연결되어 통신을 주고받아, 제1 인식부가 카메라부(410)를 인식함으로써 보다 정밀한 제1 인식부(431)의 제1 높이(h1)만큼의 이격 배치가 가능하다.

제2 인식부(432)는 제1 인식부(431)와 수평을 이루도록 초기 배치된다. 상세하게, 제2 인식부(432)는 기준 지점(s)으로부터 직상 방향에 위치하되 제1 인식부(431)와 수평을 이루도록 구비된다. 제1 인식부(431) 및 제2 인식부(432)가 수평을 이루는 것은 GPS 등의 좌표를 사용하거나 별도의 센싱 수단을 사용하여 용이하게 수행될 수 있다. 장비 및 기준 지점(s)의 상하방향으로의 위치가 상이할 경우, 기준 지점(s) 및 제2 인식부(432)의 사이의 거리는 제1 높이(h1)와 상이한 제2 높이(h2)로 구비된다.

상기와 같이, 제1 인식부(431) 및 제2 인식부(432)는 서로 수평을 이루도록 하는 수평 배치 단계(s110)를 실시함으로써, 후술할 기준 수평 길이(b), 보정 높이(h3) 및 이격 각도(a)를 보다 용이하고 정밀하게 산출 및 측정할 수 있는 효과를 도출할 수 있다.

컨트롤부(600)는 제1 인식부(431) 및 제2 인식부(432)와 연결되어 선술한 기준 수평 길이(b), 보정 높이(h3) 및 이격 각도(a)를 산출하기 위한 구성이다. 상세하게, 컨트롤부(600)는 별도의 통신 수단을 통해 제1 인식부(431) 및 제2 인식부(432)와 연결되고, 제1 산출 단계(s120)를 통해 기준 수평 길이(b)를 산출하며, 제2 산출 단계(s130)를 실시하여 보정 높이(h3)를 산출한다. 이를 위해, 컨트롤부(600)는 별도의 서버로 구축되거나, 관리자 단말기(300)와 일체로 구비될 수도 있다.

제1 산출 단계(s120)는 기준 수평 길이(b)를 측정하기 위해 구비된다. 이를 위해, 컨트롤부(600)는 제1 인식부(431) 및 제2 인식부(432)와 각각 연결되며, 제1 인식부(431) 및 제2 인식부(432) 사이의 기준 수평 길이(b)를 측정한다. 앞서 언급한 수평 배치 단계(s110)가 선행되었으므로, 컨트롤부(600)는 제1 산출 단계(s120)에서 보다 정확한 기준 수평 거리를 산출할 수 있다.

제2 산출 단계(s130)는 보정 높이(h3)를 산출하기 위해 구비된다. 상세하게, 제2 산출 단계(s130)는 제1 높이(h1) 및 제2 높이(h2)의 차를 파악하여 후술할 재배치 단계(s140)에서 제2 인식부(432)의 높이를 조정하기 위해 구비된다. 이를 위해, 제2 산출 단계(s130)에서 컨트롤부(600)는 제1 높이(h1) 및 제2 높이(h2)의 차를 계산된 값을 보정 높이(h3)로 산출한다.

도 9는 재배치 단계(s140)를 나타내는 도면으로서, 장비 및 기준 지점(s) 사이의 이격 각도(a)를 산출하여 가상 및 증강 현실에 반영하기 위해 구비된다.

재배치 단계(s140)에서 컨트롤부(600)는 선술한 제2 산출 단계(s130)를 통해 산출된 보정 높이(h3)만큼 제2 인식부(432)를 상측 방향 또는 하측 방향으로 이동시킴으로써, 기준 지점(s)으로부터 제2 인식부(432)가 직상 방향으로 제1 높이(h1)만큼 이격되어 배치되도록 한다. 이를 통해, 제1 인식부(431) 및 제2 인식부(432)는 서로 수평하도록 배치되지 않고, 보정 높이(h3)만큼 높낮이 차이가 발생하게 되며, 상기 보정 높이(h3)는 장비와 기준 높이의 상하방향으로의 높이 차이가 된다.

도 10은 제3 산출 단계(s150) 및 화각 조정 단계(s160)를 나타내는 도면으로서, 이격 각도(a)를 산출하고 상기 이격 각도(a)를 기반으로 장비 내 카메라부(410)의 각도를 조정하기 위한 단계이다.

제3 산출 단계(s150)는 이격 각도(a)를 산출하는 단계이다. 상세하게, 제3 산출 단계(s150)는 제1 인식부(431) 및 제2 인식부(432) 간의 높낮이 차이에 의해 이격되는 각도를 산출한다. 컨트롤부(600)는 제1 인식부(431) 및 제2 인식부(432)와 연결되고, 수평 배치 단계(s110) 및 재배치 단계(s140)에서 각각 위치한 제2 인식부(432)의 높이 변화에 의해 형성되는 이격 각도(a)를 산출한다.

이격 각도(a)는 제1 인식부(431) 및 제2 인식부(432)가 서로 수평하게 위치한 경우(수평 배치 단계(s110) 상태를 의미함) 및 제1 인식부(431) 및 제2 인식부(432)가 보정 높이(h3)만큼의 높이 차이를 두고 배치되는 경우(재배치 단계(s140) 상태를 의미함) 사이의 각도를 의미한다.

화각 조정 단계(s160)는 선술한 제3 산출 단계(s150)를 통해 산출된 이격 각도(a)를 기반으로 카메라부(410)를 움직이기 위한 단계이다. 상세하게, 화각 조정 단계(s160)는 보다 정확한 주변 환경을 감지하기 위한 단계로서, 컨트롤부(600) 및 카메라부(410)에 의해 수행된다. 컨트롤부(600)는 카메라부(410)와 연결되어 이격 각도(a)에 관한 정보를 카메라부(410)로 전달하며, 카메라부(410)는 이에 대응하여 상기 이격 각도(a)만큼 각도를 조정한다.

상기와 같은 화각 조정 단계(s160)를 통해 장비가 직접 움직이지 않고도 관측하고자 하는 기준 지점(s)에 관한 보다 명확한 시각 정보를 획득할 수 있고, 가상 및 증강 현실 제공부는 이에 기반하여 보다 정밀한 가상 및 증강 현실을 구현할 수 있다.

상술한 실시예들은 바람직한 예를 기준으로 설명되었으나 이는 실시예 중 하나일 뿐이며, 본 기술 분야에서 통상의 지식을 가진 자는 이로부터 다양한 변형 및 균등한 다른 실시예도 가능할 수 있다. 따라서, 본 발명의 권리범위는 상기한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.

100 : 운전자 단말기 110 : 디스플레이부
130 : 조작부
200 : 가상 및 증강 현실 제공부 210 : 가상 현실 제공부
230 : 증강 현실 제공부
300 : 관리자 단말기
400 : 주변 환경 감지부 410 : 카메라부
430 : 공간 인식부
500 : 장비

Claims

원격으로 장비(500)를 제어하는 장치에 있어서,
운전자에게 가상 및 증강 현실 정보(VR, AR)를 시각적으로 보여주고, 운전자가 원격으로 상기 장비(500)를 제어하는 운전자 단말기(100);
상기 가상 및 증강 현실 정보(VR, AR)를 상기 운전자 단말기(100)에 제공하는 가상 및 증강 현실 제공부(200);
지정된 작업 조건을 상기 가상 및 증강 현실 제공부(200)에 제공하는 관리자 단말기(300); 및
상기 장비(500)의 주변 환경 정보를 감지하여 상기 가상 및 증강 현실 제공부(200)에 제공하는 주변 환경 감지부(400);를 포함하고,
상기 가상 및 증강 현실 제공부(200)는,
상기 주변 환경 감지부(400)로부터 전달받은 주변 환경 정보를 가상 현실 정보(VR)로 시각화하여 상기 운전자 단말기(100)에 제공하는 가상 현실 제공부(210); 및
시각화 된 상기 가상 현실 정보(VR) 상에 상기 지정된 작업 조건을 증강 현실 정보(AR)로 매핑하여 상기 운전자 단말기(100)에 제공하는 증강 현실 제공부(230);를 포함하는 것을 특징으로 하는 장비 원격 제어 장치.
제 1 항에 있어서,
상기 운전자 단말기(100)는,
운전자의 시야 각도를 감지하여 상기 시야 각도 상의 시각 정보를 운전자에게 시각적으로 보여주는 디스플레이부(110); 및
상기 장비(500)를 원격으로 제어하는 조작부(130);를 포함하는 것을 특징으로 하는 장비 원격 제어 장치.
삭제
제 1 항에 있어서,
상기 주변 환경 감지부(400)는,
주변 환경의 시각 정보를 감지하고 측정하고자 하는 기준 지점(s)을 촬영하는 카메라부(410); 및
주변 환경의 공간 정보를 감지하는 공간 인식부(430);를 포함하고,
상기 공간 정보는 상기 기준 지점 및 주변 환경 요소의 지리적 위치, 크기, 높이, 깊이 중 적어도 어느 하나인 것을 특징으로 하는 장비 원격 제어 장치.
제 4 항에 있어서,
상기 공간 인식부(430)는,
상기 카메라부(410)로부터 소정의 제1 높이(h1)만큼 상측 방향에 위치하는 제1 인식부(431); 및
상기 제1 인식부(431)와 수평을 이루고, 상기 기준 지점(s)으로부터 소정의 제2 높이(h2)만큼 상측 방향에 위치하는 제2 인식부(432);를 포함하는 것을 특징으로 하는 장비 원격 제어 장치.
제 5 항에 있어서,
상기 제1 인식부(431) 및 제2 인식부(432) 간의 기준 수평 길이(b)를 측정하고, 상기 제1 높이(h1) 및 제2 높이(h2)의 차를 보정 높이(h3)로 산출하며, 상기 제2 인식부(432)와 연결되어 상기 보정 높이(h3)만큼 상하방향으로 이동시키는 컨트롤부(600)를 더 포함하는 것을 특징으로 하는 장비 원격 제어 장치.
제 6 항에 있어서,
상기 컨트롤부(600)는 상기 제1 인식부(431) 및 제2 인식부(432) 간의 이격 각도(a)를 산출하고, 상기 이격 각도(a)에 관한 정보를 상기 카메라부(410)로 전달하여 상기 카메라부(410)를 상기 이격 각도(a)만큼 각도 조정하는 것을 특징으로 하는 장비 원격 제어 장치.
삭제
삭제
삭제