KR102263468B1 - 증강 현실 제공 시스템 및 방법 - Google Patents

증강 현실 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102263468B1
KR102263468B1 KR1020170182588A KR20170182588A KR102263468B1 KR 102263468 B1 KR102263468 B1 KR 102263468B1 KR 1020170182588 A KR1020170182588 A KR 1020170182588A KR 20170182588 A KR20170182588 A KR 20170182588A KR 102263468 B1 KR102263468 B1 KR 102263468B1
Authority
KR
South Korea
Prior art keywords
augmented reality
state
interface
information
displaying
Prior art date
Application number
KR1020170182588A
Other languages
English (en)
Other versions
KR20190080245A (ko
Inventor
남상원
Original Assignee
엘에스일렉트릭(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘에스일렉트릭(주) filed Critical 엘에스일렉트릭(주)
Priority to KR1020170182588A priority Critical patent/KR102263468B1/ko
Publication of KR20190080245A publication Critical patent/KR20190080245A/ko
Application granted granted Critical
Publication of KR102263468B1 publication Critical patent/KR102263468B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 제공 시스템 및 방법에 관한 것이다. 상기 증강 현실 제공 방법은, 객체를 포함하는 영상을 촬영하는 단계, 상기 촬영된 영상에 포함된 상기 객체를 인식하는 단계, 상기 객체에 대한 상태 정보를 수신하는 단계, 상기 수신된 상태 정보를 기초로 상기 객체의 동작 상태를 판단하는 단계, 및 상기 객체의 동작 상태에 따라, 서로 다른 증강 현실 인터페이스를 상기 촬영된 영상에 오버랩하여 화면에 표시하는 단계를 포함한다.

Description

증강 현실 제공 시스템 및 방법{System and method for providing augmented reality user interface}
본 발명은 증강 현실 제공 시스템 및 방법에 관한 것이다. 구체적으로, 촬영되고 있는 기기의 현재 상태에 대한 증강 현실 정보를 제공하는 증강 현실 제공 시스템 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리, 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 증강 현실은 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하다. 특히, 증강 현실은 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
증강 현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 증강 현실 기술을 활용하려는 연구가 이어져 왔으며, 최근에는 스마트폰의 확산과 더불어 증강 현실 기술이 위치 기반 서비스에 많이 활용되고 있다.
일반적으로, 증강 현실 기술은 현재 촬영되고 있는 기기에 대한 정보를 메뉴 형태로 프리뷰 화면 상에 표시한다. 이때 프리뷰 화면은 촬영되고 있는 기기의 상태 정보를 2D 또는 3D 형태로 표시할 수 있다.
다만, 종래의 증강 현실 제공 방법의 경우, 촬영되고 있는 기기의 동작 상태와는 상관없이 동일한 메뉴만을 제공한다. 따라서, 동종 다수의 기기가 배치되어 있는 경우, 각각의 기기에 대한 동일한 메뉴를 증강 현실로 제공하게 되며, 현재 촬영되고 있는 기기의 동작 상태에 대한 정보는 파악하기 어려운 문제점이 있었다.
본 발명은 촬영되고 있는 기기의 동작 상태에 따라, 서로 다른 증강 현실 메뉴를 표시하는 증강 현실 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 촬영되고 있는 복수의 기기에 대하여 각각의 이상 동작 여부를 판단하고, 이상 동작의 종류에 따라 서로 다른 증강 현실 인터페이스를 표시하는 증강 현실 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 증강 현실 제공 방법은, 객체를 포함하는 영상을 촬영하는 단계, 상기 촬영된 영상에 포함된 상기 객체를 인식하는 단계, 상기 객체에 대한 상태 정보를 수신하는 단계, 상기 수신된 상태 정보를 기초로 상기 객체의 동작 상태를 판단하는 단계, 및 상기 객체의 동작 상태에 따라, 서로 다른 증강 현실 인터페이스를 상기 촬영된 영상에 오버랩하여 화면에 표시하는 단계를 포함한다.
또한, 상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는, 상기 객체의 동작 상태가 제1 상태인 경우, 제1 증강 현실 인터페이스를 표시하는 단계와, 상기 객체의 동작 상태가 상기 제1 상태와 다른 제2 상태인 경우, 상기 제1 증강 현실 인터페이스와 다른 제2 증강 현실 인터페이스를 표시하는 단계를 포함할 수 있다.
또한, 상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는, 상기 객체의 동작 상태에 관한 상기 증강 현실 인터페이스를 상기 사용자 단말기와 연결된 서버에 요청하는 단계와, 수신된 상기 증강 현실 인터페이스를 화면에 표시하는 단계를 포함할 수 있다.
또한, 상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는, 상기 객체의 동작 상태에 관한 증강 현실 관련 데이터를 상기 사용자 단말기와 연결된 서버에 요청하는 단계와, 수신된 상기 증강 현실 관련 데이터를 기초로 상기 증강 현실 인터페이스를 생성하는 단계와, 상기 증강 현실 인터페이스를 화면에 표시하는 단계를 포함할 수 있다.
또한, 상기 객체의 동작 상태가 ON 상태인 경우, 상기 데이터는 상기 객체의 동작에 대한 전력량, 온도, 전압, 또는 전류에 대한 정보를 포함하고, 상기 객체의 동작 상태가 OFF 상태인 경우, 상기 데이터는 OFF 상태 유지 시간에 대한 정보를 포함하고, 상기 객체의 동작 상태가 TRIP 상태인 경우, 상기 데이터는 TRIP 원인, TRIP 시간, 또는 TRIP 히스토리에 대한 정보를 포함할 수 있다.
또한, 상기 객체의 동작 상태를 판단하는 단계는, 상기 객체가 ON 상태, OFF 상태, 및 TRIP 상태 중 어느 상태인지를 판단하는 것을 포함할 수 있다.
또한, 상기 촬영된 영상에 포함된 객체가 복수인지 여부를 판단하는 단계와, 상기 객체가 복수인 경우, 각 객체의 이상 동작 여부를 판단하는 단계와, 이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 우선 표시하는 단계를 더 포함할 수 있다.
또한, 상기 각 객체의 이상 동작 여부를 판단하는 단계는, 상기 각 객체의 상기 수신된 상태 정보와 미리 정해진 정상 동작 기준치를 비교하여, 상기 각 객체의 이상 동작 여부를 판단하는 것을 포함할 수 있다.
또한, 상기 촬영된 영상에 포함된 객체를 인식하는 단계는, 상기 영상이 촬영된 위치 정보, 상기 객체의 마커 또는 상기 객체의 마커리스 정보를 이용하여, 상기 영상에 포함된 상기 객체를 인식하는 것을 포함할 수 있다.
또한, 상기 객체는, 차단기, 인버터, 계전기, 통신링크장치, 전력량계, 센서부, 및 HMI 중 어느 하나를 포함할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 증강 현실 제공 시스템은, 객체를 포함하는 영상을 촬영하는 카메라부, 상기 영상에 포함된 상기 객체를 인식하는 객체 인식부, 상기 객체에 대한 상태 정보와, 상기 객체의 상태에 대한 증강 현실 인터페이스를 수신하는 통신부, 상기 증강 현실 인터페이스를 표시하는 디스플레이부, 및 상기 수신된 상태 정보를 기초로 상기 객체의 동작 상태를 판단하고, 상기 객체의 서로 다른 동작 상태에 따라 서로 다른 증강 현실 인터페이스를 상기 촬영된 영상에 오버랩하여 표시하는 제어부를 포함한다.
또한, 상기 제어부는, 상기 객체의 동작 상태에 관한 상기 증강 현실 인터페이스를 상기 사용자 단말기와 연결된 서버에 요청하고, 수신된 상기 증강 현실 인터페이스를 화면에 표시할 수 있다.
또한, 상기 객체의 동작 상태에 대한 증강 현실 관련 데이터를 기초로, 상기 증강 현실 인터페이스를 생성하는 증강 현실 처리부를 더 포함하고, 상기 제어부는, 상기 증강 현실 관련 데이터를 상기 사용자 단말기와 연결된 서버에 요청하고, 생성된 상기 증강 현실 인터페이스를 상기 디스플레이부에 표시할 수 있다.
또한, 상기 카메라부, 상기 통신부, 상기 디스플레이부 및 상기 제어부를 포함하는 사용자 단말기와, 상기 객체 인식부와 상기 증강 현실 처리부를 포함하는 서버를 포함할 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상에 포함된 객체가 복수인지 여부를 판단하고, 상기 객체가 복수인 경우, 각 객체의 이상 동작 여부를 판단한 뒤, 이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 상기 디스플레이부에 우선 표시할 수 있다.
본 발명의 증강 현실 제공 시스템 및 방법은, 촬영되고 있는 기기의 동작 상태에 따라 서로 다른 메뉴를 증강 현실로 표현함으로써, 사용자가 기기의 상태를 한눈에 파악할 수 있도록 한다. 이를 통해, 사용자는 기기에 대한 상태 정보를 직관적이고 쉽게 파악할 수 있다.
또한, 본 발명의 증강 현실 제공 시스템 및 방법은, 촬영되고 있는 복수의 기기에 대한 이상 동작 여부를 각각 판단하고, 이상 동작의 원인에 따라 서로 다른 증강 현실 메뉴를 제공한다. 이를 통해, 본 발명은 복수의 기기 관리에 소요되는 시간을 단축시켜 사용자의 편의성을 높일 수 있고, 업무 처리 속도를 향상시킬 수 있다. 또한, 동일한 시간 내에 빠른 작업 처리가 가능해지므로 작업 효율이 향상될 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 동작 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 5는 도 4의 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 7은 도 6의 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 9 및 도 10은 본 발명의 몇몇 실시예에 따른 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
이하에서, 도 1 내지 도 10을 참조하여 본 발명에 따른 증강 현실 제공 시스템 및 방법에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 시스템은, 사용자 단말기(100), 대상 기기(200) 및 서버(300)를 포함한다.
사용자 단말기(100)는 증강 현실 제공 장치로써 동작할 수 있다. 사용자 단말기(100)는 대상 기기(200)를 촬영하고, 대상 기기(200)의 동작 상태에 관한 정보를 서버(300)로부터 수신한다. 사용자 단말기(100)는 대상 기기(200)의 동작 상태에 따라 서로 다른 증강 현실 메뉴(즉, 증강 현실 인터페이스)를 표시한다.
이때, 사용자 단말기(100)는 대상 기기(200)의 동작 상태에 대한 정보를 기초로, 대상 기기(200)의 이상 동작 유무를 판단할 수 있다. 사용자 단말기(100)는 복수의 객체(즉, 대상 기기)가 영상에 포함되어 있는 경우, 이상 동작 상태의 객체에 대한 증강 현실 메뉴를 우선적으로 표시할 수 있다. 이에 대한 자세한 설명은 이후에 후술하도록 한다.
사용자 단말기(100)는 촬영되는 대상 기기(200)에 대한 증강 현실 정보를 서버(300)로부터 수신하고, 증강 현실 정보를 기초로 증강 현실 인터페이스를 생성하여 화면에 표시한다. 여기에서, 증강 현실 정보는 증강 현실 인터페이스를 생성하기 위한 촬영된 대상 기기(200)에 대한 증강 현실 관련 데이터를 포함한다.
증강 현실 정보는 2D 또는 3D 이미지로 모델링 및 렌더링될 수 있으며, 렌더링된 이미지는 증강 현실 인터페이스로 변환되어 사용자 단말기(100)의 화면에 프리뷰 형태로 표시된다.
추가적으로, 사용자 단말기(100)는 촬영되는 대상 기기(200)에 대한 증강 현실 인터페이스를 서버(300)로부터 수신하고, 이를 화면에 그대로 표시할 수 있다.
사용자 단말기(100)는 증강 현실의 디스플레이 방식에 따라, 모바일 기반의 장치, 착용형 장치(wearable device)(예를 들어, HMD(Head Mounted Device), 비디오 시쓰루 장치(Video See-Through device), 광학 시쓰루 장치(Optical See-Through device)), 스크린 기반의 장치, 및 프로젝터 기반 장치 중 어느 하나가 될 수 있다.
또한, 사용자 단말기(100)는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player) 등 정보를 무선 환경에서 송수신할 수 있는 장치가 될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
대상 기기(200)는 다양한 전자기기가 될 수 있다. 예를 들어, 대상 기기(200)는 자동제어기기나 산업용기기 또는 배전반이 될 수 있다. 이때, 대상 기기(200)는 차단기, 인버터, 계전기, 통신링크장치, 전력량계, 센서부, HMI(Human Machine Interface) 등을 구성요소로 포함할 수 있고, 대상 기기(200)에 포함된 구성요소들의 동작 상태에 따라 대상 기기(200)의 전체적인 동작 상태가 결정될 수 있다.
여기에서, 대상 기기(200)의 동작 상태는 ON 상태, OFF 상태, TRIP 상태, 및 점검 상태 중 어느 하나에 해당할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 다른 동작 상태가 될 수 있다.
예를 들어, 인버터의 동작 상태는 ON 상태, OFF 상태, TRIP 상태를 포함한다. 여기에서, 인버터의 ON 상태는 보호 기능이 활성화된 상태를 의미하고, OFF 상태는 보호 기능이 비활성화된 상태를 의미하며, TRIP 상태는 차단 동작이 수행되는 상태를 나타낼 수 있다. 인버터의 상기 보호 기능은 전로의 과전류, 드라이브 과부하, 출력선 지락, 출력선 개방, 결상, 입력 과전압, 입력 저잔압, 입력선 결상, 셀 과열, 변압기 과열 등을 검출하는 동작을 나타낸다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.
다른 예로, 대상 기기(200)는 원격 검침 시스템(Automatic Meter Reading; 이하, AMR)의 측정 대상이 될 수 있다. 일반적으로, 원격 검침 시스템(AMR)이라 함은 멀리 떨어진 지점의 측정 대상으로부터 측정 결과를 전기적 신호로 변환하여 통신 네트워크를 통해 데이터를 전송하고, 그 데이터를 컴퓨터에서 처리하는 것을 말한다.
원격 검침 시스템(AMR)의 서버는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 기반으로 데이터 통신을 수행할 수 있도록 제공되는 데이터 통신망(예컨대, 기간망, 사설망, 인터넷망 포함)을 통해 다수의 데이터수집장치와 상호 접속된다. 서버는 데이터 통신망을 통해 데이터수집장치와 실시간으로 데이터 송수신을 수행하며, 각 측정 대상의 전력 상태를 실시간으로 모니터링(monitoring)하는 것이 가능하다.
또한, 서버는 데이터수집장치로부터 각 측정 대상의 검침 데이터를 실시간으로 제공받는다. 이러한 검침 데이터를 기초로 하여 각 측정 대상의 전력 상태, 예컨대 정전, 도전, 누전 상태 등을 분석하여 관리자에게 제공한다.
여기서,　검침 데이터는 하나의 데이터 집중화 장치에 할당된 모든 측정 대상의 사용 전력량의 총합, 각 측정 대상별 사용 전력량, 순시 전력량 등이 될 수 있으며, 이 외에도 각 측정 대상의 전력 품질을 파악할 수 있는 모든 데이터가 포함될 수 있다.
서버(300)는 대상 기기(200)에 대한 각종 정보를 저장하는 데이터베이스를 포함한다. 예를 들어, 서버(300)는 대상 기기(200)에 대한 객체 정보, 대상 기기(200)의 상태 정보, 대상 기기(200)에 포함된 구성요소에 대한 정보, 및 대상 기기(200)에 대한 증강 현실 관련 데이터를 저장할 수 있다.
서버(300)는 원격 검침 시스템(AMR)의 데이터수집장치 또는 서버로써 동작할 수 있다. 즉, 서버(300)는 대상 기기(200)에 대한 검침 데이터를 실시간을 제공받고 저장할 수 있다. 이를 통해, 서버(300)는 대상 기기(200)의 동작 상태를 모니터링하고 원격 제어할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 설명하기 위한 블럭도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 장치인 사용자 단말기(100)는, 제어부(110), 카메라부(120), 객체 인식부(130), 위치 측정부(140), 증강 현실 처리부(150), 통신부(160), 센서부(165), 메모리부(170), 디스플레이부(180) 및 인터페이스부(190)를 포함한다. 다만, 도 2에 도시된 사용자 단말기(100)의 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 사용자 단말기(100)가 구현될 수 있다.
제어부(110)는 사용자 단말기(100)에 포함된 구성요소의 전반적인 동작을 제어할 수 있다. 제어부(110)는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 실행할 수 있다. 또한, 제어부(350)는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수 있다. 상기 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 제어부(110)의 자세한 동작에 대한 설명은 이하에서 후술하도록 한다.
카메라부(120)는 영상을 촬영하는 장치로써, 촬영된 영상은 제어부(110)에 전달된다. 카메라부(120)에서 촬영된 영상은 실시간 프리뷰 형태로 디스플레이부(180)에 표시될 수 있다.
객체 인식부(130)는 카메라부(120)에서 촬영된 영상에 포함된 객체를 인식한다. 객체 인식부(130)에서 사용되는 객체 인식 방법에는 영상에 포함된 마커를 이용해 객체를 인식하는 마커 기반 인식 방법과, 물리적인 마커 대신에 미리 등록된 실제 물체를 인식하는 마커리스 인식 방법이 있다.
구체적으로, 마커 기반 인식 방법은 큐알 코드(QR code), 데이터 메트릭스(DataMatrix) 또는 2D 바코드(Barcode) 등과 같은 마커를 기초로 객체를 인식하는 방법이다. 마커 기반 인식 방법은 시스템이 미리 이해하고 있는 특수한 형태의 마커를 활용하므로 연산 속도와 인식률이 높게 나타난다.
마커리스 인식 방법은 자연영상 기반 방식과 환경인식 기반 방식으로 나뉜다. 자연영상 기반 방식은 일반적인 평면 이미지에 존재하는 다수의 특징점(feature point)들을 분석하여, 분석된 특징점들을 보이지 않는 마커처럼 활용한다. 자연영상 기반 방식은, 자연영상에 존재하는 특징점을 추출하는 기술과, 특징점을 묘사하는 디스크립터(descriptor)로 효과적으로 변환시키는 기술을 이용한다. 환경인식 기반 방식은, 특수한 형태의 마커나 미리 입력된 영상 없이 환경 자체를 삼차원 지도 형태로 인식하는 기법이다. 환경인식 기반 방식은 카메라 혹은 RGBD 센서로부터 데이터를 분석하여 삼차원 환경 지도를 실시간으로 작성하는 지도 작성(mapping) 기술과, 작성된 지도에서 현재 카메라의 위치를 추정하는 카메라 추적(tracking) 기술이 이용될 수 있다.
객체 인식부(130)는 앞에서 설명한 마커 기반 인식 방법과 마커리스 인식 방법을 이용하여 촬영된 영상에 포함된 객체를 인식할 수 있다. 이때, 객체 인식부(130)는 영상이 촬영된 위치 정보, 객체에 대한 마커 또는 객체의 마커리스 정보를 기초로 영상에 포함된 객체를 인식할 수 있다. 다만, 객체 인식부(130)가 객체를 인식하는 방법이 이에 한정되는 것은 아니며, 새로이 개발되는 다양한 방식이 적용될 수 있다.
다만, 이러한 객체 인식부(130)의 동작은 별도의 외부 장치(예를 들어, 서버(300))에서 수행될 수 있으며, 수행 결과에 대한 결과 데이터만을 사용자 단말기(100)에서 수신하여 이용할 수 있다.
위치 측정부(140)는 사용자 단말기(100)의 현재 위치와, 촬영되는 객체의 위치를 측정한다. 구체적으로, 위치 측정부(140)는 로컬 위치 추적 기술을 이용하여 사용자 단말기(100)의 현재 위치와 사용자 단말기(100)에서 촬영되는 객체의 위치를 측정할 수 있다. 로컬 위치 추적 기술은 사용되는 방식에 따라서 TOF(time of flight), 공간 스캔(spatial scan), 관성측정(inertial sensing), 기계 연결식(mechanical linkage), 위상차 검출식(phase difference sensing), 직접 필드검출(direct field sensing)로 구분될 수 있으며, 정확도를 높이기 위해서 상기 기술들을 혼합하여 사용할 수 있다.
위치 측정부(140)는 근거리통신(near field communication; NFC)을 이용한 위치기반 서비스를 이용하여 위치측정을 할 수 있다. 예를 들어, 상기 위치기반 서비스는 Zigbee, iBeacon 기술을 이용할 수 있다. 위치기반 서비스는 주로 GPS를 사용하지 못하는 실내환경에서 이용될 수 있고, 각 노드의 신호강도를 통해서 상대위치를 파악할 수 있다. 또한, 위치 측정부(140)는 사용자 단말기(100)에 장착되어 있는 각종 센서(관성측정 센서, 고도계, 나침반) 등을 이용해서 위치측정의 정밀도를 높일 수 있다.
증강 현실 처리부(150)는 증강 현실 정보를 기초로 사용자에게 제공되는 증강 현실 인터페이스를 생성할 수 있다. 증강 현실 정보는 촬영되는 객체를 모델링 및 렌더링 하는데 이용되는 로데이터(raw data)이다. 증강 현실 정보는 서버(300)의 데이터베이스에 저장되거나, 사용자 단말기(100)의 메모리부(170)에 저장되어 이용될 수 있다.
증강 현실 처리부(150)는 증강 현실 정보를 기초로 실제 물체를 가상으로 정확하게 표현하는 모델링 기술과, 이를 사실적으로 표현하는 렌더링 기술을 이용할 수 있다. 모델링 기술은 비디오로 입력되는 2D 영상에 깊이 정보를 반영하여 합성하는 기술이다. 모델링 기술은 사용자 의도대로 객체 변형, 색상 변화 등을 수행하여 현실 공간에서 이룰 수 없는 다양한 응용을 가능케 한다. 렌더링 기술은 생성된 가상 모델들에 조명효과, 그림자 효과, 밝기 변화 등을 부가하여 가상 모델을 사실적으로 표현함으로써, 사용자가 증강 현실 인터페이스에서 생동감을 느낄 수 있게 하는 기술이다.
다만, 이러한 증강 현실 처리부(150)의 동작은 별도의 외부 장치(예를 들어, 서버(300))에서 수행될 수 있으며, 수행 결과에 대한 결과 데이터만을 사용자 단말기(100)에서 수신하여 이용할 수 있다.
통신부(160)는 증강현실 데이터베이스를 저장하고 관리하는 서버(300) 또는 촬영 대상인 대상 기기(200)와 데이터를 교환한다. 이때, 증강현실 데이터베이스는 증강현실 객체, 증강현실 객체의 속성 정보를 저장한 데이터베이스이다.
통신부(160)는 다른 단말 장치와 유무선으로 데이터를 주고 받는 전자 장치, 모듈 또는 프로그램을 포함할 수 있다. 통신부(160)에서 이용하는 통신 규약은, 예를 들어, CDMA(Code Division Multiple Access) 통신, WCDMA(Wideband Code Division Multiple Access) 통신 혹은, 광대역 무선 통신을 포함한다. 다만, 본 발명이 이에 한정되는 것은 아니다.
센서부(165)는 증강현실에 필요한 정보 또는 증강현실에 추가로 적용되는 맥락정보를 감지하는 장치이다. 센서부(165)는 온도 센서, 습도 센서, 위치감지 센서, 동작감지 센서 등을 포함할 수 있다. 여기에서, 위치감지 센서는 GPS신호를 감지하는 GPS 센서가 이용될 수 있고, 동작감지 센서로는 자이로스코프 센서 또는 가속도 센서가 이용될 수 있다. 또한, 센서부(165)는 사용자 단말기(100)의 현재 위치, 움직임, 기울기, 방향, 촬영하는 객체와의 거리, 주변의 소리, 밝기 등을 측정할 수 있다.
메모리부(170)는 사용자 단말기(100)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터(전화번호, SMS 메시지, 압축된 이미지 파일, 동영상 등)를 저장한다. 또한, 메모리부(170)는 촬영되는 대상에 대응되는 증강현실 객체, 증강현실 객체의 속성 정보 및 상태 정보를 저장할 수 있다. 즉, 메모리부(170)는 촬영 대상인 객체와, 객체에 포함된 구성요소에 대한 상태 정보 및 증강 현실 정보를 저장한다.
메모리부(170)는 RAM(Random Access Memory) 또는 ROM(Read Only Memory)과 정적 정보 및 명령어들을 저장하는 정적 저장 디바이스를 포함할 수 있다. 메모리부(170)는 휘발성 메모리 유닛 또는 비휘발성 메모리 유닛일 수 있다. 메모리부(170)는 또한 자기 또는 광디스크와 같은 컴퓨터 판독가능 매체의 또 다른 유형일 수 있다.
디스플레이부(180)는 사용자 단말기(100)의 동작 중에 발생되는 상태 정보(또는 인디케이터), 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 표시한다. 또한, 디스플레이부(180)는 카메라부(120)를 통해 수신되는 영상을 표시하고, 촬영되는 객체에 대응되는 증강 현실 인터페이스를 표시할 수 있다.
인터페이스부(190)는 사용자로부터의 입력을 수신할 수 있다. 인터페이스부(190)는 버튼형 입력부, 터치 스크린, 키보드 또는 마우스 등과 같은 입력장치를 포함할 수 있다. 예를 들어, 터치 스크린은 디스플레이부(180)의 상면에 형성될 수 있고, 사용자의 터치를 통해 입력을 수신할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 동작 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 장치인 사용자 단말기(100)는 대상 기기(200)를 촬영하고, 촬영된 대상 기기(200)에 대한 증강 현실 인터페이스를 디스플레이부(180) 상에 표시한다.
여기에서, 대상 기기(200)는 제1 및 제2 대상기기(210, 220)를 포함할 수 있다. 예를 들어, 제1 및 제 2 대상 기기(210, 220)는 각각 자동제어기기나 산업용기기 또는 배전반 중 어느 하나가 될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
서버(300)는 대상 기기(200)와 연동되어 대상 기기(200)에 대한 다양한 데이터를 저장한다. 서버(300)는 객체 정보 DB(310), 상태 정보 DB(320), 증강현실 DB(330)를 포함한다. 이하에서, 대상 기기(200)는 촬영 대상인 '객체'라는 용어와 혼용하여 설명하도록 한다.
객체 정보 DB(310)는 객체에 대한 다양한 정보를 포함한다. 예를 들어, 객체의 제품 정보(제품명, 제품 번호, 제품 종류, 설치 시기, 관리 방법 등), 객체가 설치된 위치 정보, 객체와 관련된 회로도 등의 정보를 포함할 수 있다.
상태 정보 DB(320)는 객체의 동작 정보를 포함한다. 예를 들어, 상태 정보 DB(320)는 각 객체의 전력량 정보, 온도 정보, 전압 정보, 또는 전류 정보를 포함할 수 있다. 각 객체의 상태 정보는 실시간으로 업데이트될 수 있으며, 원격 검침 시스템(AMR)의 일부로 이용될 수 있다.
증강현실 DB(330)는 객체를 모델링 및 렌더링 하는데 이용되는 로데이터(raw data)인 증강 현실 정보를 저장한다. 또한, 증강현실 DB(330)는 증강 현실 정보를 기초로 사용자에게 제공되는 증강 현실 인터페이스를 저장한다. 즉, 증강현실 DB(330)는 객체의 모델링 및 렌더링 이전의 증강 현실 정보와, 모델링 및 렌더링 이후의 증강 현실 인터페이스를 모두 저장하고, 사용자 단말기(100)의 요청에 따라 필요한 데이터를 제공할 수 있다.
사용자 단말기(100)는 촬영되는 영상에 포함된 객체인 대상 기기(200)를 인식하고, 대상 기기(200)에 대한 증강 현실 정보 또는 증강 현실 인터페이스를 서버(300)로부터 수신하여 화면에 표시한다. 이때, 사용자 단말기(100)는 대상 기기(200)의 동작 상태에 따라 서로 다른 메뉴의 증강 현실 인터페이스를 디스플레이부(180)에 표시한다.
사용자 단말기(100)에서 수행되는 증강 현실 제공 방법에 대한 자세한 설명은 이하에서 후술하도록 한다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은 우선, 사용자 단말기(100)의 카메라부(120)에서 객체를 포함하는 영상을 촬영한다(S110).
이어서, 객체 인식부(130)는 촬영된 영상에 포함된 객체를 인식한다(S120).
이어서, 제어부(110)는 통신부(160)를 통하여 객체에 대한 상태 정보를 수신한다(S130). 제어부(110)는 인식된 객체에 대한 상태 정보를 서버(300)로부터 수신할 수 있다. 여기에서, 객체의 상태 정보는 객체의 전압, 전류, 전력량, 온도, 객체에 포함된 구성요소의 정상 동작 여부 등을 포함할 수 있다.
이어서, 제어부(110)는 수신된 상태 정보를 기초로 객체의 동작 상태를 판단한다.
우선, 제어부(110)는 객체의 동작 상태가 제1 상태인지 여부를 판단한다(S140).
만약, 객체의 동작 상태가 제1 상태인 경우, 제어부(110)는 제1 상태에 대한 제1 증강 현실 인터페이스를 서버(300)에 요청한다(S150). 이 경우, 서버(300)는 증강 현실 DB(330)에 저장된 객체의 제1 상태에 대한 제1 증강 현실 인터페이스를 사용자 단말기(100)에 제공한다. 여기에서, 제1 증강 현실 인터페이스는 미리 모델링 및 렌더링된 객체에 대한 2D 또는 3D 이미지를 포함할 수 있다.
이어서, 제어부(110)는 수신한 제1 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S160).
반면, 객체의 동작 상태가 제1 상태가 아닌 경우, 제어부(110)는 객체의 동작 상태가 제2 상태인지 여부를 판단한다(S145). 여기에서 제2 상태는 제1 상태와 다른 동작 상태를 의미한다.
이어서, 객체의 동작 상태가 제2 상태인 경우, 제어부(110)는 제2 상태에 대한 제2 증강 현실 인터페이스를 서버(300)에 요청한다(S155). 이 경우, 서버(300)는 증강 현실 DB(330)에 저장된 객체의 제2 상태에 대한 제2 증강 현실 인터페이스를 사용자 단말기(100)에 제공한다.
이어서, 제어부(110)는 수신한 제2 증강 현실 인터페이스를 인식된 객체에 오버랩시켜 디스플레이부(180)에 표시한다(S160). 이때, 제2 증강 현실 인터페이스는 앞에서 설명한 제1 증강 현실 인터페이스와 서로 다른 색깔 또는 형상으로 모델링 및 렌더링된 이미지를 포함할 수 있다.
여기에서, 본 발명의 일 실시예에 따른 증강 현실 제공 방법에 대하여, 제1 및 제2 증강 현실 인터페이스를 예로 들어 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 본 발명의 증강 현실 제공 방법은, 인식된 객체에 대한 복수 개의 상태에 따라, 서로 다른 복수 개의 증강 현실 인터페이스를 객체에 오버랩시켜 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 증강 현실 제공 방법의 경우, 사용자 단말기(100)는 서버(300)로부터 수신한 증강 현실 인터페이스를 그대로 디스플레이부(180)로 출력할 수 있다.
예를 들어, 서버(300)는 앞에서 설명한 사용자 단말기(100)의 객체 인식부(130)와 증강 현실 처리부(150)의 동작을 수행할 수 있다. 이어서, 사용자 단말기(100)는 서버(300)로부터 수행된 동작의 결과 데이터를 수신하여 이용할 수 있다. 구체적으로, 사용자 단말기(100)는 카메라부(120)에서 촬영된 영상을 서버(300)에 전송하고, 서버(300)는 수신된 영상에 포함된 객체를 인식하며, 인식된 객체에 대한 증강 현실 인터페이스를 생성하여 사용자 단말기(100)에 제공할 수 있다.
이 경우, 사용자 단말기(100)는 서버(300)로부터 수신한 데이터(즉, 증강 현실 인터페이스)를 바로 디스플레이부(180)로 출력한다. 따라서, 제어부(110)의 연산량이 감소되므로 동작 속도가 증가될 수 있다.
도 5는 도 4의 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 방법의 일 예에서, 대상 기기(200)는 차단기가 될 수 있다. 차단기는 전기적으로 과부하 상태 시 또는 단락 시 자동으로 회로를 차단하여 회로 및 부하를 보호하는 전기기기이다.　 만약, 차단기에서 이상전류 등 사고 전류가 발생하는 경우, 차단기는 사고 전류를 차단하고 핸들 위치는 트립(TRIP)　상태를 표시한다. 차단기의 동작 상태는 ON 상태, OFF 상태, TRIP 상태 중 어느 하나일 수 있다.
우선, S120 단계의 객체 촬영 단계에 이어서, 제어부(110)는 차단기를 객체로 인식하고, 통신부(160)를 통하여 객체로 인식한 차단기에 대한 상태 정보를 수신한다(S230).
이어서, 제어부(110)는 수신된 차단기의 상태 정보를 기초로 차단기의 동작 상태가 ON 상태인지 여부를 판단한다(S241). 여기에서, ON 상태는 차단기가 정상 동작하는 상태를 의미한다.
이어서, 차단기의 동작 상태가 ON 상태인 경우, 제어부(110)는 ON 상태에 대한 제1 증강 현실 인터페이스를 서버(300)에 요청한다(S251). 이 경우, 서버(300)는 증강 현실 DB(330)에 저장된 차단기의 ON 상태에 대한 제1 증강 현실 인터페이스를 사용자 단말기(100)에 제공한다. 예를 들어, 제1 증강 현실 인터페이스는, 차단기의 동작 상태가 ON 상태일 때의 동작 전력량, 시간당 전력 변화량, 평균 전력량, 전력량 변화 추이 그래프 등을 포함할 수 있다.
이어서, 제어부(110)는 수신한 제1 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S260).
한편, 차단기의 동작 상태가 ON 상태가 아닌 경우, 제어부(110)는 차단기의 동작 상태가 OFF 상태인지 여부를 판단한다(S242). 여기에서, OFF 상태는 차단기가 동작을 멈춘 상태를 의미한다.
이어서, 차단기의 동작 상태가 OFF 상태인 경우, 제어부(110)는 OFF 상태에 대한 제2 증강 현실 인터페이스를 서버(300)에 요청한다(S252). 이 경우, 서버(300)는 증강 현실 DB(330)에 저장된 차단기의 OFF 상태에 대한 제2 증강 현실 인터페이스를 사용자 단말기(100)에 제공한다. 예를 들어, 제2 증강 현실 인터페이스는 차단기의 동작 상태가 OFF 상태일 때, OFF 상태 변경 시간, OFF 상태 유지 시간, OFF 상태 이전 전력 사용량, OFF 상태 이전 전력량 변화 히스토리, 사용자 알림 기능 등을 포함할 수 있다.
이어서, 제어부(110)는 수신한 제2 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S260). 이때, 제2 증강 현실 인터페이스는 앞에서 설명한 제1 증강 현실 인터페이스와 서로 다른 색깔 또는 형상으로 모델링 및 렌더링된 이미지를 포함할 수 있다. 제2 증강 현실 인터페이스는 제1 증강 현실 인터페이스와 서로 다른 차단기에 대한 상태 정보를 포함할 수 있다.
다른 한편, 차단기의 동작 상태가 OFF 상태가 아닌 경우, 제어부(110)는 차단기의 동작 상태가 TRIP 상태인지 여부를 판단한다(S243). 여기에서, TRIP 상태는 이상 원인에 의해 차단기가 전원을 차단한 상태를 의미한다.
이어서, 차단기의 동작 상태가 TRIP 상태인 경우, 제어부(110)는 TRIP 상태에 대한 제3 증강 현실 인터페이스를 서버(300)에 요청한다(S253). 이 경우, 서버(300)는 증강 현실 DB(330)에 저장된 차단기의 TRIP 상태에 대한 제3 증강 현실 인터페이스를 사용자 단말기(100)에 제공한다. 예를 들어, 제3 증강 현실 인터페이스는, 차단기의 동작 상태가 TRIP 상태일 때의 TRIP 원인, TRIP 시간, TRIP 히스토리 등을 포함할 수 있다.
이어서, 제어부(110)는 수신한 제3 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S260). 이때, 제3 증강 현실 인터페이스는 앞에서 설명한 제1 및 제2 증강 현실 인터페이스와 서로 다른 색깔 또는 형상으로 모델링 및 렌더링된 이미지를 포함할 수 있다. 제3 증강 현실 인터페이스는 제1 및 제2 증강 현실 인터페이스와 서로 다른 상태 정보를 포함할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법의 S310 단계 내지 S330 단계는 도 4를 참조하여 설명한 S110 단계 내지 S130 단계와 실질적으로 동일하다. 이하에서는 중복되는 설명은 생략하고, 차이점을 위주로 설명하도록 한다.
S330 단계에 이어서, 제어부(110)는 객체의 동작 상태가 제1 상태인지 여부를 판단한다(S340).
만약, 객체의 동작 상태가 제1 상태인 경우, 제어부(110)는 제1 상태에 대한 제1 데이터를 서버(300)에 요청한다(S350). 여기에서, 제1 데이터는 객체의 제1 상태에 대응되며 증강 현실 인터페이스를 생성하는데 이용되는 데이터를 의미한다. 서버(300)는 증강 현실 DB(330)에 저장된 객체의 제1 상태에 대한 제1 데이터를 사용자 단말기(100)에 제공한다.
이어서, 증강 현실 처리부(150)는 제1 데이터를 기초로 제1 증강 현실 인터페이스를 생성한다(S360). 여기에서, 제1 데이터는 2D 또는 3D 이미지로 모델링 및 렌더링될 수 있다. 즉, 제1 데이터는 디스플레이부(180)에 표시 가능한 제1 증강 현실 인터페이스로 변환될 수 있다.
이어서, 제어부(110)는 생성된 제1 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S370).
반면, 객체의 동작 상태가 제1 상태가 아닌 경우, 제어부(110)는 객체의 동작 상태가 제2 상태인지 여부를 판단한다(S345). 여기에서 제2 상태는 제1 상태와 다른 동작 상태를 의미한다.
이어서, 객체의 동작 상태가 제2 상태인 경우, 제어부(110)는 제2 상태에 대한 제2 데이터를 서버(300)에 요청한다(S355). 여기에서, 제2 데이터는 객체의 제2 상태에 대응되며 증강 현실 인터페이스를 생성하는데 이용되는 데이터를 의미한다. 서버(300)는 증강 현실 DB(330)에 저장된 객체의 제2 상태에 대한 제2 데이터를 사용자 단말기(100)에 제공한다.
이어서, 증강 현실 처리부(150)는 제2 데이터를 기초로 제2 증강 현실 인터페이스를 생성한다(S365). 여기에서, 제2 데이터는 2D 또는 3D 이미지로 모델링 및 렌더링될 수 있다. 즉, 제2 데이터는 디스플레이부(180)에 표시 가능한 제2 증강 현실 인터페이스로 변환될 수 있다.
이어서, 제어부(110)는 생성된 제2 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S370).
본 발명의 다른 실시예에 따른 증강 현실 제공 방법의 경우, 사용자 단말기(100)는 서버(300)로부터 수신한 증강 현실 관련 데이터(예를 들어, 제1 또는 제2 데이터)를 증강 현실 인터페이스로 변환하여 디스플레이부(180)로 출력한다. 이때, 증강 현실 처리부(150)는 사용자가 미리 설정한 설정값을 반영하여 객체 변형 또는 색상 변화 등과 같은 효과를 추가적으로 부여할 수 있다.
이에 따라, 사용자 단말기(100)는 사용자의 설정값을 반영하여 사용자의 요구에 맞게 변경된 증강 현실 인터페이스를 출력할 수 있다. 즉, 사용자 단말기(100)는 서버(300)에서 제공하는 증강 현실 인터페이스를 이용할 뿐만 아니라, 사용자가 원하는 다양한 표현 효과를 증강 현실 인터페이스 상에 구현할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법은 사용자의 필요에 맞도록 증강 현실 인터페이스를 변경하여 출력할 수 있다.
도 7은 도 6의 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 순서도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법의 일 예에서, 대상 기기(200)는 차단기가 될 수 있다. 차단기의 동작 상태에 대한 설명은 전술하였는 바, 중복되는 내용은 생략하도록 한다.
우선, 제어부(110)는 차단기를 객체로 인식하고, 통신부(160)를 통하여 차단기에 대한 상태 정보를 수신한다(S430).
이어서, 제어부(110)는 수신된 차단기의 상태 정보를 기초로 차단기의 동작 상태가 ON 상태인지 여부를 판단한다(S441). 여기에서, ON 상태는 차단기가 정상 동작하는 상태를 의미한다.
이어서, 차단기의 동작 상태가 ON 상태인 경우, 제어부(110)는 ON 상태에 대한 제1 데이터를 서버(300)로부터 수신한다(S451). 이 경우, 서버(300)는 상태 정보 DB(320)에 저장된 차단기의 ON 상태에 관한 상태 정보(예를 들어, 동작 전력량, 시간에 따른 전력 변화량, 동작 시간, 온도, 전압 및 전류 측정치 등)를 포함하는 제1 데이터를 사용자 단말기(100)에 제공한다.
이어서, 증강 현실 처리부(150)는 제1 데이터를 기초로 제1 증강 현실 인터페이스를 생성한다(S461). 이때, 제1 증강 현실 인터페이스는 ON 상태에 관한 상태 정보를 반영한 증강 현실 이미지를 포함한다.
이어서, 제어부(110)는 생성된 제1 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S470).
한편, 차단기의 동작 상태가 ON 상태가 아닌 경우, 제어부(110)는 차단기의 동작 상태가 OFF 상태인지 여부를 판단한다(S442). 여기에서, OFF 상태는 차단기가 동작을 멈춘 상태를 의미한다.
이어서, 차단기의 동작 상태가 OFF 상태인 경우, 제어부(110)는 OFF 상태에 대한 제2 데이터를 서버(300)로부터 수신한다(S452). 이 경우, 서버(300)는 상태 정보 DB(320)에 저장된 차단기의 OFF 상태에 관한 상태 정보(예를 들어, OFF 상태 유지시간, OFF 상태 변경 시간, OFF 상태 이전 전력 사용량, OFF 상태 이전 전력 사용량, OFF 상태 이전 전력량 변화 히스토리 등)를 포함하는 제2 데이터를 사용자 단말기(100)에 제공한다.
이어서, 증강 현실 처리부(150)는 제2 데이터를 기초로 제2 증강 현실 인터페이스를 생성한다(S462). 이때, 제2 증강 현실 인터페이스는 OFF 상태에 관한 상태 정보를 반영한 증강 현실 이미지를 포함한다. 이때, 제2 증강 현실 인터페이스는 앞에서 설명한 제1 증강 현실 인터페이스와 서로 다른 색깔 또는 형상으로 모델링 및 렌더링된 이미지를 포함할 수 있다. 또한, 제2 증강 현실 인터페이스는 제1 증강 현실 인터페이스와 서로 다른 상태 정보를 포함할 수 있다.
이어서, 제어부(110)는 생성된 제2 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S470).
다른 한편, 차단기의 동작 상태가 OFF 상태가 아닌 경우, 제어부(110)는 차단기의 동작 상태가 TRIP 상태인지 여부를 판단한다(S443).
이어서, 차단기의 동작 상태가 TRIP 상태인 경우, 제어부(110)는 TRIP 상태에 대한 제3 데이터를 서버(300)로부터 수신한다(S453). 이 경우, 서버(300)는 상태 정보 DB(320)에 저장된 차단기의 TRIP 상태에 관한 상태 정보(예를 들어, TRIP 원인, TRIP 시간, TRIP 히스토리 등)를 포함하는 제3 데이터를 사용자 단말기(100)에 제공한다.
이어서, 증강 현실 처리부(150)는 제3 데이터를 기초로 제3 증강 현실 인터페이스를 생성한다(S463). 이때, 제3 증강 현실 인터페이스는 TRIP 상태에 관한 상태 정보를 반영한 증강 현실 이미지를 포함한다. 이때, 제3 증강 현실 인터페이스는 앞에서 설명한 제1 및 제2 증강 현실 인터페이스와 서로 다른 색깔 또는 형상으로 모델링 및 렌더링된 이미지를 포함할 수 있다. 또한, 제3 증강 현실 인터페이스는 제1 및 제2 증강 현실 인터페이스와 서로 다른 상태 정보를 포함할 수 있다.
이어서, 제어부(110)는 생성된 제3 증강 현실 인터페이스를 디스플레이부(180)에 표시한다(S470).
도 8은 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법은, 앞에서 설명한 도 4의 S160 단계 또는 도 6의 S370 단계에서 증강 현실 인터페이스를 표시하는 방법에 대한 일 예에 해당한다.
우선, 제어부(110)는 촬영된 영상에 포함된 객체가 복수인지 여부를 판단한다(S571).
이어서, 촬영된 영상의 객체가 복수인 경우, 제어부(110)는 각 객체의 이상 동작 여부를 판단한다(S573). 이때, 제어부(110)는 각 객체의 상태 정보와 미리 정해진 정상 동작 기준치를 비교하여, 특정된 구성요소의 정상 동작 여부를 판단할 수 있다. 예를 들어, 상태 정보는 각 객체에 대한 전력량 정보, 온도 정보, 전압 정보, 또는 전류 정보를 포함할 수 있다. 정상 동작 기준치는 각 상태 수치값에 대한 정상 동작 범위로써, 메모리부(170)에 미리 저장되어 이용될 수 있다.
이어서, 복수의 객체 중 이상 동작 상태의 객체가 있는 경우, 제어부(110)는 이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 우선 디스플레이부(180)에 표시한다(S575). 즉, 제어부(110)는 정상 동작 중인 객체에 우선하여, 이상 동작 중인 객체의 증강 현실 인터페이스를 사용자에게 표시할 수 있다.
반면, 촬영된 영상의 객체가 복수가 아닌 경우, 촬영된 객체에 대한 증강 현실 인터페이스를 수신 또는 생성하여 디스플레이부(180)에 표시한다(S577).
즉, 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법은, 복수의 객체 중에서 이상 동작 상태인 객체에 대한 정보를 증강 현실을 통해 나타냄으로써, 사용자가 직관적으로 이상 동작 상태를 제공할 수 있다. 이를 통해, 사용자는 기기에 대한 상태 정보를 직관적이고 쉽게 파악할 수 있다.
도 9 및 도 10은 본 발명의 몇몇 실시예에 따른 증강 현실 제공 방법의 동작의 일 예를 설명하기 위한 도면이다.
도 9 및 도 10을 참조하면, 본 발명의 몇몇 실시예에 따른 증강 현실 제공 방법에서, 사용자 단말기(100)는 대상 기기(200)를 촬영하고, 대상 기기(200)는 제1 및 제2 객체(210, 220)를 포함할 수 있다. 사용자 단말기(100)는 제1 및 제2 객체(210, 220) 상에 증강 현실 인터페이스가 오버랩 되도록 표시할 수 있다. 예를 들어, 제1 및 제2 객체(210, 220) 상에 오버랩된 증강 현실 인터페이스는, 제1 및 제2 객체(210, 220)의 영역에 매칭되는 형상의 이미지를 포함한다. 이때, 증강 현실 인터페이스는 투명, 반투명, 또는 불투명하게 표시될 수 있다. 또한, 증강 현실 인터페이스는 시스템에 미리 저장되어 있거나 사용자에 의해 지정된 색상 및 모양으로 표시될 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.
이때, 사용자는 사용자 단말기(100)의 인터페이스부(190)를 통해, 제1 또는 제2 증강 현실 인터페이스가 오버랩된 제1 또는 제2 객체(210, 220) 부분을 선택할 수 있다.
이 경우, 증강 현실 처리부(150)는 선택된 제1 또는 제2 객체(210, 220)의 동작 상태와 상태 정보를 포함하는 제1 또는 제2 증강 현실 인터페이스를 생성하여 표시할 수 있다.
예를 들어, 사용자가 ON 상태인 제1 객체(210)을 선택한 경우, 증강 현실 처리부(150)는 제1 객체(210)의 동작 상태 및 상태 정보(예를 들어, 동작 전력량, 시간당 전력 변화량, 평균 전력량, 전력량 변화 추이 등)를 반영한 제1 증강 현실 인터페이스를 생성하여 표시할 수 있다.
다른 예로, 사용자가 TRIP 상태인 제2 객체(220)을 선택한 경우, 증강 현실 처리부(150)는 제2 객체(220)의 동작 상태 및 상태 정보(예를 들어, TRIP 원인, TRIP 시간, TRIP 히스토리 등)를 반영한 제2 증강 현실 인터페이스를 생성하여 표시할 수 있다. 다만, 이는 하나의 예시에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
추가적으로, 본 발명은 촬영된 복수의 객체 중 이상 동작 상태의 객체가 있는 경우, 이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 우선적으로 표시할 수 있다.
또한, 본 발명은 구성요소에 대한 추가 알림 정보가 있는 경우, 이를 증강 현실 인터페이스로 생성하여 표시할 수 있다. 예를 들어, 대상 기기(200)의 교체시기가 다가오는 경우, 관련 교체 모델에 대한 정보를 포함하는 증강 현실 인터페이스를 생성하여 해당 구성요소에 표시할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
앞에서 살펴본 바와 같이, 본 발명의 증강 현실 제공 시스템 및 방법은, 촬영되고 있는 기기의 동작 상태에 따라 서로 다른 메뉴를 증강 현실로 표현함으로써, 사용자가 기기의 상태를 한눈에 파악할 수 있도록 한다.
따라서, 사용자는 기기에 포함된 각 객체에 대한 상태 정보를 직관적이고 쉽게 파악할 수 있다. 즉, 본 발명은 기기 관리에 소요되는 시간을 단축시켜 사용자의 편의성을 높이고, 업무 처리 속도를 향상시킬 수 있다. 또한, 동일한 시간 내에 빠른 작업 처리가 가능해지므로 작업 효율이 향상될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 사용자 단말기
200: 대상 기기
300: 서버

Claims (15)

  1. 사용자 단말기 또는 서버에서 수행되는 증강 현실 제공 방법으로서,
    객체를 포함하는 영상을 촬영하는 단계;
    상기 촬영된 영상에 포함된 상기 객체를 인식하는 단계;
    상기 객체에 대한 상태 정보를 수신하는 단계;
    상기 수신된 상태 정보를 기초로 상기 객체의 동작 상태를 판단하는 단계; 및
    상기 객체의 동작 상태에 따라, 서로 다른 증강 현실 인터페이스를 상기 촬영된 영상에 오버랩하여 화면에 표시하는 단계를 포함하고,
    상기 촬영된 영상에 포함된 객체가 복수인지 여부를 판단하는 단계와,
    상기 객체가 복수인 경우, 각 객체의 이상 동작 여부를 판단하는 단계와,
    이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 우선 표시하는 단계를 더 포함하는
    증강 현실 제공 방법.
  2. 제1 항에 있어서,
    상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는,
    상기 객체의 동작 상태가 제1 상태인 경우, 제1 증강 현실 인터페이스를 표시하는 단계와,
    상기 객체의 동작 상태가 상기 제1 상태와 다른 제2 상태인 경우, 상기 제1 증강 현실 인터페이스와 다른 제2 증강 현실 인터페이스를 표시하는 단계를 포함하는 증강 현실 제공 방법.
  3. 제1 항에 있어서,
    상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는,
    상기 객체의 동작 상태에 관한 상기 증강 현실 인터페이스를 상기 사용자 단말기와 연결된 서버에 요청하는 단계와,
    수신된 상기 증강 현실 인터페이스를 화면에 표시하는 단계를 포함하는 증강 현실 제공 방법.
  4. 제1 항에 있어서,
    상기 서로 다른 증강 현실 인터페이스를 표시하는 단계는,
    상기 객체의 동작 상태에 관한 증강 현실 관련 데이터를 상기 사용자 단말기와 연결된 서버에 요청하는 단계와,
    수신된 상기 증강 현실 관련 데이터를 기초로 상기 증강 현실 인터페이스를 생성하는 단계와,
    상기 증강 현실 인터페이스를 화면에 표시하는 단계를 포함하는 증강 현실 제공 방법.
  5. 제4 항에 있어서,
    상기 객체의 동작 상태가 ON 상태인 경우, 상기 데이터는 상기 객체의 동작에 대한 전력량, 온도, 전압, 또는 전류에 대한 정보를 포함하고,
    상기 객체의 동작 상태가 OFF 상태인 경우, 상기 데이터는 OFF 상태 유지 시간에 대한 정보를 포함하고,
    상기 객체의 동작 상태가 TRIP 상태인 경우, 상기 데이터는 TRIP 원인, TRIP 시간, 또는 TRIP 히스토리에 대한 정보를 포함하는 증강 현실 제공 방법.
  6. 제1 항에 있어서,
    상기 객체의 동작 상태를 판단하는 단계는,
    상기 객체가 ON 상태, OFF 상태, 및 TRIP 상태 중 어느 상태인지를 판단하는 것을 포함하는 증강 현실 제공 방법.
  7. 삭제
  8. 제1 항에 있어서,
    상기 각 객체의 이상 동작 여부를 판단하는 단계는,
    상기 각 객체의 상기 수신된 상태 정보와 미리 정해진 정상 동작 기준치를 비교하여, 상기 각 객체의 이상 동작 여부를 판단하는 것을 포함하는 증강 현실 제공 방법.
  9. 제1 항에 있어서,
    상기 촬영된 영상에 포함된 객체를 인식하는 단계는,
    상기 영상이 촬영된 위치 정보, 상기 객체의 마커 또는 상기 객체의 마커리스 정보를 이용하여, 상기 영상에 포함된 상기 객체를 인식하는 것을 포함하는 증강 현실 제공 방법.
  10. 제1 항에 있어서,
    상기 객체는, 차단기, 인버터, 계전기, 통신링크장치, 전력량계, 센서부, 및 HMI 중 어느 하나를 포함하는 증강 현실 제공 방법.
  11. 객체를 포함하는 영상을 촬영하는 카메라부;
    상기 영상에 포함된 상기 객체를 인식하는 객체 인식부;
    상기 객체에 대한 상태 정보와, 상기 객체의 상태에 대한 증강 현실 인터페이스를 수신하는 통신부;
    상기 증강 현실 인터페이스를 표시하는 디스플레이부; 및
    상기 수신된 상태 정보를 기초로 상기 객체의 동작 상태를 판단하고, 상기 객체의 서로 다른 동작 상태에 따라 서로 다른 증강 현실 인터페이스를 상기 촬영된 영상에 오버랩하여 표시하는 제어부를 포함하고,
    상기 제어부는,
    상기 촬영된 영상에 포함된 객체가 복수인지 여부를 판단하고,
    상기 객체가 복수인 경우, 각 객체의 이상 동작 여부를 판단한 뒤, 이상 동작 상태의 객체에 대한 증강 현실 인터페이스를 상기 디스플레이부에 우선 표시하는
    증강 현실 제공 시스템.
  12. 제11 항에 있어서,
    상기 제어부는, 상기 객체의 동작 상태에 관한 상기 증강 현실 인터페이스를 서버에 요청하고, 수신된 상기 증강 현실 인터페이스를 화면에 표시하는 증강 현실 제공 시스템.
  13. 제11 항에 있어서,
    상기 객체의 동작 상태에 대한 증강 현실 관련 데이터를 기초로, 상기 증강 현실 인터페이스를 생성하는 증강 현실 처리부를 더 포함하고,
    상기 제어부는, 상기 증강 현실 관련 데이터를 서버에 요청하고, 생성된 상기 증강 현실 인터페이스를 상기 디스플레이부에 표시하는 증강 현실 제공 시스템.
  14. 제13 항에 있어서,
    상기 카메라부, 상기 통신부, 상기 디스플레이부 및 상기 제어부를 포함하는 사용자 단말기와,
    상기 객체 인식부와 상기 증강 현실 처리부를 포함하는 서버를 포함하는,
    증강 현실 제공 시스템.
  15. 삭제
KR1020170182588A 2017-12-28 2017-12-28 증강 현실 제공 시스템 및 방법 KR102263468B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170182588A KR102263468B1 (ko) 2017-12-28 2017-12-28 증강 현실 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182588A KR102263468B1 (ko) 2017-12-28 2017-12-28 증강 현실 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190080245A KR20190080245A (ko) 2019-07-08
KR102263468B1 true KR102263468B1 (ko) 2021-06-09

Family

ID=67256063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182588A KR102263468B1 (ko) 2017-12-28 2017-12-28 증강 현실 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102263468B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358875B1 (ko) * 2021-07-14 2022-02-08 (주)투락 복수 마커를 통한 효율적인 ar 컨텐츠 제공 방법 및 장치
KR102524399B1 (ko) * 2021-11-08 2023-04-21 주식회사 하이쓰리디 증강 현실 기반의 3d 프린팅 시뮬레이션 장치 및 방법
KR102388532B1 (ko) * 2021-11-26 2022-04-20 (주) 맵마인드 증강현실과 gis를 이용한 전력 사용량 모니터링 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728557B1 (ko) * 2011-04-04 2017-05-02 엘에스산전 주식회사 센서 네트워크 관리 시스템 및 방법
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치

Also Published As

Publication number Publication date
KR20190080245A (ko) 2019-07-08

Similar Documents

Publication Publication Date Title
KR102347586B1 (ko) 증강 현실 제공 방법
KR102482293B1 (ko) 표면 인식 렌즈
JP7315313B2 (ja) プロセス制御環境の３ｄマッピング
US20200388080A1 (en) Displaying content in an augmented reality system
US9412205B2 (en) Extracting sensor data for augmented reality content
JP6496671B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
KR102263468B1 (ko) 증강 현실 제공 시스템 및 방법
KR102289745B1 (ko) 실시간 현장 작업 모니터링 방법 및 시스템
US9268410B2 (en) Image processing device, image processing method, and program
US20140313228A1 (en) Image processing device, and computer program product
EP3529750A1 (en) Redundant tracking system
EP2965299A1 (en) Modifying functionality based on distances between devices
KR102345333B1 (ko) 증강 현실 제공 시스템 및 방법
KR102264754B1 (ko) 증강 현실 제공 시스템 및 방법
US11580930B2 (en) Ruggedized remote control display latency and loss of signal detection for harsh and safety-critical environments
KR102268797B1 (ko) 증강 현실 제공 시스템 및 방법
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
KR20110136024A (ko) 증강현실 장치 간 정보 공유 방법
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
WO2016157938A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102338627B1 (ko) 증강 현실 제공 시스템 및 방법
KR102268798B1 (ko) 증강 현실 제공 시스템 및 방법
JP5266416B1 (ja) テストシステム及びテストプログラム
KR101108542B1 (ko) 위치기반 증강현실을 이용하는 이동통신 단말기 및 이의 제어방법
JP2016192014A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant