KR20170111038A - 증강현실 기반의 설비 모니터링 시스템 - Google Patents

증강현실 기반의 설비 모니터링 시스템 Download PDF

Info

Publication number
KR20170111038A
KR20170111038A KR1020160035751A KR20160035751A KR20170111038A KR 20170111038 A KR20170111038 A KR 20170111038A KR 1020160035751 A KR1020160035751 A KR 1020160035751A KR 20160035751 A KR20160035751 A KR 20160035751A KR 20170111038 A KR20170111038 A KR 20170111038A
Authority
KR
South Korea
Prior art keywords
image
information
unit
augmented
augmented reality
Prior art date
Application number
KR1020160035751A
Other languages
English (en)
Inventor
정규창
오승열
송성근
신덕식
이상택
조주희
최정식
박병철
김수용
차대석
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160035751A priority Critical patent/KR20170111038A/ko
Publication of KR20170111038A publication Critical patent/KR20170111038A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템은 증강 현실(AR: Augmented Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부, 상기 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여, 현실 객체의 모니터링 데이터를 포함하는 증강 현실 영상을 생성하는 증강 영상 생성부, 및 상기 증강 현실 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.

Description

증강현실 기반의 설비 모니터링 시스템{MONITORING SYSTEM OF EQUIPMENT BASE ON AUGMENTED REALITY}
본 발명은 위치 추적을 이용하는 증강현실 기반의 설비 모니터링 시스템 에 관한 것이다.
정보통신 기술의 급속한 발전과 도시의 환경개선과 유비쿼터스 기반의 인프라 확충, 그리고 신도시 및 기획도시의 증가 등으로 인해 기존 시스템이나 관리 환경에서의 각종 설비들에 대한 효율적인 관리의 요구가 증가되고 있다.
특히, 산업용 설비들의 상태를 파악하기 위해서는 모니터링 장치가 해당 산업용 설비들에 장착되거나 별도의 장치와 연결해야 한다. 그리고, 상태를 파악하고자 하는 설비들이 복수인 경우, 사용자가 해당 설비쪽으로 이동하며 상태를 직접 확인해야 하는 번거로움이 존재하였다. 이와 달리 원격 모니터링의 경우, 해당 설비의 실물을 직접 보지 않기 때문에 정확한 상태 파악이 어려운 문제가 있다.
한편, 증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 현실 세계 영상과 가상의 영상을 혼합한 것을 의미한다.
현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수 있다. 즉, 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.
본 발명의 목적은 복잡하고 다양한 환경의 장소에 설치되어있는 설비를 모니터링 함에 있어, 해당 설비에 사용자가 직접 접근하지 않더라도 현실 세계의 가시성 확보로 몰입도를 높여 업무처리와 운영의 효율성을 개선할 수 있는 증강현실 기반의 설비 모니터링 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 GPS(global positioning system) 및 위치 정보를 이용하여, 현장 작업의 효율성과 편의성을 증가시키는 증강현실 기반의 설비 모니터링 시스템을 제공하는 데 있다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템은 증강 현실(AR: Augmented Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부, 상기 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여, 현실 객체의 모니터링 데이터를 포함하는 증강 현실 영상을 생성하는 증강 영상 생성부, 및 상기 증강 현실 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.
실시 예에 있어서, 상기 현실 공간의 정보는 현실 객체의 식별 정보 또는 위치 정보 중 적어도 1개 이상의 정보를 포함할 수 있다.
실시 예에 있어서, 상기 증강 영상 생성부는 상기 현실 공간의 식별 정보 또는 위치 정보를 이용하여 객체의 위치 및 이미지를 보정하는 이미지 보정 정보를 생성하는 이미지 보정 정보 생성부, 및 상기 이미지 보정 정보, 상기 촬상 장치로부터 입력되는 영상 및 상기 컨텍스트 관리부에서 변환된 컨텍스트를 이용하여 증강 영상을 생성하는 렌더링부를 포함할 수 있다.
실시 예에 있어서, 상기 이미지 보정 생성부는 상기 현실 공간의 식별 정보 또는 위치 정보에 기초하여 미리 저장된 3D 데이터 및 지도 데이터를 로딩하고, 상기 로딩된 데이터를 이용하여 증강 공간을 구성하는 증강 공간 구성부, 및 상기 증강 공간을 미리 저장된 과거 이미지 사진을 통하여 이미지 보정하는 증강 공간 이미지 보정부를 포함할 수 있다.
실시 예에 있어서, 상기 렌더링부는 상기 촬상 장치로부터 입력되는 영상으로부터 현실 공간에 포함된 객체의 위치 정보와 방위 정보를 획득하는 현실 공간 인지부, 상기 현실 공간에 대하여 상기 변환된 콘텍스트에 따라 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 레지스트레이션부, 및 상기 현실 공간에 가상 객체를 증강시키고, 상기 이미지 보정 정보에 따라 객체의 각도 및 현실 공간의 배경을 보정하여 렌더링하는 객체 렌더링부를 포함할 수 있다.
실시 예에 있어서, 현실 공간을 뷰잉(viewing)하는 촬상 장치를 더 포함하고, 상기 현실 공간의 정보는 상기 촬상 장치를 통하여 상기 현실 공간을 뷰잉하여 수집될 수 있다.
본 발명에 따른 증강현실 기반의 설비 모니터링 시스템의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 복잡하고 다양한 환경의 장소에 설치되어있는 설비를 모니터링 함에 있어, 해당 설비에 사용자가 직접 접근하지 않더라도 현실 세계의 가시성 확보로 몰입도를 높여 업무처리와 운영의 효율성을 개선할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, GPS(global positioning system) 및 위치 정보를 이용하여, 현장 작업의 효율성과 편의성을 증가시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템에서 증강현실을 생성하는 구성들을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템의 전체적인 구성을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(camera calibration)을 포함한다.
레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다.
이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다.
이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다.
한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템을 나타내는 도면이다.
도 1을 참조하면, 증강현실 기반의 설비 모니터링 시스템은 컨텍스트 생성부(100), 컨텍스트 관리부(200), 증강 영상 생성부(300)를 포함한다.
컨텍스트 생성부(100)는 증강 현실(AR: Augmented Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성한다. 컨텍스트란 사용자와 응용 서비스 사이의 상호작용을 위해 필요한 사용자, 장소 대상물 등의 개체 상태를 나타내는 정보를 말한다.
본 발명의 일 실시 예에서 현실 공간의 정보란, 증강 현실의 적용 공간을 식별하기 위하여 현실 공간에 포함된 현실 객체의 영상 정보, 식별 정보 및 현실 공간의 위치를 나타내는 위치 정보를 포함할 수 있다.
현실 공간의 정보는 현실 공간을 뷰잉(viewing)하며, 현실 공간의 정보를 생성하는 모바일 단말(예를 들어, 스마트 기기)을 이용하여 수집될 수 있다. 구체적으로, 사용자는 자신이 소지한 모바일 단말이 가리키는 방향을 조작하여, 모니터링을 위한 설비를 뷰잉할 수 있다.
여기서, 현실 객체의 영상 정보는 영상 촬영이 가능한 단말기 또는 카메라 등을 이용하여 미리 촬영된 영상을 말하며, 현실 객체란 배전 설비 등과 같이 현실 세계에 실질적으로 존재하는 객체를 의미한다.
그리고, 현실 객체의 식별 정보는 자이로스코프 센서를 이용한 각속도(angular velocity) 또는 각변위(angular displacement), 증강의 기준이 되는 마커, 밝기 정보 등을 메타 정보로 포함할 수 있다.
그리고, 위치 정보는 GPS 정보를 비롯하여 단말기, 무선 AP, 또는 중계기 등 위치 정보를 전송하는 여러 장치가 속한 지역의 위치를 포함하며, 현재 위치를 알 수 있는 정보를 말한다. 구체적으로, GPS정보와 주변 무선 통신 신호의 세기를 조합하여 시스템 상의 현재 위치를 파악할 수 있다.
본 발명의 일 실시 예에서 가상 공간의 정보는 증강 현실에 필요한 객체의 위치, 객체의 종류 또는 객체의 상태 정보 중 적어도 하나 이상의 정보를 포함한다.
여기서, 가상 공간의 정보는 외부의 저장 장치, 데이터 베이스(미도시) 등으로부터 가져올 수 있으나, 본 발명은 모니터링이 되는 객체와 모바일 단말이 직접 네트워크로 연결되어 정보를 획득할 수 있다.
가상 공간의 정보는 가상 객체를 증강 현실을 위한 영상 화면에 오버랩하여 영상 화면의 일부를 증강하기 위한 객체의 위치, 크기 또는 구조를 포함하는 가상 객체의 정보를 포함한다. 본 발명의 구현 예에 따르면, 가상 객체를 증강 현실에 증강시키기 위한 가상 객체의 크기, 가상 객체의 위치, 가상 객체의 외관, 가상 객체의 내부 구조, 가상 객체의 내부 및 외부 표시 또는 가상 객체의 구동 정보 등을 포함한다.
예를 들어, 가상 객체가 배전설비인 경우, 배전설비에 대한 현황 정보, 이력 정보, 운전 정보, 계통 정보, 구성 정보, 기록 정보, 수용가 정보, 사용량 정보, 실시 정보 등을 포함하도록 설정될 수 있으며, 이와 함께, 현실 객체의 특정 위치에 오버랩되기 위한 정보 등이 포함되도록 설정될 수 있다.
이를 통해서, 사용자는 별도의 디스플레이 장치 또는 별도의 모니터링 장치와 연결되지 않아도 해당 설비의 상태 파악이 가능하다.
특히, 모니터링 또는 관리의 대상이 되는 설비가 복수의 장치로서 존재 하는 경우, 사용자는 직접 해당 설비로 이동하지 않고, 지근거리에서 해당 설비의 상태를 파악할 수 있게 된다.
즉, 설비의 실물 파악 및 내부 데이터를 동일 시점을 통해 동시에 확인하여, 유지 또는 보수 작업의 능률이 향상될 수 있다.
증강 영상 생성부(300)는 컨텍스트 생성부(100)에서 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여 증강 현실 영상을 생성할 수 있다. 여기서, 촬상 장치는 모바일 단말에 구비된 카메라부가 될 수있다.
여기서, 증강 영상 생성부(300)는 이미지 보정 정보 생성부 및 렌더링 부를 포함할 수 있다.
이미지 보정 정보 생성부는 현실 공간의 식별 정보 또는 위치 정보를 이용하여 객체의 위치 및 이미지를 보정하는 이미지 보정 정보를 생성한다. 본 발명의 일 실시 예에 따르면, 이미지 보정 정보 생성부는 증강 공간 구성부 및 증강 공간 이미지 보정부를 포함할 수 있다.
증강 공간 구성부는 현실 공간의 식별 정보 또는 위치 정보에 기초하여 미리 저장된 3D 데이터 및 지도 데이터를 로딩하고, 로딩된 데이터를 이용하여 증강 공간을 구성한다. 미리 저장된 3D 데이터 또는 지도 데이터는 사용자에 의하여 외부의 데이터 베이스, 웹 서버등에 저장될 수 있다.
여기서, 3D 데이터는 각종 설비 등의 크기, 높이, 위치 또는 외관 등에 대한 정보를 포함하며, 사용자로부터 3D로 구현이 가능하도록 미리 촬영된 화상 데이터를 포함할 수 있다.
지도 데이터는 2D로 구현할 수 있는 인위적으로 생성되지 않은 객체의 정보를 포함할 수 있으며, 지도 데이터는 해당 위치에 대한 높이 또는 각도를 포함하는 부가적인 정보가 포함할 수 있다.
증강 공간 이미지 보정부는 증강 공간을 미리 저장된 과거 이미지 정보에 기초하여 이미지 보정한다. 본 발명의 일실시 예에 따르면 과거 이미지 정보는 외부의 저장 장치, 데이터베이스, 웹서버 등에 미리 저장될 수 있으며, 저장된 이미지의 보정이 필요한 경우, 로딩될 수 있다.
렌더링부는 이미지 보정 정보, 촬상 장치로부터 입력되는 영상 및 컨텍스트 관리부에서 변환된 컨텍스트를 이용하여 증강 영상을 생성한다. 렌더링부는 현실 공간 인지부, 레지스트레이션부, 객체 렌더링부를 포함할 수 있다.
현실 공간 인지부는 촬상 장치로부터 입력되는 영상으로부터 현실 공간에 포함된 객체의 위치 정보와 방위 정보를 획득한다.
레지스트레이션부는 현실 공간에 대하여 변환된 콘텍스트에 따라 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록한다.
객체 랜더링부는 현실 공간에 가상 객체를 증강시키고, 이미지 보정 정보에 따라 객체의 각도 및 현실 공간의 배경을 보정하여 렌더링한다. 증강 현실 공간에 대하여 가상 객체의 위치, 크기, 구성, 외관 또는 구동 정보 등을 포함하는 콘텍스트를 기초로 가상 객체의 영상을 증강한다.
본 발명의 일 실시예에 따르면 가상 객체가 배전 설비인 경우, 배전설비에 대한 다양한 운영상황에 대한 정보들, 예를 들어 전력사용량 정보, 계통정보 정보, 수용가 정보, GIS(Geographical Information System) 정보 등을 별도의 장치 없이 실시간으로 사용자에게 제공할 수 있는 가상 영상을 증강할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템에서 증강현실을 생성하는 구성들을 나타내는 도면이다.
도 2를 참조하면, 증강현실 기반의 설비 모니터링 시스템은 데이터 관리부(400), 리소스 관리부(500), 증강 현실 생성부(600)를 포함할 수 있다.
데이터 관리부(400)는 증강 현실을 구현하기 위한 모델링 데이터를 저장하며, 데이터 구성부(410)와 분산 데이터 구성부(430)를 포함할 수 있다. 예를 들어, 데이터 관리부(400)는 MapReduce 프레임워크 및 확장성 보장을 위하여 모델링 데이터를 클라우드 저장부(Cloud storage)를 이용하여 구성할 수 있다.
본 발명의 일 실시 예에 따라, 데이터 구성부(410)는 모델링 데이터를 키(Key) 정보와 키(key) 정보에 대응하는 밸류(Value) 정보의 결합으로 구성될 수 있다.
분산 데이터 구성부(430)는 모델링 데이터를 각각의 키 정보에 따라 매핑(Mapping)하고, 매핑된 데이터를 필터링 또는 정렬(Sorting)을 이용하여 리듀싱(Reducing)할 수 있다.
리소스 관리부(500)는 모델링 데이터를 처리하기 위한 리소스(Resource)를 모니터링하며, 모니터링 결과에 따라 증강 현실 생성부에 분배되는 리소스를 제어한다.
예를 들어, 리소스란 데이터를 처리하는 서버, 단말기와 같은 장치의 CPU 점유율, 메모리 점유율, 또는 처리중인 프로그램의 갯수 등을 포함하며 데이터를 처리하기 위하여 사용되는 컴퓨터 자원을 의미한다. 리소스 관리부(500)는 리소스 할당부(510)와 리소스 상황 관리부(530)를 포함할 수 있다.
리소스 할당부(510)는 증강 현실 생성부(600)에 증강 현실 구현을 위한 리소스를 할당한다. 본 발명의 일 실시예에 따르면, 증강 현실 생성부(600)는 적어도 하나의 가상 머신을 포함하고 있으며, 리소스 할당부(510)는 각각의 가상 머신에 대하여 증강 현실 구현을 위한 리소스를 할당한다.
즉, 증강 현실 서비스 시스템은 사용자가 많아지거나 처리해야할 데이터가 많을 경우 시스템 부하가 늘어나게 되어 처리 속도가 저하된다. 리소스 할당부(510)는 복수의 가상 머신들에 대하여 증강 현실 처리를 위한 리소스를 균형있게 할당하여 서비스의 연속성을 유지시킬 수 있다.
리소스 상황 관리부(530)는 증강 현실 생성부에서 사용하는 리소스를 모니터링하여 시스템 부하 상황을 관리한다. 리소스 상황 관리부(530)는 시스템 부하 경고부(531), 시스템 부하 제어부(533)를 포함할 수 있다.
시스템 부하 경고부(531)는 증강 현실 생성부를 모니터링하여, 증강 현실 생성부의 각각의 가상 머신에 대한 시스템 부하가 임계 상한치를 초과한 경우 리소스 할당부(510)에게 초과 상황을 알린다. 임계 상한치란 사용자로부터 미리 설정된 리소스에 관한 한계 수치를 의미하며, 리소스에 관한 한계 수치란 메모리 점유율, CPU 점유율 또는, 처리 속도와 같이 리소스가 효율적으로 사용되기 위한 수치를 의미한다.
예를 들어, 사용자로부터 임계 상한치가 메모리 점유율에 대하여 60%로 설정된 경우, 시스템 부하 경고부는 증강 현실을 처리하기 위한 가상 머신의 메모리 점유율이 60%를 초과하는 경우에는 리소스 할당부(510)에 가상 머신에 추가적인 작업을 분배하지 말라고 하는 초과 상황에 대한 메시지를 전송하며, 리소스 할당부는 메모리 점유율이 60%를 초과하는 가상머신에 대하여는 리소스를 더 할당하거나, 작업 할당을 정지시킬 수 있다.
시스템 부하 제어부(533)는 증강 현실 생성부에 대하여 시스템 부하를 제어한다. 본 발명의 일 실시 예에 따라, 시스템 부하 제어부(533)는 증강 현실 처리부에 대하여 시스템 부하가 기설정된 임계 상한치를 초과하는 경우 가상 머신을 추가로 생성하고, 증강 현실 처리부에 대하여 시스템 부하가 기설정된 부하 임계 하한치 미만의 경우 가상 머신의 일부를 종료시킬 수 있다. 임계 하한치란 증강 현실 처리부에서 처리하는 데이터의 양에 비례하여 가상 머신이 다수 생성된 경우의 시스템 부하를 의미하는 것으로 가상 머신의 수를 감소시키기 위한 수치를 의미한다.
시스템 부하 제어부(533)는 증강 현실 생성부에 대하여 시스템 부하가 임계 상한치를 초과하는 경우에는 가상 머신을 추가로 생성하여 시스템 부하를 감소시킨다. 본 발명의 일 구현 예에 따르면, 시스템 부하 제어부는 증강 현실 생성부에 복수의 가상 머신이 생성되어 증강 현실 구현을 위한 데이터 작업을 수행중인 경우에 복수의 가상 머신 전체에 해당하는 시스템 부하가 임계 상한치를 초과하는 경우인지를 판단한다. 시스템 부하 제어부는 증강 현실 생성부에 대하여 시스템 부하가 임계 하한치 이하의 경우에는 가상 머신의 일부를 종료시킬 수 있다. 본 발명의 일 구현 예에 따라, 처리중인 작업에 대한 종료 시간이 우선적으로 종료하는 가상 머신이 선택되며, 처리 작업이 종료되는 경우 처리중인 가상 머신이 종료된다.
증강 현실 생성부(600)는 리소스를 이용하며 증강 현실(AR: Augmented Reality)을 적용하기 위한 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하고, 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여 증강 현실 영상을 생성하는 적어도 하나 이상의 가상머신으로 구성될 수 있다.
위와 같은 구성으로 생성된 증강 현실 영상은, 모니터링 대상이 되는 설비의 내부적인 구동 상태를 나타내는 데이터와 함께, 현실 세계에서 보이는 영상을 동시에 포함할 수 있으며, 사용자의 모바일 단말의 디스플레이부에 표시될 수 있다.
한편, 본 발명의 일 실시 예에 따라, 증강현실 기반의 설비 모니터링 시스템은 생성된 증강 현실 영상에 사용자의 위치로부터 모니터링해야 할 설비까지의 이동경로 등을 제공할 수 있다. 즉, 지근거리에서 설비의 상태를 파악한 후, 해당 설비에 필요한 작업이 수행되어야 하는 경우에, 사용자가 해당 설비에 접근할 수 있도록 한다.
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반의 설비 모니터링 시스템의 전체적인 구성을 나타내는 도면이다.
도 3을 참조하면, 증강현실 기반의 설비 모니터링 시스템은 현실 공간의 정보에 기반한 증강 현실 영상을 생성하여 사용자에게 제공하는 증강현실 단말(예를 들어, 모바일 단말) 및 모니터링 대상이 되는 복수의 설비 장치를 포함할 수 있다.
특히, 본 발명에 따르면, 증강현실 단말과 모니터링 대상은 직접 무선 네트워크로 연결될 수 있으며, 설비 장치의 상태 데이터가 실시간으로 증강현실 단말에 전달될 수 있다.
그리고, 증강현실 단말은 수신되는 GPS 신호에 기반한 위치 정보를 바탕으로, 모니터링 대상이 되는 설비 및 자신의 위치를 추적할 수 있으며, 위치 정보에 기반한 설비의 상태 정보를 실시간으로 수집할 수 있다. 이와 함께, 무선 신호를 통한 위치 정보를 보정하거나 갱신할 수 있다.
결국, 본 발명에 따른 증강현실 기반의 설비 모니터링 시스템은 복잡하고 다양한 환경의 장소에 설치되어있는 설비를 모니터링 함에 있어, 해당 설비에 사용자가 직접 접근하지 않더라도 현실 세계의 가시성 확보로 몰입도를 높여 업무처리와 운영의 효율성을 개선할 수 있다.
따라서, 이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (6)

  1. 증강 현실(AR: Augmented Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부;
    상기 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여, 현실 객체의 모니터링 데이터를 포함하는 증강 현실 영상을 생성하는 증강 영상 생성부; 및
    상기 증강 현실 영상을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실 기반의 설비 모니터링 시스템.
  2. 제1항에 있어서,
    상기 현실 공간의 정보는,
    현실 객체의 식별 정보 또는 위치 정보 중 적어도 1개 이상의 정보를 포함하는 것을 특징으로 하는 증강현실 기반의 설비 모니터링 시스템.
  3. 제1항에 있어서,
    상기 증강 영상 생성부는,
    상기 현실 공간의 식별 정보 또는 위치 정보를 이용하여 객체의 위치 및 이미지를 보정하는 이미지 보정 정보를 생성하는 이미지 보정 정보 생성부; 및
    상기 이미지 보정 정보, 상기 촬상 장치로부터 입력되는 영상 및 상기 컨텍스트 관리부에서 변환된 컨텍스트를 이용하여 증강 영상을 생성하는 렌더링부를 포함하는 증강현실 기반의 설비 모니터링 시스템.
  4. 제3항에 있어서,
    상기 이미지 보정 생성부는,
    상기 현실 공간의 식별 정보 또는 위치 정보에 기초하여 미리 저장된 3D 데이터 및 지도 데이터를 로딩하고, 상기 로딩된 데이터를 이용하여 증강 공간을 구성하는 증강 공간 구성부; 및
    상기 증강 공간을 미리 저장된 과거 이미지 사진을 통하여 이미지 보정하는 증강 공간 이미지 보정부를 포함하는 것을 특징으로 하는 증강현실 기반의 설비 모니터링 시스템.
  5. 제3항에 있어서,
    상기 렌더링부는,
    상기 촬상 장치로부터 입력되는 영상으로부터 현실 공간에 포함된 객체의 위치 정보와 방위 정보를 획득하는 현실 공간 인지부;
    상기 현실 공간에 대하여 상기 변환된 콘텍스트에 따라 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 레지스트레이션부; 및
    상기 현실 공간에 가상 객체를 증강시키고, 상기 이미지 보정 정보에 따라 객체의 각도 및 현실 공간의 배경을 보정하여 렌더링하는 객체 렌더링부를 포함하는 것을 특징으로 하는 증강현실 기반의 설비 모니터링 시스템.
  6. 제1항에 있어서,
    현실 공간을 뷰잉(viewing)하는 촬상 장치를 더 포함하고,
    상기 현실 공간의 정보는,
    상기 촬상 장치를 통하여 상기 현실 공간을 뷰잉하여 수집되는 것을 특징으로 하는 증강현실 기반의 설비 모니터링 시스템.
KR1020160035751A 2016-03-25 2016-03-25 증강현실 기반의 설비 모니터링 시스템 KR20170111038A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160035751A KR20170111038A (ko) 2016-03-25 2016-03-25 증강현실 기반의 설비 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160035751A KR20170111038A (ko) 2016-03-25 2016-03-25 증강현실 기반의 설비 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR20170111038A true KR20170111038A (ko) 2017-10-12

Family

ID=60139943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160035751A KR20170111038A (ko) 2016-03-25 2016-03-25 증강현실 기반의 설비 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20170111038A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949934B1 (ko) * 2017-11-30 2019-02-19 주식회사 위즈커뮤니케이션즈 증강현실 이미지를 이용한 설비 모니터링 장치 및 방법
WO2019132112A1 (ko) * 2017-12-26 2019-07-04 주식회사 아프로스 관리 대상 설비 이상 상태 모니터링 시스템
KR20200076265A (ko) * 2018-12-19 2020-06-29 고등기술연구원연구조합 비행체를 이용한 플랜트 이상 감시 시스템
CN111882676A (zh) * 2020-08-04 2020-11-03 杭州东方通信软件技术有限公司 一种远程监控保障***及监控保障方法
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR102284282B1 (ko) 2020-01-30 2021-08-02 주식회사 이엠포커스 증강현실 이미지 기반의 원격협업 모니터링 방법
WO2021182856A1 (ko) * 2020-03-09 2021-09-16 두산인프라코어 주식회사 증강현실을 이용한 건설기계의 정비 매뉴얼 제공 방법 및 장치
KR102371336B1 (ko) * 2021-03-15 2022-03-07 주식회사 유시스 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템
KR102388532B1 (ko) * 2021-11-26 2022-04-20 (주) 맵마인드 증강현실과 gis를 이용한 전력 사용량 모니터링 시스템
KR20220104988A (ko) 2021-01-19 2022-07-26 삼성중공업 주식회사 증강 현실 기법을 이용한 건축 구조물 정보 제공 장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949934B1 (ko) * 2017-11-30 2019-02-19 주식회사 위즈커뮤니케이션즈 증강현실 이미지를 이용한 설비 모니터링 장치 및 방법
WO2019132112A1 (ko) * 2017-12-26 2019-07-04 주식회사 아프로스 관리 대상 설비 이상 상태 모니터링 시스템
KR20200076265A (ko) * 2018-12-19 2020-06-29 고등기술연구원연구조합 비행체를 이용한 플랜트 이상 감시 시스템
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR20220027119A (ko) * 2019-12-31 2022-03-07 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR102284282B1 (ko) 2020-01-30 2021-08-02 주식회사 이엠포커스 증강현실 이미지 기반의 원격협업 모니터링 방법
WO2021182856A1 (ko) * 2020-03-09 2021-09-16 두산인프라코어 주식회사 증강현실을 이용한 건설기계의 정비 매뉴얼 제공 방법 및 장치
CN111882676A (zh) * 2020-08-04 2020-11-03 杭州东方通信软件技术有限公司 一种远程监控保障***及监控保障方法
KR20220104988A (ko) 2021-01-19 2022-07-26 삼성중공업 주식회사 증강 현실 기법을 이용한 건축 구조물 정보 제공 장치 및 방법
KR102371336B1 (ko) * 2021-03-15 2022-03-07 주식회사 유시스 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템
KR102388532B1 (ko) * 2021-11-26 2022-04-20 (주) 맵마인드 증강현실과 gis를 이용한 전력 사용량 모니터링 시스템

Similar Documents

Publication Publication Date Title
KR20170111038A (ko) 증강현실 기반의 설비 모니터링 시스템
US10192289B2 (en) System, method, and apparatus for data processing and display
CN109141446B (zh) 用于获得地图的方法、装置、设备和计算机可读存储介质
KR102371336B1 (ko) 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템
US20220277544A1 (en) Homography through satellite image matching
CN111578951B (zh) 一种自动驾驶中用于生成信息的方法和装置
CN104090263A (zh) 基于rfid技术的定位方法、***
WO2019032184A1 (en) ANNOTATION GENERATION FOR IMAGE NETWORK
CN109325478A (zh) 一种基于bim技术的无人机ar现场观测方法
Côté et al. A live augmented reality tool for facilitating interpretation of 2d construction drawings
CN108898678B (zh) 增强现实方法和装置
Franz et al. Real-time collaborative reconstruction of digital building models with mobile devices
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
KR20160070874A (ko) 모바일 기기를 이용한 위치기반 시설물 관리 시스템
US10921131B1 (en) Systems and methods for interactive digital maps
KR20130082530A (ko) 소셜 네트워크 서비스와 연동되는 증강 현실 서비스 제공 장치, 방법 및 그 시스템
CN112529097A (zh) 样本图像生成方法、装置以及电子设备
CN114363161B (zh) 异常设备的定位方法、装置、设备及介质
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN113483771A (zh) 实景地图的生成方法、装置及***
CN109035303A (zh) Slam***相机跟踪方法及装置、计算机可读存储介质
JP5837404B2 (ja) 画像処理装置、画像処理方法
KR101404976B1 (ko) 3차원 매칭을 이용한 영상 기반의 보행 경로 ｐｏｉ표출 시스템
Park et al. A Study on Intuitive IoT Interface System using 3D Depth Camera
US20220180592A1 (en) Collaborative Augmented Reality Measurement Systems and Methods