KR101844588B1 - 실내 측위를 이용한 영상 제공 장치 및 방법 - Google Patents

실내 측위를 이용한 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR101844588B1
KR101844588B1 KR1020170017714A KR20170017714A KR101844588B1 KR 101844588 B1 KR101844588 B1 KR 101844588B1 KR 1020170017714 A KR1020170017714 A KR 1020170017714A KR 20170017714 A KR20170017714 A KR 20170017714A KR 101844588 B1 KR101844588 B1 KR 101844588B1
Authority
KR
South Korea
Prior art keywords
image
user
degree spherical
detecting
indoor
Prior art date
Application number
KR1020170017714A
Other languages
English (en)
Inventor
송창근
이창희
유영제
이충재
전우형
박재균
Original Assignee
한림대학교 산학협력단
주식회사 스프링웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단, 주식회사 스프링웍스 filed Critical 한림대학교 산학협력단
Priority to KR1020170017714A priority Critical patent/KR101844588B1/ko
Application granted granted Critical
Publication of KR101844588B1 publication Critical patent/KR101844588B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

사용자가 착용한 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공하도록 한 실내 측위를 이용한 영상 제공 장치 및 방법을 제시한다. 제시된 영상 제공 장치는 서비스 대상 지역 내의 서로 다른 위치에서 측정된 복수의 360도 구형 영상을 저장하되, 제공 범위가 연계된 360도 영상을 저장하고, 가상현실 서비스 공간에 진입한 모바일 HMD로부터 수신한 위치 정보를 근거로 사용자 이동 여부를 판단하고, 사용자 이동시 위치 정보를 근거로 산출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출하여 제공한다.

Description

실내 측위를 이용한 영상 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING IMAGE USING INDOOR POSITIONING}
본 발명은 사용자 위치를 기반으로 영상을 제공하는 기술에 관한 것으로, 더욱 상세하게는 사용자의 위치에서 촬영된 360도 구형 영상을 제공하는 실내 측위를 이용한 영상 제공 장치 및 방법에 관한 것이다.
촬영 위치를 기준으로 360도 구형(spherical) 영상을 촬영할 수 있는 다양한 촬영 장치가 개발됨에 따라, 촬영된 360도 구형 영상을 이용한 다양한 서비스가 제공되고 있다.
360도 구형 영상은 스마트폰, 태블릿 등과 같이 관성 센서가 장착된 휴대 단말을 통해 서비스되며, 휴대 단말은 촬영된 360도 구형 영상을 전송받고, 관성 센서의 센싱값을 기반으로 360도 구형 영상을 표시한다.
최근에는 360도 구형 영상을 가상현실 서비스를 통해 사용자에게 제공하는 서비스들이 개발되고 있다. 즉, 가상현실 서비스는 사용자의 움직임에 따라 연속적으로 360도 구형 영상을 제공한다.
이때, 연속적인 360도 구형 영상을 제공하기 위해서는 다양한 위치에서 촬영된 360도 구형 영상을 필요하며, 이로 인해 많은 양의 데이터를 제작 및 관리해야 하기 때문에 제작 기간 및 비용이 증가하게 된다.
이에, 종래에는 가상현실 서비스에 적용시 특정 위치에서만 연동된 360도 구형 영상을 제공하고 있다.
이때, 종래의 가상현실 서비스는 주로 실내에서 제공되기 때문에 Gaze 방식을 통해 사용자에게 360도 구형 영상을 제공한다. 즉, 가상현실 시스템은 모바일 HMD(Head-Mounted Display)의 관성 센서에서 감지한 센싱값을 근거로 사용자의 머리 방향을 추적하여, 사용자가 가상공간에 배치된 버튼을 일정 시간 이상 주시하면 해당 버튼에 연동된 360도 구형 영상을 제공한다.
하지만, 종래의 가상현실 서비스는 사용자가 제자리에서 영상을 변경(즉, 텔레포트 방식)하기 때문에 360도 구형 영상의 촬영 위치를 직관적으로 알 수 없는 문제점이 있다.
이로 인해, 종래의 가상현실 서비스는 가상현실 서비스를 이용하는 사용자의 몰입감이 떨어지는 문제점이 있다.
한국등록특허 제10-0926231호(명칭: 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그 구축 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사용자가 착용한 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공하도록 한 실내 측위를 이용한 영상 제공 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 서비스 대상 지역 내의 서로 다른 위치에서 측정된 복수의 360도 구형 영상을 저장하되, 제공 범위가 연계된 360도 영상을 저장하는 영상 저장부, 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값 중 적어도 하나를 포함하는 위치 정보를 수신하는 통신부, 통신부에서 수신한 위치 정보를 근거로 사용자 이동 여부를 판단하고, 사용자 이동시 위치 정보를 근거로 사용자 실내 위치를 산출하는 사용자 검출부 및 사용자 검출부에서 산출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 영상 저장부로부터 검출하는 영상 추출부를 포함한다.
본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 저장부는 360도 구형 영상에 중심 좌표를 더 연계하여 저장하고, 영상 추출부는 복수의 360도 구형 영상이 검출되면 사용자 검출부에서 산출한 사용자 실내 위치와 각 360도 구형 영상에 연계된 중심 좌표를 근거로 영상과 사용자 사이의 거리를 산출하고, 산출한 영상과 사용자 사이의 거리가 가장 짧은 중심 좌표에 연계된 360도 영상을 모바일 HMD로 제공할 수 있다.
본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 저장부는 360도 구형 영상에 사용 빈도를 더 연계하여 저장하고, 영상 추출부는 복수의 360도 구형 영상이 검출되면 복수의 360도 구형 영상에 연계된 사용 빈도를 검출하고, 가장 낮은 사용 빈도를 갖는 360도 구형 영상을 모바일 HMD로 제공할 수 있다.
본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 추출부에서 추출한 360도 구형 영상의 사용 빈도를 관리하는 영상 관리부를 더 포함하고, 영상 관리부는 360도 구형 영상이 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시킬 수 있다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계, 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계 및 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고, 360도 구형 영상을 검출하는 단계에서는 복수의 360도 구형 영상이 검출되면 사용자 실내 위치와 복수의 360도 구형 영상들 간의 거리를 근거로 하나의 360도 구형 영상을 검출한다.
이때, 360도 구형 영상을 검출하는 단계는 사용자 실내 위치를 근거로 360도 구형 영상을 검출하는 단계, 검출하는 단계에서 복수의 360도 구형 영상이 검출되면 360도 구형 영상과 사용자 실내 위치 사이의 거리를 산출하는 단계, 산출한 360도 구형 영상과 사용자 실내 위치 사이의 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 검출하는 단계 및 검출한 제공 영상을 모바일 HMD로 전송하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계, 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계 및 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고, 360도 구형 영상을 검출하는 단계에서는 복수의 360도 구형 영상이 검출되면 검출된 360도 구형 영상에 연계된 사용 빈도를 근거로 하나의 360도 구형 영상을 검출한다. 이때, 본 발명의 다른 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 검출한 360도 구형 영상의 사용 빈도를 관리하는 단계를 더 포함하고, 사용 빈도를 관리하는 단계에서는 360도 구형 영상이 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시킬 수 있다.
여기서, 360도 구형 영상을 검출하는 단계는 사용자 실내 위치를 근거로 360도 구형 영상을 검출하는 단계, 검출하는 단계에서 복수의 360도 구형 영상이 검출되면 360도 구형 영상에 연계된 사용 빈도를 검출하고, 가장 높은 사용 빈도를 갖는 360도 구형 영상을 검출하는 단계 및 검출한 제공 영상을 모바일 HMD로 전송하는 단계를 포함할 수 있다.
사용자 실내 위치를 검출하는 단계에서는 WIFI 센서의 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되, WIFI 센서의 센싱값 또는 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고, 재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되면 사용자 이동으로 판단하여 재산출한 사용자 실내 위치를 사용자 실내 위치로 검출할 수 있다.
360도 구형 영상을 검출하는 단계에서는 기저장된 복수의 360도 구형 영상 중에서 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출할 수 있다.
본 발명에 의하면, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자가 변경된 360도 구형 영상의 촬영 위치를 직관적으로 알 수 있는 효과가 있다.
또한, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자의 실내 위치 이동에 따른 능동적인 360도 구형 영상을 제공하여 사용자의 몰입감을 증가시킬 수 있는 효과가 있다.
이를 통해, 실내 측위를 이용한 영상 제공 장치 및 방법은 거리, 비용 등의 문제로 인해 직접 체험하기 어려운 관광 명소, 문화 유적지 등을 실내에서 보다 몰입감있게 체험할 수 있는 효과가 있다.
도 1을 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 설명하기 위한 도면.
도 2는 도 1의 영상 제공 장치를 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 설명하기 위한 흐름도.
도 4 및 도 5는 도 3의 360도 구형 영상 추출 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1을 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 설명하기 위한 도면이고, 도 2는 도 1의 영상 제공 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 실내 측위를 이용한 영상 제공 장치(100; 이하, 영상 제공 장치(100))는 가상현실 서비스 공간에 위치한 모바일 HMD(200; Head-Mounted Display)에게로 가상현실 서비스를 제공한다. 이때, 영상 제공 장치(100)는 가상현실 서비스에 대응되는 실제 공간에서 촬영된 복수의 360도 구형 영상을 실내에 위치한 가상현실 서비스 공간에 위치한 사용자에게 제공한다.
이를 위해, 도 2를 참조하면, 영상 제공 장치(100)는 영상 저장부(110), 통신부(130), 사용자 검출부(150), 영상 추출부(170) 및 영상 관리부(190)를 포함한다.
영상 저장부(110)는 복수의 360도 구형 영상을 저장한다. 이때, 영상 저장부(110)는 촬영 좌표, 제공 범위, 사용빈도 등을 복수의 360도 구형 영상에 연계하여 저장한다. 여기서, 촬영 좌표는 360도 구형 영상이 실제 촬영된 촬영 좌표에 가상현실 서비스 공간과 실제 공간 간의 비율을 반영하여 보정한 좌표이다. 제공 범위는 연계된 360도 구형 영상이 제공되는 가상현실 서비스 공간 내의 영역이다. 사용빈도는 연계된 360도 구형 영상이 사용된 횟수이다.
통신부(130)는 가상현실 서비스 공간 내에 위치한 모바일 HMD(200)와 데이터를 송수신한다. 이때, 통신부(130)는 모바일 HMD(200)로부터 WIFI 센싱값, 관성 센서 센싱값 중에 적어도 하나를 포함하는 위치 정보를 수신한다. 통신부(130)는 영상 추출부(170)에서 추출한 360도 구형 영상을 모바일 HMD(200)에게로 전송한다.
사용자 검출부(150)는 모바일 HMD(200)의 위치 정보를 근거로 사용자(즉, 모바일 HMD(200))의 실내 위치를 검출한다.
사용자 검출부(150)는 위치 정보에 포함된 WIFI 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP(Access Point)의 신호 세기를 비교하여 사용자 실내 위치를 검출한다.
사용자 검출부(150)는 WIFI 센싱값의 변화를 근거로 사용자의 이동 여부를 검출하고, 사용자 이동시 사용자 실내 위치를 재검출하여 갱신한다. 여기서, 사용자 검출부(150)는 이전 사용자 실내 위치와 WIFI 센싱값의 변화에 따라 산출한 위치가 설정 거리 이상 이격된 경우에만 사용자 이동으로 검출한다.
사용자 검출부(150)는 사용자의 실내 위치 및 위치 정보에 포함된 관성 센서 센싱값을 근거로 사용자의 이동 여부를 검출하고, 사용자 실내 위치를 갱신할 수 있다.
영상 추출부(170)는 사용자 검출부(150)의 검출 결과를 근거로 영상 저장부(110)에 저장된 복수의 360도 구형 영상 중에서 적어도 하나를 추출한다. 이때, 사용자 검출부(150)에서 사용자 이동으로 검출하면, 영상 추출부(170)는 사용자 검출부(150)에서 검출한 사용자 실내 위치와 복수의 360도 구형 영상을 비교하여 모바일 HMD(200)로 제공할 하나의 360도 구형 영상을 추출한다.
영상 추출부(170)는 영상 저장부(110)로부터 360도 구형 영상을 검출하되, 사용자 검출부(150)에서 검출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.
영상 추출부(170)는 복수의 360도 구형 영상이 검출되면, 복수의 360도 구형 영상 중 하나를 제공 영상으로 추출한다. 이때, 영상 추출부(170)는 360도 구형 영상과 사용자 실내 위치 사이의 거리, 360도 구형 영상의 사용 빈도 등을 근거로 제공 영상을 추출한다.
일례로, 영상 추출부(170)는 복수의 360도 구형 영상이 추출되면 각 360도 구형 영상에 연계된 촬영 좌표와 사용자 실내 위치 사이의 거리를 산출한다. 영상 추출부(170)는 산출한 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 검출한다.
다른 일례로, 영상 추출부(170)는 복수의 360도 구형 영상이 추출되면 각 360도 구형 영상에 연계된 사용 빈도를 근거로 제공 영상을 추출한다. 이때, 영상 추출부(170)는 사용 빈도가 가장 높은 360도 구형 영상을 제공 영상으로 추출한다.
영상 관리부(190)는 영상 저장부(110)에 저장된 복수의 360도 구형 영상을 관리한다. 즉, 영상 관리부(190)는 영상 저장부(110)에 360도 구형 영상을 추가, 삭제, 갱신한다.
영상 관리부(190)는 영상 추출부(170)에서 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 관리한다. 즉, 영상 관리부(190)는 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 증가시킨다.
영상 추출부(170)에서 복수의 360도 구형 영상이 검출된 경우 사용자에 따라 선호하는 영상이 다를 수 있다. 그에 따라, 사용자는 영상 추출부(170)에서 제공 영상으로 추출된 360도 구형 영상을 사용하지 않고, 이동하여 다른 360도 구형 영상을 이용할 수 있다.
이에, 영상 관리부(190)는 360도 구형 영상이 모바일 HMD(200)에서 설정 시간 이상 사용된 경우에만 사용 빈도를 증가시킨다.
이하, 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 3은 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 설명하기 위한 흐름도이고, 도 4 및 도 5는 도 3의 360도 구형 영상 추출 단계를 설명하기 위한 흐름도이다.
먼저, 실내 측위를 이용한 영상 제공 방법은 실내 측위를 이용한 영상 제공 장치(100; 이하, 영상 제공 장치(100))를 통해 가상현실 서비스 공간에 위치한 모바일 HMD(200; Head-Mounted Display)에게로 가상현실 서비스를 제공한다. 이때,
실내 측위를 이용한 영상 제공 방법은 가상현실 서비스에 대응되는 실제 공간에서 촬영된 복수의 360도 구형 영상을 실내에 위치한 가상현실 서비스 공간에 위치한 사용자에게 제공한다.
이를 위해, 영상 제공 장치(100)는 서비스 대상 지역(예를 들면, 관광 명소, 문화 유적지 등)에서 촬영된 복수의 360도 구형 영상을 수집한다. 이때, 복수의 360도 구형 영상은 대상 지역 내에서 서로 다른 위치에서 측정된 영상이다.
영상 제공 장치(100)는 복수의 360도 구형 영상을 저장하되, 각각의 360도 구형 영상에 촬영 좌표, 제공 범위, 사용빈도 등을 연계하여 저장한다. 여기서, 촬영 좌표는 360도 구형 영상이 실제 촬영된 촬영 좌표에 가상현실 서비스 공간과 실제 공간 간의 비율을 반영하여 보정한 좌표이다. 제공 범위는 연계된 360도 구형 영상이 제공되는 가상현실 서비스 공간 내의 영역이다. 사용빈도는 연계된 360도 구형 영상이 사용된 횟수이다.
도 3을 참조하면, 실내 측위를 이용한 영상 제공 방법은 위치 정보 수집 단계(S100), 사용자 실내 위치 검출 단계(S200), 사용자 이동 판단 단계(S300), 360도 구형 영상 추출 단계(S400) 및 360도 구형 영상 관리 단계(S500)를 포함한다.
위치 정보 수집 단계(S100)에서는 가상현실 서비스 공간 내에 진입한 모바일 HMD(200)로부터 위치 정보를 수집한다. 이때, 위치 정보 수집 단계(S100)에서는 모바일 HMD(200)로부터 WIFI 센싱값, 관성 센서 센싱값 중에 적어도 하나를 포함하는 위치 정보를 수신한다.
사용자 실내 위치 검출 단계(S200)에서는 S100 단계에서 수집한 모바일 HMD(200)의 위치 정보를 근거로 사용자(즉, 모바일 HMD(200))의 실내 위치를 검출한다.
사용자 실내 위치 검출 단계(S200)에서는 위치 정보에 포함된 WIFI 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP(Access Point)의 신호 세기를 비교하여 사용자 실내 위치를 검출한다.
일례로, 사용자 실내 위치 검출 단계(S200)에서는 WIFI 센싱값의 변화를 근거로 사용자의 이동 여부를 검출한다. 사용자 실내 위치 검출 단계(S200)에서는 사용자 이동으로 판단시 사용자 실내 위치를 재검출하여 갱신한다.
여기서, 사용자 실내 위치 검출 단계(S200)에서는 이전 사용자 실내 위치와 WIFI 센싱값의 변화에 따라 산출한 위치가 설정 거리 이상 이격된 경우에만 사용자 이동으로 검출한다.
사용자 실내 위치 검출 단계(S200)에서는 사용자의 실내 위치 및 위치 정보에 포함된 관성 센서 센싱값을 근거로 사용자의 이동 여부를 검출하고, 사용자 실내 위치를 갱신할 수 있다.
360도 구형 영상 추출 단계(S300)에서는 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서의 검출 결과를 근거로 기저장된 복수의 360도 구형 영상 중에서 적어도 하나를 추출한다.
이때, S200 단계에서 사용자 이동으로 검출하면, 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서 검출한 사용자 실내 위치와 복수의 360도 구형 영상을 비교하여 모바일 HMD(200)로 제공할 하나의 360도 구형 영상을 추출한다.
여기서, 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서 검출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.
360도 구형 영상 추출 단계(S300)에서는 복수의 360도 구형 영상이 검출되면, 복수의 360도 구형 영상 중 하나를 제공 영상으로 추출한다. 이때, 360도 구형 영상 추출 단계(S300)에서는 360도 구형 영상과 사용자 실내 위치 사이의 거리, 360도 구형 영상의 사용 빈도 등을 근거로 제공 영상을 추출한다.
일례로, 도 4를 참조하면, 360도 구형 영상 추출 단계(S300)는 360도 구형 영상 검출 단계(S312), 복수의 영상 검출 여부 판단 단계(S314), 제공 영상 설정 단계(S316) 및 제공 영상 전송 단계(S318)를 포함한다.
360도 구형 영상 검출 단계(S312)는 S200 단계에서 검출한 사용자 실내 위치를 근거로 360도 구형 영상을 검출한다. 이때, 360도 구형 영상 검출 단계(S312)는 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.
복수의 영상 검출 여부 판단 단계(S314)에서는 S312 단계에서 검출된 360도 구형 영상의 수를 판단한다.
S314 단계에서 복수의 영상 검출로 판단하면, 제공 영상 설정 단계(S316)에서는 각 360도 구형 영상에 연계된 사용 빈도를 근거로 제공 영상을 설정한다. 이때, 제공 영상 설정 단계(S316)는 S312 단계에서 검출된 복수의 360도 구형 영상들 중에서 사용 빈도가 가장 높은 360도 구형 영상을 제공 영상으로 설정한다.
제공 영상 전송 단계(S318)에서는 S316 단계에서 검출한 제공 영상을 모바일 HMD(200)로 전송한다. 이때, 제공 영상 전송 단계(S318)에서는 S314 단계에서 360도 구형 영상이 단일 영상인 것으로 판단하면 해당 360도 구형 영상을 제공 영상으로 하여 모바일 HMD(200)로 전송한다.
다른 일례로, 도 5를 참조하면, 360도 구형 영상 추출 단계(S300)는 360도 구형 영상 검출 단계(S321), 복수의 영상 검출 여부 판단 단계(S323), 영상과 사용자 거리 산출 단계(S325), 제공 영상 설정 단계(S327) 및 제공 영상 전송 단계(S329)를 포함한다.
360도 구형 영상 검출 단계(S321)는 S200 단계에서 검출한 사용자 실내 위치를 근거로 360도 구형 영상을 검출한다. 이때, 360도 구형 영상 검출 단계(S321)는 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.
복수의 영상 검출 여부 판단 단계(S323)에서는 S321 단계에서 검출된 360도 구형 영상의 수를 판단한다.
S323 단계에서 복수의 영상 검출로 판단하면, 영상과 사용자 거리 산출 단계(S325)에서는 S321 단계에서 검출된 360도 구형 영상과 사용자 실내 위치를 근거로 영상과 사용자 사이의 거리를 산출한다.
이때, 영상과 사용자 거리 산출 단계(S325)에서는 각 360도 구형 영상에 연계된 촬영 좌표와 사용자 실내 위치 사이의 거리를 산출한다.
제공 영상 설정 단계(S327)에서는 검출된 모든 360도 구형 영상에 대한 거리 산출이 완료되면 각 360도 구형 영상의 거리를 비교하여 제공 영상을 설정한다. 이때, 제공 영상 설정 단계(S327)에서는 산출한 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 설정한다.
제공 영상 전송 단계(S329)에서는 S327 단계에서 검출한 제공 영상을 모바일 HMD(200)로 전송한다. 이때, 제공 영상 전송 단계(S329)에서는 S323 단계에서 360도 구형 영상이 단일 영상인 것으로 판단하면 해당 360도 구형 영상을 제공 영상으로 하여 모바일 HMD(200)로 전송한다.
360도 구형 영상 관리 단계(S400)에서는 S300 단계에서 추출된 360도 구형 영상의 사용 빈도를 관리한다. 즉, 360도 구형 영상 관리 단계(S400)에서는 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 증가시킨다.
S300 단계에서 복수의 360도 구형 영상이 검출된 경우 사용자에 따라 선호하는 영상이 다를 수 있으므로, 제공된 360도 구형 영상을 사용하지 않고 이동하여 다른 360도 구형 영상을 이용할 수 있다.
이에, 360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상이 모바일 HMD(200)에서 설정 시간 이상 사용된 경우에만 사용 빈도를 증가시킨다.
360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상 관리 단계(S400)에서는 기저장된 복수의 360도 구형 영상을 관리한다. 즉, 360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상을 추가, 삭제, 갱신할 수 있다.
상술한 바와 같이, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자가 변경된 360도 구형 영상의 촬영 위치를 직관적으로 알 수 있는 효과가 있다.
또한, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자의 실내 위치 이동에 따른 능동적인 360도 구형 영상을 제공하여 사용자의 몰입감을 증가시킬 수 있는 효과가 있다.
이를 통해, 실내 측위를 이용한 영상 제공 장치 및 방법은 거리, 비용 등의 문제로 인해 직접 체험하기 어려운 관광 명소, 문화 유적지 등을 실내에서 보다 몰입감있게 체험할 수 있는 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 영상 제공 장치 110: 영상 저장부
130: 통신부 150: 사용자 검출부
170: 영상 추출부 190: 영상 관리부
200: 모바일 HMD

Claims (11)

  1. 서비스 대상 지역에서 촬영된 360도 구형 영상을 저장하되, 상기 360도 구형 영상을 지역별로 분류하여 서비스 대상 지역별 영상으로 저장하며, 각 서비스 대상 지역별 영상은 적어도 하나 이상의 촬영 위치별 영상을 포함시켜 저장하는 영상 저장부;
    가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값 중 적어도 하나를 포함하는 위치 정보를 수신하는 통신부;
    상기 통신부에서 수신한 위치 정보를 근거로 사용자 이동 여부를 판단하고, 사용자 이동시 상기 위치 정보를 근거로 사용자 실내 위치를 산출하는 사용자 검출부; 및
    상기 사용자 검출부에서 산출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 상기 영상 저장부로부터 검출하는 영상 추출부;를 포함하고,
    상기 영상 저장부는 360도 구형 영상에 중심 좌표 및 사용 빈도를 더 연계하여 저장하고,
    상기 영상 추출부는
    상기 사용자 실내 위치를 포함하는 제공범위에 연계된 복수개의 서비스 대상 지역별 영상이 검출되면, 상기 제공범위에 연계된 복수개의 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치의 좌표 사이의 거리를 산출하여 상기 거리가 가장 짧은 서비스 대상 지역별 영상을 검출하고,
    상기 검출된 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는지 여부를 판단하여, 상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하면 사용빈도가 가장 높은 촬영 위치별 영상을 제공할 영상으로 검출하여 상기 모바일 HMD로 전송하고,
    상기 모바일 HMD로 영상이 전송되면, 상기 WIFI 센서의 센싱값과 상기 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되,
    상기 WIFI 센서의 센싱값 또는 상기 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 상기 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고,
    재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되었는지 여부 및 이동 거리를 판단하며, 상기 판단된 이동 거리로부터 사용자 실내 위치의 거리 비율을 반영한 실제 공간의 이동 거리에 대응하는 촬영 위치별 영상을 검출하여 제공하고,
    상기 영상 추출부는
    상기 추출한 360도 구형 영상의 사용 빈도를 관리하는 영상 관리부를 더 포함하고,
    상기 영상 관리부는 상기 360도 구형 영상이 상기 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시키며,
    상기 촬영 위치별 영상은
    기준 촬영 위치로부터의 촬영방향 및 촬영 대상을 기준으로 분류되는 것을 특징으로 하는 실내 측위를 이용한 영상 제공 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계;
    상기 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 상기 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계; 및
    상기 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 상기 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고,
    상기 사용자 실내 위치를 검출하는 단계는
    상기 WIFI 센서의 센싱값과 상기 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되,
    상기 WIFI 센서의 센싱값 또는 상기 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 상기 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고,
    재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되면 사용자 이동으로 판단하여 재산출한 사용자 실내 위치를 사용자 실내 위치로 검출하며,
    상기 360도 구형 영상을 검출하는 단계는
    복수의 360도 구형 영상이 검출되면 상기 사용자 실내 위치와 복수의 360도 구형 영상들 간의 거리를 기반으로 제공범위가 매칭되는 서비스 대상 지역별 영상을 검출하는 단계;
    상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는지 여부를 판단하는 단계;
    상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는 경우, 사용빈도가 가장 높은 촬영 위치별 영상을 제공할 영상으로 검출하는 단계; 및
    상기 검출한 제공 영상을 상기 모바일 HMD로 전송하는 단계;를 포함하고,
    상기 서비스 대상 지역별 영상을 검출하는 단계는
    상기 사용자 실내 위치를 포함하는 제공범위에 연계된 복수개의 서비스 대상 지역별 영상을 검출하는 단계;
    상기 제공범위에 연계된 복수개의 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치의 좌표 사이의 거리를 산출하는 단계;
    상기 산출한 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치 좌표 사이의 거리가 가장 짧은 서비스 대상 지역별 영상을 제공 영상으로 검출하는 단계;를 포함하고,
    상기 촬영 위치별 영상은
    기준 촬영 위치로부터의 촬영방향 및 촬영 대상을 기준으로 분류되는 것을 특징으로 하는 실내 측위를 이용한 영상 제공 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020170017714A 2017-02-08 2017-02-08 실내 측위를 이용한 영상 제공 장치 및 방법 KR101844588B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170017714A KR101844588B1 (ko) 2017-02-08 2017-02-08 실내 측위를 이용한 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170017714A KR101844588B1 (ko) 2017-02-08 2017-02-08 실내 측위를 이용한 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101844588B1 true KR101844588B1 (ko) 2018-04-02

Family

ID=61976088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170017714A KR101844588B1 (ko) 2017-02-08 2017-02-08 실내 측위를 이용한 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101844588B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113108775A (zh) * 2021-06-15 2021-07-13 北京奇岱松科技有限公司 基于蓝牙和视觉的室内定位***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603227B1 (ko) * 2014-10-24 2016-03-15 트라이콤텍 주식회사 6d-360도 실감미디어 동영상정보를 이용한 실내공간 정보 제공방법
JP5913709B1 (ja) * 2015-09-29 2016-04-27 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
KR101703924B1 (ko) * 2015-09-22 2017-02-07 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603227B1 (ko) * 2014-10-24 2016-03-15 트라이콤텍 주식회사 6d-360도 실감미디어 동영상정보를 이용한 실내공간 정보 제공방법
KR101703924B1 (ko) * 2015-09-22 2017-02-07 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
JP5913709B1 (ja) * 2015-09-29 2016-04-27 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113108775A (zh) * 2021-06-15 2021-07-13 北京奇岱松科技有限公司 基于蓝牙和视觉的室内定位***

Similar Documents

Publication Publication Date Title
CN105940429B (zh) 用于确定设备运动的估计的方法和***
US10057725B2 (en) Sensor-based geolocation of a user device
Ahn et al. An indoor augmented-reality evacuation system for the Smartphone using personalized Pedometry
TWI485365B (zh) 用於估計一真實世界距離之方法及系統及電腦可讀媒體
CN103354909B (zh) 位置确定装置、方法、***、空气调节***以及照明***
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
KR101286169B1 (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
KR101689040B1 (ko) 위치 추적용 휴대용 단말기, 서버 및 위치 추적 시스템
US7342648B2 (en) Information sensing and sharing system for supporting rescue operations from burning buildings
CN103270540A (zh) 使用摄像机网络跟踪运动对象
EP2572544A1 (en) Physically-constrained radiomaps
KR101465974B1 (ko) 디바이스의 위치 탐색 및 통신 방법 및 그 장치
JP2014530532A (ja) アクセス・ポイントに関係する情報を収集するためのデバイスおよび方法
CN110426725B (zh) 一种精确定位室内用户移动终端的方法
KR20140012573A (ko) 실내 지도 구축 장치 및 방법
KR20140147926A (ko) 건물 내 위치 기반 서비스 구현 방법, 저장 매체, 서버 및 전자 장치
KR20170032147A (ko) 단말 및 이의 위치 측정 방법
KR101233841B1 (ko) 핑거프린트 맵 구축 방법 및 장치
WO2016060312A1 (ko) 실내위치인식기반 보안관리장치 및 방법
KR101844588B1 (ko) 실내 측위를 이용한 영상 제공 장치 및 방법
KR102317183B1 (ko) 사용자위치정보기반 실내측위시스템 및 그의 실내측위방법
CN111551179A (zh) 室内导航方法及装置、终端及可读存储介质
CN109474889B (zh) 信息传输方法、移动终端及服务器
EP2960622A1 (en) A method for estimating a distance from a first communication device to a second communication device, and corresponding communication devices, server and system.
JP6435640B2 (ja) 混雑度推定システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant