KR101877362B1 - Apparatus and method for interaction with user via vr contents for buildings - Google Patents

Apparatus and method for interaction with user via vr contents for buildings Download PDF

Info

Publication number
KR101877362B1
KR101877362B1 KR1020170060416A KR20170060416A KR101877362B1 KR 101877362 B1 KR101877362 B1 KR 101877362B1 KR 1020170060416 A KR1020170060416 A KR 1020170060416A KR 20170060416 A KR20170060416 A KR 20170060416A KR 101877362 B1 KR101877362 B1 KR 101877362B1
Authority
KR
South Korea
Prior art keywords
image
remote controller
controller
user
building
Prior art date
Application number
KR1020170060416A
Other languages
Korean (ko)
Inventor
성창건
Original Assignee
주식회사 디자인에이포인트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디자인에이포인트 filed Critical 주식회사 디자인에이포인트
Priority to KR1020170060416A priority Critical patent/KR101877362B1/en
Application granted granted Critical
Publication of KR101877362B1 publication Critical patent/KR101877362B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention provides a method for enabling an electronic device providing a virtual reality environment for the inside and outside of a building to interact with a user using a remote controller. The method of the present invention comprises the following steps of: providing a 360 degree image for the inside and outside of at least one building generated through three-dimensional modeling; displaying a controller image corresponding to a remote controller in the 360 degree image, as the remote controller is located within a field of view of a user; moving the controller image in response to a movement of the remote controller within the field of view of the user; and providing a 360 degree image in a state in which an interior object is driven or changed, as the controller image overlaps with the interior object in the 360 degree image.

Description

건축물 내외부에 대한 VR 컨텐츠를 이용한 사용자 인터랙션 방법 및 그 전자 장치{APPARATUS AND METHOD FOR INTERACTION WITH USER VIA VR CONTENTS FOR BUILDINGS}TECHNICAL FIELD [0001] The present invention relates to a user interaction method using VR contents for inside and outside of a building,

본 발명은 건축물 내외부에 대한 VR 컨텐츠를 이용한 사용자 인터랙션 방법 및 그 전자 장치에 관한 것으로서, 건축물의 내외부에 대한 정보를 기초로 3차원 모델링을 수행하여 생성된 VR 콘텐츠를 통해 사용자와 인터랙션하는 방법 및 그 전자 장치에 관한 것이다. The present invention relates to a user interaction method using VR contents for interior and exterior of a building and an electronic apparatus thereof, and more particularly, to a method for interacting with a user through VR contents generated by performing three- Electronic device.

가상 현실(VR: Virtual Reality) 기술은 컴퓨터 시스템에서 생성한 3D 가상 공간과 사용자 간의 상호작용을 이루는 기술로서, 사용자는 이러한 가상공간에서 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 몰입감을 느끼고, 실제로 그 공간에 존재하는 것과 같은 현실감을 제공하는 융합 기술이다. Virtual Reality (VR) technology is a technology that interacts with the 3D virtual space created by a computer system and users. The user is able to view the virtual reality through the five senses (visual, auditory, olfactory, It is a fusion technology that feels immersive and provides the same realism as it actually exists in the space.

특히, 가상 현실 기술이 대중적인 관심을 끌게 만든 주역인 HMD(head mounted device) 형태의 전자 장치가 최근에 새로이 등장한 기기가 아님에도, 최근 들어 ICT 글로벌 기업들이 앞다퉈 관련 기기들을 선보이고 있다. 이는, ICT 기업들이 종래의 가상 현실을 구동하기 위해 필요했던 기기들의 제약사항을 많이 극복하면서도 일반 사용자들이 부담없이 활용할 수 있는 가격 정책을 도입함으로써 가상 현실 콘텐츠들이 활성화되고 있기 때문이다.In particular, although head-mounted device (HMD) electronic devices, which are the protagonists of virtual reality technology, have recently become popular, ICT global corporations have recently introduced related devices. This is because the virtual reality contents are activated by introducing a pricing policy that can be utilized freely by ordinary users, while overcoming the limitations of devices that ICT companies have needed to drive conventional virtual reality.

이에 따라, 가상 현실 기술은 게임, 영화, 스포츠, 테마파크와 같이 엔터테인먼트 시장에서 벗어나 교육, e-커머스, 헬스 케어 등과 같은 다양한 산업으로 확대 적용하려는 움직임이 활발해지고 있다. 특히, 주택 산업 분야는 고객들에게 조성될 건축물 내외부를 가시화하여 보여주기 위해 건축 이전에 많은 비용을 투입하여 견본 하우스, 모형 주택 단지 등을 제작하고 있다는 점에서, 가상 현실 기술을 도입함으로써 비용 및 공간을 절감 효과가 발생될 것으로 기대되고 있다. 따라서, 가상 현실 기술을 주택 산업 분야에 접목시키기 위한 연구 및 주택 산업 분야에 최적화된 사용자 인터페이스 제공을 위한 연구가 필요하다. As a result, virtual reality technology is becoming more and more active in various industries such as education, e-commerce, and healthcare, away from the entertainment market such as games, movies, sports, and theme parks. In particular, in the housing industry field, in order to visualize the inside and outside of the building to be built for the customers, the cost is increased by introducing the virtual reality technology Saving effect is expected to occur. Therefore, there is a need for research to provide virtual reality technology to the housing industry and to provide a user interface optimized for the housing industry.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일 실시예는 가상 현실 환경에서 건축물 내외부에 대한 정보를 제공하고, 사용자가 보다 적극적으로 건축물 내외부에 대한 정보를 경험할 수 있는 사용자 인터렉션 방법을 제공하는데에 그 목적이 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기한 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a method and system for providing information on inside and outside of a building in a virtual reality environment, The object of the present invention is to provide an interaction method. However, the technical problem to be solved by this embodiment is not limited to the above-described technical problem, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면은, 3차원 모델링(modeling)을 통해 생성된 적어도 하나의 건축물 내외부에 대한 360도 영상을 제공하는 단계; 리모트 컨트롤러가 사용자의 시야 범위 내에 위치함에 따라, 360도 영상 내에서 리모트 컨트롤러에 상응하는 컨트롤러 이미지를 표시하는 단계; 사용자의 시야 범위 내에서의 리모트 컨트롤러의 움직임에 응답하여, 컨트롤러 이미지를 이동시키는 단계; 및 360도 영상 내의 인테리어 객체에 컨트롤러 이미지가 중첩됨에 따라, 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 제공하는 단계를 포함하는 가상 현실 환경에서의 사용자 인터랙션 방법을 제공한다. As a technical means for achieving the above technical object, a first aspect of the present invention provides a method for providing a 360-degree image to at least one building generated through three-dimensional modeling; Displaying a controller image corresponding to the remote controller within the 360 degree image as the remote controller is located within the user's field of view; Moving a controller image in response to movement of the remote controller within a user's field of view; And providing a 360-degree image of a state in which the interior object is driven or changed as the controller image is superimposed on the interior object in the 360-degree image.

또한, 본 발명의 제2 측면은, 영상 데이터를 출력하는 디스플레이; 360도 영상을 통한 사용자 인터랙션 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함하되, 상기 프로세서는, 상기 프로그램이 실행됨에 따라, 3차원 모델링을 통해 생성된 적어도 하나의 건축물 내외부에 대한 360도 영상의 일 영역을 디스플레이로 제공하고, 리모트 컨트롤러가 사용자의 시야 범위 내에 위치함에 따라 360도 영상의 일 영역 내에서 리모트 컨트롤러에 상응하는 컨트롤러 이미지를 표시하며, 사용자의 시야 범위 내에서의 리모트 컨트롤러의 움직임에 응답하여 컨트롤러 이미지를 이동시키고, 360도 영상 내의 인테리어 객체에 컨트롤러 이미지가 중첩됨에 따라, 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 생성하는 전자 장치를 제공한다. According to a second aspect of the present invention, there is provided a display device comprising: a display for outputting image data; A memory for storing a user interaction program through a 360-degree image; And a processor for executing the program, wherein the processor provides, as the program is executed, one area of a 360-degree image for at least one building generated through three-dimensional modeling to a display, Displays the controller image corresponding to the remote controller within one region of the 360 degree image as the image is positioned within the user's field of view, moves the controller image in response to the movement of the remote controller within the user's field of view, There is provided an electronic device for generating a 360-degree image in which an interior object is driven or changed as the controller image is superimposed on the interior object in the image.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 건축물이 건축되기 이전에 건축물 내외부에 대한 360도 영상을 제공함으로써, 사용자가 가상 현실 환경에서 건축물 내외부에 대한 정보를 직관적으로 경험할 수 있도록 할 수 있다. 또한, 본 발명은 사용자가 리모트 컨트롤러를 이용하여 직관적으로 가상 현실 환경 내의 인테리어 객체들을 구동시키거나 변경할 수 있도록 함으로써, 사용자가 보다 적극적으로 가상 현실 환경 내에서 인터랙션할 수 있는 방법을 제공할 수 있다. According to an embodiment of the present invention, a 360-degree image of inside and outside of a building is provided before a building is built, so that a user can intuitively experience information about inside and outside of the building in a virtual reality environment have. In addition, the present invention enables a user to more intensively interact in a virtual reality environment by allowing a user to intuitively drive or change interior objects in a virtual reality environment using a remote controller.

도 1은 본 발명의 일 실시예에 따른 전자 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따라 전자 장치가 리모트 컨트롤러를 이용하여 사용자와 인터랙션하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따라 컨트롤러 이미지가 360도 영상 내에 표시된 일례이다.
도 5는 본 발명의 일 실시예에 따라 360도 영상 내에 표시된 가이드 이미지의 일례이다.
도 6은 본 발명의 일 실시예에 따라 단지 정보를 포함하는 지도 GUI를 도시한 일례이다.
도 7은 본 발명의 일 실시예에 따라 서로 다른 층에서 조망되는 전경을 나타내는 360도 영상을 제공한 일례이다.1 is a diagram illustrating an electronic device according to an embodiment of the present invention.
2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
3 is a flowchart illustrating a method for an electronic device to interact with a user using a remote controller according to an embodiment of the present invention.
FIG. 4 is an example of a controller image displayed in a 360-degree image according to an embodiment of the present invention.
Figure 5 is an example of a guide image displayed within a 360 degree image in accordance with one embodiment of the present invention.
6 is an example of a map GUI including information only according to an embodiment of the present invention.
FIG. 7 is an example of providing a 360-degree image showing foreground viewed from different layers according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware. On the other hand, 'to' is not limited to software or hardware, 'to' may be configured to be an addressable storage medium, and may be configured to play one or more processors. Thus, by way of example, 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and components may be further combined with a smaller number of components and components or further components and components. In addition, the components and components may be implemented to play back one or more CPUs in a device or a secure multimedia card.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 전자 장치(10)를 도시한 도면이다. 본 발명의 일 실시예에 따른 전자 장치(10)는 360도 영상을 디스플레이함으로써 사용자에게 가상 현실을 제공하기 위한 장치로서, (a) 에 도시된 바와 같이 HMD(head mounted device) 형태의 VR 헤드셋(10a)일 수 있다. 1 is a diagram showing an electronic device 10 according to an embodiment of the present invention. An electronic device 10 according to an embodiment of the present invention is an apparatus for providing a virtual reality to a user by displaying a 360-degree image. The device 10 includes a head mounted device (HMD) VR headset 10a.

또는, (b) 에 도시된 바와 같이, 전자 장치(10)는 헤드셋(headset)(15)과 결합될 수 있는 휴대용 장치(10b)일 수 있다. 이 경우, 전자 장치(10)의 디스플레이(display)가 헤드셋(15)의 본체와 마주하도록 결합되어, 헤드셋(15)을 착용한 사용자가 헤드셋(15)를 통해 휴대용 장치(10b)의 디스플레이에서 제공되는 360도 영상에 노출되도록 할 수 있다. 그러나, 전자 장치(10)가 상기한 예에 제한되는 것은 아니며, 360도 영상을 제공할 수 있는 다양한 기기를 포함할 수 있다. Alternatively, the electronic device 10 may be a portable device 10b that can be coupled to a headset 15, as shown in (b). In this case, a display of the electronic device 10 is coupled to face the main body of the headset 15 so that a user wearing the headset 15 can be provided on the display of the portable device 10b via the headset 15 To be exposed to a 360 degree image. However, the electronic device 10 is not limited to the above example, and may include various devices capable of providing a 360 degree image.

한편, 본 발명의 일 실시예에 따른 전자 장치(10)는 리모트 컨트롤러(remote controller)(도 2의 20 참조)와 통신할 수 있다. 리모트 컨트롤러(20)는 사용자 입력을 수신할 수 있는 적어도 하나의 키(key)를 포함할 수 있으며, 이 외에 터치패드(touchpad) 등을 더 구비할 수도 있다. 또한, 구현예에 따라 리모트 컨트롤러(20)는 리모트 컨트롤러(20)의 움직임을 감지할 수 있는 적어도 하나의 센서를 더 구비할 수 있다. 전자 장치(10)는 리모트 컨트롤러(20)에서 입력된 사용자 입력 및/또는 리모트 컨트롤러(20)의 움직임에 대한 정보를 제공받아, 이에 대응하는 동작을 수행할 수 있다. Meanwhile, the electronic device 10 according to an embodiment of the present invention can communicate with a remote controller (see 20 in FIG. 2). The remote controller 20 may include at least one key capable of receiving a user input, and may further include a touchpad or the like. In addition, according to an embodiment, the remote controller 20 may further include at least one sensor capable of sensing the movement of the remote controller 20. [ The electronic device 10 may receive information on the user input and / or the motion of the remote controller 20 input from the remote controller 20, and may perform the corresponding operation.

도 2는 본 발명의 일 실시예에 따른 전자 장치(10)의 구성을 도시한 블록도이다. 도 2를 참조하면, 전자 장치(10)는 디스플레이부(110), 센서부(120), 통신부(130), 메모리(140) 및 제어부(processor)(150)를 포함한다. 2 is a block diagram showing the configuration of an electronic device 10 according to an embodiment of the present invention. Referring to FIG. 2, the electronic device 10 includes a display unit 110, a sensor unit 120, a communication unit 130, a memory 140, and a processor 150.

디스플레이부(110)는 제어부(150)에서 처리된 영상 신호를 입력받아 디스플레이 영역에 출력한다. 디스플레이부(110)는 PDP, LCD, OLED, 플렉서블 디스플레이(flexible display) 등으로 구현될 수 있으며, 3차원 디스플레이(3D display)로 구현될 수도 있다. 그러나, 이에 제한되지 않으며, 기술 발전에 따른 새로운 형태로 구현될 수 있다. The display unit 110 receives the video signal processed by the controller 150 and outputs the received video signal to the display area. The display unit 110 may be a PDP, an LCD, an OLED, a flexible display, or a 3D display. However, the present invention is not limited to this, and can be implemented in a new form in accordance with technological advancement.

센서부(120)는 사용자 움직임에 따라 발생하는 전자 장치(10)의 움직임을 감지한다. 센서부(120)는 가속도 센서(Acceleration sensor)(미도시), 자이로스코프 센서(gyroscope sensor)(미도시), 위치 센서(예컨대, GPS)(미도시) 중 적어도 하나를 포함하여 구현될 수 있다. The sensor unit 120 senses the movement of the electronic device 10 caused by the user's movement. The sensor unit 120 may include at least one of an acceleration sensor (not shown), a gyroscope sensor (not shown), and a position sensor (e.g., GPS) .

통신부(130)는 외부와 통신을 하게하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(130)는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 적외선(IrDA, infrared Data Association), 지그비(Zigbee) 통신 중 적어도 하나를 수행할 수 있는 구성 요소를 포함할 수 있다. 또는 통신부(130)는 이동 통신망 또는 방송 통신망을 통해 무선 신호를 송수신할 수도 있다. The communication unit 130 may include one or more components for communicating with the outside. For example, the communication unit 130 may include a component capable of performing at least one of Bluetooth, BLE (Bluetooth Low Energy), IrDA (infrared data association), and Zigbee communication . Alternatively, the communication unit 130 may transmit and receive wireless signals through a mobile communication network or a broadcasting communication network.

메모리(140)는 제어부(150)가 전자 장치(10)를 제어하는데에 필요한 다양한 프로그램을 저장한다. 예컨대, 메모리(140)는 인터랙션 프로그램을 저장한다. 이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.The memory 140 stores various programs necessary for the control unit 150 to control the electronic device 10. [ For example, the memory 140 stores an interaction program. At this time, the memory 140 is collectively referred to as a non-volatile storage device that keeps stored information even when no power is supplied, and a volatile storage device that requires power to maintain stored information.

제어부(150)는 메모리(140)에 저장된 프로그램(또는 적어도 하나의 인스트럭션(instruction))을 실행함으로써, 전자 장치(10)의 전반적인 동작을 제어한다.The control unit 150 controls the overall operation of the electronic device 10 by executing a program (or at least one instruction) stored in the memory 140. [

제어부(150)는 건축물 내외부에 대한 정보를 입력받아 3차원 모델링(modeling)을 수행하여 360도 영상(즉, VR 콘텐츠)을 생성할 수 있다. 이때, 건축물 내외부에 대한 정보는 건축 그래픽 데이터, 조감도, 투시도, 인테리어 그래픽 데이터, 건축 시뮬레이션 데이터, 분양홍보영상 등을 포함할 수 있다. 제어부(150)는 입력받은 건축물 내외부에 대한 정보를 기초로 3차원 렌더링(rendering)을 수행하여, 3차원의 360도 영상을 생성 및/또는 갱신할 수 있다. 한편, 제어부(150)는 하드웨어 가속기를 더 포함하여 구현됨으로써, 실시간으로 3차원 렌더링을 수행할 수 있다. The controller 150 receives information on the inside and the outside of the building and performs three-dimensional modeling to generate a 360-degree image (i.e., VR content). At this time, the information on the interior and exterior of the building may include architectural graphic data, bird's-eye view, perspective view, interior graphic data, building simulation data, and pre-sale publicity image. The control unit 150 may perform three-dimensional rendering based on information on the inside and outside of the input building to generate and / or update a three-dimensional 360-degree image. Meanwhile, the controller 150 may further include a hardware accelerator to perform 3D rendering in real time.

이후, 제어부(150)는 생성된 360도 영상 중에서 사용자의 시야 범위에 상응하는 일 영역을 디스플레이부(110)를 통해 출력한다. 또한, 제어부(150)는 센서부(120)를 통해 감지된 사용자의 움직임 또는 리모트 컨트롤러(20)로부터 수신된 사용자 입력에 응답하여, 360도 영상의 다른 영역을 출력하거나 360도 영상을 갱신할 수 있다. 예컨대, 사용자가 고개를 돌리는 움직임이 센서부(120)를 통해 감지되면, 제어부(150)는 360도 영상 중에서 사용자의 변경된 시야 범위에 상응하는 다른 영역을 출력할 수 있다. 또한, 제어부(150)는 리모트 컨트롤러(20)에 구비된 키에 대한 사용자 입력이 임계시간 이상으로 유지됨에 따라, 360도 영상 내에서 리모트 컨트롤러(20)가 가리키는 방향으로 기 설정된 거리만큼 이동될 수 있음을 나타내는 가이드라인(guideline) 및 이동 위치 표시자(indicator)를 표시하며, 상기 키 입력이 해제됨에 따라 이동 위치에서의 360도 영상을 생성할 수 있다. 생성된 360도 영상의 일 영역은 디스플레이부(110)를 통해 출력된다. Thereafter, the controller 150 outputs one region corresponding to the user's view range among the generated 360-degree images through the display unit 110. FIG. In response to the user's movement detected through the sensor unit 120 or the user input received from the remote controller 20, the control unit 150 may output another region of the 360-degree image or update the 360-degree image have. For example, when the movement of the user's head is sensed through the sensor unit 120, the controller 150 may output another region corresponding to the changed viewing range of the user in the 360-degree image. In addition, the control unit 150 may move a predetermined distance in the direction indicated by the remote controller 20 in the 360-degree image as the user input to the key provided in the remote controller 20 is maintained over the threshold time A guideline and a movement position indicator indicating that the key input is released, and a 360-degree image at the movement position can be generated as the key input is released. One area of the generated 360-degree image is output through the display unit 110.

또한, 제어부(150)는 리모트 컨트롤러(20)의 움직임에 대응하여 보다 다양한 동작을 수행할 수 있다. 이하, 도 3을 참조하여 상세히 설명한다. In addition, the controller 150 can perform various operations in response to the movement of the remote controller 20. [ Hereinafter, this will be described in detail with reference to FIG.

도 3은 본 발명의 일 실시예에 따라 전자 장치(10)가 리모트 컨트롤러(20)를 이용하여 사용자와 인터랙션하는 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating a method for an electronic device 10 to interact with a user using a remote controller 20 according to an embodiment of the present invention.

먼저, 제어부(150)는 3차원 모델링을 통해 생성된 적어도 하나의 건축물 내외부에 대한 360도 영상을 제공한다(S310). 즉, 제어부(150)는 건축물 내외부에 대한 정보를 입력받아 3차원 모델링을 수행하여 360도 영상을 생성하며, 사용자의 시야 범위에 상응하는 360도 영상의 일 영역을 디스플레이부(110)를 통해 출력한다. First, the controller 150 provides a 360-degree image of at least one of the inside and the outside of the building generated through the three-dimensional modeling (S310). That is, the controller 150 receives the information about inside and outside of the building, performs three-dimensional modeling to generate a 360-degree image, and outputs one area of the 360-degree image corresponding to the user's field of view through the display unit 110 do.

이후, 사용자가 리모트 컨트롤러(20)가 사용자의 시야 범위 내에 위치함에 따라, 제어부(150)는 360도 영상 내에서 컨트롤러 이미지가 표시되도록 제어한다(S320). 이때, 전자 장치(10)와 리모트 컨트롤러(20)는 기 연결된 상태 일 수 있다. 예컨대, 전자 장치(10)와 리모트 컨트롤러(20)는 페어링(pairing) 작업을 미리 수행하여 연결된 상태이거나, 서로의 IP 주소 정보를 미리 저장하고 있을 수 있다. Thereafter, as the remote controller 20 is positioned within the user's field of view, the controller 150 controls the controller image to be displayed in the 360-degree image (S320). At this time, the electronic device 10 and the remote controller 20 may be in a pre-connected state. For example, the electronic device 10 and the remote controller 20 may be in a connected state by performing a pairing operation in advance, or may store IP address information of each other in advance.

제어부(150)는 리모트 컨트롤러(20)가 시야 범위 내에 위치하는지 판단하기 위해, 리모트 컨트롤러(20)의 위치를 트래킹(tracking)할 수 있다. 이를 위해, 제어부(150)는 외부에 위치하는 위치 측정 장치(미도시)로부터 전자 장치(10)와 리모트 컨트롤러(20) 각각의 위치 정보를 주기적으로 제공받을 수 있다. 제어부(150)는 제공받은 위치 정보를 이용하여, 리모트 컨트롤러(20)가 전자 장치(10)의 시야 범위 내에 위치하는지 여부를 판단할 수도 있다. 또는, 제어부(150)는 리모트 컨트롤러(20)로부터 주기적으로 제공받는 데이터(예컨대, 적외선 데이터, 오디오 데이터 등)의 수신 방향 및 거리를 이용하여 리모트 컨트롤러(20)가 사용자의 시야 범위 내에 위치하는지 판단할 수도 있으나, 이에 제한되는 것은 아니다. The control unit 150 may track the position of the remote controller 20 to determine whether the remote controller 20 is located within the field of view. To this end, the controller 150 may periodically receive location information of the electronic device 10 and the remote controller 20 from a position measuring device (not shown) located outside. The control unit 150 may determine whether the remote controller 20 is located within the field of view of the electronic device 10 using the provided location information. Alternatively, the control unit 150 determines whether the remote controller 20 is located within the visual range of the user using the receiving direction and the distance of the data (for example, infrared data, audio data, etc.) periodically provided from the remote controller 20 But is not limited thereto.

한편, 컨트롤러 이미지는 리모트 컨트롤러(20)와 동일 또는 유사한 형상일 수 있다. 도 4는 본 발명의 일 실시예에 따라 컨트롤러 이미지(420)가 360도 영상(400) 내에 표시된 일례이다. 도 4에 도시된 바와 같이, 컨트롤러 이미지(420)는 리모트 컨트롤러(20)와 동일한 형상일 수 있다. 그러나, 이에 제한되는 것은 아니며, 컨트롤러 이미지는 리모트 컨트롤러(20)에 구비된 적어도 하나의 키(key)의 형상과 동일 또는 유사할 수도 있다. On the other hand, the controller image may have the same or similar shape as the remote controller 20. 4 is an example of a controller image 420 displayed in a 360 degree image 400 according to an embodiment of the present invention. As shown in FIG. 4, the controller image 420 may have the same shape as the remote controller 20. However, the present invention is not limited thereto, and the controller image may be the same as or similar to the shape of the at least one key provided in the remote controller 20. [

한편, 제어부(150)는 리모트 컨트롤러(20)가 사용자의 시야 범위 내에 위치함에 따라, 기 생성된 360도 영상의 일 영역과 컨트롤러 이미지가 통합되어 출력되도록 디스플레이부(110)를 제어할 수 있다. Meanwhile, the controller 150 can control the display unit 110 to integrate and output one area of the generated 360-degree image and the controller image as the remote controller 20 is positioned within the user's field of view.

이후, 사용자의 시야 범위 내에서 리모트 컨트롤러(20)가 움직임에 따라, 제어부(150)는 360도 영상 내에서 컨트롤러 이미지를 이동되도록 제어한다(S330). 즉, 제어부(150)는 컨트롤러 이미지의 출력 위치가 변경되도록 디스플레이부(110)를 제어할 수 있다. Thereafter, as the remote controller 20 moves within the visual range of the user, the controller 150 controls the controller image to be moved within the 360 degree image (S330). That is, the control unit 150 may control the display unit 110 to change the output position of the controller image.

또한, 제어부(150)는 360도 영상 내의 인테리어 객체에 컨트롤러 이미지가 중첩됨에 따라, 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 제공한다(S340). 여기서, 인테리어 객체는 도어(door), 수전, 스위치, 벽지, 바닥재 및 가구 중 적어도 하나에 대응하는 이미지일 수 있다. 또한, 인테리어 객체가 구동한다는 것은 도어가 구동되어 문이 열리거나, 수전이 구동되어 물이 나오거나, 스위치가 구동되어 전등, TV 등이 켜지는 것일 수 있으며, 이에 제한되는 것은 아니다. 또한, 인테리어 객체가 변경한다는 것은, 벽지, 바닥재 및 가구 이미지의 색깔, 디자인, 위치 등을 변경하는 것일 수 있으며, 이에 제한되는 것은 아니다. 이때, 제어부(150)는 인테리어 객체의 변경 색상, 변경 디자인, 변경 위치 등을 사용자가 선택할 수 있도록 메뉴 GUI를 더 제공할 수 있다. 또한, 메뉴 GUI는 인테리어 객체를 추가하거나 건축물의 구조를 변경할 수 있는 서브 메뉴를 더 포함할 수 있다. In addition, the controller 150 provides a 360-degree image in which the interior object is driven or changed as the controller image is superimposed on the interior object in the 360-degree image (S340). Here, the interior object may be an image corresponding to at least one of a door, a faucet, a switch, a wallpaper, a flooring, and furniture. In addition, the driving of the interior object may be such that the door is opened, the door is opened, the faucet is driven to discharge water, or the switch is driven to turn on a lamp or a TV, but the present invention is not limited thereto. Also, changing the interior object can be, but is not limited to, changing the color, design, location, etc. of wallpaper, flooring and furniture images. At this time, the controller 150 may further provide a menu GUI so that the user can select a change color, a change design, and a change location of the interior object. In addition, the menu GUI may further include a submenu to add interior objects or change the structure of the building.

이와 같이, 제어부(150)는 컨트롤러 이미지와 중첩되는 인테리어 객체의 특성에 따라 인테리어 객체가 구동 또는 변경/추가된 360도 영상을 생성하여 제공함으로써, 사용자가 보다 적극적으로 건축물 내외부를 체험할 수 있는 가상 현실 환경을 제공할 수 있다. In this way, the controller 150 generates and provides a 360-degree image in which the interior object is driven or changed / added according to the characteristics of the interior object superimposed on the controller image, so that the user can more visually It can provide a real environment.

구현예에 따라 제어부(150)는 360도 영상 내에서 구동 또는 변경가능한 인테리어 객체를 사용자가 용이하게 식별할 수 있는 가이드 이미지를 제공할 수 있다. 이때, 가이드 이미지는 인테리어 객체의 윤곽선에 대응하는 형광 색상의 선(line) 이미지 또는 굵은 두께의 선 이미지일 수 있다. 또는, 가이드 이미지는 리모트 컨트롤러와 동일한 형상으로서, 인테리어 객체에 중첩하여 서로 다른 방향으로 흔들리는 이미지일 수 있다. 예컨대, 도 5는 본 발며의 일 실시예에 따라 360도 영상(500) 내에 표시된 가이드 이미지(520, 530)의 일례이다. 제어부(150)는 리모트 컨트롤러(20)의 움직임에 따라 컨트롤러 이미지(540)를 이동시켜 표시하며, 인테리어 객체(즉, 수전 이미지)와 컨트롤러 이미지(540)가 중첩됨에 따라 수전에서 물이 나오는 360도 영상(500)을 제공할 수 있다. According to an embodiment, the controller 150 may provide a guide image that allows a user to easily identify an interior object that can be driven or changed within a 360 degree image. At this time, the guide image may be a line image of a fluorescent color corresponding to the contour line of the interior object, or a thick line image. Alternatively, the guide image may have the same shape as the remote controller, and may be an image superimposed on the interior object and shaking in different directions. For example, FIG. 5 is an example of guide images 520 and 530 displayed within a 360 degree image 500, according to one embodiment of the present disclosure. The control unit 150 moves and displays the controller image 540 in accordance with the movement of the remote controller 20 and displays the 360 degrees of the water coming out from the faucet as the interior object (i.e., the faucet image) The image 500 can be provided.

한편, 제어부(150)는 구동 또는 변경된 인테리어 객체 및/또는 가이드 이미지를 제공하기 위해, 구동 또는 변경된 상태의 인테리어 객체 및/또는 가이드 이미지를 실시간으로 렌더링하여 360도 영상을 생성할 수 있다. Meanwhile, the controller 150 may generate a 360-degree image by rendering the interior object and / or the guide image in a driven or changed state in real time in order to provide a driven or changed interior object and / or guide image.

추가적으로, 제어부(150)는 리모트 컨트롤러(20)에 구비된 펑션키(function key)(또는 핫키(hot key))에 대한 사용자 입력에 응답하여 건축물 내외부 지도 정보 및 현재 위치 정보를 포함하는 지도 GUI를 제공할 수 있다. 따라서, 사용자는 원하는 시점에 자신의 위치를 확인할 수 있으며, 지도 GUI를 통해 다른 장소로 이동할 수도 있다. 이때, 현재 출력 중인 360도 영상이 건축물의 외부에 대응하는 경우, 제어부(150)는 단지 정보를 포함하는 지도 GUI를 제공하며, 360도 영상이 건축물 내부에 대응하는 경우, 제어부(150)는 건축물의 구조 정보를 포함하는 지도 GUI를 제공할 수 있다. 도 6은 본 발명의 일 실시예에 따라 단지 정보를 포함하는 지도 GUI(620)를 도시한 일례이다. 이때, 지도 GUI(620)는 360도 영상(600)에 중첩되어 반투명하게 표시됨으로써, 사용자의 시야를 가리지 않을 수 있다. 한편, 구현예에 따라 지도 GUI는 3차원 이미지로 제공될 수도 있다. In addition, the controller 150 responds to a user input of a function key (or a hot key) provided in the remote controller 20 to display a map GUI including the building interior and exterior map information and the current location information . Accordingly, the user can confirm his / her position at a desired point in time, and can move to another place through the guidance GUI. In this case, when the 360-degree image currently being output corresponds to the outside of the building, the control unit 150 provides a map GUI including only information. If the 360-degree image corresponds to the inside of the building, It is possible to provide a map GUI including the structure information of the map. 6 illustrates an example of a map GUI 620 that includes only information according to one embodiment of the present invention. At this time, the map GUI 620 is superimposed on the 360-degree image 600 and is displayed in a translucent manner, thereby obscuring the user's view. On the other hand, according to the embodiment, the guidance GUI may be provided as a three-dimensional image.

또한, 제어부(150)는 건축물 내부의 각 층에서 조망되는 전경을 나타내는 360도 영상을 제공할 수 있다. 구체적으로, 제어부(150)는 건축물 내부에 배치된 창(window)으로 향하는 사용자 움직임 또는 리모트 컨트롤러(20)에 대한 사용자 입력(즉, 임계시간 이상의 키 입력 및 해제)에 응답하여, 서로 다른 층의 조망을 선택할 수 있는 메뉴 GUI를 제공하며, 메뉴 GUI를 통해 선택된 층의 높이를 기초로 선택된 층에서 조망되는 전경을 포함하는 360도 영상을 생성하여 제공할 수 있다. Also, the controller 150 may provide a 360-degree image showing the foreground viewed from each floor within the building. In response to the user's movement toward the window disposed inside the building or the user input to the remote controller 20 (i.e., key input and release over the critical time) Provides a menu GUI for selecting a view, and can generate and provide a 360-degree image including a foreground viewed from a selected layer based on the height of the selected layer through a menu GUI.

도 7은 본 발명의 일 실시예에 따라 서로 다른 층에서 조망되는 전경을 나타내는 360도 영상(700a, 700b)을 제공한 일례이다. 도 7에 도시된 바와 같이, 제어부(150)는 메뉴 GUI에서 서로 다른 층의 조망이 선택됨에 따라 서로 다른 전경 이미지(710, 720)를 포함하는 360도 영상(700a, 700b)을 생성하여 제공할 수 있다. 한편, 메뉴 GUI에서의 선택은 컨트롤러 이미지(730)와 메뉴 GUI의 일 영역이 임계 시간 동안 중첩되거나, 컨트롤러 이미지(730)로부터 연장된 가이드라인(740)이 메뉴 GUI의 일 영역에 임계 시간 동안 중첩됨에 따라 이뤄질 수 있다. FIG. 7 is an example of providing 360-degree images 700a and 700b showing foreground viewed from different layers according to an embodiment of the present invention. As shown in FIG. 7, the controller 150 generates and provides 360-degree images 700a and 700b including different foreground images 710 and 720 according to the selection of views of different layers in the menu GUI . On the other hand, the selection in the menu GUI is based on the fact that one area of the controller image 730 and the menu GUI is overlaid for a threshold time, and the guide line 740 extended from the controller image 730 overlaps one area of the menu GUI for a threshold time Can be achieved.

또한, 구현예에 따라 메뉴 GUI는 시간에 대한 메뉴(예컨대, 낮 또는 밤)를 더 포함할 수 있다. 따라서, 제어부(150)는 메뉴 GUI에서 선택된 시간에 대응하여 조망되는 전경을 나타내는 360도 영상을 생성하여 제공할 수 있다. Also, according to an embodiment, the menu GUI may further include a menu for time (e.g., day or night). Accordingly, the controller 150 may generate and provide a 360-degree image representing the foreground viewed in correspondence with the selected time in the menu GUI.

또한, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. In addition, one embodiment of the present invention may be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable medium may also include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

10: 전자 장치
10a: VR 헤드셋
10b: 휴대용 장치
15: 헤드셋(headset)
20: 리모트 컨트롤러(remote controller)
110: 디스플레이부
120: 센서부
130: 통신부
140: 메모리
150: 제어부10: Electronic device
10a: VR headset
10b: Portable device
15: Headset
20: Remote controller
110:
120:
130:
140: Memory
150:

Claims (10)

건축물 내외부에 대한 VR 컨텐츠를 통해 전자 장치가 사용자와 인터랙션하는 방법에 있어서,
3차원 모델링(modeling)을 통해 생성된 적어도 하나의 건축물 내외부에 대한 360도 영상을 제공하는 단계;
리모트 컨트롤러(remote controller)가 사용자의 시야 범위 내에 위치함에 따라, 상기 360도 영상 내에서 상기 리모트 컨트롤러에 상응하는 컨트롤러 이미지를 표시하는 단계;
상기 사용자의 시야 범위 내에서의 상기 리모트 컨트롤러의 움직임에 응답하여, 상기 컨트롤러 이미지를 이동시키는 단계;
상기 360도 영상 내의 인테리어 객체에 상기 컨트롤러 이미지가 중첩됨에 따라, 상기 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 제공하는 단계;
건축물 내부에 배치된 창(window)으로 향하는 사용자 움직임 또는 상기 리모트 컨트롤러에 대한 사용자 입력에 응답하여, 서로 다른 층의 조망을 선택할 수 있는 메뉴 GUI를 제공하는 단계;
상기 컨트롤러 이미지로부터 연장된 가이드라인이 메뉴 GUI의 일 영역에 임계시간 동안 중첩됨에 따라 상기 메뉴 GUI에 대한 선택입력을 인식하고, 상기 메뉴GUI를 통해 선택된 층의 높이를 기초로, 상기 선택된 층에서 조망되는 전경을 포함하는 360도 영상을 생성하여 제공하는 단계; 및
상기 리모트 컨트롤러에 구비된 펑션키에 대한 사용자 입력에 응답하여, 현재 출력 중인 360도 영상이 건축물의 외부에 대응하는 경우 단지 정보에 대한 지도 GUI를 제공하고, 현재 출력 중인 360도 영상이 건축물의 내부에 대응하는 경우, 건축물의 구조 정보에 대한 지도 GUI를 제공하는 단계를 포함하며,
상기 컨트롤러 이미지를 표시하는 단계는
상기 리모트 컨트롤러의 위치 정보를 외부의 위치 측정 장치를 통하여 수신하거나, 상기 리모트 컨트롤러로부터 주기적으로 제공받는 데이터의 수신방향 및 거리를 이용하여 상기 리모트 컨트롤러의 위치 정보를 파악하고, 상기 리모트 컨트롤러가 상기 360도 영상 내에 표시되어야하는지 판단하는 단계를 포함하고,
상기 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 제공하는 단계는,
인테리어 객체의 색깔, 디자인 및 위치 중 어느 하나를 변경하는 것인 사용자 인터랙션 방법. A method for an electronic device interacting with a user through VR content for inside and outside of a building,
Providing a 360 degree image of at least one building inside and outside the building generated through three-dimensional modeling;
Displaying a controller image corresponding to the remote controller within the 360-degree image as the remote controller is located within the user's field of view;
Moving the controller image in response to movement of the remote controller within the field of view of the user;
Providing a 360-degree image of the state of the interior object being driven or changed as the controller image is superimposed on the interior object in the 360-degree image;
Providing a menu GUI capable of selecting a view of a different layer in response to a user movement toward a window disposed within the building or a user input to the remote controller;
Recognizing a selection input to the menu GUI as a guideline extending from the controller image is superimposed on a region of the menu GUI for a threshold time and based on the height of the selected layer via the menu GUI, Generating and providing a 360-degree image including a panoramic image to be displayed; And
In response to a user input of a function key provided in the remote controller, provides a map GUI for information only when the 360-degree image currently being output corresponds to the outside of the building, , Providing a map GUI for the structure information of the building,
The step of displaying the controller image
The remote controller receives position information of the remote controller through an external position measuring device or grasps the position information of the remote controller using the direction and distance of data periodically received from the remote controller, Determining whether the image should be displayed in the image,
The step of providing a 360-degree image of the state in which the interior object is driven or changed comprises:
A method of interacting with a user that changes either the color, design, or location of an interior object. 제1 항에 있어서,
상기 인테리어 객체는
도어(door), 수전, 스위치, 벽지, 바닥재 및 가구 중 적어도 하나에 대한 이미지인 것인 사용자 인터랙션 방법. The method according to claim 1,
The interior object
Wherein the image is an image for at least one of a door, a faucet, a switch, a wallpaper, a flooring, and furniture. 제1 항에 있어서,
상기 인테리어 객체는
상기 컨트롤러 이미지와 동일한 형상이며 서로 다른 방향으로 흔들리는 가이드 이미지와 중첩되어 표시되는 것인 사용자 인터랙션 방법. The method according to claim 1,
The interior object
Wherein the controller image is superimposed and displayed with a guide image having the same shape as the controller image and shaking in different directions. 제 1 항에 있어서,
상기 지도 GUI는
상기 360도 영상에 중첩되어 반투명하게 표시되는 것인 사용자 인터랙션 방법. The method according to claim 1,
The map GUI
Wherein the image is displayed in a translucent manner superimposed on the 360-degree image. 제 1 항에 있어서,
상기 사용자 인터랙션 방법은
상기 리모트 컨트롤러에 구비된 키에 대한 사용자 입력이 임계 시간 이상으로 유지됨에 따라, 상기 360도 영상 내에서, 상기 리모트 컨트롤러의 방향으로 기 설정된 거리만큼 이동될 수 있음을 나타내는 가이드라인(guideline) 및 이동 위치 표시자(indicator)를 표시하는 단계; 및
상기 사용자 입력이 해제됨에 따라, 상기 이동 위치에 대응하는 360도 영상을 생성하는 단계를 포함하되,
상기 이동 위치에 대응하는 360도 영상을 생성하는 단계는,
건축물 내외부에 대한 정보를 기초로 실시간으로 3차원 렌더링(rendering)을 수행하는 것인 사용자 인터랙션 방법. The method according to claim 1,
The user interaction method
A guideline indicating that the user can be moved by a predetermined distance in the direction of the remote controller within the 360 degree image as the user input to the key provided in the remote controller is maintained above the threshold time, Displaying a location indicator; And
Generating a 360 degree image corresponding to the movement position as the user input is released,
Wherein the step of generating a 360 degree image corresponding to the movement position comprises:
And performing three-dimensional rendering in real time on the basis of information about inside and outside of the building. 삭제delete 건축물 내외부에 대한 VR 컨텐츠를 통해 인터랙션하는 전자 장치에 있어서,
영상 데이터를 출력하는 디스플레이;
360도 영상을 통한 사용자 인터랙션 프로그램이 저장된 메모리; 및
상기 프로그램을 실행하는 프로세서(processor)를 포함하되,
상기 프로세서는, 상기 프로그램이 실행됨에 따라,
3차원 모델링을 통해 생성된 적어도 하나의 건축물 내외부에 대한 360도 영상의 일 영역을 상기 디스플레이로 제공하고, 리모트 컨트롤러(remote controller)가 사용자의 시야 범위 내에 위치함에 따라 상기 360도 영상의 일 영역 내에서 상기 리모트 컨트롤러에 상응하는 컨트롤러 이미지를 표시하며,
상기 사용자의 시야 범위 내에서의 상기 리모트 컨트롤러의 움직임에 응답하여 상기 컨트롤러 이미지를 이동시키고, 상기 360도 영상 내의 인테리어 객체에 상기 컨트롤러 이미지가 중첩됨에 따라, 상기 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 생성하고,
건축물 내부에 배치된 창(window)으로 향하는 사용자 움직임 또는 상기 리모트 컨트롤러에 대한 사용자 입력에 응답하여, 서로 다른 층의 조망을 선택할 수 있는 메뉴 GUI를 제공하며,
상기 컨트롤러 이미지로부터 연장된 가이드라인이 메뉴 GUI의 일 영역에 임계시간 동안 중첩됨에 따라 상기 메뉴 GUI에 대한 선택입력을 인식하고, 상기 메뉴GUI를 통해 선택된 층의 높이를 기초로, 상기 선택된 층에서 조망되는 전경을 포함하는 360도 영상을 생성하여 제공하고,
상기 리모트 컨트롤러에 구비된 펑션키에 대한 사용자 입력에 응답하여, 현재 출력 중인 360도 영상이 건축물의 외부에 대응하는 경우 단지 정보에 대한 지도 GUI를 제공하고, 현재 출력 중인 360도 영상이 건축물의 내부에 대응하는 경우, 건축물의 구조 정보에 대한 지도 GUI를 제공하며,
상기 컨트롤러 이미지를 표시하는 경우,
상기 리모트 컨트롤러의 위치 정보를 외부의 위치 측정 장치를 통하여 수신하거나, 상기 리모트 컨트롤러로부터 주기적으로 제공받는 데이터의 수신방향 및 거리를 이용하여 상기 리모트 컨트롤러의 위치 정보를 파악하고, 상기 리모트 컨트롤러가 상기 360도 영상 내에 표시되어야하는지 판단하고
상기 인테리어 객체가 구동 또는 변경된 상태의 360도 영상을 제공하는 경우, 인테리어 객체의 색깔, 디자인 및 위치 중 어느 하나를 변경하는 것인 전자 장치. 1. An electronic device for interacting with VR contents for inside and outside of a building,
A display for outputting image data;
A memory for storing a user interaction program through a 360-degree image; And
And a processor for executing the program,
The processor, as the program is executed,
The method of claim 1, further comprising the steps of: providing one or more areas of at least one 360 degree image generated by three-dimensional modeling to the display; Displays a controller image corresponding to the remote controller,
Moving the controller image in response to the movement of the remote controller within the visual range of the user, and as the controller image is superimposed on the interior object in the 360-degree image, Image,
Providing a menu GUI capable of selecting views of different layers in response to a user's movement toward a window arranged inside the building or a user input to the remote controller,
Recognizing a selection input to the menu GUI as a guideline extending from the controller image is superimposed on a region of the menu GUI for a threshold time and based on the height of the selected layer via the menu GUI, A 360-degree image including a foreground is generated and provided,
In response to a user input of a function key provided in the remote controller, provides a map GUI for information only when the 360-degree image currently being output corresponds to the outside of the building, A map GUI for the structure information of the building is provided,
When displaying the controller image,
The remote controller receives position information of the remote controller through an external position measuring device or grasps the position information of the remote controller using the direction and distance of data periodically received from the remote controller, It is determined whether it should be displayed in the image
And changes the color, design, and location of the interior object when the interior object provides a 360 degree view of the state in which it is driven or changed. 제7 항에 있어서,
상기 인테리어 객체는
상기 컨트롤러 이미지와 동일한 형상이며 서로 다른 방향으로 흔들리는 가이드 이미지와 중첩되어 표시되는 것인 전자 장치. 8. The method of claim 7,
The interior object
And is displayed superimposed on a guide image which has the same shape as the controller image and is shaken in different directions. 제 7 항에 있어서,
상기 지도 GUI는
상기 360도 영상에 중첩되어 반투명하게 표시되는 것인 전자 장치.
8. The method of claim 7,
The map GUI
And is superimposed on the 360-degree image so as to be displayed in a translucent manner.
삭제delete
KR1020170060416A 2017-05-16 2017-05-16 Apparatus and method for interaction with user via vr contents for buildings KR101877362B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170060416A KR101877362B1 (en) 2017-05-16 2017-05-16 Apparatus and method for interaction with user via vr contents for buildings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170060416A KR101877362B1 (en) 2017-05-16 2017-05-16 Apparatus and method for interaction with user via vr contents for buildings

Publications (1)

Publication Number Publication Date
KR101877362B1 true KR101877362B1 (en) 2018-07-13

Family

ID=62913403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170060416A KR101877362B1 (en) 2017-05-16 2017-05-16 Apparatus and method for interaction with user via vr contents for buildings

Country Status (1)

Country Link
KR (1) KR101877362B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220039865A (en) * 2020-09-21 2022-03-30 주식회사 브이알에이포인트 360-degree image providing interface to check the interior of the building
KR102410367B1 (en) * 2021-09-29 2022-06-22 (주)더서울테크 Interior means using electronic ink
KR20230171560A (en) 2022-06-14 2023-12-21 연세대학교 산학협력단 Method and apparatus for producing presentation image of interior architecture design based on augmented virtual reality and 360-degree spatial visualization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990063940A (en) * 1996-08-02 1999-07-26 요트.게.아. 롤페즈 Model and control virtual environment controls
JP2001236396A (en) * 2000-02-23 2001-08-31 Wall:Kk Mediation support system for real estate article
JP2002073726A (en) * 2000-09-01 2002-03-12 Sumitomo Forestry Co Ltd Dwelling house simulation system
JP2010266256A (en) * 2009-05-13 2010-11-25 Sanyo Electric Co Ltd Navigation apparatus
KR20160099917A (en) * 2015-02-13 2016-08-23 조영철 Method and apparatus for practicing driving

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990063940A (en) * 1996-08-02 1999-07-26 요트.게.아. 롤페즈 Model and control virtual environment controls
JP2001236396A (en) * 2000-02-23 2001-08-31 Wall:Kk Mediation support system for real estate article
JP2002073726A (en) * 2000-09-01 2002-03-12 Sumitomo Forestry Co Ltd Dwelling house simulation system
JP2010266256A (en) * 2009-05-13 2010-11-25 Sanyo Electric Co Ltd Navigation apparatus
KR20160099917A (en) * 2015-02-13 2016-08-23 조영철 Method and apparatus for practicing driving

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220039865A (en) * 2020-09-21 2022-03-30 주식회사 브이알에이포인트 360-degree image providing interface to check the interior of the building
KR102546151B1 (en) * 2020-09-21 2023-06-23 주식회사 브이알에이포인트 360-degree image providing interface to check the interior of the building
KR102410367B1 (en) * 2021-09-29 2022-06-22 (주)더서울테크 Interior means using electronic ink
KR20230171560A (en) 2022-06-14 2023-12-21 연세대학교 산학협력단 Method and apparatus for producing presentation image of interior architecture design based on augmented virtual reality and 360-degree spatial visualization

Similar Documents

Publication Publication Date Title
US10596478B2 (en) Head-mounted display for navigating a virtual environment
US9658617B1 (en) Remote controlled vehicle with a head-mounted display
US10303323B2 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
TWI610097B (en) Electronic system, portable display device and guiding device
US20180321798A1 (en) Information processing apparatus and operation reception method
TWI540534B (en) Control system and method for virtual navigation
JP2015522834A (en) Method and system for providing interaction information
US20100066662A1 (en) Image display device
US20100007636A1 (en) Image display device
KR102422929B1 (en) Display apparatus, server and control method thereof
US20150293739A1 (en) Computing apparatus, method for controlling computing apparatus thereof, and multi-display system
KR101877362B1 (en) Apparatus and method for interaction with user via vr contents for buildings
CN110622110A (en) Method and apparatus for providing immersive reality content
EP3418860B1 (en) Provision of virtual reality content
US20100007602A1 (en) Image display device
US20190114823A1 (en) Image generating apparatus, image generating method, and program
US20200192550A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
KR20180046793A (en) Method and system for providing 3D desktop
TW201715339A (en) Method for achieving guiding function on a mobile terminal through a panoramic database
US20240111390A1 (en) Translating Interactions on a Two-Dimensional Interface to an Artificial Reality Experience
CN113220110A (en) Display system and method
CN117666852A (en) Method, device, equipment and medium for determining target object in virtual reality space
CN118210371A (en) Virtual space entry detection method, device, equipment and medium
CN116266090A (en) Virtual reality equipment and focus operation method
JPWO2019224989A1 (en) 3DAR content creation device, 3DAR content playback device, and 3DAR content creation system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant