KR101974073B1 - Method of reconstructing groud surface for mixed reality - Google Patents

Method of reconstructing groud surface for mixed reality Download PDF

Info

Publication number
KR101974073B1
KR101974073B1 KR1020170175131A KR20170175131A KR101974073B1 KR 101974073 B1 KR101974073 B1 KR 101974073B1 KR 1020170175131 A KR1020170175131 A KR 1020170175131A KR 20170175131 A KR20170175131 A KR 20170175131A KR 101974073 B1 KR101974073 B1 KR 101974073B1
Authority
KR
South Korea
Prior art keywords
points
candidate region
previous frame
image
distance
Prior art date
Application number
KR1020170175131A
Other languages
Korean (ko)
Inventor
장광현
김영백
Original Assignee
(주)이공감
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이공감 filed Critical (주)이공감
Priority to KR1020170175131A priority Critical patent/KR101974073B1/en
Application granted granted Critical
Publication of KR101974073B1 publication Critical patent/KR101974073B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a floor surface reconstruction method for a mixed reality which accurately and quickly determines a reference floor surface when a virtual object is placed on a real space in a mixed reality. The floor surface reconstruction method comprises: a step of scanning and taking an image of spatial points in a real space; a step of extracting a candidate region to be set as a floor surface from the image; a step of extracting spatial coordinates of the spatial points corresponding to the candidate region; a step of determining whether there is a candidate region extracted from a previous frame; a step of selecting three points among the spatial coordinates when the candidate region from the previous frame is not present, and obtaining a distance variance between the plane depending on the three points and at least some points of the remaining points; and a step of obtaining the distance variances by a predetermined number of repetitions and selecting a plane corresponding to a minimum distance variance among the distance variances.

Description

혼합현실을 위한 바닥면 재구성 방법{METHOD OF RECONSTRUCTING GROUD SURFACE FOR MIXED REALITY}[0001] METHOD OF RECONSTRUCTING GROUD SURFACE FOR MIXED REALITY [0002]

본 발명은 혼합현실에서 가상 객체가 현실 공간에 배치하게 될 때 기준이 되는 바닥면을 정확하고 신속하게 결정하는 혼합현실을 위한 바닥면 재구성 방법에 관한 것이다.The present invention relates to a floor surface reconstruction method for a mixed reality that accurately and quickly determines a reference floor surface when a virtual object is placed in a real space in a mixed reality.

혼합현실(MR: Mixed Reality) 기술은 사용자가 눈으로 보는 현실세계에 부가정보를 가지는 가상 물체를 오버랩시켜 하나의 영상으로 보여주는 기술로서, 증강현실(AR: Augmented Reality) 기술이라고도 한다. 실제환경과 가상 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어, 스마트폰의 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 것이 증강현실이다.Mixed Reality (MR) technology is a technology that overlaps virtual objects with additional information in the real world seen by the user and displays them as a single image, which is also referred to as Augmented Reality (AR) technology. The augmented reality technology, which is a mixture of real environment and virtual objects, allows the user to see the real environment and provides better realism and additional information. For example, when a camera of a smart phone illuminates the surroundings, it is augmented reality that the information such as the location of a nearby shop, a telephone number, and the like is displayed as a stereoscopic image.

혼합현실은 현실공간 속에 가상의 오브젝트가 혼재하는 형태의 기술로서 기존의 공간과 사물 등이 모두 가상인 가상현실 기술과는 차이가 있다. 혼합현실을 제공하기 위한 가장 기본적인 방법으로 사용자가 See-Through 타입의 HMD(Head Mounted Display)를 착용하고 현실공간을 바라보면 HMD가 현실공간을 스캔하여 사용자가 바라보고 있는 관점에서 HMD를 통해 마치 현실공간 위에 가상의 오브젝트가 있는 것처럼 증강현실로 보여주는 것이다. 이러한 혼합현실에서 사용자에게 현실감을 주는 요소로는 현실공간 속 바닥면에 가상의 오브젝트를 정확하게 올려놓는 것이다. Mixed reality differs from virtual reality technology in that virtual reality objects are mixed in real space and existing space and objects are all virtual. As a basic way to provide mixed reality, when a user wears a See-Through type HMD (Head Mounted Display) and looks at the real space, the HMD scans the real space and, from the viewpoint of the user, It is shown as augmented reality as if virtual objects exist in space. In this mixed reality, the realistic factor for the user is to place the virtual object accurately on the floor in the real space.

현실공간 속 바닥면에 가상의 오브젝트를 정확하게 올려놓기 위해서는 현실공간을 스캔하여, 거리정보 즉 공간좌표를 획득해야 한다. 거리정보를 획득하기 위해 적외선 장치 등을 이용하는데, 적외선 장치의 해상도가 사람의 눈보다 떨어지고, 현실 공간에서 공간 또는 사물이 가지는 빛의 반사도가 모두 다르기 때문에 정밀한 스캔이 어렵다.In order to accurately place a virtual object on the floor in the real space, the real space must be scanned to obtain the distance information, that is, the spatial coordinates. In order to obtain distance information, an infrared device or the like is used. Since the resolution of the infrared device is lower than that of the human eye, and the reflection of light in space or objects is different in the real space, precise scanning is difficult.

도 1은 현실공간 스캔에 따른 공간정보가 재구성된 평면의 구축례이다. 도 1(a)을 참조하면, 실제 바닥면(S1)에 존재하는 공간점(P1)에 대한 공간좌표가 바닥면(S1)과 다른 평면에 있는 것처럼 스캔될 수 있다. 이러한 공간점(P1)을 이용하여 바닥면을 재구성하면, 도 1(b)와 같이 볼록한 면(B)이 생기는 울퉁불퉁한 바닥면으로 재구성될 수 있다. 이에 혼합현실에서 현실감 있으며, 정확한 바닥면 재구성 방법이 필요하다.1 is a construction example of a plane in which spatial information according to a real space scan is reconstructed. Referring to FIG. 1 (a), the spatial coordinates of the spatial point P1 existing on the actual floor S1 may be scanned as if it is in a plane different from the floor S1. If the floor surface is reconstructed using such a space point P1, it can be reconstructed into a rugged floor surface in which a convex surface B occurs as shown in Fig. 1 (b). Therefore, it is realistic in mixed reality and accurate floor reconstruction method is needed.

따라서, 본 발명의 목적은 혼합현실 구현시 가상 객체가 위치하게 될 좌표의 기준점이 되는 바닥면을 정확히 재구성하는 방법을 제공함에 있다.Accordingly, it is an object of the present invention to provide a method for accurately reconstructing a bottom surface serving as a reference point of a coordinate at which a virtual object will be located in a mixed reality realization.

본 발명은 현실공간에 가상의 객체를 혼재하기 위한 기준인 현실공간의 바닥면을 재구성하는 방법으로서, 혼합현실을 위한 바닥면 재구성 방법은 현실공간에 대한 공간점들의 스캔 및 이미지 촬영하는 단계; 상기 이미지에서 바닥면으로 설정할 후보영역을 추출하는 단계; 상기 후보영역에 해당하는 상기 공간점들의 공간좌표들을 추출하는 단계; 이전 프레임에서 추출된 후보영역이 있는지 판단하는 단계; 상기 이전 프레임 후보영역이 없는 경우, 상기 공간좌표들 중 세점을 선택하고, 상기 세점에 따른 평면과 나머지 점들 중 적어도 일부 점들과의 거리 분산을 구하는 단계; 및 기설정된 반복횟수 만큼 상기 거리 분산들을 구하고, 상기 거리 분산들 중 최소 거리 분산에 해당하는 평면을 선택하는 단계;를 포함할 수 있다.The present invention relates to a method for reconstructing a bottom surface of a real space, which is a criterion for mixing virtual objects in a real space, wherein a bottom surface reconstruction method for a mixed reality includes scanning and photographing spatial points of a real space; Extracting a candidate region to be set as a floor surface in the image; Extracting spatial coordinates of the spatial points corresponding to the candidate region; Determining whether there is a candidate region extracted from a previous frame; Selecting three points out of the spatial coordinates when the previous frame candidate region is not present and obtaining a distance variance between at least some points of the plane and the remaining points according to the three points; And obtaining the distance variance for a predetermined number of repetitions and selecting a plane corresponding to the minimum distance variance among the distance variances.

또한, 상기 후보영역은 상기 이미지 중 가장 넓은 평면 영역으로 추출된 영역일 수 있다.In addition, the candidate region may be an area extracted as the widest planar region of the image.

또한, 상기 이전 프레임 후보영역이 있는 경우, 상기 이전 프레임 이미지의 공간과 상기 촬용된 이미지의 공간이 기설정된 수치 이상의 유사도가 있는지 판단하는 단계; 및 상기 유사도 판단 결과 비유사하면, 상기 최소 거리 분산 구하는 단계를 실행하는 단계를 더 포함할 수 있다.Determining whether there is a similarity between the space of the previous frame image and the space of the photographed image by a predetermined value or more if the previous frame candidate region exists; And performing the step of obtaining the minimum distance variance if the similarity determination result is not similar.

또한, 상기 유사도 판단 결과 유사하면, 자이로 센서를 통해 이전 프레임과의 오일러 각도 변화를 추출하는 단계; 상기 변화된 오일러 각도에 기초하여 상기 이전 프레임의 평면 방정식을 변환하는 단계; 및 상기 변환된 이전 프레임의 평면 방정식과 상기 현재 프레임의 후보영역에서 적어도 일부의 점들과의 거리 평균을 구하고, 상기 거리 평균 만큼 상기 이전 프레임의 평면 방정식을 이동시켜 현재 프레임의 평면 방정식으로 결정하는 단계를 더 포함할 수 있다.If the similarity determination result is similar, extracting the Euler angle change with the previous frame through the gyro sensor; Transforming a plane equation of the previous frame based on the changed Euler angles; And determining a distance average of the plane equation of the transformed previous frame and at least a part of the points in the candidate region of the current frame and moving the plane equation of the previous frame by the distance average to be a plane equation of the current frame As shown in FIG.

본 발명에 따르면, 현실감을 높일 수 있으며, 가상 객체가 놓이는 지점을 정확하고 간단히 산출할 수 있는 혼합현실의 기준면인 바닥면을 결정할 수 있으며, 과다한 컴퓨팅 자원이 필요하지 않아, 바닥면 결정 시간을 단축 시킬 수도 있다.According to the present invention, it is possible to determine a floor, which is a reference plane of a mixed reality, in which realism can be enhanced and a point where a virtual object is placed can be accurately and simply calculated, and an excessive computing resource is not required, .

도 1은 현실공간 스캔에 따른 공간정보가 재구성된 평면의 구축례이고,
도 2는 본 발명의 일실시예에 따른 단말기의 블럭 구성도(block diagram)이고,
도 3 및 도 4는 본 발명의 일실시예에 따른 바닥면 재구성 방법의 순서도이고,
도 5는 거리 분산 계산의 기초 개념도이다.1 is a construction example of a plane in which spatial information according to a real space scan is reconstructed,
2 is a block diagram of a terminal according to an embodiment of the present invention,
3 and 4 are flowcharts of a floor surface reconstruction method according to an embodiment of the present invention,
5 is a basic conceptual diagram of the distance variance calculation.

이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한 네트워크 상의 제1 구성요소와 제2 구성요소가 연결되어 있거나 접속되어 있다는 것은, 유선 또는 무선으로 제1 구성요소와 제2 구성요소 사이에 데이터를 주고 받을 수 있음을 의미한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Also, the fact that the first component and the second component on the network are connected or connected means that data can be exchanged between the first component and the second component by wire or wirelessly.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.In addition, suffixes " module " and " part " for the components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms " module " and " part " may be used interchangeably.

이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 도면 전체를 통하여 동일하거나 유사한 구성요소에 대해서는 동일한 도면 부호를 부여하였고, 동일한 도면 부호를 가지는 구성요소에 대한 자세한 설명은 전술한 구성요소에 대한 설명으로 대체되어 생략될 수 있다.When such components are implemented in practical applications, two or more components may be combined into one component, or one component may be divided into two or more components as necessary. The same reference numerals are given to the same or similar components throughout the drawings, and detailed descriptions of components having the same reference numerals can be omitted and replaced with descriptions of the above-described components.

본 명세서에서 기술되는 혼합현실 단말기에는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 타블렛 컴퓨터(tablet computer), 등이 포함된다.A mobile phone, a smart phone, a notebook computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), a tablet computer, , And the like.

도 2는 본 발명의 일실시예에 따른 단말기의 블럭 구성도(block diagram)이다. 도 2를 참조하여 본 발명의 일실시예에 따른 단말기를 기능에 따른 구성요소 관점에서 살펴보면 다음과 같다.2 is a block diagram of a terminal according to an embodiment of the present invention. Referring to FIG. 2, a terminal according to an exemplary embodiment of the present invention will be described in terms of functional components.

도 2를 참조하면, 본 단말기(100)는, 제어부(110), 무선 통신부(120), A/V 입력부(130), 조작부(140), 스캔부(135), 출력부(150), 센싱부(160), 저장부(170), 인터페이스부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.2, the terminal 100 includes a control unit 110, a wireless communication unit 120, an A / V input unit 130, an operation unit 140, a scan unit 135, an output unit 150, Unit 160, a storage unit 170, an interface unit 180, and a power supply unit 190. When such components are implemented in practical applications, two or more components may be combined into one component, or one component may be divided into two or more components as necessary.

무선 통신부(120)는 근거리 통신 모듈(121), 무선 인터넷 모듈(123), GPS 모듈(125), 및 이동통신 모듈(127)을 포함할 수 있다.The wireless communication unit 120 may include a short range communication module 121, a wireless Internet module 123, a GPS module 125, and a mobile communication module 127.

근거리 통신 모듈(121)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.The short-range communication module 121 refers to a module for short-range communication. Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, and the like can be used as the short distance communication technology.

무선 인터넷 모듈(123)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(123)은 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless Internet module 123 is a module for wireless Internet access, and the wireless Internet module 123 can be embedded in the terminal 100 or externally. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

GPS(Global Position System) 모듈(125)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다. A GPS (Global Position System) module 125 receives position information from a plurality of GPS satellites.

이동통신 모듈(127)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 127 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

본 실시예에서, 바닥면 재구성 등 혼합현실 구축을 본 단말기에서 구현하는 것으로 설명하지만, 이에 한정되지 않는다. 예를 들어, 본 단말기가 휴대 단말기이고, 무선 통신부(120)를 통해 PC 또는 서버에서 혼합현실 구축에 필요한 작업을 하고 그 작업물을 수신하여 디스플레이할 수 있다.In the present embodiment, it is described that the mixed reality realization such as floor surface reconstruction is implemented in the present terminal, but the present invention is not limited thereto. For example, the terminal is a portable terminal, and can perform a work required for constructing mixed reality in a PC or a server through the wireless communication unit 120, and receive and display the work.

A/V(Audio/Video) 입력부(130)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(131)와 마이크(133) 등이 포함될 수 있다.An A / V (Audio / Video) input unit 130 is for inputting an audio signal or a video signal, and may include a camera 131 and a microphone 133.

카메라(131)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이 모듈(151)에 표시될 수 있다.The camera 131 processes image frames such as still images or moving images obtained by the image sensor in the video communication mode or the photographing mode. Then, the processed image frame can be displayed on the display module 151.

카메라(131)에서 처리된 화상 프레임은 저장부(170)에 저장되거나 무선 통신부(120)를 통하여 외부로 전송될 수 있다. 카메라(131)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 131 may be stored in the storage unit 170 or may be transmitted to the outside through the wireless communication unit 120. [ The camera 131 may be equipped with two or more cameras according to the configuration of the terminal.

카메라 모듈(131)은 혼합현실 서비스를 제공할 다양한 실체를 촬영하여 이미지를 획득할 수 있다.The camera module 131 can acquire an image by photographing various entities to provide a mixed reality service.

마이크(133)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(113)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (133)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.The microphone 133 receives an external sound signal by a microphone in a communication mode, a recording mode, a voice recognition mode, and the like, and processes it as electrical voice data. The processed voice data can be converted into a form that can be transmitted to the mobile communication base station through the mobile communication module 113 and output when the voice data is in the call mode. The microphone 133 may use various noise elimination algorithms for eliminating noise generated in receiving an external sound signal.

스캔부(135)는 적외선 카메라, 레이저 조사기 등을 장착하여, 현실공간의 공간점에 대한 공간좌표를 획득할 수 있다.The scanning unit 135 can acquire spatial coordinates of a spatial point of a real space by mounting an infrared camera, a laser irradiator, or the like.

조작부(사용자 입력부)(140)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 조작부(140)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 또한, 사용자 입력부(140)는 키를 회전시키는 조그 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식이나, 핑거 마우스 등으로 구성될 수 있다.An operation unit (user input unit) 140 generates key input data that the user inputs for controlling the operation of the terminal. The operation unit 140 may include a key pad, a dome switch, and a touch pad (static / static) capable of receiving commands or information by a push or touch operation of the user. The user input unit 140 may be a jog wheel that rotates a key, a jog type or a joystick, or a finger mouse.

출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)는 디스플레이 모듈(151), 음향 출력 모듈(153), 및 햅틱 모듈(157) 등을 포함할 수 있다.The output unit 150 is for outputting an audio signal, a video signal, or an alarm signal. The output unit 150 may include a display module 151, an acoustic output module 153, and a haptic module 157.

디스플레이 모듈(151)은 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.The display module 151 displays and outputs information processed by the terminal 100. For example, when the terminal 100 is in the call mode, a UI (User Interface) or a GUI (Graphic User Interface) associated with the call is displayed. When the terminal 100 is in the video communication mode or the photographing mode, the photographed or received images can be displayed individually or simultaneously, and the UI and the GUI are displayed.

디스플레이 모듈(151)은 카메라 모듈(131)에서 촬영한 이미지에 가상 객체를 결합한 화면을 표시할 수 있다.The display module 151 may display a screen in which a virtual object is combined with an image captured by the camera module 131. [

음향 출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 저장부(170)에 저장된 오디오 데이터를 출력한다. 음향 출력 모듈(153)은 디스플레이 모듈(151)에서 혼합현실을 디스플레이할 때, 가상 객체의 소리를 출력하여 현실감을 더 높일 수 있다. 이러한 음향 출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 153 outputs audio data received from the wireless communication unit 110 or stored in the storage unit 170 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, When displaying mixed reality in the display module 151, the sound output module 153 may output a sound of the virtual object to further enhance the sense of reality. The sound output module 153 may include a speaker, a buzzer, and the like.

햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The haptic module 157 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 157 is a vibration effect. When the haptic module 157 generates vibration with a haptic effect, the intensity and pattern of the vibration generated by the haptic module 157 can be converted, and the different vibrations can be synthesized and output or sequentially output.

햅틱 모듈(157)은 진동 외에도, 접촉 피부 면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(electrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열이 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(157)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(157)은 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.In addition to the vibration, the haptic module 157 may be provided with a function of stimulating by a pin arrangement vertically moving with respect to the contact skin surface, an effect of stimulating air through the injection or suction force of the air through the injection port or the suction port, The effect of stimulation through contact of an electrode, the effect of stimulation by electrostatic force, and the effect of reproducing a cold sensation using a device capable of endothermic or exothermic can be generated. The haptic module 157 can be implemented not only to transmit the tactile effect through direct contact but also to feel the tactile effect through the muscular sense of the user's finger or arm. More than two haptic modules 157 may be provided according to the configuration of the terminal 100.

햅틱 모듈(157)은 가상 객체가 구현될 때 다양한 사용자 경험을 느끼게 할 수 있다.The haptic module 157 may experience various user experiences when virtual objects are implemented.

센싱부(160)는 단말기(100)의 개폐 상태, 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 단말기(100)의 현 상태를 감지하여 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(180)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.The sensing unit 160 senses the current state of the terminal 100 such as the open / close state of the terminal 100, the position of the terminal 100, the presence or absence of user contact and generates a sensing signal for controlling the operation of the terminal 100 . For example, when the terminal 100 is in the form of a slide phone, it is possible to sense whether the slide phone is opened or closed. In addition, a sensing function related to the power supply of the power supply unit 190, whether or not the interface unit 180 is coupled to an external device, and the like can be handled.

센싱부(160)는 압력 센서 모듈(161), 및 모션 센서 모듈(163)을 포함할 수 있다.The sensing unit 160 may include a pressure sensor module 161, and a motion sensor module 163.

압력 센서 모듈(161)은 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력 센서 모듈(161)은 사용환경에 따라 단말기(100)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력 센서 모듈(161)이 디스플레이 모듈(151)에 설치되는 경우, 압력 센서 모듈(161)에서 출력되는 신호에 따라, 디스플레이 모듈(151)을 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력 센서 모듈(161)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이 모듈(151)에 가해지는 압력의 크기도 알 수 있다.The pressure sensor module 161 can detect whether pressure is applied to the terminal 100, the magnitude of the pressure, and the like. The pressure sensor module 161 may be installed at a position where the pressure of the terminal 100 needs to be detected according to the use environment. If the pressure sensor module 161 is installed in the display module 151, the touch input through the display module 151 and the pressure input from the pressure sensor module 161 To identify the applied pressure touch input. Also, according to the signal output from the pressure sensor module 161, the magnitude of the pressure applied to the display module 151 in the pressure touch input can be known.

모션 센서 모듈(163)은 가속도 센서, 자이로 센서 등을 이용하여 단말기(100)의 위치나 움직임 등을 감지한다. 모션 센서 모듈(163)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다. 가속도 센서는 보통 2축이나 3축을 하나의 패키지에 실장하여 구성되며, 사용 환경에 따라서는 Z축 한 축만 필요한 경우도 있다. 따라서, 어떤 이유로 Z축 방향 대신 X축 또는 Y축 방향의 가속도 센서를 써야 할 경우에는 별도의 조각 기판을 사용하여 가속도 센서를 주 기판에 세워서 실장할 수도 있다.The motion sensor module 163 senses the position and movement of the terminal 100 using an acceleration sensor, a gyro sensor, or the like. An acceleration sensor that can be used in the motion sensor module 163 is a device that converts an acceleration change in one direction into an electric signal, and is widely used along with the development of micro-electromechanical systems (MEMS) technology. The acceleration sensor measures the acceleration of a small value built in the airbag system of an automobile and recognizes the minute motion of the human hand and measures the acceleration of a large value used as an input means such as a game There are various types. Acceleration sensors are usually constructed by mounting two or three axes in one package. Depending on the usage environment, only one axis of Z axis is required. Therefore, when the acceleration sensor in the X-axis direction or the Y-axis direction is used instead of the Z-axis direction for some reason, the acceleration sensor may be mounted on the main substrate by using a separate piece substrate.

또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. 자이로 센서는 단말기의 방향을 3차원 공간 좌표계의 회전각으로 획득할 수 있다. 예를 들면, 회전각은 오일러 각으로 획득할 수 있는데, 제1 각도는 z 축을 히전축으로 하여 회전된 xy 좌표축의 각도, 및 제2 각도는 회전된 x 축을 회전축으로 하여 회전된 zy 좌표축의 각도, 및 제3 각도는 회전된 z 축을 회전축으로 하여 회전된 xy 좌표축의 각도와 같이 표시할 수 있다.The gyro sensor is a sensor for measuring the angular velocity, and it can sense the direction of rotation with respect to the reference direction. The gyro sensor can acquire the direction of the terminal by the rotation angle of the three-dimensional spatial coordinate system. For example, the rotation angle can be obtained by the Euler angles, where the first angle is the angle of the rotated xy coordinate axis with the z axis as the major axis, and the second angle is the angle of the zy coordinate axis rotated with the rotated x axis as the rotation axis , And the third angle can be expressed as the angle of the rotated xy coordinate axis with the rotated z axis as the rotation axis.

저장부(170)는 제어부(110)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The storage unit 170 may store a program for processing and controlling the control unit 110 and may include a function for temporarily storing input or output data (e.g., a phone book, a message, a still image, . ≪ / RTI >

저장부(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 단말기(100)는 인터넷(internet) 상에서 저장부(170)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The storage unit 170 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) A RAM, and a ROM. Also, the terminal 100 may operate a web storage that performs a storage function of the storage unit 170 on the Internet.

인터페이스부(180)는 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 단말기(100)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module) 카드, UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(180)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 180 serves as an interface with all external devices connected to the terminal 100. Examples of external devices connected to the terminal 100 include a wired / wireless headset, an external charger, a wired / wireless data port, a memory card, a SIM (Subscriber Identification Module) card, a UIM The same card socket, audio I / O (input / output) terminal, video I / O (input / output) terminal and earphone. The interface unit 180 may receive data from the external device or supply power to the respective components in the terminal 100 and may transmit data in the terminal 100 to the external device.

제어부(110)는 통상적으로 상기 각부의 동작을 제어하여 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화, 혼합현실 구축 및 디스플레이 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(110)는 혼합현실 재생을 위한 혼합현실 재생 모듈(112)을 구비할 수도 있다. 혼합현실 재생 모듈(112)은 제어부(110) 내에 하드웨어로 구성될 수도 있고, 제어부(110)와 별도의 소프트웨어로 구성될 수도 있다.The controller 110 typically controls the operations of the respective units to control the overall operation of the terminal 100. For example, voice calls, data communications, video calls, mixed reality construction and display, and the like. In addition, the control unit 110 may include a mixed reality reproduction module 112 for mixed reality reproduction. The mixed reality reproduction module 112 may be configured in hardware in the control unit 110 or may be formed of software separate from the control unit 110. [

그리고, 전원 공급부(190)는 제어부(110)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives external power and internal power under the control of the controller 110 and supplies power necessary for operation of the respective components.

도 3 및 도 4는 본 발명의 일실시예에 따른 바닥면 재구성 방법의 순서도이고, 도 5는 거리 분산 계산의 기초 개념도이다.FIGS. 3 and 4 are flowcharts of a floor surface reconstruction method according to an embodiment of the present invention, and FIG. 5 is a basic conceptual diagram of a distance variance calculation.

도 3을 참조하면, 제어부(110)는 카메라 모듈(131) 및 스캔부(135)가 동일한 현실공간을 촬영 및 스캔하도록 할 수 있다(S310). 제어부(110)는 촬영된 이미지 및 현실공간의 공간좌표를 가지는 공간점들을 취득할 수 있다. 공간좌표는 임의의 기준선들을 좌표축으로 하여 얻어지는 좌표값로, 다양한 좌표계로 표시되거나 변환될 수 있다. 예를 들어, 최초 스캔시 원통좌표계 또는 구면좌표계의 좌표값으로 획득하고, 이를 직교좌표계로 변환하여 사용할 수 있다.Referring to FIG. 3, the controller 110 may cause the camera module 131 and the scan unit 135 to photograph and scan the same physical space (S310). The control unit 110 can acquire spatial points having spatial coordinates of the photographed image and the real space. The spatial coordinates are coordinate values obtained by taking arbitrary reference lines as coordinate axes, and can be displayed or converted in various coordinate systems. For example, at the initial scan, it can be obtained as a coordinate value of a cylindrical coordinate system or a spherical coordinate system, and converted into an orthogonal coordinate system.

제어부(110)는 이미지의 각 픽셀과 공간점들을 매칭하여, 이미지의 각 픽셀이 공간좌표를 가지도록 할 수 있다. The control unit 110 may match each pixel and the spatial point of the image so that each pixel of the image has spatial coordinates.

제어부(110)는 이미지의 영상 처리를 통해 바닥면으로 설정할 후보영역을 추출할 수 있다(S315). 후보영역은 이미지 중 가장 넓은 평면으로 추출된 영역인 것이 바람직하다. The control unit 110 may extract a candidate region to be set as a floor surface through image processing of the image (S315). Preferably, the candidate region is an area extracted with the widest plane of the images.

제어부(110)는 이미지 중 후보영역에 해당하는 픽셀들, 즉, 공간점들의 공간좌표들을 추출할 수 있다(S320). 이는 앞서 설명한 이미지와 스캔된 공간좌표들의 매칭 테이블에서 추출할 수 있다. The controller 110 may extract spatial coordinates of pixels corresponding to candidate regions in the image, that is, spatial points (S320). This can be extracted from the matching table of the previously described image and the scanned spatial coordinates.

제어부(110)는 이전 프레임에서 후보영역을 추출한 적이 있는지 판단할 수 있다(S325). 혼합현실 관련 어플리케이션이 처음 구동된 경우, 이미지 촬영을 개시하거나 스캔부(135)가 처음 구동한 경우 등의 환경이라면, 이전 프레임에서 후보영역을 추출한 적이 없는 것으로 결정할 수 있다. The control unit 110 may determine whether the candidate region has been extracted in the previous frame (S325). It is possible to determine that the candidate region has not been extracted in the previous frame if the hybrid reality related application is started for the first time or when the image pickup is started or when the scan unit 135 is started for the first time.

제어부(110)는 이전 프레임에서 후보영역을 추출한 적이 있으면, 이전 프레임의 이미지와 현재 프레임 이미지의 유사 여부를 판단할 수 있다(S330). 이미지 유사 판단 대상은 이미지 전부이거나, 이미지의 영상 처리를 통해 추출된 배경에 해당하는 공간일 수 있다. 예를 들어, 이전 프레임의 이미지 전부 대 현재 프레임의 이미지 전부, 또는 이전 프레임의 이미지 공간 대 현재 프레임의 이미지 공간과 같을 수 있다. 유사도는 판단 대상이 겹치는 정도로 정할 수 있다. 유사도가 기설정된 수치 이상인 경우, 이전 및 현재 프레임의 이미지는 유사한 것으로 판단할 수 있다. If the candidate region has been extracted in the previous frame, the control unit 110 may determine whether the previous frame image is similar to the current frame image in operation S330. The image similarity judgment object may be the entire image or a space corresponding to the background extracted through the image processing of the image. For example, all of the image of the previous frame versus all of the images of the current frame, or the image space of the previous frame versus the image space of the current frame. The degree of similarity can be determined to the degree of overlapping of objects to be judged. If the similarity is equal to or greater than the predetermined value, the images of the previous and current frames can be judged to be similar.

이전 후보영역 유무 판단(S325) 결과 이전 후보영역이 비존재하거나, 이전 이미지와 유사 판단(S330) 결과 비유사한 경우, 제어부(110)는 후보영역의 임의의 세 점에 따른 평면과 나머지 점들의 거리 분산을 반복하여 계산할 수 있다(S335). If the previous candidate region does not exist or the result is similar to the previous image (S330), the controller 110 determines whether or not the distance between the plane and the remaining points according to any three points of the candidate region The dispersion can be calculated by repeating (S335).

본 거리 분산 반복 계산(S335) 과정 중 거리 분산을 구하는 구체적인 방법은 다음과 같다. The concrete method of calculating the distance variance during the repetitive calculation of the distance distribution (S335) is as follows.

도 4를 참조하면, 제어부(110)는 후보영역에서 임의의 세 점(d1~3)을 선택할 수 있다(S410). 제어부(110)는 선택된 세 점으로 제1 평면 방정식(D1)을 도출할 수 있다(S415). 도 5(a)를 참조하면, 제어부(110)는 도출한 평면 방정식과 후보영역의 다른 공간점(p1)과의 거리(h11)를 구할 수 있다(S420). 제어부(110)는 제1 평면 방정식(D1)과 계속해서 또 다른 공간점과의 거리(h12, h13, ...)을 구할 수 있다. 계산의 신속성을 위해, 제어부(110)는 후보영역 중 세 점(d1~3)을 제외한 모든 점보다는 랜덤하게 선택한 일부 점들과의 거리를 구하는 것이 바람직하다. 제어부(110)는 구한 거리들(h11, h12, h13, ...)의 분산 또는 제1 표준편차(σ1)를 구할 수 있다. Referring to FIG. 4, the controller 110 may select any three points d1 to d3 in the candidate area (S410). The controller 110 may derive the first plane equation D1 at the selected three points (S415). Referring to FIG. 5A, the controller 110 can obtain the distance h11 between the derived plane equation and another spatial point p1 of the candidate region (S420). The control unit 110 can obtain the distances h12, h13, ... between the first plane equation D1 and another spatial point. In order to speed up the calculation, the controller 110 preferably obtains distances to some points randomly selected from all points except for the three points (d1 to d3) among the candidate areas. The control unit 110 can obtain the variance or the first standard deviation? 1 of the obtained distances h11, h12, h13, ....

도 5를 참조하면, 제어부(110)는 다른 임의의 세 점(d4~6)을 선택하고(S410), 제2 평면 방정식(D2)를 도출하고(S415), 다른 점들과의 거리(h21)를 구하고(S420), 거리들(h21, h22, h23, ...)의 분산, 즉 제2 표준편차(σ2)를 구하는 단계(S425)를 기설정된 반복 횟수 만큼 할 수 있다(S335). 5, the controller 110 selects three arbitrary three points d4 to d6 (S410), derives a second plane equation D2 (S415), calculates a distance h21 from the other points (S425), and obtaining the variance of the distances h21, h22, h23, ..., that is, the second standard deviation? 2 (S425).

거리 분산 반복 계산(S335)이 완료되면, 제어부(110)는 거리 분산들 즉, 표준편차들(σ1, σ2, ...) 중 최소 거리 분산을 선택할 수 있다(S340). When the distance variance repeated calculation (S335) is completed, the controller 110 may select the minimum distance variance among the distance variances, i.e., the standard deviations? 1,? 2, ... (S340).

이와 같은 과정을 통해, 제어부(110)는 최소 거리 분산이 나온 평면 방정식으로 바닥면으로 재구성할 수 있다. Through this process, the controller 110 can reconstruct the bottom plane with a plane equation with minimal distance dispersion.

제어부(110)는 이전 후보영역 판단(S325) 결과 이전 후보영역이 존재하고, 이전 이미지와 유사하다고 판단(S330)한 경우, 모션 센서 모듈(163) 특히 자이로 센서를 통해, 단말기의 이전 프레임과의 현재 프레임간의 공간 이동 각을 얻을 수 있다(S355). 공간 이동 각은 오일러 각 변화량일 수 있다. The controller 110 determines whether the previous candidate region exists as a result of the determination of the previous candidate region S325 and determines that the previous candidate region is similar to the previous image in operation S330. A space movement angle between the current frames can be obtained (S355). The spatial shift angle may be an Euler angular variation.

제어부(110)는 이전 프레임에서 설정한 평면 방정식의 법선 벡터를 오일러 각 변화량 만큼 회전 이동할 수 있다(S360). The controller 110 may rotate the normal vector of the plane equation set in the previous frame by the Euler angular variation (S360).

제어부(110)는 후보영역의 공간점들 중 적어도 일부 점들의 공간좌표를 위 변환된 법선 벡터를 가지는 평면 방정식에 대입하여 나오는 상수들의 평균값을 상수로 결정할 수 있다(S365). 이와 같은 과정은 많은 후보 평면 방정식을 구하고, 다른 점들과의 거리 분산들을 구하는 과정을 생략시킬 수 있다. 이를 통해, 컴퓨팅 자원을 줄일 수 있다. The controller 110 may determine the average value of the constants that are obtained by substituting the spatial coordinates of at least some points among the spatial points of the candidate region into the plane equation having the normalized transformed normal vector at step S365. This process can eliminate many of the process of obtaining many candidate plane equations and obtaining the distance variances with other points. This can reduce computing resources.

상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 즉, 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 매체를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터가 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈, 및 기타 데이터 등 정보 저장을 위한 임의의 방법 또는 기술로서 구현된 모든 저장 가능한 매체를 포함하는 것으로, 휘발성/비휘발성/하이브리드형 메모리 여부, 분리형/비분리형 여부 등에 한정되지 않는다. 통신 저장 매체 는 반송파와 같은 변조된 데이터 신호 또는 전송 메커니즘, 임의의 정보 전달 매체 등을 포함한다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The present invention can be implemented in hardware or software. The present invention can also be embodied as computer readable code on a computer readable recording medium. That is, in the form of a recording medium including instructions executable by the computer. Computer-readable media includes any type of media in which data that can be read by a computer system is stored. Computer readable media can include computer storage media and communication storage media. Computer storage media includes any storable medium embodied as any method or technology for storage of information such as computer readable instructions, data structures, program modules, and other data, including volatile / nonvolatile / hybrid type memory Whether it is separated / non-detachable, and the like. Communication storage media include modulated data signals or transmission mechanisms, such as carrier waves, any information delivery media, and the like. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes and modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

110: 제어부 112: 혼합현실 재생 모듈
120: 무선 통신부 130: A/V 입력부
131: 카메라 모듈 135: 스캔부
150: 출력부 151: 디스플레이 모듈
160: 센싱부 163: 모션 센서 모듈110: control unit 112: mixed reality reproduction module
120: wireless communication unit 130: A / V input unit
131: camera module 135: scan unit
150: output unit 151: display module
160: sensing part 163: motion sensor module

Claims (4)

현실공간에 가상의 객체를 혼재하기 위한 기준인 현실공간의 바닥면을 재구성하는 방법으로서,
현실공간에 대한 공간점들의 스캔 및 이미지 촬영하는 단계;
상기 이미지에서 바닥면으로 설정할 후보영역을 추출하는 단계;
상기 후보영역에 해당하는 상기 공간점들의 공간좌표들을 추출하는 단계;
이전 프레임에서 추출된 후보영역이 있는지 판단하는 단계;
상기 이전 프레임 후보영역이 없는 경우, 상기 공간좌표들 중 세점을 선택하고, 상기 세점에 따른 평면과 나머지 점들 중 적어도 일부 점들과의 거리 분산을 구하는 단계;
기설정된 반복횟수 만큼 상기 거리 분산들을 구하고, 상기 거리 분산들 중 최소 거리 분산에 해당하는 평면을 선택하는 단계;
상기 이전 프레임 후보영역이 있는 경우, 상기 이전 프레임 이미지의 공간과 상기 촬영된 이미지의 공간이 기설정된 수치 이상의 유사도가 있는지 판단하는 단계;
상기 유사도 판단 결과 비유사하면, 상기 최소 거리 분산 구하는 단계를 실행하는 단계;
상기 유사도 판단 결과 유사하면, 자이로 센서를 통해 이전 프레임과의 오일러 각도 변화를 추출하는 단계;
상기 변화된 오일러 각도에 기초하여 상기 이전 프레임의 평면 방정식을 변환하는 단계; 및
상기 변환된 이전 프레임의 평면 방정식과 현재 프레임의 후보영역에서 적어도 일부의 점들과의 거리 평균을 구하고, 상기 거리 평균 만큼 상기 이전 프레임의 평면 방정식을 이동시켜 현재 프레임의 평면 방정식으로 결정하는 단계를 포함하는, 바닥면 재구성 방법.A method for reconstructing a floor of a real space, which is a criterion for mixing virtual objects in a real space,
Scanning the space points with respect to the real space and taking an image;
Extracting a candidate region to be set as a floor surface in the image;
Extracting spatial coordinates of the spatial points corresponding to the candidate region;
Determining whether there is a candidate region extracted from a previous frame;
Selecting three points out of the spatial coordinates when the previous frame candidate region is not present and obtaining a distance variance between at least some points of the plane and the remaining points according to the three points;
Obtaining the distance variances by a predetermined number of repetitions and selecting a plane corresponding to the minimum distance variance among the distance variances;
Determining whether there is a similarity between the space of the previous frame image and the space of the photographed image by a predetermined value or more if the previous frame candidate region exists;
Performing the step of obtaining the minimum distance variance if the similarity determination result is not similar;
Extracting an Euler angle change with a previous frame through a gyro sensor if the similarity determination result is similar;
Transforming a plane equation of the previous frame based on the changed Euler angles; And
Obtaining a distance average of the plane equation of the converted previous frame and at least a part of the points in the candidate region of the current frame and moving the plane equation of the previous frame by the distance average to determine the plane equation of the current frame A bottom surface reconstruction method. 제 1 항에 있어서,
상기 후보영역은 상기 이미지 중 가장 넓은 평면 영역으로 추출된 영역인, 바닥면 재구성 방법.The method according to claim 1,
Wherein the candidate region is an area extracted as the widest planar region of the image. 삭제delete 삭제delete
KR1020170175131A 2017-12-19 2017-12-19 Method of reconstructing groud surface for mixed reality KR101974073B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170175131A KR101974073B1 (en) 2017-12-19 2017-12-19 Method of reconstructing groud surface for mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170175131A KR101974073B1 (en) 2017-12-19 2017-12-19 Method of reconstructing groud surface for mixed reality

Publications (1)

Publication Number Publication Date
KR101974073B1 true KR101974073B1 (en) 2019-04-30

Family

ID=66285541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170175131A KR101974073B1 (en) 2017-12-19 2017-12-19 Method of reconstructing groud surface for mixed reality

Country Status (1)

Country Link
KR (1) KR101974073B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197884A (en) * 2007-02-13 2008-08-28 Toyota Motor Corp Generation method for environmental map and mobile robot
KR20130014358A (en) * 2011-07-28 2013-02-07 삼성전자주식회사 Marker-less augmented reality system using plane feature and method thereof
JP2015215646A (en) * 2014-05-07 2015-12-03 日本電産エレシス株式会社 Analysis device, analysis method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197884A (en) * 2007-02-13 2008-08-28 Toyota Motor Corp Generation method for environmental map and mobile robot
KR20130014358A (en) * 2011-07-28 2013-02-07 삼성전자주식회사 Marker-less augmented reality system using plane feature and method thereof
JP2015215646A (en) * 2014-05-07 2015-12-03 日本電産エレシス株式会社 Analysis device, analysis method, and program

Similar Documents

Publication Publication Date Title
US10007349B2 (en) Multiple sensor gesture recognition
KR20180096078A (en) Module type home robot
KR20160071887A (en) Mobile terminal and method for controlling the same
CN111445583B (en) Augmented reality processing method and device, storage medium and electronic equipment
KR20160141458A (en) Mobile terminal
KR102028336B1 (en) Display apparatus for displaying multi screen and method for controlling thereof
US20190197788A1 (en) Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
CN112907725A (en) Image generation method, image processing model training method, image processing device, and image processing program
KR20200028771A (en) Electronic device and method for recognizing user gestures based on user intention
KR20150129591A (en) A mobile device, a method for controlling the mobile device, and a control system having the mobile device
US20210258354A1 (en) Electronic device and method for providing information in virtual reality
CN106412810B (en) Data transmission method and device
KR101632220B1 (en) A mobile device, a method for controlling the mobile device, and a control system having the mobile device
KR20200102080A (en) Electronic device for providing visualized artificial intelligence service based on information of external object and method for the same
KR102260193B1 (en) Remote augmented reality communication method and system that provides security for 3d-space
KR101974073B1 (en) Method of reconstructing groud surface for mixed reality
KR20170083328A (en) Mobile device and method for controlling the mobile device
KR102462204B1 (en) Method and apparatus for providing vibration
KR20110126438A (en) Mobile terminal and operation method thereof
KR20220062473A (en) Electronic device for location-based ar linking of object-based augmentation contents and operating method thereof
KR20150106535A (en) Mobile terminal and controlling method thereof
CN110213205A (en) Verification method, device and equipment
KR20180055364A (en) Mobile terminal
CN109194943B (en) Image processing method and terminal equipment
KR20170045676A (en) Mobile terminal and operating method thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant