KR20160066292A - System and method for controlling Internet-of-Things device - Google Patents

System and method for controlling Internet-of-Things device Download PDF

Info

Publication number
KR20160066292A
KR20160066292A KR1020140170486A KR20140170486A KR20160066292A KR 20160066292 A KR20160066292 A KR 20160066292A KR 1020140170486 A KR1020140170486 A KR 1020140170486A KR 20140170486 A KR20140170486 A KR 20140170486A KR 20160066292 A KR20160066292 A KR 20160066292A
Authority
KR
South Korea
Prior art keywords
internet appliance
object internet
vector
internet
dimensional space
Prior art date
Application number
KR1020140170486A
Other languages
Korean (ko)
Inventor
김성수
박경
원종호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140170486A priority Critical patent/KR20160066292A/en
Publication of KR20160066292A publication Critical patent/KR20160066292A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a system and a method for controlling an internet-of-things device based on the data structured by combining an indoor three-dimensional data constitution and internet-of-things device information. The system comprises: a depth camera which is installed in a house to generate a multi-view image by filming an indoor scene, and generate a user gesture image by filming a user gesture that refers to an internet-of-things device; an internet-of-things device controller which processes the multi-view image to configure a three-dimensional space for the location of an indoor internet-of-things device, and generates a ray vector by processing the user gesture image; a data warehouse server which receives and stores a three-dimensional space and a ray vector from the internet-of-things device, constitutes a cylinder by clustering the ray vector, and after performing a collision test by using the constituted cylinder and the three-dimensional space information, generates an internet-of-things device identifier; and an internet-of-things device management server which receives the internet-of-things device identifier from the data warehouse server, and transmits the control screen for controlling the internet-of-things device corresponding to the received internet-of-things device identifier to a user terminal.

Description

사물 인터넷 기기 제어 시스템 및 방법 {System and method for controlling Internet-of-Things device}BACKGROUND OF THE INVENTION Field of the Invention The present invention relates to a system and method for controlling Internet devices,

본 발명은 사물인터넷 기기 제어 기술에 관한 것으로, 상세하게는 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 시스템 및 방법에 관한 것이다.
In particular, the present invention relates to a system and a method for controlling an object Internet appliance based on data constructed by combining a home 3D data structure and object Internet appliance information.

최근 사물인터넷(IoT : Internet of Things) 기술이 발달함에 따라, IoT 기술이 적용된 기기(‘IoT 기기’)에서 생성하는 데이터는 하나의 서버에서 관리하기 어려울 정도의 대규모 데이터로 누적되어 사용되고 있다.With the development of Internet of Things (IoT) technology, data generated by IoT devices (IoT devices) are accumulated and used as large-scale data that is difficult to manage on a single server.

이런 IoT 기기에서 생성한 빅데이터는 운영 인텔리전스(Operational Intelligence)를 필요로 하는 비즈니스 영역에서 실시간 처리 및 분석이 요구되고 있다.Big data generated by these IoT devices are required to be processed and analyzed in real time in a business area that requires operational intelligence.

최근 홈 네트워크 환경 내의 다양한 사물인터넷 기기 사용에 있어서, 사용자는 전통적인 그래픽 사용자 인터페이스(GUI : Graphic User Interface)를 통한 사물인터넷 기기의 제어 방식에서 자연스러운 손동작 등의 제스처를 통한 사용자 인터페이스(Natural User Interface; 이하 ‘NUI’) 형태로 진화해 나가고 있으며, 직관적인 NUI에 대한 요구가 급속히 증가하고 있다.2. Description of the Related Art [0002] Recently, in the use of a variety of object internet devices in a home network environment, a user has to use a natural user interface (hereinafter referred to as " user interface ") through a gesture such as a natural hand gesture in a control method of an object Internet device through a conventional graphical user interface 'NUI'), and the demand for intuitive NUI is rapidly increasing.

특히, 스마트 홈 환경에서의 종래의 홈 게이트를 통한 가정 내 가전을 통합 관리 제어하는 것에서 벗어나 증강현실 및 동작인식을 위한 센서 기술을 통해 사용자가 가전기기를 쉽게 제어할 수 있는 증강현실 기반의 스마트 사물인터넷 기기 제어 시스템 형태로 발전하고 있다.In particular, augmented reality-based smart objects that allow users to easily control home appliances through sensor technology for augmented reality and motion recognition, apart from integrated management and control of home appliances through home gates in a smart home environment, Internet appliance control system.

이러한 가정 내의 증강현실 기반 스마트 사물인터넷 기기 제어 서비스는 홈 네트워크 내 스마트 폰 카메라를 이용한 이미지 내의 가전기기의 QR 코드 추출 및 인식을 통해 보다 진보된 기능으로 제공되고 있다.This home augmented reality based smart object internet device control service is provided as a more advanced function through QR code extraction and recognition of home appliances in images using a smart phone camera in a home network.

그러나, 사물인터넷 기기에 식별을 위한 QR 코드 혹은 바코드를 부착하여 증강현실을 결합한 서비스와 IR 센서를 이용한 사용자 동작 인식을 통한 서비스 형태는 별도의 QR 코드 데이터 구축 및 센서 장비를 요구한다는 단점이 있다.However, there is a disadvantage in that a service combining augmented reality by attaching a QR code or a barcode for identification to the Internet device for objects, and a service form using a user's operation recognition using an IR sensor require separate QR code data construction and sensor equipment.

또한, 사용자가 사물인터넷 기기를 선택하여 제어하고자 할 때, 별도의 스마트 폰과 같은 카메라가 부착된 디바이스에서 제어하고자 하는 기기를 촬영한 후, 이미지 상의 QR 코드 부분을 추출하고 해석해야 하는 처리가 필요하다.In addition, when the user selects and controls the object Internet device, it is necessary to extract the QR code portion on the image and analyze the device after capturing the device to be controlled from a device having a camera such as a separate smart phone Do.

또 다른 접근방법으로는, 사물인터넷 기기 제어를 위한 실세계가 아닌 3차원 가상 세계(Virtual 3D world)를 통해 서비스를 제공하는 방법이 있다. 이 방법은 실세계의 보이는 사물이 아닌 가상 객체를 선택하여 제어하는 방식이므로 사용자에게 직관적인 서비스를 제공하기 어렵다.Another approach is to provide services through a virtual 3D world rather than a real world for object Internet device control. This method is a method to select and control a virtual object rather than a visible object in the real world, so it is difficult to provide an intuitive service to a user.

현재 사용자 손동작(제스처)을 통해 제공되는 제어 방법은 IR(Infra-red) 카메라와 IR 센서(emitter)가 부착된 장갑을 사용자가 착용하고 제어하는 방법이 있지만, 이 또한 사용자가 별도의 제작된 장갑을 착용해야 한다는 문제점이 있다.Currently, there is a control method provided through a user's hand gesture (gesture) in which a user wears and controls a glove having an IR (Infra-red) camera and an IR sensor (emitter) There is a problem in that it must be worn.

따라서, 직관적인 사물인터넷 기기의 식별을 위한 QR 마크 부착과 사용자의 동작 분석을 위한 IR 센서 장갑들을 대체할 수 있는 실내 장면 3차원 정보 및 사물인터넷 기기 정보를 결합시켜 볼 필요성이 있다.
Therefore, there is a need to combine information of indoor scene 3D information and object Internet device, which can replace the IR sensor gloves for the identification of intuitive Internet devices with QR marks and user's motion analysis.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 시스템 및 방법을 제공함에 있다.
SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a method and system for controlling an object Internet appliance based on data constructed by combining house 3D data and object Internet appliance information, And to provide a system and a method for performing the method.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 사물인터넷 기기 제어 시스템은, 댁 내에 설치되어, 실내 장면을 촬영하여 다시점 이미지를 생성하고, 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 깊이 카메라; 상기 다시점 이미지를 처리하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하고, 상기 사용자 제스처 이미지를 처리하여 광선벡터를 생성하는 사물인터넷 기기 제어기; 상기 사물인터넷 기기로부터 3차원 공간과 광선벡터를 수신 및 저장하고, 상기 광선벡터를 클러스터링하여 실린더를 구성하고, 구성된 실린더와 상기 3차원 공간 정보를 이용하여 충돌 검사를 한 후, 사물인터넷 기기 식별자를 생성하는 데이터 웨어하우스 서버; 및 상기 데이터 웨어하우스 서버로부터 상기 사물인터넷 기기 식별자를 수신하고, 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 사물인터넷 기기 관리 서버로 구성된다.According to an aspect of the present invention, there is provided an Internet appliance control system installed in a home, photographing an indoor scene to generate a multi-point image, photographing a user gesture indicating an Internet appliance, A depth camera that generates a user gesture image; Constructing a three-dimensional space with respect to the position of the in-house internet appliance by processing the multi-point image, and processing the user gesture image to generate a light vector; Dimensional space and a light ray vector from the object Internet equipment, composing the cylinder by clustering the light ray vectors, collision inspection using the constructed cylinder and the three-dimensional space information, A data warehouse server to generate; And a object Internet device management server for receiving the object internet device identifier from the data warehouse server and transmitting a control screen for controlling the object internet device corresponding to the received object internet device identifier to the user terminal.

상기 사물인터넷 기기 제어기는 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하고, 상기 3차원 데이터를 이용하여 3차원 공간을 구성한다.The object Internet appliance controller processes the multi-view image to generate three-dimensional data, and constructs a three-dimensional space using the three-dimensional data.

상기 사물인터넷 기기 제어기는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성한다.The object Internet appliance controller processes the multi-point image using a repetitive proximity matching method or a random sample consensus method to generate three-dimensional data.

상기 사물인터넷 기기 제어기에 의해 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현된다.The light vector generated by the object Internet appliance controller is expressed in the form of a key-value.

상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현된다.The key includes an identifier capable of distinguishing a light vector, and the value includes a start point and a direction of a light vector, and is expressed in a Javascript Object Notation (JSON) format.

상기 데이터 웨어하우스 서버는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성한다.The data warehouse server forms a cylinder by k-proximity clustering based on the origin of the accumulated light ray vectors.

상기 데이터 웨어하우스 서버는, 상기 사물인터넷 기기 제어기로부터 전송되는 광선벡터를 저장하는 광선벡터 저장부; 상기 광선벡터 저장부에 저장된 광선벡터를 클러스터링하여 상기 실린더를 구성하는 벡터 클러스터링 처리부; 상기 사물인터넷 기기 제어기로부터 실내 사물인터넷 기기의 위치에 대한 3차원 공간을 제공받아 바운딩 볼륨 계층으로 모델링하여 저장하는 기기 바운딩 영역 정보 저장부; 및 상기 벡터 클러스터링 처리부에 의해 구성된 실린더와 상기 기기 바운딩 영역 정보 저장부에 저장된 바운딩 볼륨 계층을 이용하여 충돌 검사하는 충돌 검사부를 포함한다. Wherein the data warehouse server comprises: a ray vector storage unit for storing a ray vector transmitted from the object Internet appliance controller; A vector clustering processing unit for clustering the light ray vectors stored in the light ray vector storage unit to constitute the cylinder; A device bounding region information storage unit for receiving a three-dimensional space with respect to the location of the indoor object Internet appliance from the object Internet appliance controller and modeling and storing the three-dimensional space into a bounding volume hierarchy; And a collision checking unit that collides the cylinder configured by the vector clustering processing unit with the bounding volume hierarchy stored in the device bounding region information storage unit.

상기 충돌 검사부는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성한다.The collision checking unit identifies the object Internet appliance referred to by the user gesture through the collision check, and generates an identifier related to the identified object Internet appliance.

상기 바운딩 볼륨 계층은, 계층의 최상위에 위치하며, 실내 공간 전체 영역에 대한 정보를 가지고 있는 루트 노드; 상기 루트 노드로부터 파생되며, 실내 공간 전체 영역을 좌우 혹은 상하로 분할하여 저장하는 하위 노드들; 및 상기 하위 노드들 중 마지막 단에 위치하여 계층의 최하위를 이루며, 각 사물인터넷 기기의 바운딩 박스 정보를 저장하는 단말 노드들을 포함한다. Wherein the bounding volume layer comprises: a root node located at the top of the hierarchy and having information on the entire interior space; Lower nodes derived from the root node and dividing the whole indoor space into left and right or up and down, and storing the divided room; And terminal nodes that are located at the last end of the lower nodes and form the lowest layer of the hierarchy and store the bounding box information of each object Internet appliance.

상기 사물인터넷 기기 관리 서버는, 댁 내의 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당하는 기기 펌웨어 관리부; 상기 사용자 단말에 사물인터넷 기기 제어를 위한 제어 화면을 제공하는 기기 제어 화면 제공부; 및 사물인터넷 기기 제어에 따른 보안 처리를 담당하는 기기 보안 처리부를 포함한다.
Wherein the object Internet appliance management server comprises: a device firmware management unit which is responsible for updating the firmware of the object Internet appliance connected to the home network of the home; A device control screen providing unit for providing a control screen for controlling the Internet appliance to the user terminal; And a device security processing unit for performing security processing according to object Internet device control.

한편, 본 발명의 타 측면에 따른 사물인터넷 기기 제어 방법은, 실내 다각도 촬영에 의해 생성된 다시점 이미지를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계; 댁 내 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 단계; 상기 사용자 제스처 이미지를 이용하여 광선벡터를 생성하는 단계; 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계; 상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간과 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더를 이용하여 충돌 검사하여, 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계; 및 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method for controlling an Internet appliance, comprising: constructing and storing a three-dimensional space with respect to a location of an in-house internet appliance using a multi-point image generated by indoor multi- The method comprising: generating a user gesture image by photographing a user gesture designating a home Internet appliance; Generating a ray vector using the user gesture image; Clustering the accumulated ray vectors to construct a cylinder; A three-dimensional space with respect to the position of the home-made internet appliance, and a cylinder configured in the step of clustering the accumulated light-beam vectors to perform a collision check to generate an identifier of the object Internet appliance referred to by the user gesture ; And transmitting a control screen for controlling the object Internet appliance corresponding to the generated object Internet appliance identifier to the user terminal.

상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계는, 깊이 카메라가 실내 다각도 촬영을 통해 다시점 이미지를 생성하는 단계; 사물인터넷 기기 제어기가 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 단계; 및 상기 사물인터넷 기기 제어기가 상기 3차원 데이터를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계를 포함한다. The step of constructing the three-dimensional space with respect to the position of the in-house internet appliance includes the steps of: generating a multi-viewpoint image by the depth camera; The object Internet device controller generating three-dimensional data using the multi-view image; And configuring a three-dimensional space for the location of the in-house internet appliance using the three-dimensional data.

상기 3차원 데이터를 생성하는 단계는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성한다. The generating of the three-dimensional data generates the three-dimensional data by processing the multi-viewpoint image using a repetitive proximity matching method or a random sample consensus method.

상기 광선벡터를 생성하는 단계에서 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현된다.The ray vector generated in the step of generating the ray vector is expressed in the form of a key-value.

상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현된다.The key includes an identifier capable of distinguishing a light vector, and the value includes a start point and a direction of a light vector, and is expressed in a Javascript Object Notation (JSON) format.

상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성한다. Clustering the accumulated light ray vectors to construct a cylinder constitutes a cylinder by k-proximity clustering based on the origin of the accumulated light ray vectors.

상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계는 사물인터넷 기기의 위치에 대한 3차원 공간을 바운딩 볼륨 계층으로 모델링하여 저장한다. The step of constructing and storing the three-dimensional space with respect to the position of the home-made internet appliance models and stores the three-dimensional space with respect to the location of the Internet appliance of interest into a bounding volume layer.

상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계에서의 충돌 검사는 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더와 상기 모델링된 바운딩 볼륨 계층을 이용하여 이루어진다.The collision check in the step of generating the identifier of the object Internet appliance referred to by the user gesture is performed using the cylinder configured in the step of constructing the cylinder by clustering the accumulated light vectors and the modeling bounding volume layer.

상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성한다. The step of generating an identifier of a destination Internet appliance, referred to by the user gesture, identifies the destination Internet appliance referred to by the user gesture through collision checking and generates an identifier associated with the identified Internet appliance.

상기 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계 이후에, 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어하는 단계를 더 포함한다.
Controlling the object Internet device using the control screen transmitted to the user terminal after transmitting the control screen for controlling the object internet device corresponding to the generated object internet device identifier to the user terminal .

이와 같은 본 발명에 따르면, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 방법이 제공된다.According to another aspect of the present invention, there is provided a method of controlling an object Internet device based on data constructed by combining a home 3D data structure and object Internet device information.

따라서, 사용자가 제어하기를 원하는 사물인터넷 기기를 3차원 실내 공간상의 기하 객체로 맵핑함으로써, 기기 구분을 위한 바코드 혹은 QR-코드를 부착하지 않아도, 사물인터넷 기기를 제어할 수 있다.Therefore, by mapping the object Internet apparatus desired to be controlled by the user to the geometric object in the three-dimensional indoor space, it is possible to control the object Internet apparatus without attaching the bar code or QR code for the apparatus classification.

또한, 깊이 카메라를 통한 사용자 기기 선택 및 제어 명령을 사용자의 제스처를 통해 입력하기 때문에, 직관적이고 편리한 제어가 가능하다.
In addition, because the user device selection and control commands through the depth camera are input through the user's gesture, intuitive and convenient control is possible.

도 1은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 사물인터넷 제어 시스템이 사용자 제스처 이미지를 이용하여 실린더를 구성하는 과정을 도시한 플로우챠트이다.
도 3은 본 발명의 실시 예에 따른 데이터 웨어하우스 서버의 상세 구성도이다.
도 4는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버의 상세 구성도이다.
도 5는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버에 의해 제공되는 제어 화면이 사용자 단말에 표시된 일례이다.
도 6은 본 발명의 실시 예에 따른 실내 사물인터넷 기기 위치 구성 정보가 모델링된 바운딩 볼륨 계층을 도시한 개념도이다.
도 7은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템을 이용한 사물인터넷 기기 제어 과정을 도시한 플로우챠트이다.FIG. 1 is a diagram illustrating a configuration of an object Internet appliance control system according to an embodiment of the present invention.
2 is a flowchart illustrating a process of configuring a cylinder using a user gesture image according to a preferred embodiment of the present invention.
3 is a detailed configuration diagram of a data warehouse server according to an embodiment of the present invention.
FIG. 4 is a detailed block diagram of an Internet appliance management server according to an embodiment of the present invention.
FIG. 5 is an example of a control screen provided by the Internet appliance management server according to the embodiment of the present invention displayed on the user terminal.
6 is a conceptual diagram illustrating a bounding volume layer modeling indoor object Internet device location configuration information according to an embodiment of the present invention.
FIG. 7 is a flow chart illustrating a process of controlling an object Internet device using a object Internet device control system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like numbers refer to like elements throughout.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

이하, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템 및 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, a system and method for controlling Internet devices according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템의 구성을 도시한 도면이다.FIG. 1 is a diagram illustrating a configuration of an object Internet appliance control system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템(100)은 깊이 카메라(110)와 사물인터넷 기기 제어기(120)를 포함하며, 상기 깊이 카메라(110) 및 사물인터넷 기기 제어기(120)는 홈 네트워크와 연결되어 있다.1, the object Internet device control system 100 according to the embodiment of the present invention includes a depth camera 110 and a object Internet equipment controller 120. The depth camera 110 and the object Internet equipment controller (120) is connected to the home network.

이에 더하여, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템(100)은 데이터 웨어하우스 서버(130), 사물인터넷 기기 관리 서버(140) 및 사용자 단말(150)을 더 포함한다.In addition, the object Internet appliance control system 100 according to the embodiment of the present invention further includes a data warehouse server 130, a matter Internet appliance management server 140 and a user terminal 150.

이때, 상기 사물인터넷 기기 제어 시스템(100)은 홈 네트워크 내의 데스크탑 PC, 노트북, 냉장고, 에어컨, 오븐 등과 같은 사물인터넷 기기들을 NUI(Natural User Interface) 기반으로 제어하기 위한 데이터를 구축한다.
At this time, the object Internet device control system 100 constructs data for controlling object Internet devices such as a desktop PC, a notebook computer, a refrigerator, an air conditioner, and an oven in a home network based on a NUI (Natural User Interface).

상기 깊이 카메라(110)는 거실 등 실내 공간의 모서리에 장착되어 실내 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지(multi-view image)를 생성한다. The depth camera 110 is attached to an edge of an indoor space such as a living room, and generates a multi-view image for three-dimensional reconstruction through indoor multi-angle photographing.

여기서, 상기 깊이 카메라(110)는 상하좌우 자동 회전이 가능하며, 확대/축소(Zoom In/Zoom Out) 촬영 기능을 보유하는 것이 바람직하다.Here, it is preferable that the depth camera 110 is capable of automatically rotating up and down and right and left and has a zoom in / zoom out photographing function.

상기 깊이 카메라(110)에 의해 생성되는 이미지의 각 픽셀(pixel)은 색상을 표현하는 RGB 정보뿐만 아니라, 깊이(depth) 정보를 함께 포함하고 있다.Each pixel of the image generated by the depth camera 110 includes depth information as well as RGB information representing a color.

따라서, 상기 깊이 카메라(110)는 상하좌우 실내 장면을 스캔하여 이미지 캡쳐 후, 사물인터넷 기기 제어기(120)로 제공한다.Accordingly, the depth camera 110 scans the upper, lower, right, and left indoor scenes, captures an image, and provides the image to the object Internet device controller 120.

또한, 사용자가 사물인터넷 기기를 제어하기 위하여 손 동작으로 사물인터넷 기기를 지칭하면, 상기 깊이 카메라(110)가 손 동작으로 사물인터넷 기기를 지칭하는 장면(‘사용자 제스처’)을 촬영 후, 사용자 제스처 이미지를 생성하여 사물인터넷 기기 제어기(120)로 전달한다.
In addition, when the user refers to the object Internet apparatus by hand to control the object Internet apparatus, the depth camera 110 shoots a scene ('user gesture') indicating the object Internet apparatus by hand operation, And transmits the generated image to the object Internet device controller 120.

상기 사물인터넷 기기 제어기(120)는 깊이 카메라(110)로부터 제공되는 다시점 이미지를 수신하고, 다시점 이미지를 이용하여 댁 내 3차원 데이터를 생성 및 저장한다.The object Internet device controller 120 receives a multi-view image provided from the depth camera 110, and generates and stores in-house three-dimensional data using the multi-view image.

이때, 상기 사물인터넷 기기 제어기(120)는, 댁내 3차원 데이터를 생성하기 위하여, 반복적인 근접점 매칭 방법(Iterative Closest Point; ICP), Random sample consensus(RANSAC) 방법을 이용하여 다시점 이미지를 처리할 수 있다.At this time, the object Internet device controller 120 processes the multi-view image using an iterative proximity matching method (ICP) and a random sample consensus (RANSAC) method to generate the home 3D data can do.

또한, 상기 사물인터넷 기기 제어기(120)는 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간은 데이터 웨어하우스 서버(130)에 저장된다.The object Internet device controller 120 constructs a three-dimensional space using the generated three-dimensional data, and the configured three-dimensional space is stored in the data warehouse server 130.

따라서, 사용자 제스처를 이용한 사물인터넷 기기 제어를 수행하기 전에, 깊이 카메라(110)에 의해 획득되는 실내의 사물인터넷 기기의 위치 구성은 사물인터넷 기기 제어기(120)에 의해 3차원으로 재구성되어 데이터 웨어하우스 서버(130)에 저장되는 것이다.Therefore, before the object Internet apparatus control using the user gesture is performed, the location configuration of the object Internet apparatuses acquired by the depth camera 110 is reconstructed in three dimensions by the object Internet apparatus controller 120, And is stored in the server 130.

또한, 상기 사물인터넷 기기 제어기(120)는 깊이 카메라(110)로부터 전송되는 사용자 제스처 이미지를 수신하여 광선벡터로 변환한다. 여기서, 광선벡터는, 하기 표 1과 같이, 키-값(Key-Value) 형태로 표현된다.Also, the object Internet device controller 120 receives the user gesture image transmitted from the depth camera 110 and converts the received user gesture image into a light vector. Here, the ray vector is expressed in the form of a key-value as shown in Table 1 below.

키(Key)Key 값(Value)Value 678912345678912345 {
“Ray”: {
“Origin”: [20, 10, 34],
“Direction”: [0.7, 0.4, 0]
}
}{
"Ray": {
"Origin": [20, 10, 34],
"Direction": [0.7, 0.4, 0]
}
}

한편, 상기 사물인터넷 기기 제어기(120)는 광선벡터를 키-값 저장소에 저장하며, 이때, 값(Value)은 광선벡터의 시작점(“Origin”)과 방향(“Direction”)을 포함하고 있으며, JSON(Javascript Object Notation) 형태로 표현될 수 있고, 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함한다.The object Internet device controller 120 stores a ray vector in a key-value storage. The value includes a starting point ("Origin") and a direction ("Direction") of a ray vector, And may be expressed in JSON (JavaScript Object Notation) format, and the key includes an identifier that can distinguish the light beam vector.

상기 사물인터넷 기기 제어기(120)는 사용자 제스처 이미지를 변환하여 생성한 광선벡터를 데이터 웨어하우스 서버(130)로 전송하여 저장한다. The object Internet device controller 120 converts the user gesture image and transmits the generated light vector to the data warehouse server 130 to store the vector.

상기 데이터 웨어하우스 서버(130)에 저장된 광선벡터는 사물인터넷 기기들의 댁내 구성 위치를 표현하고 있는 바운딩 볼륨 계층과의 충돌 검사를 위한 초기 데이터로 사용된다.The light beam vector stored in the data warehouse server 130 is used as initial data for collision checking with the bounding volume layer representing the home configuration position of the object Internet devices.

한편, 상기 사물인터넷 기기 제어기(120)는 홈 네트워크에 존재하는 사물인터넷 기기에 대한 정보 접근 및 제어 기능을 담당한다.
Meanwhile, the object Internet device controller 120 is responsible for accessing and controlling information about the object Internet devices existing in the home network.

상기 데이터 웨어하우스 서버(130)는 사물인터넷 기기 제어기(120)로부터 전송되는 사물인터넷 기기의 3차원 위치 구성과 광선벡터를 저장한다.The data warehouse server 130 stores the three-dimensional location configuration of the object Internet appliance and the light vector transmitted from the object internet appliance controller 120.

또한, 상기 데이터 웨어하우스 서버(130)는 누적된 광선벡터들을 이용하여 근접한 광선벡터를 클러스터링하여 하나의 실린더를 구성한다. 이때, 클러스터링에 의하여 구성된 실린더는 근사 벡터군을 의미한다.In addition, the data warehouse server 130 forms a single cylinder by clustering adjacent ray vectors using accumulated light ray vectors. At this time, the cylinder constituted by the clustering means the approximate vector group.

이후, 상기 데이터 웨어하우스 서버(130)는 구성된 실린더와 바운딩 볼륨 계층과의 충돌 검사를 통해 사용자가 지칭한 사물인터넷 기기를 식별하여, 사물인터넷 기기의 식별자(‘사물인터넷 기기 식별자’)를 생성한다.Thereafter, the data warehouse server 130 identifies the object Internet appliance referred to by the user through the collision check between the configured cylinder and the bounding volume hierarchy, and generates an identifier of the object Internet appliance ('object Internet appliance identifier').

상기 데이터 웨어하우스 서버(130)에 의해 생성된 사물인터넷 기기 식별자는 사물인터넷 기기 관리 서버(140)로 전송된다.The object Internet device identifier generated by the data warehouse server 130 is transmitted to the object Internet appliance management server 140.

상기 사물인터넷 기기 관리 서버(140)는 사용자가 제스처를 통해 실내 사물인터넷 기기를 제어하고자 할 때, 사용자가 사용하고 있는 사용자 단말(150)로 사물인터넷 기기 제어를 위한 제어 화면을 제공할 수 있다.The object Internet appliance management server 140 may provide a control screen for controlling the Internet appliance to the user terminal 150 that the user uses when controlling the indoor Internet appliance through the gesture.

한편, 사물인터넷 기기 제어기(120), 데이터 웨어하우스(130) 및 사물인터넷 기기 관리 서버(140)에서 관리하는 사물인터넷 기기의 내부 속성은 기기 기본정보(식별자, 명칭), 기기 상세정보, 현재 기기 상태정보를 포함할 수 있으며, 응용 서비스에 따라 요구되는 정보를 추가할 수 있다.
The internal attributes of the object Internet devices managed by the object Internet device controller 120, the data warehouse 130 and the object Internet device management server 140 include device basic information (identifier, name) State information, and can add the required information according to the application service.

도 2는 본 발명의 바람직한 실시 예에 따른 사물인터넷 제어 시스템이 사용자 제스처 이미지를 이용하여 실린더를 구성하는 과정을 도시한 플로우챠트이다.2 is a flowchart illustrating a process of configuring a cylinder using a user gesture image according to a preferred embodiment of the present invention.

도 2를 참조하면, 깊이 카메라(110)가 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하고(S210), 사물인터넷 기기 제어기(120)는 깊이 카메라(110)에 의해 생성된 사용자 제스처 이미지를 기 공지된 이미지 처리기술을 이용하여 광선벡터를 생성한다(S220).2, the depth camera 110 photographs a user gesture to generate a user gesture image (S210), and the thing Internet device controller 120 displays a user gesture image generated by the depth camera 110 And generates a light ray vector using the image processing technique (S220).

단계 S220에서 사물인터넷 기기 제어기(120)에 의해 생성된 광선벡터는 데이터 웨어하우스 서버(130)로 전송되어 저장 및 관리된다.In step S220, the light vector generated by the object Internet appliance controller 120 is transmitted to the data warehouse server 130 and stored and managed.

상기 데이터 웨어하우스 서버(130)는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링을 통해 방향벡터를 가지는 실린더를 구성한다(S230).The data warehouse server 130 forms a cylinder having a direction vector through k-near clustering based on the origin of the accumulated light ray vectors (S230).

단계 S230에서 데이터 웨어하우스 서버(130)에 의해 구성된 실린더는 실내에 존재하는 사물인터넷 기기의 바운딩 박스와의 충돌 검사를 통해 기기를 식별하는 데 사용된다.The cylinder configured by the data warehouse server 130 in step S230 is used to identify the apparatus through collision check with the bounding box of the object Internet apparatus existing in the room.

따라서, 각각의 원본 광선벡터들을 이용하여 하나의 실린더로 구성하여 충돌 검사를 수행함으로써, 기존의 하나의 광선과 바운딩 박스를 이용한 충돌 검사보다 정확도를 높일 수 있다.
Therefore, by performing the collision inspection using a single cylinder using each of the original light ray vectors, it is possible to increase the accuracy of the collision check using the existing one light beam and the bounding box.

도 3은 본 발명의 실시 예에 따른 데이터 웨어하우스 서버의 상세 구성도이다.3 is a detailed configuration diagram of a data warehouse server according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 데이터 웨어하우스 서버(130)는 광선벡터 저장부(131), 벡터 클러스터링 처리부(133), 기기 바운딩 영역 정보 저장부(135) 및 충돌 검사부(137)를 포함한다.3, the data warehouse server 130 includes a light vector storing unit 131, a vector clustering unit 133, a device bounding region information storage unit 135, and a collision checking unit 137 ).

상기 광선벡터 저장부(131)는 사물인터넷 기기 제어기(120)로부터 전송되는 광선벡터를 저장한다.The light ray vector storage unit 131 stores a light ray vector transmitted from the object Internet equipment controller 120.

상기 벡터 클러스터링 처리부(133)는 광선벡터 저장부(131)에 저장된 광선벡터를 k-근접 클러스터링하여 근사 벡터군을 나타내는 실린더를 구성한다. 여기서, k-근접 클러스터링에서의 근접의 기준은 일반적인 사람의 제스처에 대한 지역변화를 고려하여 30cm ~ 50cm로 적용할 수 있으며, 광선벡터로 정규화된 값을 기준으로 클러스터링을 수행한다.The vector clustering processing unit 133 forms a cylinder representing an approximate vector group by k-proximity clustering the light ray vectors stored in the light ray vector storage unit 131. [ Here, the proximity criterion in the k-proximity clustering can be applied from 30 cm to 50 cm in consideration of the local change of the gesture of a general person, and clustering is performed based on the normalized value of the light vector.

상기 기기 바운딩 영역 정보 저장부(135)는 사물인터넷 기기 제어기(120)에 의해 생성된 실내 사물인터넷 기기 위치 구성을 제공받아 저장한다.The device bounding area information storage unit 135 receives and stores the location of the indoor object Internet device generated by the object Internet device controller 120.

이때, 상기 기기 바운딩 영역 정보 저장부(135)에 저장된 실내 사물인터넷 기기 위치 구성 정보는 실린더와의 충돌 검사에 이용된다.At this time, the indoor object Internet device location configuration information stored in the device bounding area information storage unit 135 is used for collision inspection with the cylinder.

한편, 상기 기기 바운딩 영역 정보 저장부(135)에 저장되는 실내 사물인터넷 기기 위치 구성 정보는 각 기기의 바운딩 정보(X_min, Y_min, Z_min, X_max, Y_max, Z_max)에 대한 바운딩 볼륨 계층으로 모델링된다.Meanwhile, the indoor object Internet device location configuration information stored in the device bounding area information storage unit 135 is modeled as a bounding volume layer for the bounding information (X_min, Y_min, Z_min, X_max, Y_max, Z_max) of each device.

상기 충돌 검사부(137)는 벡터 클러스터링 처리부(133)에 의해 생성된 근사 벡터군인 실린더와 기기 바운딩 영역 정보 저장부(135)에 저장된 실내 사물인터넷 기기 위치 구성 정보인 바운딩 볼륨 계층을 이용하여 충돌 검사를 한다.The collision checking unit 137 checks the collision using the bounding volume layer, which is the approximate vector group generated by the vector clustering processing unit 133 and the configuration information of the indoor Internet device location information stored in the device bounding region information storage unit 135 do.

상기 충돌 검사부(137)의 충돌 검사의 결과로 생성되는 사물인터넷 기기의 식별자는 사물인터넷 기기 관리 서버(140)로 전송된다.
The identifier of the object Internet device generated as a result of the collision check of the collision checking unit 137 is transmitted to the object Internet device management server 140.

도 4는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버의 상세 구성도이다.FIG. 4 is a detailed block diagram of an Internet appliance management server according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버(140)는 사용자가 제스처를 통해 실내 사물인터넷 기기를 제어하고자 할 때, 사용자가 사용하고 있는 사용자 단말(150)에 사물인터넷 기기 제어를 위한 제어 화면을 제공할 수 있다.Referring to FIG. 4, when the user wants to control the indoor Internet appliance through the gesture, the Internet appliance management server 140 according to the embodiment of the present invention transmits the Internet to the user terminal 150, It is possible to provide a control screen for device control.

이때, 상기 사물인터넷 기기 관리 서버(140)는 기기 펌웨어 관리부(141), 기기 제어 화면 제공부(143), 기기 보안 처리부(145)로 구성될 수 있다.The Internet appliance management server 140 may include a device firmware management unit 141, a device control screen providing unit 143, and a device security processing unit 145.

상기 기기 펌웨어 관리부(141)는 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당한다.The device firmware management unit 141 is responsible for updating the firmware of the Internet appliance connected to the home network.

상기 기기 제어 화면 제공부(143)는 사용자 단말(150)에 사물인터넷 기기 제어를 위한 사용자 인터페이스를 제공한다.The device control screen providing unit 143 provides the user terminal 150 with a user interface for controlling the Internet appliance.

상기 기기 보안 처리부(145)는 사물인터넷 기기 제어에 따른 보안 처리를 담당한다.The device security processing unit 145 takes charge of the security processing according to the object Internet device control.

도 5에는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버(140)에 의해 제공되는 제어 화면이 사용자 단말(150)에 표시된 일례가 도시되어 있다.FIG. 5 shows an example in which a control screen provided by the object Internet appliance management server 140 according to the embodiment of the present invention is displayed on the user terminal 150. As shown in FIG.

이때, 상기 사물인터넷 기기 관리 서버(140)는 사용자 단말(150)로 사물인터넷 기기에 대한 상태정보(151)를 제공하도록 구현될 수 있다.
At this time, the object Internet appliance management server 140 may be configured to provide the state information 151 about the object Internet appliance to the user terminal 150.

도 6은 본 발명의 실시 예에 따른 실내 사물인터넷 기기 위치 구성 정보가 모델링된 바운딩 볼륨 계층을 도시한 개념도이다.6 is a conceptual diagram illustrating a bounding volume layer modeling indoor object Internet device location configuration information according to an embodiment of the present invention.

도 6을 참조하면, 바운딩 볼륨 계층은 계층의 최상위에 위치하는 루트 노드(601), 루트 노드(601)로부터 파생되는 하위 노드들(602 ~ 605) 및 하위 노드들의 마지막 단에 위치하여 계층의 최하위를 이루는 단말 노드들(606 ~ 608)로 이루어진다.6, the bounding volume layer includes a root node 601 located at the top of the hierarchy, lower nodes 602 through 605 derived from the root node 601, and the last nodes of the lower nodes, And terminal nodes 606 to 608 constituting the terminal node.

상기 바운딩 볼륨 계층의 최상위에 위치하는 루트 노드(601)는 실내 공간 전체 영역에 대한 정보를 가지고 있다. 상기 루트 노드(601)로부터 파생되는 하위 노드들(602 ~ 605)은 좌우 혹은 상하로 공간을 분할하여 저장한다.The root node 601 located at the top of the bounding volume hierarchy has information on the entire indoor space. The lower nodes (602 to 605) derived from the root node (601) divide the space into left and right or up and down.

여기서, 공간 분할 방식으로는 기 공지된 공간분할 방법인 이진 공간분할(binary space partitioning) 방식 혹은 8진 트리(Octree) 방식을 이용할 수 있다.Here, as the space division method, a binary space partitioning method or an octree method, which is a known space division method, can be used.

이와 같은 방법으로 하위 노드들은 재귀적으로 공간이 분할되며, 바운딩 볼륨 계층의 단말 노드들(506 ~ 508)은 실내 존재하는 각 사물인터넷 기기의 바운딩 박스 정보를 저장하고 있다.
In this manner, the lower nodes are recursively divided into spaces, and the terminal nodes 506 to 508 of the bounding volume layer store the bounding box information of each object Internet appliance existing in the room.

도 7은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템을 이용한 사물인터넷 기기 제어 과정을 도시한 플로우챠트이다.FIG. 7 is a flow chart illustrating a process of controlling an object Internet device using a object Internet device control system according to an embodiment of the present invention.

도 7을 참조하면, 먼저 실내에 장착된 깊이 카메라(110)가 실내 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지(multi-view image)를 생성한다(S710).Referring to FIG. 7, the depth camera 110 installed in the room first generates a multi-view image for 3D reconstruction through indoor multi-angle capturing (S710).

단계 S710에 따라 생성된 다시점 이미지는 사물인터넷 기기 제어기(120)로 전송되고, 다시점 이미지를 이용하여, 사물인터넷 기기 제어기(120)가 3차원 데이터를 생성하고, 생성된 3차원 데이터를 이용하여 실내 3차원 공간을 구성한다(S720). The multi-viewpoint image generated according to step S710 is transmitted to the object-to-object-apparatus controller 120, and the object-object apparatus controller 120 generates the three-dimensional data using the multi-viewpoint image and uses the generated three- Thereby constructing an indoor three-dimensional space (S720).

이때, 단계 S720에서, 다시점 이미지를 이용한 3차원 데이터 생성은 반복적인 근접점 매칭 방법(Iterative Closest Point; ICP), Random sample consensus(RANSAC) 방법에 의해 이루어질 수 있다.At this time, in step S720, the 3D data generation using the multi-view image may be performed by an iterative proximity matching method (ICP) and a random sample consensus (RANSAC) method.

단계 S720에 따라 구성된 3차원 공간은 데이터 웨어하우스 서버(130)로 전송되어 저장 및 관리된다(S730).The three-dimensional space configured in step S720 is transferred to the data warehouse server 130, and stored and managed (S730).

따라서, 사용자 제스처를 이용한 사물인터넷 기기 제어를 수행하기 전에, 깊이 카메라(110)에 의해 획득되는 실내의 사물인터넷 기기의 위치 구성은 사물인터넷 기기 제어기(120)에 의해 3차원으로 재구성되어 데이터 웨어하우스 서버(130)에 저장되는 것이다.Therefore, before the object Internet apparatus control using the user gesture is performed, the location configuration of the object Internet apparatuses acquired by the depth camera 110 is reconstructed in three dimensions by the object Internet apparatus controller 120, And is stored in the server 130.

단계 S710 내지 S730에 따라 데이터 웨어하우스 서버(130)에 실내 사물인터넷 기기의 위치 구성이 구축된 상태에서, 사용자가 사물인터넷 기기를 제어할 목적으로 제스처를 취하면(사물인터넷 기기를 지칭하면), 깊이 카메라(110)가 사용자 제스처를 촬영하여, 사용자 제스처 이미지를 생성한다(S740).If the user takes a gesture (object Internet device) when the user configures the location of the indoor Internet appliance in the data warehouse server 130 in accordance with steps S710 to S730, The depth camera 110 photographs the user gesture, and generates a user gesture image (S740).

단계 S740에서 깊이 카메라(110)에 의해 생성된 사용자 제스처 이미지는 사물인터넷 기기 제어기(120)로 전송된다.The user gesture image generated by the depth camera 110 in step S740 is transmitted to the object Internet appliance controller 120. [

단계 S740에 따라 생성된 사용자 제스처 이미지를 수신하고, 사물인터넷 기기 제어기(120)는 사용자 제스처 이미지를 이용하여 광선벡터를 생성하고(S750), 상기 광선벡터는 데이터 웨어하우스 서버(130)로 전송되어 저장된다.In step S740, the object Internet device controller 120 generates a light vector using the user gesture image in step S750. The light vector is transmitted to the data warehouse server 130 .

여기서, 광선벡터는, 상기 표 1과 같이, 키-값(Key-Value) 형태의 데이터로 표현되며, 값(Value)은 광선벡터의 시작점(“Origin”)과 방향(“Direction”)을 포함하고 있으며, JSON(Javascript Object Notation) 형태로 표현될 수 있다.Here, the ray vector is represented by data in the form of a key-value as shown in Table 1, and the value includes a starting point ("Origin") and a direction ("Direction" And can be expressed in JSON (Javascript Object Notation) format.

이후, 데이터 웨어하우스 서버(130)는 누적된 광선벡터들을 이용하여 사용자에 의해 지칭된 사물인터넷 기기를 판별하여 사물인터넷 기기 식별자를 생성한다(S760).Thereafter, the data warehouse server 130 identifies the object Internet devices referred to by the user using the accumulated light ray vectors, and generates the object internet device identifiers (S760).

이때, 데이터 웨어하우스 서버(130)가 근접한 벡터간의 클러스터링을 통해 하나의 실린더를 구성하고, 구성된 실린더와 바운딩 볼륨 계층을 이용하여 충돌 검사함으로써 사용자가 지칭한 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기 식별자를 생성한다.At this time, the data warehouse server 130 constructs one cylinder through clustering between adjacent vectors, identifies the object internet appliance referred to as a user by collision inspection using the constructed cylinder and the bounding volume layer, And generates an identifier.

단계 S760에 따라 생성된 사물인터넷 기기 식별자는 사물인터넷 기기 관리 서버(140)로 전송되고, 사물인터넷 기기 관리 서버(140)는 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송한다(S770).The object Internet device identifier generated in step S760 is transmitted to the object Internet appliance management server 140. The object Internet appliance management server 140 transmits a control screen for controlling the object Internet appliance corresponding to the received object Internet device identifier To the user terminal (S770).

따라서, 사용자는 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어한다(S780).
Accordingly, the user controls the object Internet appliance using the control screen transmitted to the user terminal (S780).

이와 같은 본 발명에 따르면, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 방법이 제공된다.According to another aspect of the present invention, there is provided a method of controlling an object Internet device based on data constructed by combining a home 3D data structure and object Internet device information.

따라서, 사용자가 제어하기를 원하는 사물인터넷 기기를 3차원 실내 공간상의 기하 객체로 맵핑함으로써, 기기 구분을 위한 바코드 혹은 QR-코드를 부착하지 않아도, 사물인터넷 기기를 제어할 수 있다.Therefore, by mapping the object Internet apparatus desired to be controlled by the user to the geometric object in the three-dimensional indoor space, it is possible to control the object Internet apparatus without attaching the bar code or QR code for the apparatus classification.

또한, 깊이 카메라를 통한 사용자 기기 선택 및 제어 명령을 사용자의 제스처를 통해 입력하기 때문에, 직관적이고 편리한 제어가 가능하다.
In addition, because the user device selection and control commands through the depth camera are input through the user's gesture, intuitive and convenient control is possible.

한편, 본 발명에 따른 사물인터넷 기기 제어 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the scope of the invention is not limited to the disclosed embodiments, but, on the contrary, Various modifications, alterations, and alterations can be made within the scope of the present invention.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Therefore, the embodiments described in the present invention and the accompanying drawings are intended to illustrate rather than limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and accompanying drawings . The scope of protection of the present invention should be construed according to the claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.

100 : 사물인터넷 기기 제어 시스템 110 : 깊이 카메라
120 : 사물인터넷 기기 제어기 130 : 데이터 웨어하우스 서버
131 : 광선벡터 저장부 133 : 벡터 클러스터링 처리부
135 : 기기 바운딩 영역 정보 저장부 137 : 충돌 검사부
140 : 사물인터넷 기기 관리 서버 141 : 기기 펌웨어 관리부
143 : 기기 제어 화면 제공부 145 : 기기 보안 처리부
150 : 사용자 단말100: object Internet device control system 110: depth camera
120: Object Internet appliance controller 130: Data warehouse server
131: ray vector storage unit 133: vector clustering processing unit
135: device bounding area information storage unit 137: collision checking unit
140: object Internet appliance management server 141: device firmware management section
143: Device Control Screen Provided 145: Device Security Processor
150: User terminal

Claims (20)

댁 내에 설치되어, 실내 장면을 촬영하여 다시점 이미지를 생성하고, 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 깊이 카메라;
상기 다시점 이미지를 처리하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하고, 상기 사용자 제스처 이미지를 처리하여 광선벡터를 생성하는 사물인터넷 기기 제어기;
상기 사물인터넷 기기로부터 3차원 공간과 광선벡터를 수신 및 저장하고, 상기 광선벡터를 클러스터링하여 실린더를 구성하고, 구성된 실린더와 상기 3차원 공간 정보를 이용하여 충돌 검사를 한 후, 사물인터넷 기기 식별자를 생성하는 데이터 웨어하우스 서버; 및
상기 데이터 웨어하우스 서버로부터 상기 사물인터넷 기기 식별자를 수신하고, 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 사물인터넷 기기 관리 서버;
를 포함하는 사물인터넷 기기 제어 시스템.
A depth camera installed in the home, for photographing an indoor scene to generate a multi-point image, and to capture a user gesture designating a destination Internet device to generate a user gesture image;
Constructing a three-dimensional space with respect to the position of the in-house internet appliance by processing the multi-point image, and processing the user gesture image to generate a light vector;
Dimensional space and a light ray vector from the object Internet equipment, composing the cylinder by clustering the light ray vectors, collision inspection using the constructed cylinder and the three-dimensional space information, A data warehouse server to generate; And
An object Internet appliance management server for receiving the object internet appliance identifier from the data warehouse server and transmitting a control screen for controlling the object internet appliance corresponding to the received object internet appliance identifier to the user terminal;
The Internet appliance control system comprising:
제 1 항에 있어서,
상기 사물인터넷 기기 제어기는 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하고, 상기 3차원 데이터를 이용하여 3차원 공간을 구성하는 것인 사물인터넷 기기 제어 시스템.
The method according to claim 1,
Wherein the object Internet appliance controller processes the multi-view image to generate three-dimensional data, and constructs a three-dimensional space using the three-dimensional data.
제 2 항에 있어서,
상기 사물인터넷 기기 제어기는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하는 것인 사물인터넷 기기 제어 시스템.
3. The method of claim 2,
Wherein the object Internet device controller processes the multi-view image using a repetitive proximity matching method or a random sample consensus method to generate three-dimensional data.
제 1 항에 있어서,
상기 사물인터넷 기기 제어기에 의해 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현되는 것인 사물인터넷 기기 제어 시스템.
The method according to claim 1,
Wherein the light vector generated by the object Internet appliance controller is expressed in a key-value form.
제 4 항에 있어서,
상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현되는 것인 사물인터넷 기기 제어 시스템.
5. The method of claim 4,
Wherein the key includes an identifier capable of distinguishing a light vector and the value includes a start point and a direction of a light vector and is expressed in JSON (JavaScript Object Notation) .
제 1 항에 있어서,
상기 데이터 웨어하우스 서버는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 포함하는 것인 사물인터넷 기기 제어 시스템.
The method according to claim 1,
Wherein the data warehouse server includes a cylinder by k-proximity clustering based on the origin of the accumulated light ray vectors.
제 1 항에 있어서,
상기 데이터 웨어하우스 서버는,
상기 사물인터넷 기기 제어기로부터 전송되는 광선벡터를 저장하는 광선벡터 저장부;
상기 광선벡터 저장부에 저장된 광선벡터를 클러스터링하여 상기 실린더를 구성하는 벡터 클러스터링 처리부;
상기 사물인터넷 기기 제어기로부터 실내 사물인터넷 기기의 위치에 대한 3차원 공간을 제공받아 바운딩 볼륨 계층으로 모델링하여 저장하는 기기 바운딩 영역 정보 저장부; 및
상기 벡터 클러스터링 처리부에 의해 구성된 실린더와 상기 기기 바운딩 영역 정보 저장부에 저장된 바운딩 볼륨 계층을 이용하여 충돌 검사하는 충돌 검사부를 포함하는 것인 사물인터넷 기기 제어 시스템.
The method according to claim 1,
The data warehouse server comprises:
A ray vector storage unit for storing a ray vector transmitted from the object Internet appliance controller;
A vector clustering processing unit for clustering the light ray vectors stored in the light ray vector storage unit to constitute the cylinder;
A device bounding region information storage unit for receiving a three-dimensional space with respect to the location of the indoor object Internet appliance from the object Internet appliance controller and modeling and storing the three-dimensional space into a bounding volume hierarchy; And
And a collision checking unit that collides the cylinder configured by the vector clustering unit and the bounding volume hierarchy stored in the device bounding area information storage unit.
제 7 항에 있어서,
상기 충돌 검사부는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성하는 것인 사물인터넷 기기 제어 시스템.
8. The method of claim 7,
Wherein the collision checking unit identifies the object Internet appliance referred to by the user gesture through the collision check and generates an identifier related to the identified object Internet appliance.
제 7 항에 있어서,
상기 바운딩 볼륨 계층은,
계층의 최상위에 위치하며, 실내 공간 전체 영역에 대한 정보를 가지고 있는 루트 노드;
상기 루트 노드로부터 파생되며, 실내 공간 전체 영역을 좌우 혹은 상하로 분할하여 저장하는 하위 노드들; 및
상기 하위 노드들 중 마지막 단에 위치하여 계층의 최하위를 이루며, 각 사물인터넷 기기의 바운딩 박스 정보를 저장하는 단말 노드들을 포함하는 것인 사물인터넷 기기 제어 시스템.
8. The method of claim 7,
Wherein the bounding volume layer comprises:
A root node located at the top of the hierarchy and having information on the entire area of the indoor space;
Lower nodes derived from the root node and dividing the whole indoor space into left and right or up and down, and storing the divided room; And
And terminal nodes that are located at the last end of the lower nodes and form the lowermost layer of the hierarchy and store the bounding box information of each object Internet appliance.
제 1 항에 있어서,
상기 사물인터넷 기기 관리 서버는,
댁 내의 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당하는 기기 펌웨어 관리부;
상기 사용자 단말에 사물인터넷 기기 제어를 위한 제어 화면을 제공하는 기기 제어 화면 제공부; 및
사물인터넷 기기 제어에 따른 보안 처리를 담당하는 기기 보안 처리부를 포함하는 사물인터넷 기기 제어 시스템.
The method according to claim 1,
The object Internet appliance management server comprises:
A device firmware management unit for managing firmware update of the object Internet device connected to the home network in the home;
A device control screen providing unit for providing a control screen for controlling the Internet appliance to the user terminal; And
And a device security processing unit which is responsible for security processing according to object Internet device control.
실내 다각도 촬영에 의해 생성된 다시점 이미지를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계;
댁 내 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 단계;
상기 사용자 제스처 이미지를 이용하여 광선벡터를 생성하는 단계;
누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계;
상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간과 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더를 이용하여 충돌 검사하여, 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계; 및
생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계;
를 포함하는 사물인터넷 기기 제어 방법.
Constructing and storing a three-dimensional space with respect to the location of the in-house internet appliance using the multi-point image generated by the indoor multi-angle photographing;
The method comprising: generating a user gesture image by photographing a user gesture designating a home Internet appliance;
Generating a ray vector using the user gesture image;
Clustering the accumulated ray vectors to construct a cylinder;
A three-dimensional space with respect to the position of the home-made internet appliance, and a cylinder configured in the step of clustering the accumulated light-beam vectors to perform a collision check to generate an identifier of the object Internet appliance referred to by the user gesture ; And
Transmitting to the user terminal a control screen for controlling the object Internet appliance corresponding to the generated object internet appliance identifier;
The Internet device controlling method comprising the steps of:
제 11 항에 있어서,
상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계는,
깊이 카메라가 실내 다각도 촬영을 통해 다시점 이미지를 생성하는 단계;
사물인터넷 기기 제어기가 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 단계; 및
상기 사물인터넷 기기 제어기가 상기 3차원 데이터를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계를 포함하는 것인 사물인터넷 기기 제어 방법.
12. The method of claim 11,
The step of constructing a three-dimensional space with respect to a location of the at-home Internet appliance comprises:
The depth camera generating a multi-view image through indoor multi-angle capturing;
The object Internet device controller generating three-dimensional data using the multi-view image; And
And the object Internet device controller configuring a three-dimensional space for the location of the internet Internet appliance using the three-dimensional data.
제 12 항에 있어서,
상기 3차원 데이터를 생성하는 단계는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하는 것인 사물인터넷 기기 제어 방법.
13. The method of claim 12,
Wherein the generating of the three-dimensional data comprises processing the multi-view image using a repetitive proximity matching method or a random sample consensus method to generate three-dimensional data.
제 11 항에 있어서,
상기 광선벡터를 생성하는 단계에서 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현되는 것인 사물인터넷 기기 제어 방법.
12. The method of claim 11,
Wherein the light beam vector generated in the step of generating the light beam vector is expressed in the form of a key-value.
제 14 항에 있어서,
상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현되는 것인 사물인터넷 기기 제어 방법.
15. The method of claim 14,
Wherein the key includes an identifier capable of distinguishing a light vector and the value includes a starting point and a direction of a light vector and is expressed in JSON (Javascript Object Notation) .
제 11 항에 있어서,
상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성하는 것인 사물인터넷 기기 제어 방법.
12. The method of claim 11,
Wherein the step of constructing the cylinder by clustering the accumulated light vectors comprises the step of k-proximity clustering based on the origin of the accumulated light vectors to construct a cylinder.
제 11 항에 있어서,
상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계는 사물인터넷 기기의 위치에 대한 3차원 공간을 바운딩 볼륨 계층으로 모델링하여 저장하는 것인 사물인터넷 기기 제어 방법.
12. The method of claim 11,
Wherein the step of constructing and storing the three-dimensional space with respect to the position of the at-home Internet appliance is performed by modeling and storing the three-dimensional space with respect to the location of the at least one internet appliance at the bounding volume layer.
제 17 항에 있어서,
상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계에서의 충돌 검사는 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더와 상기 모델링된 바운딩 볼륨 계층을 이용하여 이루어지는 것인 사물인터넷 기기 제어 방법.
18. The method of claim 17,
The collision check in the step of generating the identifier of the object Internet appliance referred to by the user gesture is performed using the cylinder configured in the step of constructing the cylinder by clustering the accumulated light vectors and the modeling bounding volume layer Method of controlling internet devices.
제 11 항에 있어서,
상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성하는 것인 사물인터넷 기기 제어 방법.
12. The method of claim 11,
Wherein the step of generating an identifier of a destination Internet appliance referred to by the user gesture comprises identifying a destination Internet appliance referred to by a user gesture through collision checking and generating an identifier associated with the identified destination Internet appliance, Control method.
제 11 항에 있어서,
상기 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계 이후에, 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어하는 단계를 더 포함하는 것인 사물인터넷 기기 제어 방법.12. The method of claim 11,
Controlling the object Internet appliance using the control screen transmitted to the user terminal after transmitting the control screen for controlling the object internet appliance corresponding to the generated object internet appliance identifier to the user terminal, A method for controlling Internet devices.
KR1020140170486A 2014-12-02 2014-12-02 System and method for controlling Internet-of-Things device KR20160066292A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170486A KR20160066292A (en) 2014-12-02 2014-12-02 System and method for controlling Internet-of-Things device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170486A KR20160066292A (en) 2014-12-02 2014-12-02 System and method for controlling Internet-of-Things device

Publications (1)

Publication Number Publication Date
KR20160066292A true KR20160066292A (en) 2016-06-10

Family

ID=56190639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170486A KR20160066292A (en) 2014-12-02 2014-12-02 System and method for controlling Internet-of-Things device

Country Status (1)

Country Link
KR (1) KR20160066292A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
WO2020145515A1 (en) * 2019-01-08 2020-07-16 삼성전자주식회사 Electronic device and control method therefor
WO2022025408A1 (en) * 2020-07-29 2022-02-03 삼성전자주식회사 Electronic apparatus and controlling method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
US11350264B2 (en) 2018-07-25 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
WO2020145515A1 (en) * 2019-01-08 2020-07-16 삼성전자주식회사 Electronic device and control method therefor
WO2022025408A1 (en) * 2020-07-29 2022-02-03 삼성전자주식회사 Electronic apparatus and controlling method thereof

Similar Documents

Publication Publication Date Title
KR20140109020A (en) Apparatus amd method for constructing device information for smart appliances control
US11989895B2 (en) Capturing environmental features using 2D and 3D scans
US10565788B2 (en) Automatic three-dimensional solid modeling method and program based on two-dimensional drawing
EP3876206B1 (en) Floorplan generation based on room scanning
CN105637559B (en) Use the structural modeling of depth transducer
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
US9942521B2 (en) Automatic configuration of cameras in building information modeling
US9311756B2 (en) Image group processing and visualization
JP5870958B2 (en) INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
US20150187137A1 (en) Physical object discovery
CN108875133A (en) Determine architectural composition
CN108304075A (en) A kind of method and apparatus carrying out human-computer interaction in augmented reality equipment
KR102276936B1 (en) Apparatus for providing service using exhibits in 3d virtual exhibition space
US9595125B2 (en) Expanding a digital representation of a physical plane
WO2017147909A1 (en) Target device control method and apparatus
KR20160066292A (en) System and method for controlling Internet-of-Things device
US11507712B2 (en) Generating an image for a building management system
CN115375860A (en) Point cloud splicing method, device, equipment and storage medium
CN108038916A (en) A kind of display methods of augmented reality
KR20210083016A (en) Electronic apparatus and controlling method thereof
US11763478B1 (en) Scan-based measurements
CN111967481A (en) Visual positioning method and device, electronic equipment and storage medium
EP2993613A1 (en) A capture system arranged to create a 3d model from a scanned scene, a method and a graphical user interface
US20210225044A1 (en) System and Method for Object Arrangement in a Scene
WO2023150479A1 (en) Data center asset privacy control for a remote video platform

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination