KR20160066292A - 사물 인터넷 기기 제어 시스템 및 방법 - Google Patents

사물 인터넷 기기 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20160066292A
KR20160066292A KR1020140170486A KR20140170486A KR20160066292A KR 20160066292 A KR20160066292 A KR 20160066292A KR 1020140170486 A KR1020140170486 A KR 1020140170486A KR 20140170486 A KR20140170486 A KR 20140170486A KR 20160066292 A KR20160066292 A KR 20160066292A
Authority
KR
South Korea
Prior art keywords
internet appliance
object internet
vector
internet
dimensional space
Prior art date
Application number
KR1020140170486A
Other languages
English (en)
Inventor
김성수
박경
원종호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140170486A priority Critical patent/KR20160066292A/ko
Publication of KR20160066292A publication Critical patent/KR20160066292A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 시스템 및 방법에 관한 것으로서, 상기 시스템은 댁 내에 설치되어, 실내 장면을 촬영하여 다시점 이미지를 생성하고, 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 깊이 카메라; 상기 다시점 이미지를 처리하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하고, 상기 사용자 제스처 이미지를 처리하여 광선벡터를 생성하는 사물인터넷 기기 제어기; 상기 사물인터넷 기기로부터 3차원 공간과 광선벡터를 수신 및 저장하고, 상기 광선벡터를 클러스터링하여 실린더를 구성하고, 구성된 실린더와 상기 3차원 공간 정보를 이용하여 충돌 검사를 한 후, 사물인터넷 기기 식별자를 생성하는 데이터 웨어하우스 서버; 및 상기 데이터 웨어하우스 서버로부터 상기 사물인터넷 기기 식별자를 수신하고, 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 사물인터넷 기기 관리 서버를 포함한다.

Description

사물 인터넷 기기 제어 시스템 및 방법 {System and method for controlling Internet-of-Things device}
본 발명은 사물인터넷 기기 제어 기술에 관한 것으로, 상세하게는 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 시스템 및 방법에 관한 것이다.
최근 사물인터넷(IoT : Internet of Things) 기술이 발달함에 따라, IoT 기술이 적용된 기기(‘IoT 기기’)에서 생성하는 데이터는 하나의 서버에서 관리하기 어려울 정도의 대규모 데이터로 누적되어 사용되고 있다.
이런 IoT 기기에서 생성한 빅데이터는 운영 인텔리전스(Operational Intelligence)를 필요로 하는 비즈니스 영역에서 실시간 처리 및 분석이 요구되고 있다.
최근 홈 네트워크 환경 내의 다양한 사물인터넷 기기 사용에 있어서, 사용자는 전통적인 그래픽 사용자 인터페이스(GUI : Graphic User Interface)를 통한 사물인터넷 기기의 제어 방식에서 자연스러운 손동작 등의 제스처를 통한 사용자 인터페이스(Natural User Interface; 이하 ‘NUI’) 형태로 진화해 나가고 있으며, 직관적인 NUI에 대한 요구가 급속히 증가하고 있다.
특히, 스마트 홈 환경에서의 종래의 홈 게이트를 통한 가정 내 가전을 통합 관리 제어하는 것에서 벗어나 증강현실 및 동작인식을 위한 센서 기술을 통해 사용자가 가전기기를 쉽게 제어할 수 있는 증강현실 기반의 스마트 사물인터넷 기기 제어 시스템 형태로 발전하고 있다.
이러한 가정 내의 증강현실 기반 스마트 사물인터넷 기기 제어 서비스는 홈 네트워크 내 스마트 폰 카메라를 이용한 이미지 내의 가전기기의 QR 코드 추출 및 인식을 통해 보다 진보된 기능으로 제공되고 있다.
그러나, 사물인터넷 기기에 식별을 위한 QR 코드 혹은 바코드를 부착하여 증강현실을 결합한 서비스와 IR 센서를 이용한 사용자 동작 인식을 통한 서비스 형태는 별도의 QR 코드 데이터 구축 및 센서 장비를 요구한다는 단점이 있다.
또한, 사용자가 사물인터넷 기기를 선택하여 제어하고자 할 때, 별도의 스마트 폰과 같은 카메라가 부착된 디바이스에서 제어하고자 하는 기기를 촬영한 후, 이미지 상의 QR 코드 부분을 추출하고 해석해야 하는 처리가 필요하다.
또 다른 접근방법으로는, 사물인터넷 기기 제어를 위한 실세계가 아닌 3차원 가상 세계(Virtual 3D world)를 통해 서비스를 제공하는 방법이 있다. 이 방법은 실세계의 보이는 사물이 아닌 가상 객체를 선택하여 제어하는 방식이므로 사용자에게 직관적인 서비스를 제공하기 어렵다.
현재 사용자 손동작(제스처)을 통해 제공되는 제어 방법은 IR(Infra-red) 카메라와 IR 센서(emitter)가 부착된 장갑을 사용자가 착용하고 제어하는 방법이 있지만, 이 또한 사용자가 별도의 제작된 장갑을 착용해야 한다는 문제점이 있다.
따라서, 직관적인 사물인터넷 기기의 식별을 위한 QR 마크 부착과 사용자의 동작 분석을 위한 IR 센서 장갑들을 대체할 수 있는 실내 장면 3차원 정보 및 사물인터넷 기기 정보를 결합시켜 볼 필요성이 있다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 사물인터넷 기기 제어 시스템은, 댁 내에 설치되어, 실내 장면을 촬영하여 다시점 이미지를 생성하고, 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 깊이 카메라; 상기 다시점 이미지를 처리하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하고, 상기 사용자 제스처 이미지를 처리하여 광선벡터를 생성하는 사물인터넷 기기 제어기; 상기 사물인터넷 기기로부터 3차원 공간과 광선벡터를 수신 및 저장하고, 상기 광선벡터를 클러스터링하여 실린더를 구성하고, 구성된 실린더와 상기 3차원 공간 정보를 이용하여 충돌 검사를 한 후, 사물인터넷 기기 식별자를 생성하는 데이터 웨어하우스 서버; 및 상기 데이터 웨어하우스 서버로부터 상기 사물인터넷 기기 식별자를 수신하고, 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 사물인터넷 기기 관리 서버로 구성된다.
상기 사물인터넷 기기 제어기는 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하고, 상기 3차원 데이터를 이용하여 3차원 공간을 구성한다.
상기 사물인터넷 기기 제어기는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성한다.
상기 사물인터넷 기기 제어기에 의해 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현된다.
상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현된다.
상기 데이터 웨어하우스 서버는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성한다.
상기 데이터 웨어하우스 서버는, 상기 사물인터넷 기기 제어기로부터 전송되는 광선벡터를 저장하는 광선벡터 저장부; 상기 광선벡터 저장부에 저장된 광선벡터를 클러스터링하여 상기 실린더를 구성하는 벡터 클러스터링 처리부; 상기 사물인터넷 기기 제어기로부터 실내 사물인터넷 기기의 위치에 대한 3차원 공간을 제공받아 바운딩 볼륨 계층으로 모델링하여 저장하는 기기 바운딩 영역 정보 저장부; 및 상기 벡터 클러스터링 처리부에 의해 구성된 실린더와 상기 기기 바운딩 영역 정보 저장부에 저장된 바운딩 볼륨 계층을 이용하여 충돌 검사하는 충돌 검사부를 포함한다.
상기 충돌 검사부는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성한다.
상기 바운딩 볼륨 계층은, 계층의 최상위에 위치하며, 실내 공간 전체 영역에 대한 정보를 가지고 있는 루트 노드; 상기 루트 노드로부터 파생되며, 실내 공간 전체 영역을 좌우 혹은 상하로 분할하여 저장하는 하위 노드들; 및 상기 하위 노드들 중 마지막 단에 위치하여 계층의 최하위를 이루며, 각 사물인터넷 기기의 바운딩 박스 정보를 저장하는 단말 노드들을 포함한다.
상기 사물인터넷 기기 관리 서버는, 댁 내의 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당하는 기기 펌웨어 관리부; 상기 사용자 단말에 사물인터넷 기기 제어를 위한 제어 화면을 제공하는 기기 제어 화면 제공부; 및 사물인터넷 기기 제어에 따른 보안 처리를 담당하는 기기 보안 처리부를 포함한다.
한편, 본 발명의 타 측면에 따른 사물인터넷 기기 제어 방법은, 실내 다각도 촬영에 의해 생성된 다시점 이미지를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계; 댁 내 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 단계; 상기 사용자 제스처 이미지를 이용하여 광선벡터를 생성하는 단계; 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계; 상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간과 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더를 이용하여 충돌 검사하여, 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계; 및 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계를 포함한다.
상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계는, 깊이 카메라가 실내 다각도 촬영을 통해 다시점 이미지를 생성하는 단계; 사물인터넷 기기 제어기가 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 단계; 및 상기 사물인터넷 기기 제어기가 상기 3차원 데이터를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계를 포함한다.
상기 3차원 데이터를 생성하는 단계는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성한다.
상기 광선벡터를 생성하는 단계에서 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현된다.
상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현된다.
상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성한다.
상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계는 사물인터넷 기기의 위치에 대한 3차원 공간을 바운딩 볼륨 계층으로 모델링하여 저장한다.
상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계에서의 충돌 검사는 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더와 상기 모델링된 바운딩 볼륨 계층을 이용하여 이루어진다.
상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성한다.
상기 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계 이후에, 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어하는 단계를 더 포함한다.
이와 같은 본 발명에 따르면, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 방법이 제공된다.
따라서, 사용자가 제어하기를 원하는 사물인터넷 기기를 3차원 실내 공간상의 기하 객체로 맵핑함으로써, 기기 구분을 위한 바코드 혹은 QR-코드를 부착하지 않아도, 사물인터넷 기기를 제어할 수 있다.
또한, 깊이 카메라를 통한 사용자 기기 선택 및 제어 명령을 사용자의 제스처를 통해 입력하기 때문에, 직관적이고 편리한 제어가 가능하다.
도 1은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 사물인터넷 제어 시스템이 사용자 제스처 이미지를 이용하여 실린더를 구성하는 과정을 도시한 플로우챠트이다.
도 3은 본 발명의 실시 예에 따른 데이터 웨어하우스 서버의 상세 구성도이다.
도 4는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버의 상세 구성도이다.
도 5는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버에 의해 제공되는 제어 화면이 사용자 단말에 표시된 일례이다.
도 6은 본 발명의 실시 예에 따른 실내 사물인터넷 기기 위치 구성 정보가 모델링된 바운딩 볼륨 계층을 도시한 개념도이다.
도 7은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템을 이용한 사물인터넷 기기 제어 과정을 도시한 플로우챠트이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템 및 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 한다.
도 1은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템(100)은 깊이 카메라(110)와 사물인터넷 기기 제어기(120)를 포함하며, 상기 깊이 카메라(110) 및 사물인터넷 기기 제어기(120)는 홈 네트워크와 연결되어 있다.
이에 더하여, 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템(100)은 데이터 웨어하우스 서버(130), 사물인터넷 기기 관리 서버(140) 및 사용자 단말(150)을 더 포함한다.
이때, 상기 사물인터넷 기기 제어 시스템(100)은 홈 네트워크 내의 데스크탑 PC, 노트북, 냉장고, 에어컨, 오븐 등과 같은 사물인터넷 기기들을 NUI(Natural User Interface) 기반으로 제어하기 위한 데이터를 구축한다.
상기 깊이 카메라(110)는 거실 등 실내 공간의 모서리에 장착되어 실내 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지(multi-view image)를 생성한다.
여기서, 상기 깊이 카메라(110)는 상하좌우 자동 회전이 가능하며, 확대/축소(Zoom In/Zoom Out) 촬영 기능을 보유하는 것이 바람직하다.
상기 깊이 카메라(110)에 의해 생성되는 이미지의 각 픽셀(pixel)은 색상을 표현하는 RGB 정보뿐만 아니라, 깊이(depth) 정보를 함께 포함하고 있다.
따라서, 상기 깊이 카메라(110)는 상하좌우 실내 장면을 스캔하여 이미지 캡쳐 후, 사물인터넷 기기 제어기(120)로 제공한다.
또한, 사용자가 사물인터넷 기기를 제어하기 위하여 손 동작으로 사물인터넷 기기를 지칭하면, 상기 깊이 카메라(110)가 손 동작으로 사물인터넷 기기를 지칭하는 장면(‘사용자 제스처’)을 촬영 후, 사용자 제스처 이미지를 생성하여 사물인터넷 기기 제어기(120)로 전달한다.
상기 사물인터넷 기기 제어기(120)는 깊이 카메라(110)로부터 제공되는 다시점 이미지를 수신하고, 다시점 이미지를 이용하여 댁 내 3차원 데이터를 생성 및 저장한다.
이때, 상기 사물인터넷 기기 제어기(120)는, 댁내 3차원 데이터를 생성하기 위하여, 반복적인 근접점 매칭 방법(Iterative Closest Point; ICP), Random sample consensus(RANSAC) 방법을 이용하여 다시점 이미지를 처리할 수 있다.
또한, 상기 사물인터넷 기기 제어기(120)는 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간은 데이터 웨어하우스 서버(130)에 저장된다.
따라서, 사용자 제스처를 이용한 사물인터넷 기기 제어를 수행하기 전에, 깊이 카메라(110)에 의해 획득되는 실내의 사물인터넷 기기의 위치 구성은 사물인터넷 기기 제어기(120)에 의해 3차원으로 재구성되어 데이터 웨어하우스 서버(130)에 저장되는 것이다.
또한, 상기 사물인터넷 기기 제어기(120)는 깊이 카메라(110)로부터 전송되는 사용자 제스처 이미지를 수신하여 광선벡터로 변환한다. 여기서, 광선벡터는, 하기 표 1과 같이, 키-값(Key-Value) 형태로 표현된다.
키(Key) 값(Value)
678912345 {
“Ray”: {
“Origin”: [20, 10, 34],
“Direction”: [0.7, 0.4, 0]
}
}
한편, 상기 사물인터넷 기기 제어기(120)는 광선벡터를 키-값 저장소에 저장하며, 이때, 값(Value)은 광선벡터의 시작점(“Origin”)과 방향(“Direction”)을 포함하고 있으며, JSON(Javascript Object Notation) 형태로 표현될 수 있고, 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함한다.
상기 사물인터넷 기기 제어기(120)는 사용자 제스처 이미지를 변환하여 생성한 광선벡터를 데이터 웨어하우스 서버(130)로 전송하여 저장한다.
상기 데이터 웨어하우스 서버(130)에 저장된 광선벡터는 사물인터넷 기기들의 댁내 구성 위치를 표현하고 있는 바운딩 볼륨 계층과의 충돌 검사를 위한 초기 데이터로 사용된다.
한편, 상기 사물인터넷 기기 제어기(120)는 홈 네트워크에 존재하는 사물인터넷 기기에 대한 정보 접근 및 제어 기능을 담당한다.
상기 데이터 웨어하우스 서버(130)는 사물인터넷 기기 제어기(120)로부터 전송되는 사물인터넷 기기의 3차원 위치 구성과 광선벡터를 저장한다.
또한, 상기 데이터 웨어하우스 서버(130)는 누적된 광선벡터들을 이용하여 근접한 광선벡터를 클러스터링하여 하나의 실린더를 구성한다. 이때, 클러스터링에 의하여 구성된 실린더는 근사 벡터군을 의미한다.
이후, 상기 데이터 웨어하우스 서버(130)는 구성된 실린더와 바운딩 볼륨 계층과의 충돌 검사를 통해 사용자가 지칭한 사물인터넷 기기를 식별하여, 사물인터넷 기기의 식별자(‘사물인터넷 기기 식별자’)를 생성한다.
상기 데이터 웨어하우스 서버(130)에 의해 생성된 사물인터넷 기기 식별자는 사물인터넷 기기 관리 서버(140)로 전송된다.
상기 사물인터넷 기기 관리 서버(140)는 사용자가 제스처를 통해 실내 사물인터넷 기기를 제어하고자 할 때, 사용자가 사용하고 있는 사용자 단말(150)로 사물인터넷 기기 제어를 위한 제어 화면을 제공할 수 있다.
한편, 사물인터넷 기기 제어기(120), 데이터 웨어하우스(130) 및 사물인터넷 기기 관리 서버(140)에서 관리하는 사물인터넷 기기의 내부 속성은 기기 기본정보(식별자, 명칭), 기기 상세정보, 현재 기기 상태정보를 포함할 수 있으며, 응용 서비스에 따라 요구되는 정보를 추가할 수 있다.
도 2는 본 발명의 바람직한 실시 예에 따른 사물인터넷 제어 시스템이 사용자 제스처 이미지를 이용하여 실린더를 구성하는 과정을 도시한 플로우챠트이다.
도 2를 참조하면, 깊이 카메라(110)가 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하고(S210), 사물인터넷 기기 제어기(120)는 깊이 카메라(110)에 의해 생성된 사용자 제스처 이미지를 기 공지된 이미지 처리기술을 이용하여 광선벡터를 생성한다(S220).
단계 S220에서 사물인터넷 기기 제어기(120)에 의해 생성된 광선벡터는 데이터 웨어하우스 서버(130)로 전송되어 저장 및 관리된다.
상기 데이터 웨어하우스 서버(130)는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링을 통해 방향벡터를 가지는 실린더를 구성한다(S230).
단계 S230에서 데이터 웨어하우스 서버(130)에 의해 구성된 실린더는 실내에 존재하는 사물인터넷 기기의 바운딩 박스와의 충돌 검사를 통해 기기를 식별하는 데 사용된다.
따라서, 각각의 원본 광선벡터들을 이용하여 하나의 실린더로 구성하여 충돌 검사를 수행함으로써, 기존의 하나의 광선과 바운딩 박스를 이용한 충돌 검사보다 정확도를 높일 수 있다.
도 3은 본 발명의 실시 예에 따른 데이터 웨어하우스 서버의 상세 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 데이터 웨어하우스 서버(130)는 광선벡터 저장부(131), 벡터 클러스터링 처리부(133), 기기 바운딩 영역 정보 저장부(135) 및 충돌 검사부(137)를 포함한다.
상기 광선벡터 저장부(131)는 사물인터넷 기기 제어기(120)로부터 전송되는 광선벡터를 저장한다.
상기 벡터 클러스터링 처리부(133)는 광선벡터 저장부(131)에 저장된 광선벡터를 k-근접 클러스터링하여 근사 벡터군을 나타내는 실린더를 구성한다. 여기서, k-근접 클러스터링에서의 근접의 기준은 일반적인 사람의 제스처에 대한 지역변화를 고려하여 30cm ~ 50cm로 적용할 수 있으며, 광선벡터로 정규화된 값을 기준으로 클러스터링을 수행한다.
상기 기기 바운딩 영역 정보 저장부(135)는 사물인터넷 기기 제어기(120)에 의해 생성된 실내 사물인터넷 기기 위치 구성을 제공받아 저장한다.
이때, 상기 기기 바운딩 영역 정보 저장부(135)에 저장된 실내 사물인터넷 기기 위치 구성 정보는 실린더와의 충돌 검사에 이용된다.
한편, 상기 기기 바운딩 영역 정보 저장부(135)에 저장되는 실내 사물인터넷 기기 위치 구성 정보는 각 기기의 바운딩 정보(X_min, Y_min, Z_min, X_max, Y_max, Z_max)에 대한 바운딩 볼륨 계층으로 모델링된다.
상기 충돌 검사부(137)는 벡터 클러스터링 처리부(133)에 의해 생성된 근사 벡터군인 실린더와 기기 바운딩 영역 정보 저장부(135)에 저장된 실내 사물인터넷 기기 위치 구성 정보인 바운딩 볼륨 계층을 이용하여 충돌 검사를 한다.
상기 충돌 검사부(137)의 충돌 검사의 결과로 생성되는 사물인터넷 기기의 식별자는 사물인터넷 기기 관리 서버(140)로 전송된다.
도 4는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버의 상세 구성도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버(140)는 사용자가 제스처를 통해 실내 사물인터넷 기기를 제어하고자 할 때, 사용자가 사용하고 있는 사용자 단말(150)에 사물인터넷 기기 제어를 위한 제어 화면을 제공할 수 있다.
이때, 상기 사물인터넷 기기 관리 서버(140)는 기기 펌웨어 관리부(141), 기기 제어 화면 제공부(143), 기기 보안 처리부(145)로 구성될 수 있다.
상기 기기 펌웨어 관리부(141)는 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당한다.
상기 기기 제어 화면 제공부(143)는 사용자 단말(150)에 사물인터넷 기기 제어를 위한 사용자 인터페이스를 제공한다.
상기 기기 보안 처리부(145)는 사물인터넷 기기 제어에 따른 보안 처리를 담당한다.
도 5에는 본 발명의 실시 예에 따른 사물인터넷 기기 관리 서버(140)에 의해 제공되는 제어 화면이 사용자 단말(150)에 표시된 일례가 도시되어 있다.
이때, 상기 사물인터넷 기기 관리 서버(140)는 사용자 단말(150)로 사물인터넷 기기에 대한 상태정보(151)를 제공하도록 구현될 수 있다.
도 6은 본 발명의 실시 예에 따른 실내 사물인터넷 기기 위치 구성 정보가 모델링된 바운딩 볼륨 계층을 도시한 개념도이다.
도 6을 참조하면, 바운딩 볼륨 계층은 계층의 최상위에 위치하는 루트 노드(601), 루트 노드(601)로부터 파생되는 하위 노드들(602 ~ 605) 및 하위 노드들의 마지막 단에 위치하여 계층의 최하위를 이루는 단말 노드들(606 ~ 608)로 이루어진다.
상기 바운딩 볼륨 계층의 최상위에 위치하는 루트 노드(601)는 실내 공간 전체 영역에 대한 정보를 가지고 있다. 상기 루트 노드(601)로부터 파생되는 하위 노드들(602 ~ 605)은 좌우 혹은 상하로 공간을 분할하여 저장한다.
여기서, 공간 분할 방식으로는 기 공지된 공간분할 방법인 이진 공간분할(binary space partitioning) 방식 혹은 8진 트리(Octree) 방식을 이용할 수 있다.
이와 같은 방법으로 하위 노드들은 재귀적으로 공간이 분할되며, 바운딩 볼륨 계층의 단말 노드들(506 ~ 508)은 실내 존재하는 각 사물인터넷 기기의 바운딩 박스 정보를 저장하고 있다.
도 7은 본 발명의 실시 예에 따른 사물인터넷 기기 제어 시스템을 이용한 사물인터넷 기기 제어 과정을 도시한 플로우챠트이다.
도 7을 참조하면, 먼저 실내에 장착된 깊이 카메라(110)가 실내 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지(multi-view image)를 생성한다(S710).
단계 S710에 따라 생성된 다시점 이미지는 사물인터넷 기기 제어기(120)로 전송되고, 다시점 이미지를 이용하여, 사물인터넷 기기 제어기(120)가 3차원 데이터를 생성하고, 생성된 3차원 데이터를 이용하여 실내 3차원 공간을 구성한다(S720).
이때, 단계 S720에서, 다시점 이미지를 이용한 3차원 데이터 생성은 반복적인 근접점 매칭 방법(Iterative Closest Point; ICP), Random sample consensus(RANSAC) 방법에 의해 이루어질 수 있다.
단계 S720에 따라 구성된 3차원 공간은 데이터 웨어하우스 서버(130)로 전송되어 저장 및 관리된다(S730).
따라서, 사용자 제스처를 이용한 사물인터넷 기기 제어를 수행하기 전에, 깊이 카메라(110)에 의해 획득되는 실내의 사물인터넷 기기의 위치 구성은 사물인터넷 기기 제어기(120)에 의해 3차원으로 재구성되어 데이터 웨어하우스 서버(130)에 저장되는 것이다.
단계 S710 내지 S730에 따라 데이터 웨어하우스 서버(130)에 실내 사물인터넷 기기의 위치 구성이 구축된 상태에서, 사용자가 사물인터넷 기기를 제어할 목적으로 제스처를 취하면(사물인터넷 기기를 지칭하면), 깊이 카메라(110)가 사용자 제스처를 촬영하여, 사용자 제스처 이미지를 생성한다(S740).
단계 S740에서 깊이 카메라(110)에 의해 생성된 사용자 제스처 이미지는 사물인터넷 기기 제어기(120)로 전송된다.
단계 S740에 따라 생성된 사용자 제스처 이미지를 수신하고, 사물인터넷 기기 제어기(120)는 사용자 제스처 이미지를 이용하여 광선벡터를 생성하고(S750), 상기 광선벡터는 데이터 웨어하우스 서버(130)로 전송되어 저장된다.
여기서, 광선벡터는, 상기 표 1과 같이, 키-값(Key-Value) 형태의 데이터로 표현되며, 값(Value)은 광선벡터의 시작점(“Origin”)과 방향(“Direction”)을 포함하고 있으며, JSON(Javascript Object Notation) 형태로 표현될 수 있다.
이후, 데이터 웨어하우스 서버(130)는 누적된 광선벡터들을 이용하여 사용자에 의해 지칭된 사물인터넷 기기를 판별하여 사물인터넷 기기 식별자를 생성한다(S760).
이때, 데이터 웨어하우스 서버(130)가 근접한 벡터간의 클러스터링을 통해 하나의 실린더를 구성하고, 구성된 실린더와 바운딩 볼륨 계층을 이용하여 충돌 검사함으로써 사용자가 지칭한 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기 식별자를 생성한다.
단계 S760에 따라 생성된 사물인터넷 기기 식별자는 사물인터넷 기기 관리 서버(140)로 전송되고, 사물인터넷 기기 관리 서버(140)는 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송한다(S770).
따라서, 사용자는 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어한다(S780).
이와 같은 본 발명에 따르면, 댁내 3차원 데이터 구성과 사물인터넷 기기 정보를 결합하여 구축된 데이터를 기반으로 사물인터넷 기기를 제어하는 방법이 제공된다.
따라서, 사용자가 제어하기를 원하는 사물인터넷 기기를 3차원 실내 공간상의 기하 객체로 맵핑함으로써, 기기 구분을 위한 바코드 혹은 QR-코드를 부착하지 않아도, 사물인터넷 기기를 제어할 수 있다.
또한, 깊이 카메라를 통한 사용자 기기 선택 및 제어 명령을 사용자의 제스처를 통해 입력하기 때문에, 직관적이고 편리한 제어가 가능하다.
한편, 본 발명에 따른 사물인터넷 기기 제어 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 사물인터넷 기기 제어 시스템 110 : 깊이 카메라
120 : 사물인터넷 기기 제어기 130 : 데이터 웨어하우스 서버
131 : 광선벡터 저장부 133 : 벡터 클러스터링 처리부
135 : 기기 바운딩 영역 정보 저장부 137 : 충돌 검사부
140 : 사물인터넷 기기 관리 서버 141 : 기기 펌웨어 관리부
143 : 기기 제어 화면 제공부 145 : 기기 보안 처리부
150 : 사용자 단말

Claims (20)

  1. 댁 내에 설치되어, 실내 장면을 촬영하여 다시점 이미지를 생성하고, 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 깊이 카메라;
    상기 다시점 이미지를 처리하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하고, 상기 사용자 제스처 이미지를 처리하여 광선벡터를 생성하는 사물인터넷 기기 제어기;
    상기 사물인터넷 기기로부터 3차원 공간과 광선벡터를 수신 및 저장하고, 상기 광선벡터를 클러스터링하여 실린더를 구성하고, 구성된 실린더와 상기 3차원 공간 정보를 이용하여 충돌 검사를 한 후, 사물인터넷 기기 식별자를 생성하는 데이터 웨어하우스 서버; 및
    상기 데이터 웨어하우스 서버로부터 상기 사물인터넷 기기 식별자를 수신하고, 수신한 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 사물인터넷 기기 관리 서버;
    를 포함하는 사물인터넷 기기 제어 시스템.
  2. 제 1 항에 있어서,
    상기 사물인터넷 기기 제어기는 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하고, 상기 3차원 데이터를 이용하여 3차원 공간을 구성하는 것인 사물인터넷 기기 제어 시스템.
  3. 제 2 항에 있어서,
    상기 사물인터넷 기기 제어기는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하는 것인 사물인터넷 기기 제어 시스템.
  4. 제 1 항에 있어서,
    상기 사물인터넷 기기 제어기에 의해 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현되는 것인 사물인터넷 기기 제어 시스템.
  5. 제 4 항에 있어서,
    상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현되는 것인 사물인터넷 기기 제어 시스템.
  6. 제 1 항에 있어서,
    상기 데이터 웨어하우스 서버는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 포함하는 것인 사물인터넷 기기 제어 시스템.
  7. 제 1 항에 있어서,
    상기 데이터 웨어하우스 서버는,
    상기 사물인터넷 기기 제어기로부터 전송되는 광선벡터를 저장하는 광선벡터 저장부;
    상기 광선벡터 저장부에 저장된 광선벡터를 클러스터링하여 상기 실린더를 구성하는 벡터 클러스터링 처리부;
    상기 사물인터넷 기기 제어기로부터 실내 사물인터넷 기기의 위치에 대한 3차원 공간을 제공받아 바운딩 볼륨 계층으로 모델링하여 저장하는 기기 바운딩 영역 정보 저장부; 및
    상기 벡터 클러스터링 처리부에 의해 구성된 실린더와 상기 기기 바운딩 영역 정보 저장부에 저장된 바운딩 볼륨 계층을 이용하여 충돌 검사하는 충돌 검사부를 포함하는 것인 사물인터넷 기기 제어 시스템.
  8. 제 7 항에 있어서,
    상기 충돌 검사부는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성하는 것인 사물인터넷 기기 제어 시스템.
  9. 제 7 항에 있어서,
    상기 바운딩 볼륨 계층은,
    계층의 최상위에 위치하며, 실내 공간 전체 영역에 대한 정보를 가지고 있는 루트 노드;
    상기 루트 노드로부터 파생되며, 실내 공간 전체 영역을 좌우 혹은 상하로 분할하여 저장하는 하위 노드들; 및
    상기 하위 노드들 중 마지막 단에 위치하여 계층의 최하위를 이루며, 각 사물인터넷 기기의 바운딩 박스 정보를 저장하는 단말 노드들을 포함하는 것인 사물인터넷 기기 제어 시스템.
  10. 제 1 항에 있어서,
    상기 사물인터넷 기기 관리 서버는,
    댁 내의 홈 네트워크에 연결된 사물인터넷 기기의 펌웨어 업데이트를 담당하는 기기 펌웨어 관리부;
    상기 사용자 단말에 사물인터넷 기기 제어를 위한 제어 화면을 제공하는 기기 제어 화면 제공부; 및
    사물인터넷 기기 제어에 따른 보안 처리를 담당하는 기기 보안 처리부를 포함하는 사물인터넷 기기 제어 시스템.
  11. 실내 다각도 촬영에 의해 생성된 다시점 이미지를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계;
    댁 내 사물인터넷 기기를 지칭하는 사용자 제스처를 촬영하여 사용자 제스처 이미지를 생성하는 단계;
    상기 사용자 제스처 이미지를 이용하여 광선벡터를 생성하는 단계;
    누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계;
    상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간과 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더를 이용하여 충돌 검사하여, 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계; 및
    생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계;
    를 포함하는 사물인터넷 기기 제어 방법.
  12. 제 11 항에 있어서,
    상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계는,
    깊이 카메라가 실내 다각도 촬영을 통해 다시점 이미지를 생성하는 단계;
    사물인터넷 기기 제어기가 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 단계; 및
    상기 사물인터넷 기기 제어기가 상기 3차원 데이터를 이용하여 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성하는 단계를 포함하는 것인 사물인터넷 기기 제어 방법.
  13. 제 12 항에 있어서,
    상기 3차원 데이터를 생성하는 단계는 반복적인 근접점 매칭 방법 또는 Random Sample Consensus 방법을 이용하여 상기 다시점 이미지를 처리하여 3차원 데이터를 생성하는 것인 사물인터넷 기기 제어 방법.
  14. 제 11 항에 있어서,
    상기 광선벡터를 생성하는 단계에서 생성되는 광선벡터는 키-값(Key-Value) 형태로 표현되는 것인 사물인터넷 기기 제어 방법.
  15. 제 14 항에 있어서,
    상기 키(Key)는 광선벡터를 구분할 수 있는 식별자를 포함하고, 상기 값(Value)은 광선벡터의 시작점과 방향을 포함하며, JSON(Javascript Object Notation) 형태로 표현되는 것인 사물인터넷 기기 제어 방법.
  16. 제 11 항에 있어서,
    상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계는 누적된 광선벡터들의 원점을 기준으로 k-근접 클러스터링하여 실린더를 구성하는 것인 사물인터넷 기기 제어 방법.
  17. 제 11 항에 있어서,
    상기 댁 내 사물인터넷 기기의 위치에 대한 3차원 공간을 구성 및 저장하는 단계는 사물인터넷 기기의 위치에 대한 3차원 공간을 바운딩 볼륨 계층으로 모델링하여 저장하는 것인 사물인터넷 기기 제어 방법.
  18. 제 17 항에 있어서,
    상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계에서의 충돌 검사는 상기 누적된 광선벡터들을 클러스터링하여 실린더를 구성하는 단계에서 구성된 실린더와 상기 모델링된 바운딩 볼륨 계층을 이용하여 이루어지는 것인 사물인터넷 기기 제어 방법.
  19. 제 11 항에 있어서,
    상기 사용자 제스처에 의해 지칭되는 사물인터넷 기기의 식별자를 생성하는 단계는 충돌 검사를 통해 사용자 제스처에 의해 지칭되는 사물인터넷 기기를 식별하고, 식별된 사물인터넷 기기와 관련한 식별자를 생성하는 것인 사물인터넷 기기 제어 방법.
  20. 제 11 항에 있어서,
    상기 생성된 사물인터넷 기기 식별자에 해당하는 사물인터넷 기기를 제어하기 위한 제어 화면을 사용자 단말로 전송하는 단계 이후에, 사용자 단말로 전송된 제어 화면을 이용하여 사물인터넷 기기를 제어하는 단계를 더 포함하는 것인 사물인터넷 기기 제어 방법.
KR1020140170486A 2014-12-02 2014-12-02 사물 인터넷 기기 제어 시스템 및 방법 KR20160066292A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170486A KR20160066292A (ko) 2014-12-02 2014-12-02 사물 인터넷 기기 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170486A KR20160066292A (ko) 2014-12-02 2014-12-02 사물 인터넷 기기 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20160066292A true KR20160066292A (ko) 2016-06-10

Family

ID=56190639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170486A KR20160066292A (ko) 2014-12-02 2014-12-02 사물 인터넷 기기 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20160066292A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
WO2020145515A1 (ko) * 2019-01-08 2020-07-16 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2022025408A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
US11350264B2 (en) 2018-07-25 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
WO2020145515A1 (ko) * 2019-01-08 2020-07-16 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2022025408A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
KR20140109020A (ko) 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US11989895B2 (en) Capturing environmental features using 2D and 3D scans
US10565788B2 (en) Automatic three-dimensional solid modeling method and program based on two-dimensional drawing
EP3876206B1 (en) Floorplan generation based on room scanning
CN105637559B (zh) 使用深度传感器的结构建模
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
US9942521B2 (en) Automatic configuration of cameras in building information modeling
US9311756B2 (en) Image group processing and visualization
JP5870958B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US20150187137A1 (en) Physical object discovery
CN109521879B (zh) 交互式投影控制方法、装置、存储介质及电子设备
CN108875133A (zh) 确定建筑布局
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
KR102276936B1 (ko) 3차원 가상 전시 공간의 전시물 이용 서비스 제공 장치
US9595125B2 (en) Expanding a digital representation of a physical plane
JP2022105083A (ja) 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
WO2017147909A1 (zh) 目标设备的控制方法和装置
KR20160066292A (ko) 사물 인터넷 기기 제어 시스템 및 방법
US11507712B2 (en) Generating an image for a building management system
CN115375860A (zh) 点云拼接方法、装置、设备及存储介质
CN108038916A (zh) 一种增强现实的显示方法
KR20210083016A (ko) 전자 장치 및 그의 제어 방법
CN111967481A (zh) 视觉定位方法、装置、电子设备及存储介质
EP2993613A1 (en) A capture system arranged to create a 3d model from a scanned scene, a method and a graphical user interface
US20210225044A1 (en) System and Method for Object Arrangement in a Scene

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination