KR20140109020A - 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법 - Google Patents

스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법 Download PDF

Info

Publication number
KR20140109020A
KR20140109020A KR20130023113A KR20130023113A KR20140109020A KR 20140109020 A KR20140109020 A KR 20140109020A KR 20130023113 A KR20130023113 A KR 20130023113A KR 20130023113 A KR20130023113 A KR 20130023113A KR 20140109020 A KR20140109020 A KR 20140109020A
Authority
KR
South Korea
Prior art keywords
information
control
smart home
dimensional
generating
Prior art date
Application number
KR20130023113A
Other languages
English (en)
Inventor
김성수
조충래
손지연
박준희
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130023113A priority Critical patent/KR20140109020A/ko
Priority to US13/907,725 priority patent/US20140257532A1/en
Publication of KR20140109020A publication Critical patent/KR20140109020A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명의 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치는, 깊이 카메라를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하고, 생성된 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 카메라 부재와, 상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간에 사용자 지정의 제어 대상 디바이스의 공간상의 데이터를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일을 구축하는 홈 디바이스 제어기를 포함할 수 있다.

Description

스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법{APPARATUS AMD METHOD FOR CONSTRUCTING DEVICE INFORMATION FOR SMART APPLIANCES CONTROL}
본 발명은 스마트 가전기기의 제어를 위한 디바이스 정보 구축 기법에 관한 것으로, 더욱 상세하게는 깊이 카메라와 홈 디바이스 제어기(또는 홈 디바이스 제어 셋탑)를 이용하여 사용자 제스처 기반으로 3차원 공간상의 지정한 디바이스 객체에 대한 제어 정보를 구축하는데 적합한 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법에 관한 것이다.
홈 네트워크와 다양한 스마트 가전기기 관련 기술의 발달에 따라 사용자들은 전통적인 그래픽 사용자 인터페이스(GUI)를 통한 스마트 가전기기의 제어 방식에서 자연스러운 손동작 등의 제스처를 통한 사용자 인터페이스(Natural User Interface : 이하, “NUI”라 함) 형태로 진화해가고 있으며, 직관적인 NUI에 대한 요구가 급속히 증가하고 있다.
특히, 스마트 홈 환경에서의 종래의 홈 게이트웨이를 통한 가정 내 가전을 통합 관리 제어하는 것에서 벗어나 증강 현실 및 동작 인식을 위한 센서 기술을 통해 사용자가 가전기기를 보다 쉽게 제어할 수 있는 증강 현실 기반의 스마트 홈 디바이스 제어 시스템 형태로 발전하고 있다.
이러한 가정 내의 증강 현실 기반의 스마트 홈 디바이스 제어 서비스는 홈 네트워크 내 스마트 폰 카메라를 이용한 이미지내의 가전기기의 QR 코드 추출 및 인식을 통해 보다 진보된 기능으로 제공되고 있다.
그러나, 스마트 가전기기에 식별을 위한 QR 코드 혹은 바코드를 부착하여 증강 현실을 결합한 서비스와 IR 센서를 이용한 사용자 동작 인식을 통한 서비스 형태는 별도의 QR 코드 데이터 구축 및 센서 장비를 요구한다는 단점이 있다.
또한, 사용자가 스마트 가전기기를 선택하여 제어하고자 할 때, 별도의 스마트 폰과 같은 카메라가 부착된 디바이스에서 제어하고자하는 기기를 촬영한 후, 이미지 상의 QR 코드 부분을 추출하고 해석해야 하는 처리가 필요하다.
또 다른 접근 방법은 스마트 가전기기 제어를 위한 실세계가 아닌 3차원 가상 세계(virtual 3D world)를 통해 서비스를 제공하는 방법이 있다. 이 방법은 실세계의 보이는 사물이 아닌 가상 객체를 선택하여 제어하는 방식이므로 사용자에게 직관적인 서비스를 제공하기가 어렵다는 문제가 있다.
현재 사용자 손동작(제스처)을 통해 제공되는 제어 방법은 IR(infra-red) 카메라와 IR 센서(emitter)가 부착된 장갑을 사용자가 끼고 제어하는 방법이 있지만, 이 또한 사용자가 별도의 제작된 장갑을 착용해야 한다는 불편함이 있다.
따라서, 직관적인 스마트 가전기기의 식별을 위한 QR 마크 부착과 사용자의 동작 분석을 위한 IR 센서 장갑들을 대체할 수 있는 실내 장면 3차원 정보 및 스마트 가전기기 정보를 결합시켜 볼 필요성이 있다 할 것이다.
대한민국 공개특허 제2012-0026702호(공개일 : 2012. 03. 20.) 대한민국 공개특허 제2012-0053420호(공개일 : 2012. 05. 25.)
먼저, 카메라가 부착된 스마트 폰을 이용하여 제어 대상 디바이스를 촬영한 이미지를 QR 코드 식별을 수행하는 서버에 전송하여 처리하는 종래 방식은 스마트 폰을 손으로 들고 제어를 수행해야 하는 불편함이 있어 NUI를 충족하기 어렵다는 단점이 있다.
또한, 제어 대상이 되는 스마트 가전기기의 정보를 식별하는 QR 코드의 부착은 일반 사용자가 직접 구축하기가 어렵다는 문제점이 있으며, 이것은 새로운 스마트 가전기기를 스마트 홈에 추가하고자 할 경우에 발생할 수 있는 문제점이다.
따라서, 본 발명은 홈 네트워크에 연결된 스마트 가전기기의 직관적인 사용자 인터페이스(NUI)를 제공하기 위한 시스템에서 디바이스 식별 및 사용자 동작 인식 기반의 디바이스 제어 기능 제공의 어려움과 같은 문제점을 해결하기 위한 것으로, 깊이 카메라와 연결된 홈 디바이스 제어기를 이용하여 댁내 3차원 데이터 구성 및 디바이스 정보를 결합하고 사용자의 제스처(예컨대, 손동작 제스처)에 따라 디바이스의 제어를 위한 정보를 구축할 수 있는 새로운 기법을 제시한다.
또한, 본 발명은 스마트 가전기기를 식별하기 위한 QR 코드의 부착을 필요로 하지 않으며, 스마트 가전기기의 정보 구축을 위한 사용자 제스처 인식을 IR 센서 장갑 없이도 처리할 수 있도록 함으로써, 제스처 기반의 직관적인 사용자 인터페이스를 이용하여 댁내 스마트 가전기기의 제어 시에 필요한 제어 정보를 효과적으로 구축할 수 있다.
본 발명은, 일 관점에 따라, 깊이 카메라를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하고, 생성된 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 카메라 부재와, 상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간에 사용자 지정의 제어 대상 디바이스의 공간상의 데이터를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일을 구축하는 홈 디바이스 제어기를 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치를 제공한다.
본 발명의 상기 카메라 부재는, 상기 실내 공간을 상하좌우로 스캔하는 다각도 촬영 및 캡처를 통해 이미지들을 생성하는 깊이 카메라 스캔부와, 3차원 장면으로의 구성을 위해 생성된 상기 이미지들을 다시점 이미지로 처리하는 다시점 이미지 처리부와, 처리된 상기 다시점 이미지를 재구성하여 상기 3차원 데이터를 생성하는 3차원 데이터 생성부를 포함할 수 있다.
본 발명의 상기 디바이스 정보 구축 장치는, 상기 생성된 3차원 데이터를 이용하여 구성된 상기 3차원 공간상에서 제어 대상 디바이스의 후보 영역을 추출하는 후보 영역 추출부를 더 포함할 수 있다.
본 발명의 상기 다시점 이미지 처리부는, ICP(iterative closest point) 알고리즘을 이용하여 상기 다시점 이미지로 처리하거나 혹은 RANSAC(random sample consensus) 알고리즘을 이용하여 상기 다시점 이미지로 처리할 수 있다.
본 발명의 상기 다시점 이미지는, 이미지를 구성하는 각 픽셀별로 색상을 표현하는 RGB 정보와 깊이 정보를 포함할 수 있다.
본 발명의 상기 사용자 지정은, 사용자 제스처 기반의 지정일 수 있다.
본 발명의 상기 홈 디바이스 제어기는, 상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하는 3D 데이터 구성부와, 상기 홈 네트워크 내에 존재하는 제어 대상 디바이스를 탐색하여 디바이스 리스트를 생성 및 제공하는 디바이스 탐색부와, 생성된 상기 디바이스 리스트에 있는 제어 대상 디바이스 중 어느 하나가 지정될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 상기 3차원 공간상의 바운딩 영역의 정보에 결합하여 동작 제어용 디바이스 프로파일을 구축하는 디바이스 정보 결합부를 포함할 수 있다.
본 발명의 상기 디바이스 속성 정보는, 3차원 바운딩 박스 정보, 디바이스 기본 정보, 디바이스 상세 정보, 디바이스 제어 GUI 정보, 디바이스 상태 정보를 포함할 수 있다.
본 발명은, 다른 관점에 따라, 깊이 카메라를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성한 후 이 생성된 다시점 이미지를 이용하여 3차원 데이터를 생성하는 과정과, 상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하여 사용자 단말의 표시 패널에 표출한 후 상기 3차원 공간에 제어 대상 디바이스의 속성 정보를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일을 구축하는 과정을 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법을 제공한다.
본 발명은, 또 다른 관점에 따라, 홈 네트워크와 연결된 깊이 카메라의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하는 과정과, 생성된 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하여 사용자 단말의 표시 패널에 디스플레이는 과정과, 상기 3차원 데이터를 통해 구성된 3차원 공간상에서 제어 대상 디바이스용의 바운딩 영역을 설정하는 과정과, 상기 홈 네트워크에 존재하는 제어 대상 디바이스를 탐색하여 디바이스 리스트를 생성하고, 생성된 디바이스 리스트를 상기 표시 패널에 표출하는 과정과, 상기 생성된 디바이스 리스트에 있는 제어 대상 디바이스 중 어느 하나가 지정될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 상기 바운딩 영역의 정보에 결합하여 동작 제어용 디바이스 프로파일을 구축하는 과정을 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법을 제공한다.
본 발명의 상기 디바이스 정보 구축 방법은, 상기 생성된 디바이스 리스트에 있는 제어 대상 디바이스들 중 새로운 제어 대상 디바이스가 지정될 때마다 관련 프로세스를 진행하여 새로운 동작 제어용 디바이스 프로파일을 구축하는 과정을 더 포함할 수 있다.
본 발명의 상기 디바이스 정보 구축 방법은, 구축된 상기 동작 제어용 디바이스 프로파일을 프로파일 데이터베이스에 저장하는 과정을 더 포함할 수 있다.
본 발명의 상기 디바이스 프로파일을 구축하는 과정은, 사용자 지정에 의거하여 3차원의 바운딩 영역의 박스 정보를 획득하는 과정과, 해당 바운딩 영역에 부합하는 제어 대상 디바이스의 디바이스 상세 정보를 획득하는 과정과, 해당 제어 대상 디바이스를 제어하기 위한 디바이스 제어 GUI 정보를 획득하는 과정과, 획득된 상기 디바이스 상세 정보와 디바이스 제어 GUI 정보를 상기 디바이스 속성 정보로서 상기 바운딩 영역의 박스 정보에 결합하여 상기 동작 제어용 디바이스 프로파일을 생성하는 과정을 포함할 수 있다.
본 발명은 스마트 홈 환경에서 사용자가 NUI를 통해 스마트 가전기기(제어 대상 디바이스)를 제어하기 위해 실내 3차원 데이터의 재구성 및 각 영역별로 제어 대상 디바이스의 속성 정보를 결합하여 데이터(디바이스 프로파일)를 구축함으로써, 각 가전기기의 식별을 위한 QR 코드 등의 부착을 필요로 하지 않고, 사용자 인터페이스 측면에서 볼 때 IR 센서가 부착된 장갑을 착용할 필요가 없기 때문에 보다 자연스러운 유연한 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명은 스마트 홈의 실내 3차원 데이터 구축 및 공간상의 각 스마트 가전기기에 대한 제어 정보를 사용자가 직접 지정하여 구축할 수 있기 때문에, 누구나가 스마트 가전기기 제어용의 데이터 구축을 손쉽고 용이하게 실현할 수 있다.
도 1은 본 발명의 실시 예에 따른 깊이 카메라와 홈 디바이스 제어기를 이용한 NUI 기반으로 스마트 가전기기의 제어를 위한 디바이스 정보를 구축하는 시스템의 개요를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치의 블록 구성도,
도 3은 본 발명의 실내 3차원 데이터를 이용하여 사용자가 제어 대상 디바이스 후보를 구축하는 개념도,
도 4는 본 발명의 실시 예에 따라 스마트 가전기기의 제어를 위한 디바이스 정보를 구축하는 주요 과정을 도시한 순서도,
도 5는 본 발명에 따라 디바이스 프로파일이 구축되어 디바이스 프로파일 DB에 등록되는 주요 과정을 도시한 순서도.
먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 깊이 카메라와 홈 디바이스 제어기를 이용한 NUI 기반으로 스마트 가전기기의 제어를 위한 디바이스 정보를 구축하는 시스템의 개요를 도시한 도면이다.
도 1을 참조하면, 시스템은 크게 구분해 볼 때 가정 내 홈 네트워크(100)과 연결된 깊이 카메라(101)와 홈 디바이스 제어기(또는 홈 디바이스 제어 셋탑)(102)로 구성될 수 있으며, 홈 디바이스 제어기(102)는 디바이스 프로파일 DB(106) 등을 포함하여 스마트 홈 내의 데스크 탑 PC, 노트북, 냉장고, 에어컨, 오픈 등과 같은 스마트 가전기기들을 NUI 기반으로 제어하기 위한 데이터(디바이스 프로파일 데이터)를 구축하는 역할을 담당할 수 있다.
여기에서, 깊이 카메라(101)는 상하좌우 자동 회전이 가능하며, 확대/축소(Zoom In/Zoom Out) 촬영 기능을 가질 수 있으며, 거실 등 실내 공간의 모서리 등에 장착되어 실내의 다각도 촬영(상하좌우의 스캔 촬영) 및 캐처 등을 통해 3차원 재구성을 위한 다시점 이미지(multi-view images)를 생성할 수 있다. 각 이미지의 각 픽셀(pixel)은 색상을 표현하는 RGB 정보 뿐만 아니라 깊이(depth) 정보를 함께 포함할 수 있다.
그리고, 홈 디바이스 제어기(102)는 깊이 카메라(101)를 통해 생성한 다시점 이미지를 이용하여 댁내 3차원 데이터를 구성(103)할 수 있는데, 댁내 3차원 데이터의 구성(생성)을 위한 다시점 이미지 처리는, 예컨대 ICP(iterative closest point) 알고리즘을 이용하거나 혹은 RANSAC(random sample consensus) 알고리즘을 이용하는 방법 등을 적용하여 수행(계산)될 수 있다.
또한, 홈 디바이스 제어기(102)는 재구성된 3차원 데이터를 저장 및 관리, 즉 댁내 3차원 데이터를 이용하여 3차원 공간을 구성하고, 해당 공간상의 스마트 가전기기(제어 대상 디바이스)에 대한 후보 영역을 추출하며, 추출된 각 정보를 3차원 바운딩 박스(bounding box) 형태로 디바이스 프로파일 DB(106)에 저장 및 관리할 수 있다.
즉, 후보 영역에 부합하는 스마트 가전기기의 속성 정보(예컨대, 3차원 바운딩 박스 정보, 디바이스 기본 정보, 디바이스 상세 정보, 디바이스 제어 GUI 정보, 디바이스 상태 정보 등)를 바운딩 영역(후보 영역)에 결합(매칭)하기 위해 사용자가 제스처(손동작)로 해당 스마트 가전기기를 지정(선택)하면, 깊이 카메라(101)가 해당 장면 이미지를 캡처하여 홈 디바이스 제어기(102)로 전달하고, 홈 디바이스 제어기(102)에서는 사용자 동작(제스처)에 부합하는 3차원 공간상의 벡터(vector)를 계산하고, 계산된 벡터를 이용하여 앞 단계에서 구축된 실내 3차원 데이터 내의 바운딩 박스들에 대해 관성-바운딩 박스 교차 검사(ray-box intersection)(104)를 수행한다. 즉, 홈 디바이스 제어기(102)는 스마트 홈에 존재하는 스마트 가전기기(제어 대상 디바이스)에 대한 정보 접근 및 제어 기능을 수행할 수 있다.
이후, 홈 디바이스 제어기(102)에서 제공하는 스마트 가전기기 리스트(디바이스 리스트)는 스마트 폰 또는 패드 등과 같은 사용자 단말의 표시 패널에 표출(디스플레이)되는데, 사용자는 디바이스 리스트에 있는 제어 대상 디바이스(스마트 가전기기)들 중 어느 하나를 사용자 제스처로 지정(선택)할 수 있는데, 사용자가 원하는 스마트 가전기기를 지정하면, 홈 디바이스 제어기(102)에서는 해당 스마트 가전기기의 속성 정보를 탐지(획득)하여 바운딩 영역에 결합(매칭)함으로써 동작 제어용 디바이스 프로파일(또는 동작 제어용 디바이스 정보)을 구축(105)하며, 이와 같이 구축되는 디바이스 프로파일 데이터를 디바이스 프로파일 DB(106)에 등록(저장)한다.
즉, 본 발명은 홈 네트워크에 연결된 스마트 가전기기들에 대한 정보를 기반으로 깊이 카메라(101)와 홈 디바이스 제어기(102)를 이용하여 댁내(실내) 3차원 데이터(103)와 각 가전기기들의 3차원 공간상의 데이터를 결합함으로써 NUI 기반의 스마트 가전기기 제어에 이용할 수 있는 디바이스 데이터(디바이스 프로파일)를 구축할 수 있다.
도 2는 본 발명의 실시 예에 따른 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치의 블록 구성도로서, 깊이 카메라 스캔부(202), 다시점 이미지 처리부(204), 3D 데이터 생성부(206), 후보 영역 추출부(208), 디바이스 제어부(210), 3D 데이터 구성부(212), 디바이스 탐색부(214) 및 디바이스 정보 결합부(216) 등을 포함할 수 있다.
도 2를 참조하면, 깊이 카메라 스캔부(202), 다시점 이미지 처리부(204), 3D 데이터 생성부(206) 및 후보 영역 추출부(208)는, 예컨대 도 1의 깊이 카메라(101)를 포함하는 카메라 부재로서 정의될 수 있는 것으로, 깊이 카메라(101)를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하고, 생성된 다시점 이미지를 이용하여 3차원 데이터를 생성하는 등의 기능을 제공할 수 있다.
또한, 디바이스 제어부(210), 3D 데이터 구성부(212), 디바이스 탐색부(214) 및 디바이스 정보 결합부(216)는, 도 1의 홈 디바이스 제어기(102)로 정의될 수 있는 것으로, 카메라 부재를 통해 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간에 사용자 지정(예컨대, 사용자 제스처 기반의 지정)의 제어 대상 디바이스(스마트 가전기기)의 공간상의 데이터를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일(디바이스 제어 정보 또는 디바이스 데이터)을 구축하는 등의 기능을 제공할 수 있다.
다음에, 깊이 카메라 스캔부(202)는 실내 공간에서 도 1의 깊이 카메라(101)를 상하좌우로 스캔(상하좌우의 자동 회전)하는 다각도 촬영 및 캡처를 통해 이미지들을 생성하고, 이 생성된 이미지들을 다시점 이미지 처리부(204)로 전달하는 등의 기능을 제공할 수 있다.
그리고, 다시점 이미지 처리부(204)는 3차원 장면으로의 구성을 위해, 예컨대 ICP(iterative closest point) 알고리즘을 이용하거나 혹은 RANSAC(random sample consensus) 알고리즘을 이용하여 깊이 카메라 스캔부(202)가 제공하는 이미지들을 다시점 이미지로 처리하는 등의 기능을 제공할 수 있으며, 3D 데이터 생성부(206)는 처리된 다시점 이미지를 재구성하여 3차원 데이터를 생성한 후 홈 디바이스 제어기(102) 내 3D 데이터 구성부(212)로 전달하는 등의 기능을 제공할 수 있다.
또한, 후보 영역 추출부(208)는 사용자 제스처(예컨대, 손동작)에 기반하여 3D 데이터 생성부(206)를 통해 생성된 3차원 데이터를 이용하여 구성되는 3차원 공간상에서 제어 대상 디바이스(스마트 가전기기)의 후보 영역을 추출 및 저장하는 등의 기능을 제공할 수 있다.
한편, 디바이스 제어부(210)는 홈 디바이스 제어기(102)가 수행하는 각종 기능을 포괄적으로 제어하는 마이크로프로세서 등을 포함하는 것으로, 본 발명에 따라 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일(디바이스 제어 정보 또는 디바이스 데이터)을 구축할 수 있도록 하는 각종 제어 지령을 생성하여 관련 구성부재로 전달하는 등의 기능을 제공할 수 있다.
다음에, 3D 데이터 구성부(212)는 디바이스 제어부(210)로부터 제공되는 제어 지령에 의거하여 3D 데이터 생성부(206)로부터 전달되는 생성된 3차원 데이터를 이용하여 3차원 공간(또는 3차원 장면)을 구성하고, 이 구성된 3차원 장면을 도시 생략된 사용자 단말의 표시 패널로 표출(디스플레이)하는 등의 기능을 제공할 수 있다.
그리고, 디바이스 탐색부(214)는 사용자 단말의 표시 패널을 통해 표출되는 3차원 장면(공간)에서 사용자 제스처가 발생될 때 홈 네트워크 내에 존재하는 제어 대상 디바이스(스마트 가전기기)를 탐색하여 디바이스 리스트(스마트 가전기기 리스트)를 생성하고, 이 생성된 디바이스 리스트를 사용자 단말의 표시 패널로 표출하는 등의 기능을 제공할 수 있다. 이를 위하여, 디바이스 탐색부(214)는 사용자 지정에 의거하여 3차원의 바운딩 영역의 박스 정보를 획득하고, 해당 바운딩 영역에 부합하는 제어 대상 디바이스의 디바이스 상세 정보를 획득하며, 해당 제어 대상 디바이스를 제어하기 위한 디바이스 제어 GUI 정보를 획득하며, 디바이스 상태 정보를 획득하는 등의 프로세스를 수행할 수 있다.
마지막으로, 디바이스 정보 결합부(216)는 디바이스 탐색부(214)가 생성하여 사용자 단말의 표시 패널에 표출한 디바이스 리스트(스마트 가전기기 리스트)에 있는 제어 대상 디바이스들 중 원하는 어느 하나가 지정(선택)될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 3차원 공간상의 바운딩 영역의 박스 정보에 결합(매핑)하여 동작 제어용 디바이스 프로파일을 구축하고, 구축된 동작 제어용 디바이스 프로파일을 디바이스 프로파일 DB(106)에 저장하는 등의 기능을 제공할 수 있다.
또한, 디바이스 정보 결합부(216)는 표시 패널에 표출 중인 디바이스 리스트에 있는 제어 대상 디바이스들 중 사용자 제스처를 통해 새로운 제어 대상 디바이스가 지정될 때마다 관련 프로세스를 진행하여 새로운 동작 제어용 디바이스 프로파일을 구축하여 디바이스 프로파일 DB(106)에 저장할 수 있다.
여기에서, 각 디바이스(제어 대상 스마트 가전기기)의 속성 정보(내부 속성 정보)는, 예컨대 해당 스마트 가전기기의 실내 3차원 공간상의 바운딩 박스 정보(X_min, Y_min, Z_min, X_max, Y_max, Z_max), 디바이스 기본 정보(예컨대, ID, 이름 등), 디바이스 상세 정보, 사용자 단말(예컨대, 스마트 폰, 태블릿 등)에서 제공할 수 있는 디바이스 제어 GUI 정보, 디바이스 현재 상태 정보 등을 포함할 수 있다.
도 3은 본 발명의 실내 3차원 데이터를 이용하여 사용자가 제어 대상 디바이스 후보를 구축하는 개념도이다.
즉, 도 3을 참조하면, 본 발명의 디바이스 정보 구축 장치는 홈 네트워크에 연결된 깊이 카메라와 홈 디바이스 제어기(홈 디바이스 제어 셋탑)에서 구축된 실내 3차원 데이터를 이용하여 사용자가 제어 대상 디바이스 후보를 구축하는데, 이를 위해 깊이 카메라(302)는 회전을 통해 다시점 이미지들을 생성하고, 이들 이미지를 이용하여 3차원 데이터를 재구성한다.
이후 홈 디바이스 제어기에서는 구성된 3차원 데이터를 렌더링(304)하여 사용자 단말의 화면(표시 패널)에 제공(표출)하는데, 사용자는 해당 화면에서 NUI 기반으로 제어하고자 하는 스마트 가전기기의 영역(306)을 지정하여 홈 디바이스 제어기로 전송할 수 있으며, 이에 응답하여 홈 디바이스 제어기에서는 3차원 데이터와 후보영역을 결합(매칭)하여 디바이스 프로파일(디바이스 정보)을 생성한 후 디바이스 프로파일 데이터베이스에 저장 관리한다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 디바이스 정보 구축 장치를 이용하여 스마트 가전기기를 제어하기 위한 디바이스 정보(디바이스 프로파일)를 구축하는 일련의 과정들에 대하여 상세하게 설명한다.
도 4는 본 발명의 실시 예에 따라 스마트 가전기기의 제어를 위한 디바이스 정보를 구축하는 주요 과정을 도시한 순서도이다.
도 4를 참조하면, 깊이 카메라 스캔부(202)에서는 홈 네트워크(100)와 연결된 깊이 카메라(101)의 다각도 촬영(상하좌우 방향으로 자동 스캔 촬영) 및 캡처를 통해 3차원 장면의 구성을 위한 이미지들을 생성하고, 다시점 이미지 처리부(204)에서는 3차원 장면으로의 구성을 위해, 예컨대 ICP 알고리즘을 이용하거나 혹은 RANSAC 알고리즘을 이용하여 생성된 이미지들을 다시점 이미지로 처리한다(단계 402). 여기에서, 각 이미지의 각 픽셀(pixel)은 색상을 표현하는 RGB 정보와 깊이(depth) 정보를 포함할 수 있다.
이어서, 3D 데이터 생성부(206)에서는 3D 데이터 생성부(204)를 통해 처리된 다시점 이미지를 재구성하여 3차원 데이터를 생성한다(단계 404).
다음에, 3D 데이터 구성부(212)에서는 디바이스 제어부(210)로부터 제공되는 제어 지령에 의거해 3차원 데이터를 이용하여 3차원 공간(또는 3차원 장면)을 구성한 후 사용자 단말의 표시 패널로 표출(디스플레이)한다(단계 406).
따라서, 사용자는 제스처(손동작) 기반으로 사용자 단말의 표시 패널 상에 표출 중인 3차원 공간(3차원 장면)상에서 자신이 원하는 제어 대상 디바이스용의 바운딩 영역을 설정하고(단계 408), 제어 대상 디바이스(스마트 가전기기)를 지정(선택)할 수 있다.
이후, 사용자가 제스처를 통해 바운딩 영역을 설정한 후 제어 대상 디바이스를 선택하면, 디바이스 탐색부(214)에서는 홈 네트워크 내에 존재하는 제어 대상 디바이스를 탐색하여 디바이스 리스트(스마트 가전기기 리스트)를 생성한 후 사용자 단말의 표시 패널로 표출(디바이스 리스트의 리스팅)한다(단계 410).
이에 응답하여, 디바이스 정보 결합부(216)에서는 사용자 단말의 표시 패널에 표출되고 있는 디바이스 리스트에 있는 제어 대상 디바이스들 중 어느 하나가 사용자 제스처를 통해 지정(선택)될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 3차원 공간상의 바운딩 영역의 박스 정보에 결합(매핑)하여 동작 제어용 디바이스 프로파일을 구축한 후 디바이스 프로파일 DB(106)에 저장한다(단계 412). 여기에서, 디바이스의 속성 정보(내부 속성 정보)는, 예컨대 해당 스마트 가전기기의 실내 3차원 공간상의 바운딩 박스 정보(X_min, Y_min, Z_min, X_max, Y_max, Z_max), 디바이스 기본 정보(예컨대, ID, 이름 등), 디바이스 상세 정보, 사용자 단말(예컨대, 스마트 폰, 태블릿 등)에서 제공할 수 있는 디바이스 제어 GUI 정보, 디바이스 현재 상태 정보 등을 포함할 수 있다.
보다 상세하게는, 일예로서 도 5에 도시된 바와 같이, 디바이스 탐색부(214)가 3차원의 바운딩 영역의 박스 정보를 획득하고(단계 502), 해당 바운딩 영역에 부합하는 제어 대상 디바이스의 디바이스 상세 정보를 획득하며(단계 504), 해당 제어 대상 디바이스를 제어하기 위한 디바이스 제어 GUI 정보를 획득한 후 디바이스 정보 결합부(216)로 전달하고(단계 506), 이에 응답하여 디바이스 정보 결합부(216)에서는 표시 패널에 표출 중인 디바이스 리스트에 있는 제어 대상 디바이스들 중 어느 하나가 지정(선택)될 때, 해당 제어 대상 디바이스의 디바이스 속성 정보를 3차원 공간상의 바운딩 영역의 박스 정보에 매핑시켜 동작 제어용 디바이스 프로파일(디바이스 정보)을 구축하며(단계 508), 이 구축된 동작 제어용 디바이스 프로파일을 디바이스 프로파일 DB(106)에 등록한다(단계 510).
다시 도 4를 참조하면, 디바이스 제어부(210)에서는 디바이스 프로파일을 구축하고자 하는 다른 디바이스의 선택 여부를 모니터링하거나(단계 414) 혹은 사용자가 프로파일 구축 작업을 종료하는지의 여부를 모니터링하는데(단계 416), 상기 단계(414)에서의 모니터링 결과 표시 패널에 표출 중인 디바이스 리스트에서 새로운 디바이스(디바이스 프로파일을 구축하고자 하는 디바이스)가 선택된 것으로 판단되면, 처리는 전술한 단계(408)로 되돌아가 그 이후의 과정(프로세스)들을 반복 수행하게 되며, 이러한 프로세스의 진행을 통해 구축되는 해당 디바이스에 대한 동작 제어용 디바이스 프로파일이 디바이스 프로파일 DB(106)에 등록된다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
202 : 깊이 카메라 스캔부 204 : 다시점 이미지 처리부
206 : 3D 데이터 생성부 208 : 후보 영역 추출부
210 : 디바이스 제어부 212 : 3D 데이터 구성부
214 : 디바이스 탐색부 216 : 디바이스 정보 결합부

Claims (20)

  1. 깊이 카메라를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하고, 생성된 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하는 카메라 부재와,
    상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하고, 구성된 3차원 공간에 사용자 지정의 제어 대상 디바이스의 공간상의 데이터를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일을 구축하는 홈 디바이스 제어기
    를 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  2. 제 1 항에 있어서,
    상기 카메라 부재는,
    상기 실내 공간을 상하좌우로 스캔하는 다각도 촬영 및 캡처를 통해 이미지들을 생성하는 깊이 카메라 스캔부와,
    3차원 장면으로의 구성을 위해 생성된 상기 이미지들을 다시점 이미지로 처리하는 다시점 이미지 처리부와,
    처리된 상기 다시점 이미지를 재구성하여 상기 3차원 데이터를 생성하는 3차원 데이터 생성부
    를 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  3. 제 2 항에 있어서,
    상기 디바이스 정보 구축 장치는,
    상기 생성된 3차원 데이터를 이용하여 구성된 상기 3차원 공간상에서 제어 대상 디바이스의 후보 영역을 추출하는 후보 영역 추출부
    를 더 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  4. 제 2 항에 있어서,
    상기 다시점 이미지 처리부는,
    ICP(iterative closest point) 알고리즘을 이용하여 상기 다시점 이미지로 처리하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  5. 제 2 항에 있어서,
    상기 다시점 이미지 처리부는,
    RANSAC(random sample consensus) 알고리즘을 이용하여 상기 다시점 이미지로 처리하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  6. 제 1 항에 있어서,
    상기 다시점 이미지는,
    이미지를 구성하는 각 픽셀별로 색상을 표현하는 RGB 정보와 깊이 정보를 포함하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  7. 제 1 항에 있어서,
    상기 사용자 지정은,
    사용자 제스처 기반의 지정인
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  8. 제 1 항에 있어서,
    상기 홈 디바이스 제어기는,
    상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하는 3D 데이터 구성부와,
    상기 홈 네트워크 내에 존재하는 제어 대상 디바이스를 탐색하여 디바이스 리스트를 생성 및 제공하는 디바이스 탐색부와,
    생성된 상기 디바이스 리스트에 있는 제어 대상 디바이스 중 어느 하나가 지정될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 상기 3차원 공간상의 바운딩 영역의 정보에 결합하여 동작 제어용 디바이스 프로파일을 구축하는 디바이스 정보 결합부
    를 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  9. 제 8 항에 있어서,
    상기 디바이스 속성 정보는,
    3차원 바운딩 박스 정보, 디바이스 기본 정보, 디바이스 상세 정보, 디바이스 제어 GUI 정보, 디바이스 상태 정보를 포함하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치.
  10. 깊이 카메라를 이용한 실내 공간에서의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성한 후 이 생성된 다시점 이미지를 이용하여 3차원 데이터를 생성하는 과정과,
    상기 생성된 3차원 데이터를 이용하여 3차원 공간을 구성하여 사용자 단말의 표시 패널에 표출한 후 상기 3차원 공간에 제어 대상 디바이스의 속성 정보를 결합하여 제어 대상 디바이스의 동작 제어를 위한 디바이스 프로파일을 구축하는 과정
    을 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  11. 홈 네트워크와 연결된 깊이 카메라의 다각도 촬영을 통해 3차원 재구성을 위한 다시점 이미지를 생성하는 과정과,
    생성된 상기 다시점 이미지를 이용하여 3차원 데이터를 생성하여 사용자 단말의 표시 패널에 디스플레이는 과정과,
    상기 3차원 데이터를 통해 구성된 3차원 공간상에서 제어 대상 디바이스용의 바운딩 영역을 설정하는 과정과,
    상기 홈 네트워크에 존재하는 제어 대상 디바이스를 탐색하여 디바이스 리스트를 생성하고, 생성된 디바이스 리스트를 상기 표시 패널에 표출하는 과정과,
    상기 생성된 디바이스 리스트에 있는 제어 대상 디바이스 중 어느 하나가 지정될 때, 지정된 제어 대상 디바이스의 디바이스 속성 정보를 상기 바운딩 영역의 정보에 결합하여 동작 제어용 디바이스 프로파일을 구축하는 과정
    을 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  12. 제 11 항에 있어서,
    상기 다시점 이미지는,
    상기 깊이 카메라가 설치된 실내 공간에서의 상하좌우 스캔 촬영 및 캡처를 통해 획득되는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  13. 제 12 항에 있어서,
    상기 다시점 이미지는,
    이미지를 구성하는 각 픽셀별로 색상을 표현하는 RGB 정보와 깊이 정보를 포함하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  14. 제 11 항에 있어서,
    상기 3차원 데이터는,
    상기 다시점 이미지에 대한 ICP(iterative closest point) 알고리즘의 적용을 통해 생성되는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  15. 제 11 항에 있어서,
    상기 3차원 데이터는,
    상기 다시점 이미지에 대한 RANSAC(random sample consensus) 알고리즘의 적용을 통해 생성되는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  16. 제 11 항에 있어서,
    상기 제어 대상 디바이스의 지정은,
    사용자 제스처 기반의 지정인
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  17. 제 11 항에 있어서,
    상기 디바이스 속성 정보는,
    3차원 바운딩 박스 정보, 디바이스 기본 정보, 디바이스 상세 정보, 디바이스 제어 GUI 정보, 디바이스 상태 정보를 포함하는
    스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  18. 제 11 항에 있어서,
    상기 디바이스 정보 구축 방법은,
    상기 생성된 디바이스 리스트에 있는 제어 대상 디바이스들 중 새로운 제어 대상 디바이스가 지정될 때마다 관련 프로세스를 진행하여 새로운 동작 제어용 디바이스 프로파일을 구축하는 과정
    을 더 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  19. 제 11 항에 있어서,
    상기 디바이스 정보 구축 방법은,
    구축된 상기 동작 제어용 디바이스 프로파일을 프로파일 데이터베이스에 저장하는 과정
    을 더 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
  20. 제 11 항에 있어서,
    상기 디바이스 프로파일을 구축하는 과정은,
    사용자 지정에 의거하여 3차원의 바운딩 영역의 박스 정보를 획득하는 과정과,
    해당 바운딩 영역에 부합하는 제어 대상 디바이스의 디바이스 상세 정보를 획득하는 과정과,
    해당 제어 대상 디바이스를 제어하기 위한 디바이스 제어 GUI 정보를 획득하는 과정과,
    획득된 상기 디바이스 상세 정보와 디바이스 제어 GUI 정보를 상기 디바이스 속성 정보로서 상기 바운딩 영역의 박스 정보에 결합하여 상기 동작 제어용 디바이스 프로파일을 생성하는 과정
    을 포함하는 스마트 가전기기의 제어를 위한 디바이스 정보 구축 방법.
KR20130023113A 2013-03-05 2013-03-05 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법 KR20140109020A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130023113A KR20140109020A (ko) 2013-03-05 2013-03-05 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US13/907,725 US20140257532A1 (en) 2013-03-05 2013-05-31 Apparatus for constructing device information for control of smart appliances and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130023113A KR20140109020A (ko) 2013-03-05 2013-03-05 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140109020A true KR20140109020A (ko) 2014-09-15

Family

ID=51488815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130023113A KR20140109020A (ko) 2013-03-05 2013-03-05 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20140257532A1 (ko)
KR (1) KR20140109020A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135974A (ko) * 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706395B (zh) * 2014-01-06 2020-01-14 三星电子株式会社 控制设备及其控制方法
US20150365480A1 (en) * 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
US10032447B1 (en) * 2014-11-06 2018-07-24 John Mitchell Kochanczyk System and method for manipulating audio data in view of corresponding visual data
US9807340B2 (en) 2014-11-25 2017-10-31 Electronics And Telecommunications Research Institute Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
PL411336A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z urządzeniami stacjonarnymi za pomocą gestów oraz system do interakcji z urządzeniami stacjonarnymi za pomocą gestów
KR101807513B1 (ko) 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
CN105045114B (zh) * 2015-05-29 2019-11-19 四川长虹电器股份有限公司 一种信息处理方法、云服务平台及信息处理***
US10969925B1 (en) * 2015-06-26 2021-04-06 Amdocs Development Limited System, method, and computer program for generating a three-dimensional navigable interactive model of a home
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN105182815A (zh) * 2015-08-11 2015-12-23 小米科技有限责任公司 设备控制方法及装置
KR102365721B1 (ko) 2016-01-26 2022-02-22 한국전자통신연구원 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
CN108353151A (zh) * 2016-03-04 2018-07-31 华为技术有限公司 目标设备的控制方法和装置
US9791936B1 (en) * 2016-05-03 2017-10-17 Aram Kavach Audio and motion-based control of a personalized smart appliance, media, and methods of use
DK179925B1 (en) * 2016-06-12 2019-10-09 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
CN106054627B (zh) * 2016-06-12 2020-02-11 珠海格力电器股份有限公司 基于手势识别的控制方法、装置及空调
CN107528873B (zh) * 2016-06-22 2020-11-20 佛山市顺德区美的电热电器制造有限公司 智能家电的控制***及虚拟现实投影装置
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制***、控制处理方法及装置
CN106445298A (zh) * 2016-09-27 2017-02-22 三星电子（中国）研发中心 用于物联网设备的可视化操作方法和装置
US10684758B2 (en) 2017-02-20 2020-06-16 Microsoft Technology Licensing, Llc Unified system for bimanual interactions
US10558341B2 (en) * 2017-02-20 2020-02-11 Microsoft Technology Licensing, Llc Unified system for bimanual interactions on flexible representations of content
CN107121937A (zh) * 2017-06-30 2017-09-01 成都智建新业建筑设计咨询有限公司 一种智能家居多模态交互装置
US10897374B2 (en) * 2017-11-06 2021-01-19 Computime Ltd. Scalable smart environment for controlling a plurality of controlled apparatuses using a connection hub to route a processed subset of control data received from a cloud computing resource to terminal units
US11057238B2 (en) 2018-01-08 2021-07-06 Brilliant Home Technology, Inc. Automatic scene creation using home device control
CN112468783B (zh) 2018-05-07 2022-03-29 苹果公司 用于显示视频媒体用户界面的方法、电子设备和存储介质
CN108490802A (zh) * 2018-05-22 2018-09-04 珠海格力电器股份有限公司 一种家电设备的控制方法及装置
CN109143875B (zh) * 2018-06-29 2021-06-15 广州市得腾技术服务有限责任公司 一种手势控制智能家居方法及其***
US10985972B2 (en) 2018-07-20 2021-04-20 Brilliant Home Technoloy, Inc. Distributed system of home device controllers
CN108693781A (zh) * 2018-07-31 2018-10-23 湖南机电职业技术学院 智能家居控制***
IT201800009299A1 (it) * 2018-10-09 2020-04-09 Cover Sistemi Srl Un metodo di regolazione di uno o piu’ dispositivi ad uso domestico o industriale
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
CN110426962A (zh) * 2019-07-30 2019-11-08 苏宁智能终端有限公司 一种智能家居设备的控制方法及***
CN111080804B (zh) * 2019-10-23 2020-11-06 贝壳找房(北京)科技有限公司 三维图像生成方法及装置
CA3163734A1 (en) 2020-01-05 2021-07-08 Aaron T. Emigh Touch-based control device
US11469916B2 (en) 2020-01-05 2022-10-11 Brilliant Home Technology, Inc. Bridging mesh device controller for implementing a scene
US11528028B2 (en) 2020-01-05 2022-12-13 Brilliant Home Technology, Inc. Touch-based control device to detect touch input without blind spots
CN111262763A (zh) * 2020-04-02 2020-06-09 深圳市晶讯软件通讯技术有限公司 一种基于实景图的智能家居设备控制***及方法
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20120087571A1 (en) * 2010-10-08 2012-04-12 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing 3-dimensional image
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8811719B2 (en) * 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
US8760395B2 (en) * 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US20130024819A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135974A (ko) * 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
US10796694B2 (en) 2016-04-29 2020-10-06 VTouch Co., Ltd. Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied

Also Published As

Publication number Publication date
US20140257532A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
KR20140109020A (ko) 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
CN105760106B (zh) 一种智能家居设备交互方法和装置
CN107703872B (zh) 家电设备的终端控制方法、装置及终端
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
CN107340853B (zh) 一种基于虚拟现实与手势识别的远程呈现交互方法和***
US20150187137A1 (en) Physical object discovery
US20150185825A1 (en) Assigning a virtual user interface to a physical object
US20150187108A1 (en) Augmented reality content adapted to changes in real world space geometry
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
CN108594999B (zh) 用于全景图像展示***的控制方法和装置
JP2011209965A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016048541A (ja) 情報処理システム、情報処理装置及びプログラム
CN112150551A (zh) 物***姿的获取方法、装置和电子设备
CN109788359B (zh) 一种视频数据处理方法和相关装置
CN111951374A (zh) 房屋装修数据的处理方法、装置、电子设备及存储介质
JP6896364B2 (ja) 表示管理方法および関連するコンピュータプログラム製品および電子デバイス
CN113110095A (zh) 基于扫地机器人的HomeMap构建方法及构建***
CN111028362A (zh) 图像显示、标注处理、图像处理方法和装置、存储介质
KR20160066292A (ko) 사물 인터넷 기기 제어 시스템 및 방법
CN112099681B (zh) 基于三维场景应用的交互方法、装置和计算机设备
EP3386204A1 (en) Device and method for managing remotely displayed contents by augmented reality
CN111064947A (zh) 基于全景的视频融合方法、***、装置和存储介质
CN109885172B (zh) 一种基于增强现实ar的对象互动展示方法及***
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
CN115524990A (zh) 基于数字孪生的智能家居控制方法及装置、***、介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid