KR102385263B1 - 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법 - Google Patents

이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법 Download PDF

Info

Publication number
KR102385263B1
KR102385263B1 KR1020180001359A KR20180001359A KR102385263B1 KR 102385263 B1 KR102385263 B1 KR 102385263B1 KR 1020180001359 A KR1020180001359 A KR 1020180001359A KR 20180001359 A KR20180001359 A KR 20180001359A KR 102385263 B1 KR102385263 B1 KR 102385263B1
Authority
KR
South Korea
Prior art keywords
iot
user
information
iot device
location information
Prior art date
Application number
KR1020180001359A
Other languages
English (en)
Other versions
KR20190088122A (ko
Inventor
박찬주
김은석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180001359A priority Critical patent/KR102385263B1/ko
Priority to CN201880085189.5A priority patent/CN111542420B/zh
Priority to EP18897910.8A priority patent/EP3664974B1/en
Priority to PCT/KR2018/016188 priority patent/WO2019135514A1/en
Priority to US16/239,898 priority patent/US11267131B2/en
Publication of KR20190088122A publication Critical patent/KR20190088122A/ko
Application granted granted Critical
Publication of KR102385263B1 publication Critical patent/KR102385263B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

이동형 홈 로봇이 개시된다. 본 이동형 홈 로봇은, 댁내 맵 데이터가 저장된 저장부, 통신부, 카메라, 사용자 인터페이스 및 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 이동형 홈 로봇이 댁내를 이동하는 동안 카메라를 통해 촬영된 영상에 기초하여, 복수의 IoT 기기 각각의 위치 정보를 생성하고, 생성된 위치 정보를 맵 데이터에 매핑하며, 사용자 인터페이스를 통해 사용자 명령이 입력되면, 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기 위치 기반 서비스를 제공하는 프로세서를 포함한다.

Description

이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법{MOBILE HOME ROBOT AND CONTROLLING METHOD OF THE MOBILE HOME ROBOT}
본 개시는 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법에 관한 것으로, 보다 상세하게는, 댁내 IOT(Interne Of Things) 기기들을 제어하는 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법에 관한 것이다.
최근 사물 인터넷(Internet of Things, IoT) 기술이 발전함에 따라 일반 가정에서도 각종 가전 기기, 조명 기기, 음향 기기, 디스플레이 장치 등과 같은 IoT 기기들이 허브 장치와 연결되어 IoT 네트워크 환경을 구성하고 있다.
이와 같은 IoT 환경에서, 편리하고 최적화된 서비스를 받고자 하는 사용자의 니즈가 증대되고 있으며, 이에 따라, 고정된 IoT 허브 장치를 통해 대화형 서비스를 제공하는 기술이 개발되고 있다.
가정 내에 설치된 IoT 기기들을 통해 사용자에게 최적화된 서비스를 제공하기 위해서는, 각 IoT 기기들의 정확한 위치를 아는 것이 중요하다. 그러나, 기존 고정형 IoT 허브 장치는 IoT 기기들의 가정 내 정확한 위치를 자동으로 알 수 없어 최적화된 서비스 제공에 한계가 있다.
설사, 사용자가 허브 장치를 통해 IoT 기기의 설치 위치를 입력한다고 하더라도, 스피커나 전등, 선풍기, 청소기, 공기 청정기 등과 같은 이동형 IoT 기기들은 사용자가 그 위치를 변경시켜 가며 사용하게 되므로, 사용자가 매번 바뀐 IoT 기기의 위치를 입력해야 하는 불편함이 있다.
또한, 가정 내에 신규 IoT 기기를 설치하는 경우나, 위치 변경으로 인해 IoT 기기의 설정을 변경할 때에도 사용자가 일일이 허브 장치를 통해 신규 등록이나 설정 변경을 수행해야 하는 번거로움이 있다.
따라서, 가정 내 설치된 IoT 기기들의 위치를 자동으로 정확히 파악하여 사용자에게 최적화된 서비스를 제공하기 위한 기술의 필요성이 대두된다.
US 2017/0238129A1 US 2016/0121229A1
본 개시는 상술한 문제점에 따른 것으로, 본 개시의 목적은, 가정 내 IoT 기기들의 정확한 위치를 자동으로 파악하여 편리하고 최적화된 IoT 기기 위치 기반 서비스를 제공할 수 있는 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 이동형 홈 로봇은 댁내 맵 데이터가 저장된 저장부, 통신부, 카메라, 사용자 인터페이스 및 상기 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 상기 카메라를 통해 촬영된 영상에 기초하여, 상기 복수의 IoT 기기 각각의 위치 정보를 생성하고, 상기 생성된 위치 정보를 상기 맵 데이터에 매핑하며, 상기 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기 위치 기반 서비스를 제공하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 기기 정보에 기초하여 외부 서버로부터 상기 복수의 IoT 기기 각각의 영상을 획득하고, 상기 획득된 영상과 상기 촬영된 영상을 비교하여 상기 IoT 기기 각각을 인식하고, 상기 촬영된 영상에 기초하여 상기 인식된 IoT 기기 각각의 위치 정보를 생성할 수 있다.
또한, 상기 카메라는, 3D 카메라 및 스테레오 카메라 중 적어도 하나를 포함하고, 상기 위치 정보는, 상기 맵 데이터 상에서 상기 복수의 IoT 기기 각각의 좌표 정보, 상기 복수의 IoT 기기 각각의 크기 정보 및 방향 정보, 상기 복수의 IoT 기기 각각이 위치하는 높이 정보 중 적어도 둘을 포함할 수 있다.
또한, 상기 사용자 인터페이스는, 마이크로폰을 포함하고, 상기 프로세서는, 상기 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 상기 맵 데이터에 매핑하며, 상기 마이크로폰을 통해 사용자 음성 명령이 수신되면, 상기 시맨틱 정보가 매핑된 맵 데이터를 이용하여 상기 사용자 음성 명령에 대응되는 동작을 수행할 수 있다.
또한, 상기 프로세서는, 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 획득된 정보에 기초하여 상기 맵 데이터 및 상기 복수의 IoT 기기 각각의 위치 정보를 기설정된 주기로 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 위치 정보 또는 상기 위치 정보가 매핑된 맵 데이터를 사용자의 스마트 폰 또는 상기 복수의 IoT 기기 중 적어도 하나로 전송할 수 있다.
또한, 상기 프로세서는, 상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령을 입력한 사용자의 위치 및 상기 하나의 IoT 기기의 위치 정보에 기초하여 상기 사용자 명령에 대응되는 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 하나의 IoT 기기로 전송할 수 있다.
또한, 상기 프로세서는, 상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리에 기초하여 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단되면, 상기 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단되면, 상기 사용자 인터페이스를 통해 상기 하나의 IoT 기기가 상기 사용자 명령을 수행할 수 없음을 알리는 알림을 제공할 수 있다.
또한, 상기 프로세서는, 상기 카메라를 통해 촬영된 사용자 영상에 기초하여 사용자의 상황 정보를 판단하고, 상기 판단된 사용자의 상황 정보에 기초하여 상기 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 상기 적어도 하나의 IoT 기기로 전송할 수 있다.
또한, 상기 사용자 인터페이스는, 마이크로폰 및 스피커를 포함하고, 상기 프로세서는, 신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 상기 카메라를 통해 촬영된 상기 신규 IoT 기기의 영상에 기초하여 외부 서버로부터 상기 신규 IoT 기기에 대한 기기 정보를 획득하고, 상기 신규 IoT 기기에 대한 기기 정보에 기초하여 상기 신규 IoT 기기 등록에 관한 대화형 서비스를 제공할 수 있다.
한편, 본 개시의 일 실시 예에 따른 이동형 홈 로봇의 제어 방법은, 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 카메라를 통해 촬영된 영상에 기초하여, 상기 복수의 IoT 기기 각각의 위치 정보를 생성하는 단계, 상기 생성된 위치 정보를 상기 댁내의 맵 데이터에 매핑하는 단계 및 사용자 명령이 입력되면, 상기 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기 위치 기반 서비스를 제공하는 단계를 포함한다.
또한, 상기 위치 정보를 생성하는 단계는, 상기 기기 정보에 기초하여 외부 서버로부터 상기 복수의 IoT 기기 각각의 영상을 획득하는 단계, 상기 획득된 영상과 상기 촬영된 영상을 비교하여 상기 IoT 기기 각각을 인식하는 단계 및 상기 촬영된 영상에 기초하여 상기 인식된 IoT 기기 각각의 위치 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 카메라는, 3D 카메라 및 스테레오 카메라 중 적어도 하나를 포함하고, 상기 위치 정보는, 상기 맵 데이터 상에서 상기 복수의 IoT 기기 각각의 좌표 정보, 상기 복수의 IoT 기기 각각의 크기 정보 및 방향 정보, 상기 복수의 IoT 기기 각각이 위치하는 높이 정보 중 적어도 둘을 포함할 수 있다.
또한, 상기 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 상기 맵 데이터에 매핑하는 단계를 더 포함하고, 상기 서비스를 제공하는 단계는, 사용자 음성 명령이 수신되면, 상기 시맨틱 정보가 매핑된 맵 데이터를 이용하여 상기 사용자 음성 명령에 대응되는 동작을 수행하는 단계를 포함할 수 있다.
또한, 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 획득된 정보에 기초하여 상기 맵 데이터 및 상기 복수의 IoT 기기 각각의 위치 정보를 기설정된 주기로 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 위치 정보 또는 상기 위치 정보가 매핑된 맵 데이터를 사용자의 스마트 폰 또는 상기 복수의 IoT 기기 중 적어도 하나로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서비스를 제공하는 단계는, 상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령을 입력한 사용자의 위치 및 상기 하나의 IoT 기기의 위치 정보에 기초하여 상기 사용자 명령에 대응되는 제어 명령을 생성하는 단계 및 상기 생성된 제어 명령을 상기 하나의 IoT 기기로 전송하는 단계를 포함할 수 있다.
또한, 상기 서비스를 제공하는 단계는, 상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리에 기초하여 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단하는 단계 및 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단되면, 상기 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단되면, 상기 사용자 인터페이스를 통해 상기 하나의 IoT 기기가 상기 사용자 명령을 수행할 수 없음을 알리는 알림을 제공하는 단계를 포함할 수 있다.
또한, 상기 카메라를 통해 촬영된 사용자 이미지에 기초하여 사용자의 상황 정보를 판단하는 단계 및 상기 판단된 사용자의 상황 정보에 기초하여 상기 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 상기 적어도 하나의 IoT 기기로 전송하는 단계를 더 포함할 수 있다.
또한, 신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 상기 카메라를 통해 촬영된 상기 신규 IoT 기기의 이미지에 기초하여 외부 서버로부터 상기 신규 IoT 기기에 대한 기기 정보를 획득하는 단계 및 상기 신규 IoT 기기에 대한 기기 정보에 기초하여 상기 신규 IoT 기기 등록에 관한 대화형 서비스를 제공하는 단계를 더 포함할 수 있다.
이상 설명한 바와 같이 본 개시의 다양한 실시 예에 따르면, 이동형 홈 로봇은 가정 내 IoT 기기들의 정확한 위치를 자동으로 파악할 수 있다. 이에 따라, 사용자는 이동형 홈 로봇과의 인터렉션만으로 편리하고 최적화된 IoT 기기 위치 기반 서비스를 제공받을 수 있다.
도 1은 종래 고정형 IoT 허브 장치를 포함하는 IoT 환경을 나타내는 예시도,
도 2는 댁내 지도의 예시도,
도 3은 본 개시의 일 실시 예에 따른 IoT 환경을 나타내는 도면,
도 4는 본 개시의 일 실시 예에 따른 이동형 홈 로봇의 블럭도,
도 5는 본 개시의 일 실시 예에 따른 이동형 홈 로봇의 상세 블럭도,
도 6은 본 개시의 일 실시 예에 따른 이동형 홈 로봇의 IoT 기기 위치 기반 서비스를 설명하기 위한 예시도, 및
도 7은 본 개시의 일 실시 예에 따른 이동형 홈 로봇의 제어 방법에 대한 흐름도이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 상세히 설명한다. 도 1은 종래 고정형 IoT(Internet of Things) 허브 장치를 포함하는 IoT 환경을 나타내는 예시도이다.
도 1에 도시된 바와 같이, 가정 내에는 전기 포트(11), 온도계(12), 조명(13), 스마트 TV(14), 오디오 시스템(15), 스마트폰(16) 등과 같은 수많은 IoT 기기들이 존재할 수 있다. IoT는 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술을 의미하므로, 가정 내 존재할 수 있는 IoT 기기들의 종류에는 제한이 없다.
한편, 가정 내 IoT 환경은 IoT 허브 장치(10)를 포함할 수 있다. IoT 기기들(11 내지 16)은 통신 기능을 구비하므로, IoT 허브 장치(10)와 연결되어 IoT 허브 장치(10)에 의해 제어 및 관리될 수 있다.
도 1에 도시된 IoT 허브 장치(10)는 대화형 서비스가 가능한 고정형 스피커 장치로, 사용자의 음성 명령을 수신하여 대응되는 동작을 수행할 수 있다. 특히, IoT 허브 장치(10)는 IoT 기기(11 내지 16)를 제어하기 위한 사용자 음성 명령이 수신되면, 제어 대상 IoT 기기로 제어 명령을 전송하여 사용자 음성 명령에 대응되는 동작을 수행할 수 있다.
예를 들어, IoT 허브 장치(10)는 "음악을 틀어줘"라는 사용자 음성 명령이 수신되면, 오디오 시스템(15)을 제어하여 음악을 재생할 수 있고, "지금 온도가 몇도야?"라는 사용자의 질문이 수신되면, 온도계(12)로 현재 온도 정보를 요청하여 "지금 온도는 20도입니다"와 같은 응답을 출력할 수 있다.
이와 같이, 종래의 고정형 IoT 허브 장치(10)도 연결된 IoT 기기들(11 내지 16)을 관리하고 제어할 수는 있다. 그러나, 종래 IoT 허브 장치(10)는 실제 가정 내에서 각 IoT 기기들(11 내지 16)이 정확히 어디에 위치하는지 알지 못하고, 각 기기들(11 내지 16)로 정보 송, 수신할 뿐이므로, IoT 기기 위치 기반의 서비스를 제공하는 데는 한계가 있다.
즉, 예를 들어, 종래 IoT 허브 장치(10)는 사용자의 "음악을 틀어줘"라는 명령이 수신되면, 단순히 음악 재생 명령을 오디오 시스템(15)으로 전송할 뿐, 오디오 시스템(15)의 위치, 방향, 높이 등을 고려하여 사용자 방향으로 빔포밍된 오디오 출력 명령을 오디오 시스템(15)으로 전송할 수는 없다. 또한, 종래 IoT 허브 장치(10)는 사용자의 "에어컨을 틀어줘"라는 명령에 대해, 에어컨(미도시)의 전원을 온 시키고, 온도계(12)의 온도를 참조하여 에어컨 설정 온도를 설정할 수 있을 뿐, 에어컨(미도시)의 위치, 에어컨(미도시)이 놓여진 방향 등을 고려하여 사용자 방향으로 최적화된 바람을 제공하도록 에어컨(미도시)을 제어할 수는 없다.
물론, 사용자가 직접 IoT 허브 장치(10)에 또는 스마트폰(16)을 통해 IoT 기기들(11 내지 16)의 위치 정보를 입력하고, 이를 이용하는 방법이 있을 수도 있으나, 사용자가 직접 IoT 기기들(11 내지 16)의 위치 정보를 입력하는 것은 번거로운 일이며, 사용자가 IoT 기기들(11 내지 16)의 위치를 변경하면 위치 정보를 다시 입력해야 한다.
또한, 고정형 IoT 허브 장치(10)에 카메라를 설치하고, 카메라를 통해 촬영된 영상을 이용하여 IoT 기기들(11 내지 16)의 위치 정보를 획득할 수도 있으나, 이 역시 한계가 있다.
즉, 도 1에서는 거실에 설치된 IoT 기기들(11 내지 16)만을 도시하였으나, 일반적으로 집은 도 2에 도시된 댁내 지도의 예시도와 같이, 침실, 거실, 화장실, 베란다 등으로 공간이 나뉜다. 따라서, 거실에 배치된 고정형 IoT 허브 장치(10)는 카메라를 이용하더라도 거실이 아닌 다른 장소에 있는 IoT 기기들의 위치를 알기 어렵다.
따라서, 본 개시의 일 실시 예에 따르면, 이동형 홈 로봇을 이용하여 가정 내 IoT 기기들(11 내지 16)의 정확한 위치 정보를 획득함으로써, 상술한 문제점을 해결하고, 사용자에게 최적화된 IoT 기기 위치 기반 서비스를 제공할 수 있다
도 3은 본 개시의 일 실시 예에 따른 IoT 환경을 나타내는 도면이다. 도 3에 따르면, 도 1의 고정형 IoT 허브 장치(10) 대신 이동형 홈 로봇(100)이 IoT 허브 장치로 동작하고 있다.
이동형 홈 로봇(100)은 한 곳에 고정되어 사용되는 것이 아니라 스스로 위치를 이동할 수 있다. 따라서, 댁내를 이동하면서 댁내 맵 데이터를 생성 또는 업데이트하고, 댁내 설치된 IoT 기기들(11 내지 16)의 위치 정보를 생성하며, 생성된 위치 정보를 맵 데이터에 매핑하여 관리할 수 있다. 이동형 홈 로봇(100)은 도 2와 같이, 나뉘어진 여러 공간에 IoT 기기들이 각각 설치되어 있더라도, 각 공간을 이동하며 정보를 획득하여 각 공간에 설치된 IoT 기기들의 위치 정보를 획득하여 맵 데이터에 매핑할 수 있다.
또한, 이동형 홈 로봇(100)은 댁내를 이동하면서 맵 데이터를 주기적으로 갱신할 수 있는데, 맵 데이터의 갱신과 함께 IoT 기기의 위치 정보도 함께 갱신함으로써, 사용자가 설치된 IoT의 위치를 변경하더라도 변경된 최신의 위치 정보를 관리할 수 있다.
이에 따라, 이동형 홈 로봇(100)은 맵 데이터에 매핑된 IoT 기기들의 위치 정보를 이용함으로써, 사용자에게 개인화된 최적의 IoT 기기 위치 기반 서비스를 제공할 수 있게 된다.
한편, 도 3에서는 이동형 홈 로봇(100)이 IoT 허브 장치가 되는 경우를 예로 들었으나, 실시 예가 이에 한정되는 것은 아니다. 즉, 도 1과 같이 고정형 IoT 허브 장치(10)가 따로 있는 경우에도 이동형 홈 로봇(100)은 IoT 기기들의 위치 정보가 매핑된 맵 데이터를 생성 및 관리할 수 있으며, IoT 기기들의 위치 정보가 매핑된 맵 데이터를 이용하여 IoT 기기 위치 기반 서비스를 제공할 수 있다. 이때, 이동형 홈 로봇(100)은 사용자 명령이 있는 경우, IoT 허브 장치(10)를 통해 IoT 기기들을 제어할 수도 있고, 이동형 홈 로봇(100)이 직접 IoT 기기들을 제어할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 이동형 로봇의 블럭도이다. 도 4에 따르면, 이동형 홈 로봇(100)은 통신부(110), 프로세서(120), 저장부(130), 카메라(140) 및 사용자 인터페이스(150)를 포함할 수 있다.
통신부(110)는 프로세서(120)의 제어를 받아 각종 유, 무선 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 예를 들어, 통신부(110)는 인터넷 등의 네트워크를 통해 각종 서버와 통신을 수행할 수 있다. 또한, 통신부(110)는 각종 근거리 통신 방식으로 댁내의 IoT 기기들(11 내지 16) 또는 IoT 허브 장치(10)와 통신을 수행할 수도 있다.
저장부(130)는 이동형 홈 로봇(100)의 동작을 위한 각종 프로그램 및 데이터를 저장한다. 특히, 저장부(130)는 댁내 맵 데이터, 댁내 설치된 IoT 기기들(여기서, IoT 기기들은 고정형 IoT 허브 장치를 포함한다)의 기기 정보(예를 들어, 모델명, 타입, 시리얼 넘버, MAC 주소, 기능, 관련 URL 등), 프로세서(120)가 생성한 IoT 기기들의 위치 정보(예를 들어, IoT 기기의 좌표 정보, 크기 정보, 방향 정보, 설치 높이 정보 등), IoT 기기들의 위치 정보가 매핑된 맵 데이터, IoT 기기들의 위치 정보와 관련된 시맨틱 정보, 시맨틱 정보가 매핑된 맵 데이터 등을 저장할 수 있다. 또한, 저장부(130)는 사용자에게 대화형 서비스를 제공하기 위해 필요한 각종 데이터베이스 및 음성 인식 모듈을 저장할 수 있다. 이에 따라, 프로세서(120)는 대화형 서비스를 제공할 수 있다. 또한, 저장부(130)는 사용자의 상황 판단에 필요한 프로그램 모듈을 저장할 수 있다.
카메라(140)는 프로세서(120)의 제어를 받아 외부 영상을 촬영한다. 특히, 카메라(140)는 이동형 홈 로봇(100)이 댁내를 이동하는 동안 주변 영상을 촬영할 수 있다. 또한, 카메라(140)는 프로세서(120)의 제어를 받아 사용자를 트랙킹하며 촬영할 수도 있다. 이와 같이, 촬영된 영상 데이터는 프로세서(120)로 제공될 수 있다.
사용자 인터페이스(150)는 사용자가 이동형 홈 로봇(100)과 인터렉션하기 위한 구성 요소이다. 사용자는 사용자 인터페이스(150)를 통해 이동형 홈 로봇(100)에 명령을 입력하고, 이동형 홈 로봇(100)이 출력하는 정보를 인지할 수 있다. 이를 위해, 사용자 인터페이스(150)는 다양한 사용자 입, 출력 인터페이스를 포함할 수 있다.
프로세서(120)는 이동형 홈 로봇(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 카메라(140)를 통해 촬영된 영상에 기초하여, 복수의 IoT 기기 각각의 위치 정보를 생성할 수 있다.
구체적으로, 프로세서(120)는 댁내에 설치된 복수의 IoT 기기의 기기 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 통신부(110)를 통해 외부의 IoT 허브 장치(10)로부터 댁내에 설치된 복수의 IoT 기기에 대한 기기 정보를 수신할 수 있다. 일반적으로, IoT 허브 장치(10)는 댁내에 설치된 IoT 기기들을 관리하므로, IoT 기기들의 기기 정보를 저장하고 있다. 따라서, 프로세서(120)는 IoT 허브 장치(10)가 있는 경우, IoT 허브 장치(10)로 기기 정보를 요청하여 댁내 설치된 IoT 기기들의 기기 정보를 획득할 수 있다.
또한, 이동형 홈 로봇(100)이 IoT 허브 장치로 동작하는 경우, IoT 기기들은 설치 및 등록시 이동형 홈 로봇(100)으로 기기 정보를 제공하게 된다. 따라서, 프로세서(120)는 각 IoT 기기들로부터 수신한 기기 정보를 저장부(130)에 저장할 수 있으며, 필요에 따라 저장부(130)에 저장된 IoT 기기들의 기기 정보를 이용할 수 있다.
한편, 프로세서(120)는 이동형 홈 로봇(100)이 댁내를 이동하는 동안 카메라(140)를 통해 주변 영상을 촬영할 수 있다. 이에 따라, 프로세서(120)는 상기 획득된 IoT 기기 정보와 촬영된 영상에 기초하여 복수의 IoT 기기 각각의 위치 정보를 생성할 수 있다.
구체적으로, 프로세서(120)는 IoT 기기 정보에 기초하여 외부 서버로부터 복수의 IoT 기기 각각의 영상을 획득할 수 있다. IoT 기기 정보는 해당 IoT 기기의 모델명, 타입, 기능, 관련 URL 등에 관한 정보를 포함하므로, 프로세서(120)는 통신부(110)를 통해 해당 IoT 기기 판매 업체나 제조 업체가 운영하는 웹 서버에 접속하거나 웹 검색을 통해 해당 IoT 기기의 영상을 획득할 수 있다.
이에 따라, 프로세서(120)는 획득된 영상과 카메라(100)를 통해 촬영된 영상을 비교하여 IoT 기기를 인식할 수 있다. 이와 같이, 촬영된 영상에서 IoT 기기가 인식되면, 프로세서(120)는 촬영된 영상을 분석하여, 상기 인식된 IoT 기기의 댁내 맵 데이터 상에서 좌표 정보, 크기 정보, 방향 정보, 상기 인식된 IoT 기기가 위치하는 높이 정보 중 적어도 하나를 포함하는 IoT 기기의 위치 정보를 생성할 수 있다. 프로세서(120)가 카메라(110)를 통해 촬영된 영상을 분석하여, 상기 인식된 IoT 기기의 위치 정보를 생성하는 구체적인 내용은 본 개시의 요지를 벗어나므로, 더 자세한 설명은 생략한다.
한편, 프로세서(120)는 위와 같이, 생성된 위치 정보를 댁내 맵 데이터에 매핑하여 관리할 수 있다. 구체적으로, 프로세서(120)는 이동형 홈 로봇(100)이 댁내를 이동하면서 각종 센서(미도시, 도 5에서 후술함.) 또는 카메라(110)를 통해 획득한 정보에 기초하여 댁내 맵 데이터를 생성할 수 있다. 이와 같이, 생성된 맵 데이터는 저장부(130)에 저장되어 관리된다.
전술한 바와 같이, IoT 기기의 위치 정보는 좌표 정보를 포함하므로, 프로세서(120)는 맵 데이터 상에서 해당 IoT 기기가 위치하는 좌표에 IoT 기기의 위치 정보를 매핑할 수 있다.
또한, 프로세서(120)는 이동형 홈 로봇(100)이 댁내를 이동하는 동안 각종 센서(미도시, 도 5에서 후술함.) 또는 카메라(110)를 통해 획득한 기초하여 댁내 맵 데이터를 기설정된 주기로 업데이트할 수 있다. 이때, 프로세서(120)는 IoT 기기 각각의 위치 정보를 함께 업데이트할 수 있다. 그러나, 맵 데이터와 IoT 기기의 위치 정보가 반드시 함께 업데이트되어야 하는 것은 아니며, 각각 별도 주기로 업데이트될 수도 있음은 물론이다.
이와 같이, 맵 데이터 또는 IoT 기기 정보가 주기적으로 업데이트되면, 위치를 변경하며 사용할 수 있는 IoT 기기들(예를 들어, 전기 포트(11), 온도계(12), 스마트폰(16), 스피커(미도시) 등)의 위치가 변경되더라도 변경된 위치에 맞게 최적의 IoT 기기 위치 기반 서비스를 제공할 수 있게 된다.
한편, 프로세서(120)는 사용자 인터페이스(150)를 통해 사용자 명령이 입력되면, 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기 위치 기반 서비스를 제공할 수 있다. 여기서, IoT 기기 위치 기반 서비스는, 이동형 홈 로봇(100)이 IoT 기기들 각각의 위치 정보를 이용하여 사용자 명령을 수행하는 것을 의미한다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 사용자 명령을 입력한 사용자의 위치 및 상기 하나의 IoT 기기의 위치 정보에 기초하여 사용자 명령에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 상기 하나의 IoT 기기로 전송할 수 있다.
예를 들어, 사용자 인터페이스(150)를 통해 "음악을 틀어줘"라는 사용자 음성 명령이 입력되면, 프로세서(120)는 사용자 음성 명령을 인식하여, 음악을 재생할 수 있는 기능을 포함하는 오디오 시스템(15)을 사용자 명령을 수행할 IoT 기기로 판단할 수 있다. 또한, 프로세서(120)는 음성 명령을 발화한 사용자의 현재 댁내 맵 데이터 상의 위치를 판단할 수 있다. 이때, 프로세서(120)는 카메라(110)를 통해 사용자를 촬영하고, 촬영된 영상을 분석하여 사용자의 위치를 판단할 수 있으나, 이에 한정되는 것은 아니다.
이에 따라, 프로세서(120)는 상기 판단된 사용자의 위치 및 오디오 시스템(15)의 위치 정보에 기초하여, 사용자에게 최적의 음향을 제공하도록 오디오 시스템(15)이 수행할 빔포밍에 관한 설정값을 포함하는 음악 재생 명령을 생성하고, 생성된 음악 재생 명령을 오디오 시스템(15)으로 전송하도록 통신부(110)를 제어할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는, 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리에 기초하여 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단할 수 있다.
이에 따라, 프로세서(120)는, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단되면, 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단되면, 사용자 인터페이스(150)를 통해 상기 하나의 IoT 기기가 사용자 명령을 수행할 수 없음을 알리는 알림을 제공할 수 있다.
예를 들어, "음악을 틀어줘"라는 사용자 음성 명령이 입력되면, 프로세서(120), 사용자 음성 명령을 인식하여, 음악을 재생할 수 있는 기능을 포함하는 스피커를 사용자 명령을 수행할 IoT 기기로 판단할 수 있다. 또한, 프로세서(120)는 음성 명령을 발화한 사용자의 현재 댁내 맵 데이터 상의 위치를 판단할 수 있다.
이에 따라, 프로세서(120)는 사용자와 스피커의 거리를 판단하고, 판단된 거리에 기초하여 스피커가 "음악을 틀어줘"라는 사용자 명령을 수행하기에 적합한지 여부를 판단할 수 있다. 예를 들어, 프로세서(120)는 사용자와 스피커와의 거리가 기설정된 거리 미만이면, 적합한 것으로 판단하고, 이상이면 부적합한 것으로 판단할 수 있다. 또는, 프로세서(120)는 사용자와 스피커가 같은 공간에 있으면, 적합한 것으로 판단하고, 다른 공간(예를 들어, 화장실과 거실)에 있으면, 부적합한 것으로 판단할 수 있다.
이때, 스피커가 사용자 명령을 수행하기에 적합하다고 판단되면, 프로세서(120)는 음악 재생 명령을 스피커로 전송하도록 통신부(110)를 제어할 수 있다. 만일, 스피커와 사용자 간의 거리가 너무 멀거나 또는 스피커는 침실에 있는 반면 사용자는 거실에 있기 때문에 스피커가 사용자 명령을 수행하기에 부적합하다고 판단되면, 프로세서(120)는 스피커가 현재 음악을 재생 명령을 수행할 수 없음을 알리는 알림을 출력(디스플레이 또는 음성 출력)하도록 사용자 인터페이스(150)를 제어할 수 있다.
이때, 스피커가 현재 음악을 재생 명령을 수행할 수 없음을 알리는 알림은, "지금 스피커는 침실에 있어요."와 같이 스피커가 음악 재생 명령을 수행할 수 없는 이유에 관한 메시지, "제가 직접 음악을 재생할까요?" 또는 "스피커를 거실로 가져올까요?"와 같이 대안에 관한 메시지일 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 개시의 또 다른 일 실시 예에 따르면, 프로세서(120)는 카메라(110)를 통해 촬영된 사용자 영상에 기초하여 사용자의 상황 정보를 판단하고, 판단된 사용자의 상황 정보에 기초하여 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 적어도 하나의 IoT 기기로 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 프로세서(120)는 사용자를 촬영하여 사용자의 상황을 판단할 수 있다. 예를 들어, 프로세서(120)는 카메라(110)를 통해 사용자의 눈을 트랙킹하여 사용자가 눈을 기설정된 시간 이상 감고 있는 경우, 사용자가 잠을 자는 것으로 판단할 수 있다. 또는 사용자가 의자에 앉아 책상을 기설정된 시간 이상 보는 경우, 사용자가 독서 중인 것으로 판단할 수 있다. 프로세서(120)가 카메라(110)를 통해 사용자의 상황을 판단하는 보다 구체적인 내용은 본 개시의 요지를 벗어나므로, 이하 설명을 생략한다.
이와 같이, 사용자의 상황이 판단되면, 프로세서(120)는 IoT 기기의 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기들의 동작 모드를 변경할 수 있다. 예를 들어, 사용자가 침실에서 취침 중인 것으로 판단되면, 프로세서(120)는 침실의 조명을 낮추고, 나머지 방에 설치된 IoT 기기들이 모두 취침 모드로 동작하도록 할 수 있다. 또한, 사용자가 거실에서 독서 중인 것으로 판단되면, 프로세서(120)는 거실에 설치된 IoT 기기들이 독서 모드로 동작하도록 하고, 나머지 공간에 있는 IoT 기기들의 전원을 오프시킬 수도 있다.
한편, 본 개시의 또 다른 일 실시 예에 따르면, 프로세서(120)는 IoT 기기들의 위치 정보를 IoT 기기들과 공유할 수 있다. 예를 들어, 프로세서(120)는 상술한 바와 같이 생성한 IoT 기기들의 위치 정보 또는 IoT 기기들의 위치 정보가 매핑된 맵 데이터를 사용자의 스마트폰 또는 IoT 기기로 전송하도록 통신부(110)를 제어할 수 있다. 이때, 프로세서(120)는 IoT 기기들의 위치 정보가 업데이트될 때마다 위치 정보 또는 맵 데이터를 IoT 기기들로 전송할 수 있으나, 이에 한정되는 것은 아니다.
이와 같이, IoT 기기들의 위치 정보가 공유되면, 예를 들어, 사용자는 스마트폰을 통해 IoT 기기들의 위치를 실시간으로 확인할 수도 있고, 각 IoT 기기들은 다른 IoT 기기들의 위치 정보를 활용하여 동작할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 이동형 로봇의 상세 블럭도이다. 도 5에 따르면, 이동형 홈 로봇(100')은 통신부(110), 프로세서(120), 저장부(130), 카메라(140), 사용자 인터페이스(150), 구동부(160) 및 센서부(170)를 포함할 수 있다. 도 5에 도시된 각 구성은 반드시 이동형 홈 로봇(100')에 모두 포함되어야 하는 것은 아니며, 이동형 홈 로봇(100')의 구현 예에 따라 일부 구성이 생략되거나 다른 구성이 더 포함될 수도 있다. 예를 들어, 이동형 홈 로봇(100')이 이동형 청소 로봇으로 구현된 경우에는 청소 기능을 수행하기 위한 구성이 더 포함될 수 있으나, 이에 한정되는 것은 아니다. 한편, 도 4를 설명함에 있어, 전술한 것과 동일한 구성의 중복되는 내용은 설명을 생략한다.
통신부(110)는 다양한 외부 장치와 통신을 수행하여 각종 정보를 송, 수신할 수 있다. 특히, 통신부(110)는 댁내 설치된 IoT 기기들 또는 IoT 허브 장치와 통신을 수행할 수 있다. 또한, 통신부(110)는 네트워크를 통해 각종 외부 서버와 통신을 수행할 수도 있다.
이를 위해, 통신부(110)는 근거리 무선 통신 모듈(미도시) 및 무선랜 통신 모듈(미도시) 중 적어도 하나의 통신 모듈을 포함할 수 있다. 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기와 무선으로 데이터 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth) 모듈, 지그비(ZigBee) 모듈, NFC(Near Field Communication) 모듈, 적외선 통신 모듈 등이 될 수 있다. 또한, 무선랜 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 외부 서버 또는 외부 기기와 통신을 수행하는 모듈이다.
이 밖에 통신부(110)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있으며, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394, RS-232, RS-422, RS-485, Ethernet 등과 같은 통신 규격에 따른유선 통신 모듈(미도시)을 더 포함할 수도 있다.
저장부(130)는 각종 프로그램 및 데이터를 저장한다. 특히, 저장부(130)는 댁내 맵 데이터를 저장할 수 있다. 또한, 저장부(130)는 이동형 홈 로봇(100')의 동작을 수행하기 위한 운영 체제(operating system, o/s) 및 각종 프로그램을 저장할 수 있다. 이를 위해, 저장부(130)는 RAM(Random Access Memory), ROM(Read Only Memory), SSD(Solid State Disk), 플래시 메모리, 하드 디스크 또는 광디스크 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 실시 예에 따라, 저장부(130)는 클라우드 서버 등으로도 얼마든지 구현될 수다.
카메라(140)는 외부의 영상을 촬영한다. 특히, 카메라(140)는 이동형 홈 로봇(110')이 댁내를 이동하는 동안 댁내의 영상을 촬영할 수 있다. 이때, 본 개시의 일 실시 예에 따르면, 카메라(140)는 스테레오 카메라(141) 및 3D 카메라 중 적어도 하나를 포함할 수 있다.
스테레오 카메라(141) 또는 3D 카메라(142)를 통해 촬영된 영상은 뎁스 정보 추출이 가능하므로, 프로세서(120)는 스테레오 카메라(141) 및 3D 카메라 중 적어도 하나를 이용하여 촬영된 영상을 통해, 맵 데이터 상에서 IoT 기기의 2차원 좌표 정보뿐만 아니라, IoT 기기의 크기 정보, IoT 기기가 놓여진 방향 정보, IoT 기기 가 설치된 높이 정보 등과 같은 3차원 정보를 획득할 수 있게 되며, 이에 따라, 정확한 IoT 기기의 위치를 알 수 있게 되므로, 프로세서(120)는 최적의 IoT 기기 위치 기반 서비스를 제공할 수 있게 된다.
사용자 인터페이스(150)는 다양한 사용자 입, 출력 인터페이스를 포함할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 마이크로폰(151), 스피커(152), 디스플레이(153)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 가령, 버튼이나 터치 스크린을 포함할 수도 있다.
마이크로폰(151)은 외부 사운드를 수신하여 전기적 신호로 변환한다. 특히, 마이크로폰(151)은 사용자 음성 명령을 입력받을 수 있다. 스피커(152)는 전기적 신호를 사운드로 출력한다. 특히, 스피커(152)는 IoT 기기가 사용자 명령을 수행할 수 없음을 알리는 알림이나 각종 메시지를 소리로 출력할 수 있다. 디스플레이(153)는 각종 영상 내지 화면을 디스플레이한다. 여기서, 영상은 텍스트, 정지영상, 동영상, 아이콘, GUI(Graphic User Interface), OSD(On Screen Display) 등과 같은 다양한 포맷의 영상일 수 있다. 특히, 디스플레이(153)는 IoT 기기가 사용자 명령을 수행할 수 없음을 알리는 알림이나 각종 메시지를 디스플레이할 수 있다. 이를 위해, 디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.
구동부(160)는 이동형 홈 로봇(100')을 구동시킬 수 있다. 예를 들어, 구동부(160)는 프로세서(120)의 제어에 의해 이동형 홈 로봇(100')을 이동시킬 수 있다. 이 경우, 구동부(160)는 바닥면과 접촉하는 적어도 하나의 바퀴, 바퀴에 동력을 제공하는 모터 및 모터를 제어할 드라이버를 포함할 수 있다. 다른 예로, 구동부(160)는 물체를 집어드는 동작 등을 수행하기 위한 모터를 포함할 수도 있다.
센서부(170)는 각종 센서를 포함하여, 이동형 홈 로봇(100')의 주변 환경을 감지할 수 있다. 특히, 도 5에 따르면, 센서부(170)는 초음파 센서(171), 라이다 센서(172), 적외선 센서(173)를 포함할 수 있다.
초음파 센서(171)는 초음파를 대상체에 조사하고, 반사파를 감지하여 대상체까지의 거지를 감지하는 센서 시스템이다. 라이다 센서(172)는 특정 주파수를 갖는 고출력의 펄스 레이저를 대상체에 조사하고, 대상체로부터 반사파가 수신되는 시간을 측정하여 대상체까지의 거리에 관한 정보를 획득할 수 있는 센서 시스템을 말한다. 적외선 센서(173)는 적외선을 물체에 조사하고 반사파를 감지하여 주변의 물체 의 물체까지의 거리를 감지하는 센서 시스템이다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 초음파 센서(171) 센서 또는 라이다 센서(172)를 통해 감지되는 정보에 SLAM(Simultaneous Localization and Mapping) 알고리즘을 적용하여 댁내 맵 데이터를 생성할 수 있으나, 이에 한정되는 것은 아니다. 가령, 맵 데이터 생성에는 카메라(140)를 통해 촬영된 영상이 함께 이용될 수도 있을 것이다. 한편, 적외선 센서(173)는 이동형 홈 로봇(100')의 댁내 주행에 이용되거나, 외부 원격 장치(미도시)의 제어 신호를 수신하는 데 이용될 수 있으나, 이에 한정되는 것은 아니다.
한편, 도면에 도시하지는 않았으나, 센서부(170) 구현 예에 따라, 가속도 센서, 지자기 센서, 자이로 센서, 바코드 센서, 장애물 센서, 추락 감지 센서, 충돌 감지 센서, 들림 감지 센서 등과 같은 각종 센서를 더 포함할 수도 있으며, 프로세서(120)는 각 센서를 통해 감지된 정보를 이동형 홈 로봇(100')의 동작에 이용할 수 있다.
프로세서(120)는 이동형 홈 로봇(100')의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 이동형 홈 로봇(100')을 제어하여 도 3 내지 도 4을 통해 전술한 프로세서(120)의 동작을 수행할 수 있다.
이를 위해, 프로세서(120)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(120)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
프로세서(120)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
프로세서(120)는 RAM(121), ROM(122), GPU(123), 메인 CPU(124) 및 제1 내지 제n 인터페이스(125-1,...,125-n)를 포함할 수 있다. RAM(121), ROM(122), GPU(123), 메인 CPU(124) 및 제1 내지 제n 인터페이스(125-1,...,125-n) 등은 버스(126)를 통해 서로 연결될 수 있다. 메인 CPU(124)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 운영체제(O/S)를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(124)는 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
구체적으로, ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(124)는 ROM(122)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(124)는 저장부(130)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(123)는 이동형 홈 로봇(100')의 부팅이 완료되면, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다.
특히, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 상기 맵 데이터에 매핑할 수 있다. 여기서 IoT 기기의 위치 정보와 관련된 시맨틱 정보는, 앞, 뒤, 옆 등과 같은 위치 관련 정보를 포함할 수 있다. 예를 들어, IoT 기기가 TV인 경우, 이동형 홈 로봇(100')는 "TV 앞"이라는 의미를 알지 못한다. 따라서, 프로세서(120)는 TV의 위치 정보에 기초하여, "TV 앞"을 맵 데이터 상에 매핑할 수 있다. 예를 들어, 프로세서(120)는 맵 데이터 상에서 TV의 위치를 기준으로 정면 방향 1m2 영역을 "TV 앞"이라는 시맨틱 정보에 대응되는 것으로 매핑할 수 있다. 이와 마찬가지로, 뒤, 옆과 같은 시맨틱 정보가 각 IoT 기기의 위치 정보와 관련하여 맵 데이터에 매핑될 수 있다.
이에 따라, 프로세서(120)는 하며, 마이크로폰(151)을 통해 사용자 음성 명령이 수신되면, 시맨틱 정보가 매핑된 맵 데이터를 이용하여 사용자 음성 명령에 대응되는 동작을 수행할 수 있다. 예를 들어, 사용자가 "TV 앞으로 와봐"라고 발화하면, 프로세서(120)는 시맨틱 정보가 매핑된 맵 데이터를 이용하여 신속하게 TV 앞으로 이동할 수 있게 된다.
또한, 사용자가 "냉장고 앞을 청소해 줘"라고 발화하면, 프로세서(120)는 시맨틱 정보가 매핑된 맵 데이터를 이용하여 냉장고 앞에 대응되는 좌표 정보를 무인 청소기(미도시)로 전송함으로써 사용자 명령에 대응되는 동작이 신속하게 수행될 수 있도록 할 수 있다.
한편, 프로세서(120)는 맵 데이터에 시맨틱 정보를 매핑할 수도 있다. 예를 들어, 도 2를 참조할 때, 이동형 홈 로봇(100')은 집의 각 공간의 의미를 알지 못한다. 즉, 어떤 공간이 침실이고, 어떤 공간이 거실인지를 알지 못한다. 따라서, 프로세서(120)는 침대가 있는 공간에 대응되는 맵 데이터 영역에 "침실"이라는 시맨틱 정보를 매핑하고, 쇼파가 있는 공간에 대응되는 맵 데이터 영역에 "거실"이라는 시맨틱 정보를 매핑함으로써, 사용자 명령에 보다 신속하게 대응할 수 있게 된다.
한편, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 신규 IoT 기기를 등록할 수 있다. 구체적으로, 종래에는 사용자가 신규 IoT 기기를 설치하고, 이를 등록하기 위해서는 스마트폰이나 IoT 허브 장치를 이용하여 해당 IoT 기기에 관한 설정 정보나 위치 정보 등을 입력함으로써, 신규 IoT 기기를 등록하였다. 그러나, 본 개시의 일 실시 예에 따르면, 사용자는 이동형 홈 로봇(100')과의 인터렉션을 통해 신규 IoT 기기를 등록할 수 있다.
구체적으로, 신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 프로세서(120)는 카메라(110)를 통해 촬영된 신규 IoT 기기의 영상에 기초하여 외부 서버로부터 신규 IoT 기기에 대한 기기 정보를 획득하고, 획득된 신규 IoT 기기에 대한 기기 정보에 기초하여 신규 IoT 기기 등록에 관한 대화형 서비스를 제공함으로써, 사용자는 보다 용이하게 신규 IoT 기기를 등록할 수 있게 된다.
예를 들어, IoT 기기로 선풍기를 신규 등록하고자 하는 경우, 사용자는 홈 로봇(100')을 불러 "에어컨을 등록 해줘"라고 발화한다. 이에 따라, 프로세서(120)는 카메라(110)를 통해 에어컨 또는 에어컨의 모델명이나 시리얼 넘버 등을 촬영하고, 촬영된 에어컨의 영상에 기초하여 해당 에어컨에 관한 기기 정보를 획득할 수 있다.
이때, 에어컨의 기기 정보에는 에어컨의 기능 및 각종 설정 항목에 관한 정보가 포함될 수 있다. 따라서, 프로세서(120)는 에어컨에 관한 기기 정보에 기초하여 각종 설정 항목의 설정 값을 묻는 질문을 스피커로 출력하고, 사용자가 그에 대응하는 답을 음성으로 발화하면, 이를 인식하여 해당 내용을 설정값에 반영함으로써, 사용자가 보다 쉽게 에어컨을 등록하도록 할 수 있다. 한편, 에어컨이 설치된 후 에어컨의 위치 정보가 맵 데이터에 새롭게 매핑될 수 있음은 물론이다.
도 6은 본 개시의 일 실시 예에 따른 이동형 로봇의 IoT 기기 위치 기반 서비스를 설명하기 위한 예시도이다. 도 6에서 사용자(1)는 거실에 위치하고 있으며, 에어컨(20)이 거실에 설치되어 있다. 이동형 홈 로봇(100, 100')은 사용자(1)의 댁내 맵 데이터에 IoT 기기들의 위치 정보를 매핑하여 관리하고 있다. 이러한 상황에서 사용자가 "에어컨을 틀어줘"라고 발화하면 이동형 홈 로봇(100, 100')은 사용자 발화를 인식하고, 에어컨(20)의 위치 정보에 기초하여 IoT 기기 위치 기반 서비스를 제공할 수 있다.
구체적으로, 이동형 홈 로봇(100, 100')은 사용자를 촬영하여, 맵 데이터 상에서, 사용자의 위치 및 에어컨(20)의 위치를 판단한다. 에어컨(20)의 위치 정보에는 에어컨(20)의 맵 데이터 상의 좌표 정보 외에도 에어컨(20)이 놓인 방향 정보, 에어컨(20)의 크기 정보, 높이 정보 등이 포함되므로, 이동형 홈 로봇(100, 100')은 사용자(1)의 위치 및 에어컨(20)의 위치 정보에 기초하여, "에어컨을 틀어줘"에 대응되는 제어 명령을 생성할 수 있다.
이때, 생성되는 제어 명령은 단순히 에어컨(20)의 전원을 온 시키는 것이 아니라, 에어컨(20)의 풍향이나 풍량에 관한 설정 정보가 포함된 제어 명령이다. 즉, 본 개시의 일 실시 예에 따르면, 이동형 홈 로봇(100, 100')은 사용자(1)와 에어컨(20) 사이의 위치 및 방향 관계를 알고 있으므로, 이에 기초하여 제어 명령을 생성하고, 생성된 제어 명령을 에어컨(20)으로 전송함으로써, 사용자의 위치에 최적화된 IoT 기기 제어가 이루어질 수 있다. 한편, 도 6에서는 IoT 기기가 에어컨(20)인 경우를 예로 들었으나, 빔 포밍이 가능한 스피커나 조명 등에도, 위와 유사하게 사용자 위치에 최적화된 IoT 기기 제어가 가능함은 물론이다.
도 7은 본 개시의 일 실시 예에 따른 이동형 로봇의 제어 방법에 대한 흐름도이다. 도 7에 따르면, 이동형 홈 로봇(100, 100')은 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 이동형 홈 로봇(100, 100')이 댁내를 이동하는 동안 카메라(110)를 통해 촬영된 영상에 기초하여, 복수의 IoT 기기 각각의 위치 정보를 생성할 수 있다(S710).
구체적으로, 이동형 홈 로봇(100, 100')은 댁내 설치된 IoT 기기들의 기기 정보를 획득할 수 있다. 예를 들어, 이동형 홈 로봇(100, 100')은 IoT 기기의 기기 정보를 IoT 허브 장치(10)로 요청하여 획득할 수 있다. 또한 이동형 홈 로봇(100, 100')이 허브 장치로 동작하는 경우 이동형 홈 로봇(100, 100')이 관리하는 IoT 기기 정보를 활용할 수도 있다.
이와 같이, IoT 기기들의 기기 정보가 획득되면, 이동형 홈 로봇(100, 100')은 획득된 기기 정보에 기초하여 외부 서버로부터 IoT 기기 각각의 영상을 획득하고, 획득된 영상과 상기 촬영된 영상을 비교하여 IoT 기기 각각을 인식할 수 있다. 이에 따라, 이동형 홈 로봇(100, 100')은 카메라(110)를 통해 촬영된 영상에 기초하여 인식된 IoT 기기 각각의 위치 정보를 생성할 수 있다.
이때, 본 개시의 일 실시 예에 따르면, 카메라(110)는, 3D 카메라 및 스테레오 카메라 중 적어도 하나를 포함하고, 위치 정보는, 맵 데이터 상에서 복수의 IoT 기기 각각의 좌표 정보, 복수의 IoT 기기 각각의 크기 정보 및 방향 정보, 복수의 IoT 기기 각각이 위치하는 높이 정보 중 적어도 둘을 포함할 수 있다.
한편, 이동형 홈 로봇(100, 100')은 위와 같이 생성된 위치 정보를 맵 데이터에 매핑할 수 있다(S720). 이때, 본 개시의 일 실시 예에 따르면, 이동형 홈 로봇(100, 100')은 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 맵 데이터에 매핑할 수도 있다.
이후 사용자 명령이 입력되면, 이동형 홈 로봇(100, 100')은 위치 정보가 매핑된 맵 데이터에 기초하여 IoT 기기 위치 기반 서비스를 제공할 수 있다(S730).
예를 들어, 이동형 홈 로봇(100, 100')은 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 사용자 명령을 입력한 사용자의 위치 및 상기 하나의 IoT 기기의 위치 정보에 기초하여 사용자 명령에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 상기 하나의 IoT 기기로 전송할 수 있다.
다른 예로, 이동형 홈 로봇(100, 100')은 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리에 기초하여 상기 하나의 IoT 기기가 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단할 수 있다. 이에 따라, 이동형 홈 로봇(100, 100')은 상기 하나의 IoT 기기가 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단되면, 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단되면, 사용자 인터페이스(150)를 통해 하나의 IoT 기기가 사용자 명령을 수행할 수 없음을 알리는 알림을 제공할 수 있다.
또 다른 예로, 이동형 홈 로봇(100, 100')은 카메라(100)를 통해 촬영된 사용자 이미지에 기초하여 사용자의 상황 정보를 판단하고, 판단된 사용자의 상황 정보에 기초하여 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 적어도 하나의 IoT 기기로 전송할 수 있다.
한편, 이동형 홈 로봇(100, 100')은 사용자 음성 명령이 수신되면, 시맨틱 정보가 매핑된 맵 데이터를 이용하여 사용자 음성 명령에 대응되는 동작을 수행할 수도 있다.
또한, 이동형 홈 로봇(100, 100')은 각 IoT 기기의 위치 정보 또는 각 IoT 기기의 위치 정보가 매핑된 맵 데이터를, 사용자의 스마트 폰 또는 복수의 IoT 기기 중 적어도 하나로 전송하여 공유할 수도 있다.
또한, 본 개시의 다른 일 실시 예에 따르면, 이동형 홈 로봇(100, 100')은 이동형 홈 로봇(100, 100')이 댁내를 이동하는 동안 획득된 정보에 기초하여 맵 데이터 및 복수의 IoT 기기 각각의 위치 정보를 기설정된 주기로 업데이트할 수도 있다.
또한, 이동형 홈 로봇(100, 100')은 신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 카메라(110)를 통해 촬영된 신규 IoT 기기의 이미지에 기초하여 외부 서버로부터 신규 IoT 기기에 대한 기기 정보를 획득하고, 획득된 신규 IoT 기기에 대한 기기 정보에 기초하여 신규 IoT 기기 등록에 관한 대화형 서비스를 제공할 수도 있다.
이상 설명한 바와 같이 본 개시의 다양한 실시 예에 따르면, 이동형 홈 로봇은 가정 내 IoT 기기들의 정확한 위치를 자동으로 파악할 수 있다. 이에 따라, 사용자는 이동형 홈 로봇과의 인터렉션만으로 편리하고 최적화된 IoT 기기 위치 기반 서비스를 제공받을 수 있다.
한편, 본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 여기서, 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 이동형 홈 로봇(100, 100')을 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 개시에 따른 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 이동형 홈 로봇　　　　　　　　　　　　　　　　　　110: 통신부
120: 프로세서 130: 저장부
140: 카메라 150: 사용자 인터페이스

Claims (20)

  1. 이동형 홈 로봇에 있어서,
    댁내 맵 데이터가 저장된 저장부;
    통신부;
    카메라;
    사용자 인터페이스; 및
    상기 댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 상기 카메라를 통해 촬영된 영상에 기초하여, 상기 복수의 IoT 기기 각각의 위치 정보를 생성하고, 상기 생성된 위치 정보를 상기 맵 데이터에 매핑하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 위치 정보가 매핑된 맵 데이터에 기초하여 상기 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리를 판단하고,
    상기 판단된 거리에 기초하여 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단하고,
    상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단된 경우, 상기 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단된 경우, 상기 사용자 인터페이스를 통해 상기 하나의 IoT 기기가 상기 사용자 명령을 수행할 수 없음을 알리는 알림을 제공하는 이동형 홈 로봇.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 기기 정보에 기초하여 외부 서버로부터 상기 복수의 IoT 기기 각각의 영상을 획득하고, 상기 획득된 영상과 상기 촬영된 영상을 비교하여 상기 IoT 기기 각각을 인식하고, 상기 촬영된 영상에 기초하여 상기 인식된 IoT 기기 각각의 위치 정보를 생성하는 것을 특징으로 하는 이동형 홈 로봇.
  3. 제 1 항에 있어서,
    상기 카메라는,
    3D 카메라 및 스테레오 카메라 중 적어도 하나를 포함하고,
    상기 위치 정보는,
    상기 맵 데이터 상에서 상기 복수의 IoT 기기 각각의 좌표 정보, 상기 복수의 IoT 기기 각각의 크기 정보 및 방향 정보, 상기 복수의 IoT 기기 각각이 위치하는 높이 정보 중 적어도 둘을 포함하는 것을 특징으로 하는 이동형 홈 로봇.
  4. 제 1 항에 있어서,
    상기 사용자 인터페이스는,
    마이크로폰을 포함하고,
    상기 프로세서는,
    상기 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 상기 맵 데이터에 매핑하며, 상기 마이크로폰을 통해 사용자 음성 명령이 수신되면, 상기 시맨틱 정보가 매핑된 맵 데이터를 이용하여 상기 사용자 음성 명령에 대응되는 동작을 수행하는 것을 특징으로 하는 이동형 홈 로봇.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 획득된 정보에 기초하여 상기 맵 데이터 및 상기 복수의 IoT 기기 각각의 위치 정보를 기설정된 주기로 업데이트하는 것을 특징으로 하는 이동형 홈 로봇.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 위치 정보 또는 상기 위치 정보가 매핑된 맵 데이터를 사용자의 스마트 폰 또는 상기 복수의 IoT 기기 중 적어도 하나로 전송하는 것을 특징으로 하는 이동형 홈 로봇.
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 사용자 영상에 기초하여 사용자의 상황 정보를 판단하고, 상기 판단된 사용자의 상황 정보에 기초하여 상기 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 상기 적어도 하나의 IoT 기기로 전송하는 것을 특징으로 하는 이동형 홈 로봇.
  10. 제 1 항에 있어서,
    상기 사용자 인터페이스는,
    마이크로폰 및 스피커를 포함하고,
    상기 프로세서는,
    신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 상기 카메라를 통해 촬영된 상기 신규 IoT 기기의 영상에 기초하여 외부 서버로부터 상기 신규 IoT 기기에 대한 기기 정보를 획득하고, 상기 신규 IoT 기기에 대한 기기 정보에 기초하여 상기 신규 IoT 기기 등록에 관한 대화형 서비스를 제공하는 것을 특징으로 하는 이동형 홈 로봇.
  11. 이동형 홈 로봇의 제어 방법에 있어서,
    댁내에 설치된 복수의 IoT(Internet Of Things) 기기의 기기 정보 및 상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 카메라를 통해 촬영된 영상에 기초하여, 상기 복수의 IoT 기기 각각의 위치 정보를 생성하는 단계;
    상기 생성된 위치 정보를 상기 댁내의 맵 데이터에 매핑하는 단계;
    상기 복수의 IoT 기기 중 하나의 IoT 기기를 제어하기 위한 사용자 명령이 입력되면, 상기 위치 정보가 매핑된 맵 데이터에 기초하여 상기 사용자 명령을 입력한 사용자와 상기 하나의 IoT 기기 사이의 거리를 판단하는 단계;
    상기 판단된 거리에 기초하여 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합한지 여부를 판단하는 단계; 및
    상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 적합하다고 판단된 경우, 상기 사용자 명령에 대응되는 제어 명령을 상기 하나의 IoT 기기로 전송하고, 상기 하나의 IoT 기기가 상기 사용자 명령에 대응되는 동작을 수행하는 것이 부적합하다고 판단된 경우, 상기 하나의 IoT 기기가 상기 사용자 명령을 수행할 수 없음을 알리는 알림을 제공하는 단계;를 포함하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 위치 정보를 생성하는 단계는,
    상기 기기 정보에 기초하여 외부 서버로부터 상기 복수의 IoT 기기 각각의 영상을 획득하는 단계;
    상기 획득된 영상과 상기 촬영된 영상을 비교하여 상기 IoT 기기 각각을 인식하는 단계; 및
    상기 촬영된 영상에 기초하여 상기 인식된 IoT 기기 각각의 위치 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  13. 제 11 항에 있어서,
    상기 카메라는,
    3D 카메라 및 스테레오 카메라 중 적어도 하나를 포함하고,
    상기 위치 정보는,
    상기 맵 데이터 상에서 상기 복수의 IoT 기기 각각의 좌표 정보, 상기 복수의 IoT 기기 각각의 크기 정보 및 방향 정보, 상기 복수의 IoT 기기 각각이 위치하는 높이 정보 중 적어도 둘을 포함하는 것을 특징으로 하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 복수의 IoT 기기 각각의 위치 정보와 관련된 시맨틱(semantic) 정보를 상기 맵 데이터에 매핑하는 단계;를 더 포함하고,
    상기 서비스를 제공하는 단계는,
    사용자 음성 명령이 수신되면, 상기 시맨틱 정보가 매핑된 맵 데이터를 이용하여 상기 사용자 음성 명령에 대응되는 동작을 수행하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  15. 제 11 항에 있어서,
    상기 이동형 홈 로봇이 상기 댁내를 이동하는 동안 획득된 정보에 기초하여 상기 맵 데이터 및 상기 복수의 IoT 기기 각각의 위치 정보를 기설정된 주기로 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  16. 제 11 항에 있어서,
    상기 위치 정보 또는 상기 위치 정보가 매핑된 맵 데이터를 사용자의 스마트 폰 또는 상기 복수의 IoT 기기 중 적어도 하나로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  17. 삭제
  18. 삭제
  19. 제 11 항에 있어서,
    상기 카메라를 통해 촬영된 사용자 이미지에 기초하여 사용자의 상황 정보를 판단하는 단계; 및
    상기 판단된 사용자의 상황 정보에 기초하여 상기 복수의 IoT 기기 중 적어도 하나의 IoT 기기의 동작 모드를 변경하는 제어 명령을 상기 적어도 하나의 IoT 기기로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  20. 제 11 항에 있어서,
    신규 IoT 기기 등록에 대한 사용자 음성 명령이 수신된 경우, 상기 카메라를 통해 촬영된 상기 신규 IoT 기기의 이미지에 기초하여 외부 서버로부터 상기 신규 IoT 기기에 대한 기기 정보를 획득하는 단계; 및
    상기 신규 IoT 기기에 대한 기기 정보에 기초하여 상기 신규 IoT 기기 등록에 관한 대화형 서비스를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
KR1020180001359A 2018-01-04 2018-01-04 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법 KR102385263B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180001359A KR102385263B1 (ko) 2018-01-04 2018-01-04 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
CN201880085189.5A CN111542420B (zh) 2018-01-04 2018-12-19 移动家庭机器人及其控制方法
EP18897910.8A EP3664974B1 (en) 2018-01-04 2018-12-19 Mobile home robot and controlling method of the mobile home robot
PCT/KR2018/016188 WO2019135514A1 (en) 2018-01-04 2018-12-19 Mobile home robot and controlling method of the mobile home robot
US16/239,898 US11267131B2 (en) 2018-01-04 2019-01-04 Mobile home robot and controlling method of the mobile home robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180001359A KR102385263B1 (ko) 2018-01-04 2018-01-04 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190088122A KR20190088122A (ko) 2019-07-26
KR102385263B1 true KR102385263B1 (ko) 2022-04-12

Family

ID=67059193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180001359A KR102385263B1 (ko) 2018-01-04 2018-01-04 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법

Country Status (5)

Country Link
US (1) US11267131B2 (ko)
EP (1) EP3664974B1 (ko)
KR (1) KR102385263B1 (ko)
CN (1) CN111542420B (ko)
WO (1) WO2019135514A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI127322B (fi) * 2016-04-22 2018-03-29 Maricare Oy Anturi ja järjestelmä valvontaan
US20190342154A1 (en) * 2018-05-03 2019-11-07 Flex Ltd. Method of connecting and processing new device data without any software code changes on a mobile application or hub
CN109325076B (zh) * 2018-06-07 2020-03-27 北京百度网讯科技有限公司 物联网中的数据管理方法、设备、计算机设备及可读介质
WO2020060267A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
WO2019151845A2 (ko) * 2019-03-20 2019-08-08 엘지전자 주식회사 에어컨
KR20190094128A (ko) * 2019-07-23 2019-08-12 엘지전자 주식회사 IoT 기기 정보 제공 방법, IoT 기기 정보 제공 장치 및 지능형 컴퓨팅 디바이스
TWI735022B (zh) * 2019-08-08 2021-08-01 和碩聯合科技股份有限公司 語意地圖定向裝置、方法及機器人
CN110490931A (zh) * 2019-08-20 2019-11-22 上海秒针网络科技有限公司 轨迹生成方法和装置、存储介质及电子装置
KR102487078B1 (ko) * 2019-11-01 2023-01-11 삼성전자주식회사 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US11930230B2 (en) * 2019-11-01 2024-03-12 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system
WO2021112283A1 (ko) * 2019-12-04 2021-06-10 (주)바램시스템 홈 로봇 및 홈 디바이스 연동을 통한 스마트 홈 안전 모니터링 시스템
KR102328617B1 (ko) * 2020-02-18 2021-11-18 주식회사 에이피씨테크 사물인터넷 기반의 공기청정기 관리시스템
CN111300429A (zh) * 2020-03-25 2020-06-19 深圳市天博智科技有限公司 机器人控制***、方法及可读存储介质
KR20210123859A (ko) * 2020-04-06 2021-10-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN111600783A (zh) * 2020-05-13 2020-08-28 仲恺农业工程学院 一种基于物联网的家庭智能安全防护***
WO2021227082A1 (en) * 2020-05-15 2021-11-18 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
US20230198850A1 (en) * 2020-05-15 2023-06-22 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for obtaining map of internet of things device
US11758326B2 (en) * 2020-09-09 2023-09-12 Sonos, Inc. Wearable audio device within a distributed audio playback system
CN112860826A (zh) * 2021-01-15 2021-05-28 北京小米移动软件有限公司 一种功能控制方法、功能控制装置及存储介质
CN112883132B (zh) * 2021-01-15 2024-04-30 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN112866070A (zh) * 2021-01-21 2021-05-28 珠海格力电器股份有限公司 一种交互方法、装置、存储介质及电子设备
US11188925B1 (en) * 2021-03-30 2021-11-30 Honda Motor Co., Ltd. Method and system for automated reconfiguration of user interface based on product lifecycle
CN113867165A (zh) * 2021-10-13 2021-12-31 达闼科技（北京）有限公司 机器人优化智能设备服务的方法、装置及电子设备
KR20230105382A (ko) * 2022-01-04 2023-07-11 삼성전자주식회사 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법
KR102486466B1 (ko) * 2022-08-09 2023-01-12 주식회사 서큘러스 인터랙션 로봇 및 이를 이용한 무선 홈 네트워킹 서비스 제공 방법
KR20240045640A (ko) * 2022-09-30 2024-04-08 삼성전자주식회사 특정 공간을 주행하는 로봇 및 이의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170187807A1 (en) 2015-12-28 2017-06-29 Verizon Patent And Licensing Inc. Internet of things provisioning

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511950B2 (en) 2006-05-16 2019-12-17 RedSky Technologies, Inc. Method and system for an emergency location information service (E-LIS) for Internet of Things (IoT) devices
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US9600645B2 (en) * 2012-09-21 2017-03-21 Google Inc. Smart invitation handling at a smart-home
US9652912B2 (en) * 2012-09-21 2017-05-16 Google Inc. Secure handling of unsupervised package drop off at a smart-home
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US9978260B2 (en) * 2012-12-18 2018-05-22 Samsung Electronics Co., Ltd. Method and apparatus for controlling a home device remotely in a home network system
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
KR102061511B1 (ko) 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
EP3055974B1 (en) * 2013-10-07 2018-10-03 Google LLC Hazard detection unit facilitating user-friendly setup experience
US10248399B2 (en) * 2014-05-28 2019-04-02 Samsung Electronics Co., Ltd Apparatus and method for controlling Internet of Things devices
US20150358777A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Generating a location profile of an internet of things device based on augmented location information associated with one or more nearby internet of things devices
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
TWI559966B (en) 2014-11-04 2016-12-01 Mooredoll Inc Method and device of community interaction with toy as the center
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9210534B1 (en) * 2015-02-19 2015-12-08 Citrix Systems, Inc. Location assistance in a machine to machine instant messaging system
KR101783788B1 (ko) 2015-02-24 2017-10-11 충북대학교 산학협력단 지능형 로봇 및 그 동작 방법
US9586318B2 (en) * 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US10453098B2 (en) * 2015-03-04 2019-10-22 Google Llc Privacy-aware personalized content for the smart home
CN104965426A (zh) 2015-06-24 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制***、方法和装置
US9889559B2 (en) * 2015-06-26 2018-02-13 Intel Corporation Robotic system for updating devices
CN105159105B (zh) * 2015-08-13 2019-06-14 小米科技有限责任公司 智能电器工作方法及装置
KR102521493B1 (ko) * 2015-10-27 2023-04-14 삼성전자주식회사 청소 로봇 및 그 제어방법
KR20170061489A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 전자 기기 및 이의 운송 기기 제어 방법
KR101832569B1 (ko) 2015-12-15 2018-04-04 주식회사 엘지유플러스 홈 디바이스를 모니터링하는 이동식 홈 로봇 및 그 동작 방법
US10265859B2 (en) * 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
US9615066B1 (en) * 2016-05-03 2017-04-04 Bao Tran Smart lighting and city sensor
WO2017218234A1 (en) * 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
KR20180013570A (ko) * 2016-07-29 2018-02-07 주식회사 두두원 집 안의 사물을 제어하는 가족으로서의 로봇 서비스 시스템 및 방법
KR102640420B1 (ko) * 2016-12-22 2024-02-26 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
KR101773768B1 (ko) 2017-04-24 2017-09-13 (주)지란지교시큐리티 사물인터넷 기기 모니터링 시스템 및 방법
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10206081B1 (en) * 2017-10-05 2019-02-12 Hall Labs Llc Deployment of intermediate-range devices using a short-range mobile device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170187807A1 (en) 2015-12-28 2017-06-29 Verizon Patent And Licensing Inc. Internet of things provisioning

Also Published As

Publication number Publication date
EP3664974A4 (en) 2020-09-02
US11267131B2 (en) 2022-03-08
EP3664974B1 (en) 2022-10-19
CN111542420B (zh) 2023-06-06
WO2019135514A1 (en) 2019-07-11
KR20190088122A (ko) 2019-07-26
CN111542420A (zh) 2020-08-14
EP3664974A1 (en) 2020-06-17
US20190202062A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR102385263B1 (ko) 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
KR102522814B1 (ko) 사물 인터넷 장치의 3d 매핑
JP7395229B2 (ja) 状況認識のためのモバイル清掃ロボット人工知能
US11020860B2 (en) Systems and methods to control an autonomous mobile robot
US9728009B2 (en) Augmented reality based management of a representation of a smart environment
US20200019156A1 (en) Mobile Robot Cleaning System
US20180365898A1 (en) Object holographic augmentation
EP4080349A1 (en) Customized interface based on vocal input
US9477302B2 (en) System and method for programing devices within world space volumes
US11375275B2 (en) Method and system for using lip sequences to control operations of a device
US20210208550A1 (en) Information processing apparatus and information processing method
US20240160298A1 (en) Point and gesture control of remote devices
KR20240086370A (ko) 공기 조화기 및 그 제어 방법
KR20230029427A (ko) 로봇 청소기 및 그의 위치 식별 방법
KR20240028574A (ko) 전자 장치를 관리하는 로봇 및 그 제어 방법
KR20240076871A (ko) 맵을 이용하여 공간을 주행하는 로봇 및 그의 위치 식별 방법
JP2024506452A (ja) 実世界デバイスを制御するためのコマンドを有効にする拡張現実方法及びシステム
KR20220114873A (ko) 로봇 청소기 및 이의 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant