KR20180097917A - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20180097917A
KR20180097917A KR1020170024698A KR20170024698A KR20180097917A KR 20180097917 A KR20180097917 A KR 20180097917A KR 1020170024698 A KR1020170024698 A KR 1020170024698A KR 20170024698 A KR20170024698 A KR 20170024698A KR 20180097917 A KR20180097917 A KR 20180097917A
Authority
KR
South Korea
Prior art keywords
cleaner
area
mark
displayed
electronic device
Prior art date
Application number
KR1020170024698A
Other languages
English (en)
Other versions
KR102689863B1 (ko
Inventor
하창호
신형종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170024698A priority Critical patent/KR102689863B1/ko
Priority claimed from KR1020170024698A external-priority patent/KR102689863B1/ko
Priority to EP18153528.7A priority patent/EP3366101B1/en
Priority to US15/871,886 priority patent/US10949668B2/en
Publication of KR20180097917A publication Critical patent/KR20180097917A/ko
Application granted granted Critical
Publication of KR102689863B1 publication Critical patent/KR102689863B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 디스플레이, 청소기의 주변 영역을 촬영하기 위한 카메라 및 카메라를 통해 촬영된 청소기의 주변 영역의 영상을 디스플레이에 표시하고, 촬영된 영상에 기초하여 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단하고, 촬영된 영상에서 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시하고 마크가 표시된 영역으로 청소기의 이동을 유도하기 위한 가이드 정보를 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그의 제어 방법 {ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 발명은 전자 장치 및 그의 제어 방법에 대한 것으로, 보다 상세하게는 청소 가이드 정보를 제공하는 전자 장치 및 그의 제어 방법에 대한 것이다.
청소기는 실내의 바닥 등을 청소하기 위한 장치로서, 사용자는 직접 눈으로 바닥을 보면서 먼지 등의 이물질을 확인한 뒤, 이물질이 있는 곳으로 청소기를 이동시켜서 청소 작업을 수행하는 것이 일반적이다.
그러나, 이에 의하면 청소 작업 자체가 지루할 수 있고, 특히 사용자가 미쳐 이물질을 확인하지 못하고 지나친 영역이 생길 수 있어서 청소 작업이 청소 대상 영역 전체에 대하여 완벽하게 완료되지 않을 수 있는 문제가 있다.
또한, 청소 작업의 수행 중에 청소 작업을 완료한 영역과 완료하지 않은 영역을 정확하게 구분할 수 없어서, 청소를 한 영역임에도 불구하고 중복하여 청소를 하는 경우가 발생하게 되어 불필요한 전력 소비 및 시간 낭비의 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 청소기의 사용자가 직접 눈으로 바닥의 이물질을 확인하면서 청소를 수행할 필요 없이, 휴대 장치에 디스플레이 된 청소 가이드에 따라 청소를 수행하기만 하면 청소 대상 영역 전체를 완벽하게 청소할 수 있는 전자 장치 및 그의 제어 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 전자 장치는 디스플레이, 청소기의 주변 영역을 촬영하기 위한 카메라 및 상기 카메라를 통해 촬영된 상기 청소기의 주변 영역의 영상을 상기 디스플레이에 표시하고, 상기 촬영된 영상에 기초하여 상기 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 상기 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단하고, 상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시하고 상기 마크가 표시된 영역으로 상기 청소기의 이동을 유도하기 위한 가이드 정보를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기에서, 상기 가이드 정보는 상기 마크가 표시된 영역으로 상기 청소기를 이동시키기 위한 이동 방향에 대한 정보를 포함할 수 있다.
그리고, 상기 전자 장치는 상기 청소기와 통신을 수행하기 위한 통신부를 더 포함하고, 상기 프로세서는 상기 통신부를 통해 상기 청소기로부터 상기 청소기의 위치 정보를 수신할 수 있다.
그리고, 상기 프로세서는 상기 청소기의 이동에 따라 이동되는 청소기의 주변 영역을 상기 카메라를 통해 촬영하고, 상기 이동되는 청소기의 주변 영역에서 상기 청소 대상과 동일한 패턴을 갖는 영역을 판단하여 상기 마크를 표시할 수 있다.
그리고, 상기 프로세서는 상기 청소기로부터 수신된 상기 청소기의 위치 정보에 기초하여 상기 청소기가 상기 촬영된 영상에서 마크가 표시된 영역을 지나간 것으로 판단되면, 상기 청소기가 지나간 영역에 표시된 마크를 제거하거나 상기 마크와는 다른 마크를 표시할 수 있다.
그리고, 상기 프로세서는 상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역이 상기 청소기가 이전에 지나간 영역에 해당하는 경우, 상기 마크를 표시하지 않을 수 있다.
그리고, 상기 프로세서는 상기 청소기의 위치 정보에 기초하여 상기 청소기의 이동 경로를 판단하고, 상기 판단된 이동 경로에 기초하여 청소맵을 생성하고, 상기 생성된 청소맵에 기초하여 상기 청소기의 이동 방향에 대한 가이드 정보를 상기 디스플레이에 표시할 수 있다.
또한, 상기 프로세서는 상기 마크 및 가이드 정보를 증강 현실을 통해 상기 촬영된 영상에 표시할 수 있다.
그리고, 상기 프로세서는 상기 카메라를 통해 촬영된 영상이 상기 디스플레이에 표시된 상태에서 상기 촬영된 영상의 특정 영역을 선택하는 사용자 입력이 수신되면, 상기 선택된 영역을 상기 청소 대상으로 선택할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 카메라를 통해 청소기의 주변 영역을 촬영하여 디스플레이 하는 단계, 상기 촬영된 영상에 기초하여 상기 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 상기 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단하는 단계, 상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시하는 단계 및 상기 마크가 표시된 영역으로 상기 청소기의 이동을 유도하기 위한 가이드 정보를 표시하는 단계를 포함할 수 있다.
여기에서, 상기 가이드 정보는 상기 마크가 표시된 영역으로 상기 청소기를 이동시키기 위한 이동 방향에 대한 정보를 포함할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 상기 청소기로부터 상기 청소기의 위치 정보를 수신하는 단계를 더 포함할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 청소기의 이동에 따라 이동되는 청소기의 주변 영역을 촬영하는 단계 및 상기 이동되는 청소기의 주변 영역에서 상기 청소 대상과 동일한 패턴을 갖는 영역을 판단하여 상기 마크를 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 상기 청소기로부터 수신된 상기 청소기의 위치 정보에 기초하여 상기 청소기가 상기 촬영된 영상에서 마크가 표시된 영역을 지나간 것으로 판단되면, 상기 청소기가 지나간 영역에 표시된 마크를 제거하거나 상기 마크와는 다른 마크를 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역이 상기 청소기가 이전에 지나간 영역에 해당하는 경우, 상기 마크를 표시하지 않는 단계를 더 포함할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 상기 청소기의 위치 정보에 기초하여 상기 청소기의 이동 경로를 판단하고, 상기 판단된 이동 경로에 기초하여 청소맵을 생성하는 단계 및 상기 생성된 청소맵에 기초하여 상기 청소기의 이동 방향에 대한 가이드 정보를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 마크 및 가이드 정보를 표시하는 단계는 증강 현실을 통해 상기 촬영된 영상에 표시할 수 있다.
그리고, 상기 전자 장치의 제어 방법은 상기 카메라를 통해 촬영된 영상이 상기 디스플레이에 표시된 상태에서 상기 촬영된 영상의 특정 영역을 선택하는 사용자 입력을 수신하는 단계 및 상기 선택된 영역을 상기 청소 대상으로 선택하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 청소 작업이 지루한 작업의 일환이 아닌 유희를 제공하는 작업이 될 수 있고, 디스플레이 된 청소 가이드에 따라 청소를 수행하기만 하면 청소 대상 영역 전체를 완벽하게 청소할 수 있을 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 청소 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 청소기를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른, 전자 장치가 청소기의 주변 영역을 촬영하는 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른, 청소기로 청소할 대상을 선택하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 청소기로 청소할 대상과 동일한 패턴을 갖는 영역에 마크를 표시하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 전자 장치가 마크가 표시된 위치를 판단하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른, 전자 장치에 디스플레이 되는 청소기의 이동을 유도하는 가이드 정보를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 전자 장치가 촬영된 영상에서 마크가 표시된 영역을 청소기가 지나갔는지 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 전자 장치가 청소맵을 생성하는 방법 및 생성된 청소맵에 기초하여 가이드 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른, 청소기를 설명하기 위한 상세 블록도이다.
도 13은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 상세 블록도이다.
도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 디스플레이 장치에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 청소 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 청소 시스템(1000)은 청소기(100) 및 전자 장치(200)를 포함한다.
청소기(100)는 청소 작업을 수행할 수 있다. 구체적으로, 청소기(100)는 청소기 본체 내부에 구비된 모터와 팬 등으로 구성되는 공기 흡입 장치를 구동시킬 수 있고, 이에 따라 이물질이 포함된 공기를 외부로부터 흡입함으로써 청소 작업을 수행할 수 있다.
한편, 도 1에서는 청소기(100)를 무선의 진공 청소기로 도시하였으나, 반드시 이에 한정되는 것은 아니고, 청소기(100)는 유선의 진공 청소기 또는 유/무선의 스팀 청소기 등 청소 작업을 수행할 수 있는 다양한 유형의 청소기가 될 수 있다.
전자 장치(200)는 청소기(100)의 이동을 유도하는 가이드 정보를 디스플레이 할 수 있다.
구체적으로, 전자 장치(200)는 카메라를 통해 촬영된 영상에서 청소기(100)가 청소할 영역을 판단하고, 청소기(100)가 청소할 영역으로 이동될 수 있도록 유도하는 가이드 정보를 디스플레이 할 수 있다.
한편, 도 1에서는 전자 장치(200)를 스마트 폰으로 도시하였으나, 반드시 이에 한정되는 것은 아니고, 태블릿, 디지털 카메라, 캠코더, PDA 등과 같이 카메라 및 디스플레이를 구비한 다양한 유형의 전자 장치로 구현될 수 있다.
이하에서는, 도면을 참조하여 전자 장치(200)가 가이드 정보를 생성하여 디스플레이 하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른, 청소기를 설명하기 위한 블록도이다.
도 2를 참조하면, 청소기(100)는 센서(110), 통신부(120) 및 프로세서(130)를 포함한다.
센서(110)는 청소기(100)의 위치를 감지할 수 있다. 구체적으로, 센서(110)는 지자기 센서로 구현되어, 청소기(100)의 움직임에 따른 자계의 변화를 감지하여 청소기(100)의 위치를 감지할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 센서(110)는 청소기(100)의 위치를 감지할 수 있는 다양한 유형의 센서로 구현될 수 있다. 가령, 센서(100)는 무선 신호 강도 기반 RSSI 거리 측위 센서가 될 수 있다.
한편, 센서(110)는 청소기(100)의 헤드에 내장될 수 있다. 이에 따라, 센서(110)는 청소기(100)의 구성 중에서도 특히, 헤드가 위치하는 지점을 감지할 수 있다. 한편, 반드시 내장되어야 하는 것은 아니고, 센서(110)는 청소기의 헤드에 탈부착 되는 방식으로 구현될 수도 있다.
통신부(120)는 전자 장치(200)와 통신을 수행하여 다양한 데이터를 송수신할 수 있다. 특히, 통신부(120)는 청소기(100)의 위치에 대한 정보를 전자 장치(200)로 송신할 수 있다.
통신부(120)가 전자 장치(200)와 통신을 수행하기 이용할 수 있는 네트워크는 특정 방식에 구애 받지 않는다. 가령, 통신부(120)는 전자 장치(200)와 통신을 수행하기 위해 와이파이(Wi-Fi), 블루투스(Bluetooth) 등과 같은 무선 통신 네트워크를 이용할 수 있다. 이를 위해, 통신부(110)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있다.
한편, 청소기(100)는 전자 장치(200)와 유선으로 연결되어 통신을 수행할 수도 있다.
이를 위해, 청소기(100)는 유선 연결을 위한 인터페이스(미도시)를 더 포함할 수 있다. 구체적으로, 인터페이스(미도시)는 도킹 인터페이스로 구현될 수 있고, 이 경우 청소기(100)는 전자 장치(200)와의 연결 및 데이터 송수신을 위한 데이터 입출력 커넥터를 더 포함할 수 있다. 여기에서 도킹 인터페이스는 전자 장치(200)가 청소기(100) 본체에 장착 가능한 형태로 구현 될 수 있다.
한편, 여기서는 유선 또는 무선으로 청소기(100)가 전자 장치(200)와 통신을 수행하여 데이터를 송수신하는 방법 중 일 실시 예를 설명하였을 뿐, 청소기(100)가 전자 장치(200)와 통신을 수행하여 데이터를 송수신하는 방법은 특정 방법에 제한되지 않는다. 가령, 청소기(100)는 케이블을 통해서 전자 장치(200)와 연결되어 데이터를 송수신 할 수도 있음은 물론이다.
프로세서(130)는 청소기(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(130)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(130)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(130)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
먼저, 프로세서(130)는 청소기(100)의 위치에 관한 정보를 전자 장치(200)로 송신하도록 통신부(120)를 제어할 수 있다. 전술한 바와 같이, 여기에서 청소기(100)의 위치에 관한 정보는 지자기 센서와 같은 센서(110)에 의해 감지되어 생성된 정보가 될 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 블록도이다.
도 3을 참조하면, 전자 장치(200)는 카메라(210), 디스플레이(220) 및 프로세서(230)를 포함한다. 여기에서, 전자 장치(200)는 청소기(100)로부터 수신한 청소기(100)의 위치 정보를 이용하여 청소기(100)를 특정 방향으로 이동시키기 위한 방향 정보를 포함하는 가이드 정보를 제공 할 수 있다.
이하에서는, 도 4 내지 도 10을 함께 참조하여 전자 장치(200)가 청소 가이드 정보를 제공하는 방법을 설명한다.
카메라(210)는 전자 장치(200)에 장착되어 외부 영상을 촬영할 수 있다. 이 경우, 외부 영상은 정지 영상 또는 동영상이 될 수 있다. 또한, 카메라(210)는 전자 장치(200)의 전면부에 장착된 전면 카메라 및 전자 장치(200)의 후면부에 장착된 후면 카메라와 같이 복수 개로 구현될 수 있다.
카메라(210)는 렌즈와 이미지 센서를 포함할 수 있다. 여기에서, 렌즈는 일반적인 범용 렌즈, 광각렌즈 및 줌 렌즈 등이 될 수 있고, 이미지 센서는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 될 수 있다.
특히, 카메라(210)는 청소기(100)의 주변 영역을 촬영할 수 있다. 이때, 카메라(210)는 전자 장치(200)가 청소기(100)에 부착된 상태로 주변 영역을 촬영할 수 있다.
예를 들어, 도 4를 참조하면, 전자 장치(200)는 거치대를 통해 청소기(100)에 부착될 수 있고, 이 경우 카메라(210)는 후면 카메라를 통해 청소기(100)의 주변 영역을 촬영할 수 있다.
다만, 반드시 전자 장치(200)가 청소기(100)에 부착된 상태에서만 카메라(210)가 청소기(100)의 주변 영역을 촬영할 수 있는 것은 아니고, 전자 장치(200)가 청소기(100)와 탈착된 상태에서, 즉 사용자가 전자 장치(200)를 손에 쥐고 있는 상태에서 카메라(210)가 청소기(100)의 주변 영역을 촬영할 수도 있다.
또한, 카메라(210)는 청소기(100)의 주변 영역뿐만 아니라, 청소기(100)의 주변 영역을 포함하는 청소할 전체 영역을 촬영할 수도 있음은 물론이다.
디스플레이(220)는 다양한 영상을 디스플레이 할 수 있다. 여기에서, 영상은 정지 영상과 동영상을 포함하는 개념으로써, 동영상은 2차원 영상이 될 수 있음은 물론 현실 세계에 가상의 물체를 겹쳐서 보여주는 3차원의 AR(Augmented Reality) 영상이 될 수도 있다.
특히, 디스플레이(220)는 카메라(210)를 통해 촬영된 청소기(100)의 주변 영역의 영상을 디스플레이 할 수 있다
예를 들어, 도 4를 참조하면, 전자 장치(200)는 거치대를 통해 청소기(100)에 부착될 수 있고, 이 경우 카메라(210)가 후면 카메라를 통해 청소기(100)의 주변 영역을 촬영함에 따라, 디스플레이(220)는 청소기(100)의 주변 영역의 영상을 디스플레이 할 수 있다
다만, 반드시 이에 한정되는 것은 아니고, 전자 장치(200)가 청소기(100)와 탈착된 상태에서, 즉 사용자가 전자 장치(200)를 손에 쥐고 있는 상태에서 카메라(210)가 청소기(100)의 주변 영역을 촬영함에 따라, 디스플레이(220)가 청소기(100)의 주변 영역의 영상을 디스플레이 할 수도 있다
또한, 카메라(210)가 청소기(100)의 주변 영역을 포함하는 청소할 전체 영역을 촬영함에 따라, 디스플레이(220)는 청소기(100)의 주변 영역을 포함하는 청소할 전체 영역을 디스플레이 할 수도 있다.
이를 위해, 디스플레이(220)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(220) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
이하에서는, 설명의 편의를 위해 전자 장치(200)가 청소기(100)에 부착되어 사용되는 경우를 중심으로 설명한다.
프로세서(230)는 전자 장치(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(230)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(230)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(230)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(230)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
먼저, 프로세서(230)는 카메라(210)를 통해 촬영된 영상을 디스플레이 하도록 디스플레이(220)를 제어할 수 있다.
여기에서, 카메라(210)를 통해 촬영된 영상은 청소기(100)의 주변 영역을 촬영한 영상이 될 수 있음은 물론, 청소할 영역 전체를 촬영한 영상이 될 수 있다.
그리고, 프로세서(230)는 디스플레이 된 영상에서 청소 대상을 선택하기 위한 사용자 입력을 수신할 수 있다.
여기에서, 청소 대상은 청소기(100)를 이용하여 청소를 수행하고자 하는 영역이 될 수 있다. 예를 들어, 청소할 영역이 가정 내의 바닥이면 청소 대상은 바닥이 될 수 있다.
한편, 청소 대상의 선택은 청소기(100)의 주변 영역을 촬영한 영상에서 수행될 수 있음은 물론, 청소할 영역 전체를 촬영한 영상에서 수행될 수도 있다
이와 관련하여, 도 5 및 도 6을 참조하여 설명한다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른, 청소기로 청소할 대상을 선택하는 방법을 설명하기 위한 도면이다.
먼저, 도 5에 도시된 바와 같이, 전자 장치(200)가 청소기(100)에 부착되어 사용되는 경우, 프로세서(230)는 청소기(100) 주변 영역의 영상을 디스플레이 할 수 있다.
이때, 사용자가 디스플레이(230)를 터치하는 사용자 입력(500)을 수행하면, 프로세서(230)는 터치된 영역, 즉 바닥을 청소할 대상으로 판단할 수 있다.
한편, 도 6에 도시된 바와 같이, 전자 장치(200)가 청소기(100)와 탈착된 상태에서, 즉 사용자가 전자 장치(200)를 손에 쥐고 있는 상태에서 청소할 영역 전체를 촬영한 경우, 프로세서(230)는 청소할 영역 전체를 포함하는 영상을 디스플레이 할 수 있다.
이때, 사용자가 디스플레이 된 영상 중에서 바닥에 해당하는 부분을 터치하는 사용자 입력(600)을 수행하면, 프로세서(230)는 터치된 영역인 바닥을 청소할 대상으로 판단할 수 있다.
한편, 여기서는 터치에 의해 청소 대상을 선택하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니고 터치 앤 드래그 조작 또는 제스처 조작 등 특정 영역을 지정할 수 있는 다양한 방법으로 사용자 입력이 수행될 수도 있다.
그리고, 프로세서(230)는 사용자 입력에 따라 선택된 청소 대상이 갖는 패턴을 판단할 수 있다.
이를 위해, 전자 장치(200)는 형상 인식 모듈(미도시)을 더 포함할 수 있다. 구체적으로, 프로세서(230)는 형상 인식 모듈(미도시)을 이용하여 터치된 지점에 존재하는 점들의 위치를 판단할 수 있고, 해당 점들로 구성되는 궤적의 기하학적 형태를 판단할 수 있으며, 이와 같은 기하학적 형태를 청소 대상이 갖는 패턴으로 판단할 수 있다.
또한, 사용자 조작이 터치 앤 드래그로 수행될 경우에는, 프로세서(230)는 드래그 조작에 따른 궤적의 기하학적 형태를 판단할 수 있고, 이와 같은 기하학적 형태를 청소 대상이 갖는 패턴으로 판단할 수 있다.
이후, 프로세서(230)는 청소기(100)의 주변 영역을 촬영한 영상 중에서 사용자 입력에 따라 선택된 청소 대상이 가진 패턴과 동일한 패턴을 갖는 영역을 판단할 수 있다.
예를 들어, 터치된 지점이 동그라미 무늬를 반복하여 갖고 있는 영역인 경우, 프로세서(230)는 청소기(100)의 주변 영역을 촬영한 영상 중에서 동그라미 무늬를 반복하여 갖고 있는 영역을 동일한 패턴을 갖는 영역으로 판단할 수 있고, 드래그 된 영역이 네모 형상인 경우, 프로세서(230)는 청소기(100)의 주변 영역을 촬영한 영상 중에서 네모 형상을 갖는 영역을 동일한 패턴을 갖는 영역으로 판단할 수 있다.
이를 위해, 프로세서(230)는 형상 인식 모듈(미도시)을 이용할 수 있다. 구체적으로, 프로세서(230)는 형상 인식 모듈(미도시)을 이용하여 청소기(100)의 주변 영역을 촬영한 영상에 포함된 점들의 위치를 분석할 수 있고, 점들로 구성되는 궤적의 기하학적 형태를 판단할 수 있다. 그리고, 프로세서(230)는 판단한 기하학적 형태가 사용자가 선택한 영역, 즉 청소 대상이 갖는 패턴과 동일할 경우, 해당 기하학적 형태를 갖는 영역을 청소 대상과 동일한 패턴을 갖는 영역으로 판단할 수 있다.
이후, 프로세서(230)는 촬영된 영상에서 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시할 수 있다.
이와 관련하여, 도 7을 참조하여 설명한다.
도 7은 본 발명의 일 실시 예에 따른, 청소기로 청소할 대상과 동일한 패턴을 갖는 영역에 마크를 표시하는 방법을 설명하기 위한 도면이다.
도 7(a)에 도시된 바와 같이, 청소 대상으로 선택된 영역의 패턴은 네모 형상의 패턴을 가질 수 있다. 이에 따라, 프로세서(230)는 카메라를 통해 촬영된 청소기(100)의 주변 영역의 영상 중에서 네모 형상의 패턴을 가진 영역에 마크(710)를 표시할 수 있다.
한편, 도 7(a)는 마크(710)의 형상을 동그라미로 표시하였으나, 반드시 이에 한정되는 것은 아니고 세모, 네모, 별 모양 형상 등 다양한 유형으로 표시될 수 있다.
또한, 도 7(b)에 도시된 바와 같이 마크는 먼지 모양의 AR(Augmented Reality) 마크(720)가 될 수도 있다.
즉, 프로세서(230)는 증강 현실 기술을 이용하여, 카메라(210)를 통해 촬영된 영상에 AR 마크(720)를 합성하여 표시할 수 있다. 이를 위해, 전자 장치(200)는 실시간으로 촬영되는 영상과 AR 컨텐츠를 정합시키기 위한 AR 컨텐츠-영상 정합기를 더 포함할 수 있다.
한편, 프로세서(230)는 실시간으로 촬영되는 영상에서 청소 대상이 가진 패턴과 동일한 패턴을 갖는 영역을 판단하여 해당 영역에 마크를 표시할 수 있다.
구체적으로, 청소기(100)의 이동에 따라 청소기(100)에 부착된 전자 장치(200)도 이동될 수 있고, 이에 따라 카메라(210)는 이동되는 청소기(100)의 주변 영역을 실시간으로 촬영할 수 있다. 이때, 실시간으로 촬영되는 영상에는 청소기(100)의 이동에 의해 이전에 디스플레이 되지 않았던 새로운 영역이 디스플레이 될 수 있고, 프로세서(230)는 새로운 영역의 패턴이 청소 대상이 가진 패턴과 동일한 패턴을 갖는 영역인지를 판단하여, 동일하다고 판단되면 해당 영역에 마크를 표시할 수 있다.
이후, 프로세서(230)는 마크가 표시된 영역으로 청소기(100)의 이동을 유도하기 위한 가이드 정보를 표시할 수 있다.
여기에서, 가이드 정보는 마크가 표시된 영역으로 청소기(100)를 이동시키기 위한 이동 방향에 대한 정보를 포함할 수 있다.
이를 위해, 먼저 프로세서(230)는 전자 장치(200)의 위치 정보를 이용하여 마크가 표시된 영역의 위치를 판단할 수 있다.
구체적으로, 도 8을 참조하면, 프로세서(230)는 전자 장치(200)가 청소기(100)에 부착된 위치를 고려하여 바닥으로부터 전자 장치(200)의 높이(h)를 판단할 수 있고, 전자 장치(200)의 기울어진 정도를 고려하여 전자 장치(200)와 바닥의 각도(θ)를 판단할 수 있다. 그리고, 프로세서(230)는 전자 장치(200)의 높이(h) 및 전자 장치(200)와 바닥의 각도(θ)를 이용하여 전자 장치(200)로부터 마크(810)가 표시된 지점까지의 거리(r)를 판단할 수 있고, 전자 장치(200)의 위치 정보 및 전자 장치(200)로부터 마크(810)가 표시된 지점까지의 거리(r)을 이용하여 마크가 표시된 영역의 위치를 판단할 수 있다.
이를 위해, 전자 장치(200)는 전자 장치(200)의 높이 측정을 위한 고도 센서 및 전자 장치(200)의 각도 측정을 위한 경사각 센서 내지 각도 센서를 포함할 수 있고, 전자 장치(200)의 위치 정보를 생성하기 위한 지자기 센서나 무선 신호 강도 기반 RSSI 거리 측위 센서를 더 포함 할 수 있다.
그리고, 프로세서(230)는 청소기(100)의 위치 정보를 이용하여 청소기(100)를 마크가 표시된 영역으로 이동시키기 위한 이동 거리 및 이동 방향을 판단할 수 있다.
구체적으로, 프로세서(230)는 현재 청소기(100)의 위치 정보 및 마크의 위치 정보를 이용하여, 청소기(100)를 현재 청소기(100)가 위치한 지점으로부터 마크가 표시된 지점으로 이동시키기 위한 이동 거리 및 이동 방향을 판단할 수 있다.
한편, 청소기(100)의 위치 정보는 청소기(100)로부터 수신할 수 있다. 이를 위해, 전자 장치(200)는 청소기(100)와 통신을 수행하여 다양한 데이터를 송수신 할 수 있는 통신부(미도시)를 더 포함할 수 있다. 여기에서, 통신부(미도시)가 청소기(100)와 통신을 수행하기 위해 이용할 수 있는 네트워크는 특정 방식에 구애받지 않는다. 구체적으로, 통신부(미도시)는 청소기(100)와 통신을 수행하기 위해 와이파이(Wi-Fi), 블루투스(Bluetooth) 등과 같은 근거리 통신 네트워크를 이용할 수 있다. 이를 위해, 통신부(미도시)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있다.
한편, 전자 장치(200)에 디스플레이 되는 가이드 정보는 2차원 영상이 될 수 있음은 물론, 현실 세계에 가상의 물체를 겹쳐서 보여주는 3차원의 AR 영상이 될 수도 있다.
이와 관련하여, 도 9를 참조하여 설명한다.
도 9는 본 발명의 일 실시 예에 따른, 전자 장치에 디스플레이 되는 청소기의 이동을 유도하는 가이드 정보를 설명하기 위한 도면이다.
도 9(a)에 도시된 바와 같이, 전자 장치(200)에 디스플레이 되는 가이드 정보는 2차원의 화살표 모양이 될 수 있다. 여기에서, 프로세서(230)는 전술한 바와 같이, 마크(710)의 위치 정보 및 청소기(100)의 위치 정보에 기초하여, 마크가 표시된 위치로 청소기(100)의 이동을 유도하는 화살표를 디스플레이 할 수 있다.
또한, 도 9(b)에 도시된 바와 같이, 가이드 정보는 3차원의 AR 캐릭터가 될 수 있다. 여기에서, 프로세서(230)는 전술한 바와 같이, 마크(720)의 위치 정보 및 청소기(100)의 위치 정보에 기초하여, 마크가 표시된 위치로 청소기(100)의 이동을 유도하는 형태의 AR 캐릭터를 디스플레이 할 수 있다.
한편, 도 9(b)에서는 AR 캐릭터만을 도시하였으나, 가이드 정보는 AR 캐릭터와 함께 말풍선이 같이 표시될 수도 있다. 가령, 마크가 된 지점을 가리키는 AR 캐릭터와 함께 "이쪽으로 오세요"와 같은 말풍선이 표시될 수 있다.
한편, 전자 장치(200)에 디스플레이 되는 가이드 정보가 반드시 상술한 실시 예에 한정되는 것은 아니고, 가이드 정보는 마크가 표시된 위치로 청소기(100)의 이동을 유도할 수 있는 다양한 유형으로 구현될 수 있다.
이에 따라, 사용자는 디스플레이 되는 가이드 정보에 따라 청소를 수행하게 됨으로써, 청소 작업이 지루한 작업의 일환이 아닌 유희를 제공하는 작업이 될 수 있다.
이후, 프로세서(230)는 청소기(100)가 마크가 표시된 영역을 지나간 것으로 판단되면, 청소기(100)가 지나간 영역에 표시된 마크를 제거할 수 있다.
이와 관련하여, 도 10을 참조하여 설명한다.
도 10은 본 발명의 일 실시 예에 따른, 전자 장치가 촬영된 영상에서 마크가 표시된 영역을 청소기가 지나갔는지 여부를 판단하는 방법을 설명하기 위한 도면이다.
여기에서, 프로세서(230)는 청소기(100)로부터 수신된 청소기(100)의 위치 정보에 기초하여 청소기(100)가 마크가 표시된 영역을 지나갔는지 여부를 판단할 수 있다.
구체적으로, 프로세서(230)는 전자 장치(200)의 위치 정보에 기초하여 판단한 마크가 표시된 지점의 위치 정보 및 청소기(100)로부터 수신한 청소기(100)의 위치 정보에 기초하여 청소기(100)가 마크가 표시된 영역을 지나갔는지 여부를 판단할 수 있다.
보다 구체적으로, 도 10(a)를 참조하면, 청소기(100)의 위치 감지 센서는 청소기(100)의 헤드에 내장 내지 부착될 수 있고, 프로세서(230)는 청소기(100)의 위치 감지 센서에서 감지된 청소기 헤드의 위치 정보 및 마크(720)의 위치 정보를 비교하여, 각각의 위치 정보가 일치한다고 판단되면, 청소기(100)가 마크가 표시된 영역을 지나갔다고 판단할 수 있다.
한편, 프로세서(230)는 카메라(210)를 통해 촬영된 영상을 분석하여, 청소기(100)가 마크가 표시된 영역을 지나간 것인지 여부를 판단할 수 도 있다.
예를 들어, 도 10(b)를 참조하면, 카메라(210)를 통해 촬영된 영상에는 청소기의 헤드(1010) 및 마크가 표시될 수 있다. 여기에서, 프로세서(230)는 영상 분석을 통해서 청소기의 헤드(1010)가 마크(710)에 접촉했는지 여부를 판단할 수 있다.
구체적으로, 전자 장치(200)에는 청소기의 헤드(1010)에 대한 형상 정보가 저장되어 있을 수 있고, 프로세서(230)는 형상 인식 모듈(미도시)을 이용하여 촬영된 영상에서 기저장된 청소기의 헤더(1010)와 동일한 형상을 갖는 형상을 인식한 뒤, 인식한 형상이 마크와 접촉되었는지 여부를 판단할 수 있다.
한편, 반드시 청소기의 헤드(1010) 형상이 기저장되어 있어야 하는 것은 아니고, 촬영된 영상에서 청소기의 헤드(1010)가 사용자 조작에 따라 선택되면, 형상 인식 모듈(미도시)에 의해서 청소기의 헤드(1010) 형상이 인식될 수 있고, 이에 따라 프로세서(230)는 촬영된 영상에서 청소기의 헤드(1010) 형상이 마크와 접촉되었는지 여부를 판단할 수도 있다.
이 경우, 프로세서(230)는 청소기의 헤드(1010)와 마크(710)가 접촉한 것으로 판단되면, 청소기(100)가 마크가 표시된 영역을 지나 이동한 것으로 판단할 수 있다.
한편, 여기서는 청소기(100)가 마크가 표시된 영역을 지나서 이동하면, 프로세서(230)는 마크를 제거하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니고 프로세서(230)는 청소기(100)가 마크가 표시된 영역을 지나간 것으로 판단되면, 새로운 마크를 표시할 수도 있다. 예를 들어, 동그라미 마크에서 체크 마크로 표시할 수 있다.
한편, 프로세서(230)는 카메라(210)를 통해 촬영된 영상에서 청소기(100)의 이동에 따라 청소 대상과 동일한 패턴을 갖는 영역이 실시간으로 촬영되더라도, 해당 영역이 청소기(100)가 이전에 지나간 영역에 해당한다고 판단되면 마크를 표시하지 않을 수 있다.
이를 위해, 프로세서(230)는 청소기(100)의 위치 정보를 실시간으로 저장할 수 있다. 구체적으로, 프로세서(230)는 청소기(100)의 위치 정보를 청소기(100)로부터 수신할 수 있고, 이를 기초로 청소기(100)의 이동 경로를 실시간으로 저장할 수 있다. 그리고, 프로세서(230)는 청소기(100)가 지나간 영역을 다시 지나가는 것으로 판단되면, 카메라(210)를 통해 촬영된 영상에서 청소 대상과 동일한 패턴을 갖는 영역이 촬영되더라도 마크를 표시하지 않을 수 있다.
이에 따라, 종래의 청소기를 사용하는 경우와 달리, 전자 장치(200)가 부착된 청소기를 사용함으로써 사용자는 청소한 영역에 대해 명확히 인지할 수 있고, 이에 따라 동일 영역의 중복 청소에 의한 청소 소요 시간이 증대되는 결과를 방지할 수 있다.
한편, 프로세서(230)는 청소기(100)의 위치 정보에 기초하여 판단한 이동 경로에 기초하여 청소맵을 생성할 수 있다.
전술한 바와 같이, 프로세서(230)는 청소기(100)의 위치 정보를 실시간으로 저장할 수 있고, 이에 따라 판단한 이동 경로에 기초하여 청소맵을 생성할 수 있다.
예를 들어, 도 11에 도시된 바와 같이, 프로세서(230)는 청소기(100)의 이동 경로에 기초하여 이동한 영역을 체크 모양의 마크(1110)으로 표시할 수 있고, 이동하지 않은 영역을 블랙 박스 모양(1120)으로 표시할 수 있다. 여기에서, 블랙 박스 모양으로 표시된 부분은 가정 내 존재하는 가구, 전자 제품 등이 될 수 있다.
한편, 이와 같은 청소맵은 일 실시 예일 뿐, 청소맵은 청소기(100)의 이동 경로에 따라서 다양하게 생성될 수 있음은 물론이다.
그리고, 프로세서(230)는 생성된 청소맵에 기초하여 청소기(100)의 이동 방향에 대한 가이드 정보를 표시할 수 있다.
여기에서, 가이드 정보는 청소기(100)의 이동 방향에 대한 정보를 포함할 수 있고, 특히 프로세서(230)는 청소맵에 기초하여 청소 소요 시간을 단축시킬 수 있는 방향으로 청소기(100)의 이동을 유도하는 가이드 정보를 표시할 수 있다.
구체적으로, 프로세서(230)는 청소맵을 생성하는 과정에서 저장한 마크의 위치 정보를 이용하여 청소기(100)가 하나의 마크를 중복하여 지나가지 않고 청소를 완료할 수 있도록 하는 가이드 정보를 표시할 수 있다.
예를 들어, 도 11과 같은 청소맵이 생성된 경우, 프로세서(230)는 청소기(100)가 하나의 마크(1110)를 한번씩만 이동하도록 유도하는 가이드 정보를 생성하여 청소 소요 시간을 단축시킬 수 있다. 한편, 청소 시작 지점에 따라서 하나의 마크(1110)를 필연적으로 두번 이상 지나야만 청소가 완료될 경우, 프로세서(230)는 하나의 마크(1110)를 최소한으로 지나서 청소를 완료할 수 있도록 하는 가이드 정보를 표시할 수 있다.
도 12는 본 발명의 일 실시 예에 따른, 청소기를 설명하기 위한 상세 블록도이다.
도 12는 참조하면, 청소기(100')는 센서(110), 통신부(120), 프로세서(130), 저장부(140), 인터페이스(150), 흡입부(160) 및 구동부(170)를 포함할 수 있다. 이하에서는, 상술한 설명과 중복되는 부분은 생략 또는 축약하기로 한다.
저장부(140)는 청소기(100')의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 특히, 저장부(140)는 전자 장치(200)에서 제공한 청소맵을 저장할 수 있다. 이를 위해, 저장부(140)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
인터페이스(150)는 청소기(100')에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비한다. 이러한 인터페이스(150)는 복수의 버튼 등과 같은 장치로 구현될 수 있으며, 디스플레이의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
인터페이스(150)는 청소기(100')의 청소 기능의 온/오프 명령 및 흡입 모드 변경 명령 등을 입력받을 수 있다. 특히, 인터페이스(150)는 전자 장치(200)와의 통신을 위한 사용자 명령을 입력받을 수 있다. 구체적으로, 인터페이스(150)는 전자 장치(200)와의 통신 연결을 위한 사용자 명령을 입력 받을 수 있고, 이에 따라 프로세서(130)는 전자 장치(200)와 통신을 수행하도록 통신부(120)를 제어할 수 있다
흡입부(160)는 청소기(100')의 바닥 면에 존재하는 먼지를 흡입한다. 구체적으로, 흡입부(160)는 이동 중 또는 정지 중에 청소기(100)의 헤드 하단측에 있는 이물질을 흡수함으로써 청소 동작을 수행할 수 있다. 이러한 흡입부(160)는 공기 중의 오염물질을 정화하는 공기 정화 유닛을 더 포함할 수 있다.
흡입부(160)는 복수의 동작 모드를 갖는다. 여기서 동작 모드는 흡입 강도에 따라 구분될 수 있다. 예를 들어, 동작 모드는 흡입 강도에 따라 1~5로 구분될 수 있고, 높은 수치일수록 강한 흡입 강도를 가질 수 있다.
구동부(170)는 청소기(100')를 이동시킨다. 구동부(170)는 하나 또는 둘 이상의 바퀴가 될 수 있다.
프로세서(130)는 청소기(100')의 전반적인 동작을 제어한다. 특히, 프로세서(130)는 전자 장치(200)와 네트워크 연결을 하기 위해서 통신부(120)를 제어할 수 있고, 청소기(100')의 위치 정보를 전자 장치(200)로 전송할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 상세 블록도이다.
도 13을 참조하면, 전자 장치(200')는 카메라(210), 디스플레이(220), 프로세서(230), 통신부(240), 저장부(250), 사용자 인터페이스(260) 및 센서(270)를 포함할 수 있다.
저장부(250)는 전자 장치(200')의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(200')의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
이에 따라, 프로세서(230)는 저장부(250)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(200')의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
사용자 인터페이스(260)는 다양한 사용자 명령을 입력받는다. 구체적으로, 사용자 인터페이스(260)는 디스플레이(220)를 통해 제공되는 전자 장치(200')의 기능 제어를 위한 다양한 UI 화면에 대한 사용자 명령을 입력받을 수 있다. 특히, 사용자 인터페이스(260)가 디스플레이(220)를 통해 구현되는 경우, 사용자 인터페이스(260)는 청소 대상을 선택하는 사용자 명령이 입력될 수 있다.
센서(270)는 전자 장치(200')의 위치를 감지할 수 있다. 구체적으로, 센서(270)는 지자기 센서로 구현되어, 전자 장치(200')의 움직임에 따른 자계의 변화를 감지하여 전자 장치(200')의 위치를 감지할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 센서(270)는 전자 장치(200')의 위치를 감지할 수 있는 다양한 유형의 센서로 구현될 수 있다. 가령, 센서(270)는 무선 신호 강도 기반 RSSI 거리 측위 센서가 될 수 있다.
또한, 센서(270)는 전자 장치(200')의 이동을 감지할 수 있다. 구체적으로, 센서(270)는 가속도 센서로 구현되어 전자 장치(200')의 움직임에 따른 가속도 변화를 감지할 수 있고, 자이로 센서로 구현되어 전자 장치(200')의 회전에 따른 각속도 변화를 감지함으로써, 전자 장치(200')의 이동 거리 및 이동 방향을 감지할 수 있다.
또한, 전술한 바와 같이, 센서(270)는 전자 장치(200')의 높이 측정을 위한 고도 센서 및 전자 장치(200')의 각도 측정을 위한 경사각 센서 내지 각도 센서로 구현될 수도 있다. 또한, 센서(270)는 기기에 부착된 터치 패드를 통한 터치 또는 호버링 조작을 감지하는 터치 센서, 근접 센서 등을 더 포함할 수 있다.
프로세서(230)는 전자 장치(200')의 전반적인 동작을 제어하는 구성이다.
구체적으로, 프로세서(230)는 RAM(231), ROM(232), 그래픽 처리부(233), 메인 CPU(234), 제1 내지 n 인터페이스(235-1 ~ 235-n) 및 버스(236)를 포함한다. 여기서, RAM(231), ROM(32), 그래픽 처리부(233), 메인 CPU(234), 제1 내지 n 인터페이스(235-1 ~ 235-n) 등은 버스(236)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(235-1 ~ 235-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(234)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(234)는 저장부(250)에 저장된 각종 프로그램, 콘텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
RAM(231)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 전자 장치(200')에 전원이 공급되면, 메인 CPU(234)는 ROM(232)에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM(231)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(234)는 저장부(240)에 저장된 각종 프로그램을 RAM(231)에 복사하고, RAM(231)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(233)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(220)에 표시된다.
도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치는 카메라를 통해 촬영된 청소기의 주변 영역의 영상을 디스플레이 할 수 있다(S1410).
그리고, 전자 장치는 촬영된 영상에 기초하여 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단할 수 있다(S1420). 구체적으로, 전자 장치는 촬영된 영상에서 선택된 청소 대상의 패턴을 판단하고, 청소기의 주변 영역을 촬영한 영상에서 이와 동일한 패턴을 가진 영역을 판단할 수 있다.
그리고, 전자 장치는 청소기의 주변 영역을 촬영한 영상에서 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시할 수 있다(S1430). 여기에서, 마크는 2차원 문양이 될 수 있음은 물론, 증강 현실 기술을 이용하여 3차원으로 표시될 수도 있다.
그리고, 전자 장치는 마크가 표시된 영역으로 청소기의 이동을 유도하기 위한 가이드 정보를 표시할 수 있다(S1440). 구체적으로, 전자 장치는 마크가 표시된 지점의 위치 정보 및 청소기의 헤드가 존재하는 지점의 위치 정보를 이용하여, 마크가 표시된 영역으로 청소기의 이동을 유도하는 가이드 정보를 표시할 수 있다. 여기에서, 가이드 정보는 2차원 문양이 될 수 있음은 물론, 증강 현실 기술을 이용하여 3차원으로 표시될 수도 있다.
이에 따라, 사용자는 전자 장치에 디스플레이 된 가이드 정보에 따라서 청소기를 이동시키기만 하면, 청소 대상 영역 전체를 완벽하게 완료시킬 수 있고 청소 자체를 즐겁게 수행할 수 있다.
한편, 여기서는 전자 장치(200)가 청소기(100)에 부착되어 실시되는 경우를 주 실시 예로 설명하였으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 사용자가 한쪽 손에는 청소기(100)를 잡고 청소를 수행하면서, 나머지 한쪽 손에는 전자 장치(200)를 잡고 청소 대상을 촬영하고 있을 경우, 전자 장치(200)는 상술한 방법과 동일하게 가이드 정보를 제공할 수 있다. 이에 따라, 전자 장치(200)를 청소기(100)에 부착하지 않은 경우에도 사용자는 가이드 정보에 따라 청소를 효율적으로 수행할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 청소기
200: 전자 장치

Claims (18)

  1. 전자 장치에 있어서,
    디스플레이;
    청소기의 주변 영역을 촬영하기 위한 카메라; 및
    상기 카메라를 통해 촬영된 상기 청소기의 주변 영역의 영상을 상기 디스플레이에 표시하고,
    상기 촬영된 영상에 기초하여 상기 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 상기 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단하고, 상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시하고 상기 마크가 표시된 영역으로 상기 청소기의 이동을 유도하기 위한 가이드 정보를 표시하도록 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 가이드 정보는,
    상기 마크가 표시된 영역으로 상기 청소기를 이동시키기 위한 이동 방향에 대한 정보를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 청소기와 통신을 수행하기 위한 통신부;를 더 포함하고,
    상기 프로세서는,
    상기 통신부를 통해 상기 청소기로부터 상기 청소기의 위치 정보를 수신하는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 청소기의 이동에 따라 이동되는 청소기의 주변 영역을 상기 카메라를 통해 촬영하고, 상기 이동되는 청소기의 주변 영역에서 상기 청소 대상과 동일한 패턴을 갖는 영역을 판단하여 상기 마크를 표시하는 전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 청소기로부터 수신된 상기 청소기의 위치 정보에 기초하여 상기 청소기가 상기 촬영된 영상에서 마크가 표시된 영역을 지나간 것으로 판단되면, 상기 청소기가 지나간 영역에 표시된 마크를 제거하거나 상기 표시된 마크와는 다른 마크를 표시 하는 전자 장치.
  6. 제3항에 있어서,
    상기 프로세서는,
    상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역이 상기 청소기가 이전에 지나간 영역에 해당하는 경우, 상기 마크를 표시하지 않는 전자 장치.
  7. 제3항에 있어서,
    상기 프로세서는,
    상기 청소기의 위치 정보에 기초하여 상기 청소기의 이동 경로를 판단하고, 상기 판단된 이동 경로에 기초하여 청소맵을 생성하고, 상기 생성된 청소맵에 기초하여 상기 청소기의 이동 방향에 대한 가이드 정보를 상기 디스플레이에 표시하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 마크 및 가이드 정보를 증강 현실을 통해 상기 촬영된 영상에 표시하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 영상이 상기 디스플레이에 표시된 상태에서 상기 촬영된 영상의 특정 영역을 선택하는 사용자 입력이 수신되면, 상기 선택된 영역을 상기 청소 대상으로 선택하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    카메라를 통해 청소기의 주변 영역을 촬영하여 디스플레이 하는 단계;
    상기 촬영된 영상에 기초하여 상기 청소기의 주변 영역 중에서 사용자 입력에 따라 선택된 상기 청소기의 청소 대상과 동일한 패턴을 갖는 영역을 판단하는 단계;
    상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역에 마크를 표시하는 단계; 및
    상기 마크가 표시된 영역으로 상기 청소기의 이동을 유도하기 위한 가이드 정보를 표시하는 단계;를 포함하는 전자 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 가이드 정보는,
    상기 마크가 표시된 영역으로 상기 청소기를 이동시키기 위한 이동 방향에 대한 정보를 포함하는 전자 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 청소기로부터 상기 청소기의 위치 정보를 수신하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 청소기의 이동에 따라 이동되는 청소기의 주변 영역을 촬영하는 단계; 및
    상기 이동되는 청소기의 주변 영역에서 상기 청소 대상과 동일한 패턴을 갖는 영역을 판단하여 상기 마크를 표시하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  14. 제12항에 있어서,
    상기 청소기로부터 수신된 상기 청소기의 위치 정보에 기초하여 상기 청소기가 상기 촬영된 영상에서 마크가 표시된 영역을 지나간 것으로 판단되면, 상기 청소기가 지나간 영역에 표시된 마크를 제거하거나 상기 표시된 마크와는 다른 마크를 표시하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  15. 제12항에 있어서,
    상기 촬영된 영상에서 상기 청소 대상과 동일한 패턴을 갖는 영역이 상기 청소기가 이전에 지나간 영역에 해당하는 경우, 상기 마크를 표시하지 않는 단계;를 더 포함하는 전자 장치의 제어 방법.
  16. 제12항에 있어서,
    상기 청소기의 위치 정보에 기초하여 상기 청소기의 이동 경로를 판단하고, 상기 판단된 이동 경로에 기초하여 청소맵을 생성하는 단계; 및
    상기 생성된 청소맵에 기초하여 상기 청소기의 이동 방향에 대한 가이드 정보를 표시하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  17. 제10항에 있어서,
    상기 마크 및 가이드 정보를 표시하는 단계는,
    증강 현실을 통해 상기 촬영된 영상에 표시하는 전자 장치의 제어 방법.
  18. 제10항에 있어서,
    상기 카메라를 통해 촬영된 영상이 상기 디스플레이에 표시된 상태에서 상기 촬영된 영상의 특정 영역을 선택하는 사용자 입력을 수신하는 단계; 및
    상기 선택된 영역을 상기 청소 대상으로 선택하는 단계;를 더 포함하는 전자 장치의 제어 방법.
KR1020170024698A 2017-02-24 2017-02-24 전자 장치 및 그의 제어 방법 KR102689863B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170024698A KR102689863B1 (ko) 2017-02-24 전자 장치 및 그의 제어 방법
EP18153528.7A EP3366101B1 (en) 2017-02-24 2018-01-25 Portable electronic apparatus and method for controlling thereof
US15/871,886 US10949668B2 (en) 2017-02-24 2018-03-30 Electronic apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024698A KR102689863B1 (ko) 2017-02-24 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180097917A true KR20180097917A (ko) 2018-09-03
KR102689863B1 KR102689863B1 (ko) 2024-07-31

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055125A1 (ko) * 2018-09-10 2020-03-19 주식회사 미로 청소된 영역이 구분 가능한 청소기
KR102089063B1 (ko) * 2018-09-28 2020-04-23 엔에이치엔 주식회사 Hmd를 이용한 로봇청소 시스템 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055125A1 (ko) * 2018-09-10 2020-03-19 주식회사 미로 청소된 영역이 구분 가능한 청소기
KR102089063B1 (ko) * 2018-09-28 2020-04-23 엔에이치엔 주식회사 Hmd를 이용한 로봇청소 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
US10949668B2 (en) 2021-03-16
EP3366101A2 (en) 2018-08-29
EP3366101A3 (en) 2018-09-05
EP3366101B1 (en) 2022-05-11
US20180247124A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
EP3366101B1 (en) Portable electronic apparatus and method for controlling thereof
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
JP4326568B2 (ja) 情報処理装置および情報処理プログラム
JP5921835B2 (ja) 入力装置
WO2017120052A1 (en) Three-dimensional object tracking to augment display area
JP2019501747A5 (ko)
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2013037675A5 (ko)
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
WO2016168786A1 (en) Augmented interface authoring
CN103677240A (zh) 虚拟触摸交互方法和虚拟触摸交互设备
CN105224203A (zh) 远程控制器装置及其控制方法
EP3037936B1 (en) Image projection apparatus, and system employing interactive input-output capability
KR102295823B1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
JP5350003B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP5725519B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2015138299A (ja) 指示具及び座標検出システム
KR102689863B1 (ko) 전자 장치 및 그의 제어 방법
US10885335B2 (en) Electronic device and controlling method thereof
JP5738372B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP5738351B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2021075103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20170104819A (ko) 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
JP5483654B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal