WO2020184736A1 - 인공 지능 청소기 및 그의 동작 방법 - Google Patents

인공 지능 청소기 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020184736A1
WO2020184736A1 PCT/KR2019/002718 KR2019002718W WO2020184736A1 WO 2020184736 A1 WO2020184736 A1 WO 2020184736A1 KR 2019002718 W KR2019002718 W KR 2019002718W WO 2020184736 A1 WO2020184736 A1 WO 2020184736A1
Authority
WO
WIPO (PCT)
Prior art keywords
cleaning
artificial intelligence
image
user
cleaner
Prior art date
Application number
PCT/KR2019/002718
Other languages
English (en)
French (fr)
Inventor
채승아
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/499,813 priority Critical patent/US20210331314A1/en
Priority to PCT/KR2019/002718 priority patent/WO2020184736A1/ko
Priority to KR1020190089593A priority patent/KR20190095178A/ko
Publication of WO2020184736A1 publication Critical patent/WO2020184736A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40317—For collision avoidance and detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45098—Vacuum cleaning robot
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to an artificial intelligence cleaner, and more particularly, to an artificial intelligence cleaner capable of automatically cleaning a designated cleaning area using a user's voice and a user image.
  • a robot cleaner is a device that automatically cleans by inhaling foreign substances such as dust from a floor surface while traveling by itself in an area to be cleaned without a user's manipulation.
  • the robot cleaner is configured to perform a cleaning operation while traveling on a preset cleaning path according to an embedded program.
  • the user does not know the cleaning path of the robot cleaner. Therefore, the user preferentially changes the operation mode of the robot cleaner to the manual control mode by waiting for the robot cleaner to come to the area when there is an area desired to be cleaned, or with a remote control that allows the user to control the robot cleaner After that, you need to move the robot cleaner with the arrow keys on the remote control.
  • the conventional robot cleaner has an image sensor provided in itself to recognize a dirty area and perform cleaning intensively, there is a problem that it is not easy to recognize a dirty area as much as the user's time.
  • An object of the present invention is to provide an artificial intelligence cleaner capable of easily cleaning an area desired to be cleaned based on a user's voice and a user image.
  • An object of the present invention is to provide an artificial intelligent cleaner capable of intensively performing cleaning on the obtained priority cleaning area by obtaining a priority cleaning area.
  • An object of the present invention is to provide an artificial intelligence cleaner capable of determining a cleaning area first by grasping the intention of a user's voice command and image data.
  • the artificial intelligence cleaner may perform cleaning by first recognizing a cleaning area, moving to the recognized priority cleaning area, using a user's voice command and a user image.
  • the artificial intelligence cleaner may first switch a cleaning mode for a cleaning area from a general cleaning mode to a meticulous cleaning mode.
  • the artificial intelligence cleaner may determine a cleaning instruction area by using an intention analysis of a user's voice command and a machine learning-based recognition model for image data.
  • a desired area can be quickly cleaned with only a simple voice and gesture without manipulation of a remote control for controlling a robot cleaner, thereby improving user satisfaction.
  • FIG. 1 is a block diagram illustrating a configuration of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 2 is a plan view of an artificial intelligence cleaner according to an embodiment of the present invention
  • FIG. 3 is a bottom view of the artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of operating an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of determining whether to recognize a cleaning instruction image of an acquired image using a cleaning instruction image recognition model according to an embodiment of the present invention.
  • FIGS. 6 and 7 are diagrams illustrating a scenario in which an artificial intelligence cleaner recognizes a user's voice command and a cleaning instruction image and performs cleaning of an area designated by the user according to an embodiment of the present invention.
  • FIG 8 and 9 are views for explaining a process of selecting a cleaning designated area according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example in which an artificial intelligence cleaner performs cleaning in a meticulous cleaning mode on a cleaning designated area according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an artificial intelligence cleaner according to an embodiment of the present invention.
  • the artificial intelligence cleaner 100 includes an image sensor 110, a microphone 120, an obstacle detection unit 130, a wireless communication unit 140, a memory 150, and a driving device.
  • a driver 170 and a processor 190 may be included.
  • the image sensor 110 may acquire image data about the surroundings of the artificial intelligence cleaner 100.
  • the image sensor 110 may include one or more of the depth sensor 111 and the RGB sensor 113.
  • the depth sensor 111 may detect that light irradiated from the light emitting unit (not shown) is reflected on an object and returned.
  • the depth sensor 111 may measure a distance to an object based on a time difference when the returned light is sensed, an amount of the returned light, and the like.
  • the depth sensor 111 may acquire 2D image information or 3D image information around the cleaner 100 based on the measured distance between objects.
  • the RGB sensor 113 may acquire color image information about objects around the cleaner 100.
  • the color image information may be a photographed image of an object.
  • the RGB sensor 113 may be referred to as an RGB camera.
  • the obstacle detection unit 130 may include an ultrasonic sensor, an infrared sensor, a laser sensor, and the like.
  • the obstacle detection unit 130 may irradiate laser light to the cleaning area and extract a pattern of the reflected laser light.
  • the obstacle detection unit 130 may detect the obstacle based on the location and pattern of the extracted laser light.
  • the configuration of the obstacle detection unit 130 may be omitted.
  • the wireless communication unit 140 may include at least one of a wireless Internet module and a short-range communication module.
  • the mobile communication module includes technical standards or communication methods for mobile communication (for example, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000)), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term) Evolution-Advanced), etc.), transmits and receives a radio signal with at least one of a base station, an external terminal, and a server.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV-DO Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTE-A
  • the wireless Internet module refers to a module for wireless Internet access, and may be built-in or external to the terminal 100.
  • the wireless Internet module is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.
  • wireless Internet technologies include WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A).
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • Direct wireless Internet technologies
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • the short range communication module is for short range communication, and includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC (Near Field). Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field
  • Communication Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • the memory 150 may store a cleaning instruction image recognition model for recognizing a cleaning instruction image indicating a cleaning area by a user using the image data obtained by the image sensor 110.
  • the driving driving unit 170 may move the artificial intelligence cleaner 100 in a specific direction or by a specific distance.
  • the driving driving unit 170 may include a left wheel driving unit 171 for driving the left wheel of the artificial intelligence cleaner 100 and a right wheel driving unit 173 for driving the right wheel.
  • the left wheel driving unit 171 may include a motor for driving the left wheel
  • the right wheel driving unit 173 may include a motor for driving the right wheel.
  • the driving driving unit 170 includes a left wheel driving unit 171 and a right wheel driving unit 173, but it is not necessary to be limited thereto, and when there is only one wheel, only one driving unit may be provided. have.
  • the processor 190 may control the overall operation of the artificial intelligence cleaner 100.
  • the processor 190 may analyze the intention of the voice command input through the microphone 120.
  • the processor 190 may determine whether the voice command is a command to designate a cleaning area first according to the intention analysis result.
  • the processor 190 may acquire an image using the image sensor 110.
  • the processor 190 may determine whether the cleaning instruction image is recognized from the acquired image.
  • the processor 190 may obtain image data from the image sensor 110 and determine whether to recognize the cleaning instruction image using the obtained image data and a cleaning instruction image recognition model.
  • the processor 190 controls the driving driver 170 to change the direction of the artificial intelligence cleaner 100. After that, the processor 190 may perform the image acquisition step again.
  • the processor 190 may acquire the user's location based on the image data.
  • the processor 190 may control the driving driver 170 to move to the acquired user's position.
  • the processor 190 may perform cleaning on an area where the user is located.
  • FIG. 2 is a perspective view of an artificial intelligence cleaner according to an embodiment of the present invention
  • FIG. 3 is a bottom view of the artificial intelligence cleaner according to an embodiment of the present invention.
  • the artificial intelligence cleaner 100 may include a cleaner body 50 and a depth sensor 110 provided on an upper surface of the cleaner body 50.
  • the depth sensor 110 may irradiate light to the front and receive the reflected light.
  • the depth sensor 110 may acquire depth information using a time difference at which the received light returns.
  • the cleaner body 50 may include other components other than the depth sensor 110 among the components described in FIG. 1.
  • the artificial intelligence cleaner 100 may further include a cleaner body 50, a left wheel 61a, a right wheel 61b, and a suction unit 70.
  • the left wheel 61a and the right wheel 61b may drive the cleaner body 50.
  • the left wheel drive unit 171 may drive the left wheel 61a, and the right wheel drive unit 173 may drive the right wheel 61b.
  • the suction unit 70 may be provided in the cleaner body 50 to suck dust from the bottom surface.
  • the suction unit 70 may further include a filter (not shown) for collecting foreign substances from the suctioned airflow, and a foreign substance receiver (not shown) in which foreign substances collected by the filter are accumulated.
  • FIG. 4 is a flowchart illustrating a method of operating an artificial intelligence cleaner according to an embodiment of the present invention.
  • the microphone 120 of the artificial intelligence cleaner 100 receives a voice command uttered by the user (S401).
  • the artificial intelligence cleaner 100 may be driving for cleaning or may be in a fixed position at a time when a voice command uttered by the user is received.
  • the processor 190 analyzes the intention of the received voice command (S403).
  • the received voice command may include a start command and an operation command.
  • the start command may be a command for starting the artificial intelligence cleaner 100.
  • the start command or text corresponding to the start command may be previously stored in the memory 150.
  • the processor 190 may determine that it is selected for controlling the operation of the artificial intelligence cleaner 100.
  • the processor 190 may receive a startup command, and may determine that it is selected for controlling the operation of the artificial intelligence cleaner 100 according to the received startup command. .
  • the processor 190 may analyze the user's intention using the operation command.
  • the processor 190 may convert the operation instruction into text and analyze the user's intention by using the converted text.
  • the processor 190 may transmit the converted text to a Natural Processing Server (NLP) through the wireless communication unit 140 and may receive an intention analysis result from the natural language processing server.
  • NLP Natural Processing Server
  • the natural language processing server may perform an intention analysis of the text based on the received text.
  • the natural language processing server may generate intention analysis information by sequentially performing a morpheme analysis step, a syntax analysis step, a speech act analysis step, and a conversation processing step for text data.
  • the morpheme analysis step is a step of classifying text data corresponding to the voice uttered by a user into a morpheme unit, which is the smallest unit with meaning, and determining what part of speech each classified morpheme has.
  • the syntax analysis step is a step of classifying text data into noun phrases, verb phrases, adjective phrases, etc. using the result of the morpheme analysis step, and determining what kind of relationship exists between the classified phrases.
  • subjects, objects, and modifiers of the voice uttered by the user may be determined.
  • the speech act analysis step is a step of analyzing the intention for the voice uttered by the user using the result of the syntax analysis step. Specifically, the speech act analysis step is a step of determining the intention of a sentence, such as whether the user asks a question, makes a request, or expresses a simple emotion.
  • the conversation processing step is a step of determining whether to answer or respond to the user's utterance, or ask a question for inquiring additional information, using the result of the speech act analysis step.
  • the natural language processing server may generate intention analysis information including one or more of an intention uttered by a user, an answer to the intention, a response, and an inquiry for additional information.
  • the processor 190 may include a natural language processing engine.
  • the processor 190 may analyze the intention of the converted text using the natural language processing engine.
  • the natural language processing engine may be an engine capable of performing the function of a natural language processing server.
  • the natural language processing engine may be provided in the processor 190 or may be provided in a separate configuration from the processor 190.
  • the processor 190 determines whether the voice command is a command to designate a cleaning area first according to the intention analysis result (S405).
  • the processor 190 may determine whether the operation command included in the voice command is a command indicating the cleaning area first, using the intention analysis result.
  • the processor 190 may determine the operation command as a command to designate the cleaning area first.
  • the processor 190 may determine that the user's intention has an intention to designate a specific cleaning area.
  • the processor 190 acquires an image using the image sensor 110 (S407).
  • the processor 190 may activate the image sensor 110 and acquire an image of the surrounding area.
  • the image sensor 110 is a sensor that reads subject information and converts the read subject information into an electrical image signal.
  • the artificial intelligence cleaner 100 may include a camera, and the camera may be configured with various types of image sensors 110.
  • the image sensor 110 may include any one of a Charged Coupled Device (CCD) image sensor and a Complementary Metal Oxide Semiconductor (CMOS) sensor.
  • CCD Charged Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the processor 190 determines whether the cleaning instruction image is recognized from the acquired image (S409).
  • the processor 190 may compare the acquired image with the cleaning instruction image previously stored in the memory 150 to determine whether the cleaning instruction image is recognized from the acquired image.
  • the processor 190 may compare the acquired image with the cleaning instruction image previously stored in the memory 150 and may determine a matching degree. When the matching degree is greater than or equal to a preset degree, the processor 190 may determine that the cleaning instruction image has been recognized from the acquired image.
  • the processor 190 may determine that the cleaning instruction image is not recognized from the acquired image.
  • the processor 190 may determine whether the cleaning instruction image is recognized from the acquired image using a machine learning algorithm.
  • the processor 190 may determine whether to recognize the cleaning instruction image using the learned cleaning instruction image recognition model.
  • the cleaning instruction image recognition model may represent an artificial neural network-based model learned by a machine learning algorithm or a deep learning algorithm.
  • the cleaning instruction image recognition model may be a personalized model that is individually trained for each user who uses the artificial intelligence cleaner 100.
  • the cleaning instruction image recognition model may be stored in the memory 150.
  • the cleaning instruction image recognition model stored in the memory 150 may be a model learned and stored by the processor 190 of the artificial intelligence cleaner 100.
  • the cleaning instruction image recognition model stored in the memory 150 may be a model received from an external server through the wireless communication unit 140 and stored.
  • the cleaning instruction image recognition model may be a model trained to infer whether or not to recognize a cleaning instruction image representing a feature point by using training data in the same format as the user image data representing a user image as input data.
  • the cleaning instruction image recognition model may be learned through supervised learning.
  • whether or not to recognize a cleaning instruction image may be labeled in the training data used for training the cleaning instruction image recognition model, and using the labeled learning data, the cleaning instruction image
  • the recognition model can be trained.
  • the cleaning instruction image recognition model may be trained with the aim of accurately inferring whether or not a labeled cleaning instruction image is recognized from given image data.
  • the loss function (cost function) of the cleaning instruction image recognition model can be expressed as a square mean of the difference between the label for recognizing the cleaning instruction image corresponding to each training data and whether or not the cleaning instruction image inferred from each training data is recognized. I can.
  • model parameters included in the artificial neural network may be determined to minimize the loss function through learning.
  • the input feature vector is extracted from the image data and, when input, the result of determining whether to recognize the cleaning instruction image is the target feature vector, and whether the outputted target feature vector and the labeled cleaning instruction image are recognized. It can be learned so that the loss function corresponding to the difference of is minimized.
  • the target feature point of the cleaning instruction image recognition model may be configured as an output layer of a single node indicating whether the cleaning instruction image is recognized. That is, the target feature point may have a value of 1 when recognition of the cleaning instruction image is successful, and 0 as a value when recognition of the cleaning instruction image fails.
  • the output layer of the cleaning instruction image recognition model may use sigmoid, hyperbolic tangent, or the like as an activation function.
  • FIG. 5 is a diagram illustrating an example of determining whether to recognize a cleaning instruction image of an acquired image using a cleaning instruction image recognition model according to an embodiment of the present invention.
  • the processor 190 acquires image data from the image sensor 110 (S501), and determines whether to recognize the cleaning instruction image using the obtained image data and the cleaning instruction image recognition model (S503).
  • Step S501 may correspond to step S407 of FIG. 4, and step S503 may correspond to step S409.
  • the processor 190 may determine whether the recognition of the cleaning instruction image has succeeded or failed by using the image data acquired from the image sensor 110 and the cleaning instruction image recognition model stored in the memory 150.
  • the processor 190 may output a notification notifying this through an output unit (not shown).
  • the output unit may include one or more of a speaker or a display.
  • the processor 190 does not recognize the cleaning instruction image from the acquired image. If not , To switch the direction of the artificial intelligence cleaner 100, the driving driving unit 170 is controlled (S411). After that, the processor 190 performs the image acquisition step again (S407).
  • the processor 190 may control the driving driver 170 to rotate the direction of the artificial intelligence cleaner 100 by a predetermined angle when the cleaning instruction image is not recognized from the acquired image. .
  • the certain angle may be 30 degrees, but this is only an example.
  • the processor 190 may rotate the artificial intelligence cleaner 100 by a predetermined angle, and may obtain an image again through the image sensor 110.
  • the processor 190 may determine whether the cleaning instruction image is recognized from the re-acquired image.
  • Step S411 may be repeatedly performed until the processor 190 recognizes the cleaning instruction image.
  • the processor 190 may store the rotated angle in the memory 150 at this time.
  • the processor 190 acquires the user's location based on the image data (S413).
  • the processor 190 may obtain a distance between the artificial intelligence cleaner 100 and the user corresponding to the cleaning instruction image based on the image data.
  • the depth sensor 111 of the image sensor 110 may detect that light irradiated from the light emitting unit (not shown) is reflected on an object and returned.
  • the depth sensor 111 may measure a distance to an object based on a time difference when the returned light is sensed, an amount of the returned light, and the like.
  • the processor 110 may measure a distance between the user corresponding to the cleaning instruction image and the artificial intelligence cleaner 100.
  • the processor 190 controls the driving driving unit 170 to move to the acquired user's position (S415).
  • the processor 190 may control the travel driving unit 170 to move the artificial intelligence cleaner 100 by the measured distance.
  • the processor 190 moves the artificial intelligence cleaner 100 to the user's location, and then Cleaning the area It performs (S417).
  • the user's location may indicate a point at which the cleaning instruction image is recognized.
  • the area in which the user is located may be a circular area having a radius of a predetermined distance based on the point at which the cleaning instruction image is recognized, but this is only an example and may have a shape such as a square.
  • FIGS. 6 and 7 are diagrams illustrating a scenario in which an artificial intelligence cleaner recognizes a user's voice command and a cleaning instruction image and performs cleaning of an area designated by the user according to an embodiment of the present invention.
  • the artificial intelligence cleaner 100 may receive a voice command ⁇ R9, please clean here first> spoken by a user through the microphone 120.
  • ⁇ R9> may correspond to a start command
  • ⁇ clean here first> may correspond to an operation command
  • the artificial intelligence cleaner 100 may determine whether the intention of the motion command is a specific cleaning area priority and a priority cleaning area designation intended to be cleaned through an intention analysis of the motion command.
  • Determination of intention analysis may be performed by the natural language processing server or the artificial intelligence cleaner 100 as described above.
  • the artificial intelligence cleaner 100 may acquire the image 600 through the image sensor 110 when it first recognizes the intention of designating the cleaning area through the intention analysis of the operation command.
  • the artificial intelligence cleaner 100 may determine whether the recognition of the cleaning instruction image is successful from the acquired image 600.
  • the artificial intelligence cleaner 100 may determine whether to recognize the cleaning instruction image by using image data corresponding to the acquired image 600 and a cleaning instruction image recognition model.
  • the artificial intelligence cleaner 100 may acquire an image while rotating by a predetermined angle (a) until it succeeds in recognizing a cleaning instruction image.
  • the cleaning instruction image may be an image including a pair of legs of the user.
  • the artificial intelligence cleaner 100 may determine whether to recognize the cleaning instruction image (leg pair image) by using the cleaning instruction image recognition model learned to recognize the leg pair of the user 700 and the acquired image 600. .
  • the artificial intelligence cleaner 100 may move to the cleaning designated area 710 where the user 700 is located.
  • the cleaning designation area 710 may be an area including the soles of the user.
  • FIG 8 and 9 are views for explaining a process of selecting a cleaning designated area according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a process of obtaining the projected sole area by projecting a pair of legs determined as a cleaning instruction image by the artificial intelligence cleaner 100 on a floor plane.
  • the processor 190 may project the pair of legs 810 determined as the cleaning instruction image onto the floor plane 830. Accordingly, the pair of foot regions 850 may be obtained. The sole pair area 850 may be used to obtain the cleaning designated area 710.
  • the processor 190 may obtain the user's position by using the relative positions between the sole regions constituting the sole pair region 850.
  • the relative position between the sole regions may be a center point of a line segment connecting the center of the left sole region and the center of the right sole region.
  • a left sole region 910 and a right sole region 930 included in the sole pair region 850 are illustrated.
  • the processor 190 may obtain a center point 950 of a line segment connecting the center point 911 of the left sole region 910 and the center point 931 of the right sole region 930.
  • the processor 190 may recognize the center point 950 of the line segment as the user's position.
  • the processor 190 may determine a circle area 900 having a radius of a length corresponding to a predetermined distance h1 as the cleaning designation area 710 based on the center point 950.
  • the original area 900 is determined as the cleaning designated area 710, but this is only an example. That is, the cleaning designated area may have a square shape with the center point 950 as the center.
  • the processor 190 may perform cleaning on the cleaning designated area 710 after moving to the user's location 950.
  • the processor 190 may change the cleaning mode when cleaning is performed on the cleaning designated area 710. It is assumed that the cleaning mode includes a general cleaning mode and a meticulous cleaning mode (or intensive cleaning mode).
  • the meticulous cleaning mode may be a mode in which the artificial intelligence vacuum cleaner 100 takes a longer time to clean the cleaning area and strengthens the suction power of the dust compared to the general cleaning mode.
  • the meticulous cleaning mode may be a mode in which cleaning is performed while moving the designated area in zigzag.
  • FIG. 10 is a diagram illustrating an example in which an artificial intelligence cleaner performs cleaning in a meticulous cleaning mode on a cleaning designated area according to an embodiment of the present invention.
  • a cleaning designation area 710 obtained by a user's voice command and a cleaning instruction image is shown.
  • the artificial intelligence cleaner 100 may travel in a zigzag with respect to the cleaning designated area 710 to clean the cleaning designated area 710.
  • the user may control the artificial intelligence cleaner 100 to clean a desired cleaning area with only utterance of a simple voice command and a simple gesture.
  • the processor 190 may pre-store in the memory 150 the map for the inside of the house obtained by using a simultaneous location estimation and map creation (Simultaneous Localization And Mapping, hereinafter referred to as SLAM) algorithm. .
  • SLAM simultaneous Location estimation and map creation
  • the processor 190 may tag the coordinate information of the cleaning designation area in the obtained map based on the user's voice command and the cleaning instruction image and store it in the memory 150 in advance.
  • the center of the circle and the radius of the circle are used to extract coordinate information, and may be stored in the memory 150.
  • the center of the square and the length of one side of the square may be used to extract coordinate information and may be stored in the memory 150.
  • the processor 190 may determine the cleaning designated area as a cleaning interest area.
  • the predetermined number of times may be 3, but this is only an example.
  • the processor 190 may change the general cleaning mode to the meticulous cleaning mode when the artificial intelligence cleaner 100 is operating in the general cleaning mode and enters the cleaning interest area while cleaning along the cleaning path.
  • the processor 190 can perform cleaning more intensively by changing the cleaning mode for the area of interest to be cleaned without a separate call from the user.
  • cleaning is automatically performed for an area that is not well cleaned or an area that the user wants to clean cleanly, thereby improving user satisfaction.
  • the present invention described above can be implemented as a computer-readable code in a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Fuzzy Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Electromagnetism (AREA)

Abstract

본 발명의 일 실시 예에 따른 인공 지능 청소기는 메모리와 음성 명령어를 수신하는 마이크로폰와 영상 데이터를 획득하는 영상 센서와 상기 인공 지능 청소기를 주행시키는 주행 구동부 및 상기 마이크로폰에 입력된 상기 음성 명령어가 우선 청소 영역을 지정하는 명령어인 경우, 상기 영상 데이터를 이용하여, 청소 지시 영상을 인식 여부를 판단하고, 상기 청소 지시 영상이 인식된 경우, 상기 영상 데이터를 이용하여, 사용자의 위치를 획득하고, 획득된 사용자의 위치로, 상기 인공 지능 청소기를 이동시키도록 상기 주행 구동부를 제어하는 프로세서를 포함할 수 있다.

Description

인공 지능 청소기 및 그의 동작 방법
본 발명은 인공 지능 청소기에 관한 것으로, 보다 상세하게는, 사용자의 음성 및 사용자 영상을 이용하여, 지정된 청소 영역을 자동으로 청소할 수 있는 인공 지능 청소기에 관한 발명이다.
로봇 청소기는 사용자의 조작 없이도 청소하고자 하는 구역 내를 스스로 주행하면서 바닥 면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소하는 기기이다.
이러한 로봇 청소기는 내장된 프로그램에 따라 기 설정된 청소경로를 주행하면서 청소동작을 수행하도록 되어 있다.
사용자는, 로봇 청소기의 청소 경로를 알지 못한다. 따라서, 사용자는 우선적으로, 청소를 원하는 구역이 있는 경우, 로봇 청소기가 해당 구역으로 올 때까지 기다리거나, 사용자가 로봇 청소기를 제어할 수 있는 리모컨으로, 로봇 청소기의 동작 모드를 수동 조절 모드로 변경한 후, 리모컨으로 방향키로, 로봇 청소기를 이동시켜야 한다.
이 경우, 사용자는 우선적으로, 청소하고 싶은 구역을 청소할 때까지, 로봇 청소기를 기다려야 하는 불편함이 있다.
또한, 종래의 로봇 청소기는 자체에 구비된 영상 센서를 구비하여, 지저분한 영역을 인지하여, 집중적으로, 청소를 수행하기는 하나, 사용자의 시각만큼 지저분한 영역을 인지하기는 쉽지 않은 문제가 있다.
본 발명은 사용자의 음성 및 사용자 영상을 기반으로, 우선적으로, 청소를 원하는 영역을 쉽게 청소할 수 있는 인공 지능 청소기의 제공을 목적으로 한다.
본 발명은 우선 청소 영역을 획득하여, 획득된 우선 청소 영역에 대해 집중적으로 청소를 수행할 수 있는 인공 지능 청소기의 제공을 목적으로 한다.
본 발명은 사용자의 음성 명령어 및 영상 데이터의 의도를 파악하여, 우선 청소 영역을 판단할 수 있는 인공 지능 청소기의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 인공 지능 청소기는 사용자의 음성 명령어 및 사용자 영상을 이용하여, 우선 청소 영역을 인식하고, 인식된 우선 청소 영역으로, 이동하여, 청소를 수행할 수 있다.
본 발명의 실시 예에 따른 인공 지능 청소기는 우선 청소 영역에 대한 청소 모드를 일반 청소 모드에서 꼼꼼 청소 모드로 전환할 수 있다.
본 발명의 실시 예에 따른 인공 지능 청소기는 사용자의 음성 명령어의 의도 분석 및 영상 데이터에 대한 머신 러닝 기반 인식 모델을 이용하여, 청소 지시 영역을 결정할 수 있다.
본 발명의 실시 예에 따르면, 로봇 청소기를 제어하기 위한 리모컨의 조작 없이도, 간단한 음성 및 제스쳐 만으로, 원하는 구역이 빠르게 청소되어, 사용자의 만족도가 향상될 수 있다.
본 발명의 실시 예에 따르면, 사용자의 시각 정보가 반영되므로, 로봇 청소기가 간과할 수 있는 청소 영역에 대한 청소가 보다 더 깨끗하게 수행될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 인공 지능 청소기의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 평면도이고, 도 3은 본 발명의 일 실시 예에 따른 인공 지능 청소기의 저면도이다.
도 4는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 동작 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따라, 청소 지시 영상 인식 모델을 이용하여, 획득된 영상의 청소 지시 영상의 인식 여부를 결정하는 예를 설명하는 도면이다.
도 6 및 도 7은 본 발명의 실시 예에 따라, 인공 지능 청소기가 사용자의 음성 명령어 및 청소 지시 영상을 인식하여, 사용자가 지정한 영역의 청소를 수행하는 시나리오를 설명하는 도면이다.
도 8 및 도 9는 본 발명의 실시 예에 따라 청소 지정 영역을 선정하는 과정을 설명하는 도면이다.
도 10은 본 발명의 실시 예에 따라 인공 지능 청소기가 청소 지정 영역에 대해 꼼꼼 청소 모드로 청소를 수행하는 예를 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공 지능 청소기(100)는 영상 센서(110), 마이크로폰(120), 장애물 검출부(130), 무선 통신부(140), 메모리(150), 주행 구동부(170) 및 프로세서(190)를 포함할 수 있다.
영상 센서(110)는 인공 지능 청소기(100)의 주변에 대한 영상 데이터를 획득할 수 있다.
영상 센서(110)는 깊이 센서(111) 및 RGB 센서(113) 중 하나 이상을 포함할 수 있다.
깊이 센서(111)는 발광부(미도시)로부터 조사된 빛이 사물에 반사되어 돌아옴을 감지할 수 있다. 깊이 센서(111)는 돌아온 빛을 감지한 시간 차이, 돌아온 빛의 양 등에 기초하여, 사물과의 거리를 측정할 수 있다.
깊이 센서(111)는 측정된 사물 간의 거리에 기초하여, 청소기(100) 주위에 대한 2차원 영상 정보 또는 3차원 영상 정보를 획득할 수 있다.
RGB 센서(113)는 청소기(100) 주위의 사물에 대한 컬러 영상 정보를 획득할 수 있다. 컬러 영상 정보는 사물의 촬영 영상일 수 있다. RGB 센서(113)는 RGB 카메라로 명명될 수 있다.
장애물 검출부(130)는 초음파 센서, 적외선 센서, 레이져 센서 등을 포함할 수 있다. 예를 들어, 장애물 검출부(130)는 청소 구역으로 레이져 광을 조사하고, 반사된 레이져 광의 패턴을 추출할 수 있다.
장애물 검출부(130)는 추출된 레이져 광의 위치, 패턴에 기초하여, 장애물을 검출할 수 있다.
깊이 센서(110)가 장애물을 검출하는데 사용되는 경우, 장애물 검출부(130)의 구성은 생략될 수 있다.
무선 통신부(140)는 무선 인터넷 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
메모리(150)는 영상 센서(110)가 획득된 영상 데이터를 이용하여, 사용자가 청소 영역을 지시하는 청소 지시 영상을 인식하기 위한 청소 지시 영상 인식 모델을 저장할 수 있다.
주행 구동부(170)는 인공 지능 청소기(100)를 특정 방향으로 또는 특정 거리만큼 이동시킬 수 있다.
주행 구동부(170)는 인공 지능 청소기(100)의 좌륜을 구동시키는 좌륜 구동부(171) 및 우륜을 구동시키는 우륜 구동부(173)를 포함할 수 있다.
좌륜 구동부(171)는 좌륜을 구동시키기 위한 모터를 포함할 수 있고, 우륜 구동부(173)는 우륜을 구동시키기 위한 모터를 포함할 수 있다.
도 1에서는 주행 구동부(170)가 좌륜 구동부(171) 및 우륜 구동부(173)를 포함하는 것을 예로 들어 설명하였으나, 이에 한정될 필요는 없고, 휠이 하나인 경우, 하나의 구동부만이 구비될 수도 있다.
프로세서(190)는 인공 지능 청소기(100)의 전반적인 동작을 제어할 수 있다.
프로세서(190)는 마이크로폰(120)을 통해 입력된 음성 명령어의 의도를 분석할 수 있다.
프로세서(190)는 의도 분석 결과에 따라 음성 명령어가 우선 청소 영역을 지정하는 명령어인지를 판단할 수 있다.
프로세서(190)는 음성 명령어가 우선 청소 영역을 지정하는 명령어로 판단된 경우, 영상 센서(110)를 이용하여, 영상을 획득할 수 있다.
프로세서(190)는 획득된 영상으로부터, 청소 지시 영상이 인식되었는지를 판단할 수 있다.
프로세서(190)는 영상 센서(110)로부터 영상 데이터를 획득하고, 획득된 영상 데이터와 청소 지시 영상 인식 모델을 이용하여, 청소 지시 영상의 인식 여부를 결정할 수 있다.
프로세서(190)는 획득된 영상으로부터 청소 지시 영상이 인식되지 않은 경우, 인공 지능 청소기(100)의 방향을 전환하도록, 주행 구동부(170)를 제어한다. 그 후, 프로세서(190)는 영상 획득 단계를 재 수행할 수 있다.
프로세서(190)는 획득된 영상으로부터 청소 지시 영상이 인식된 경우, 영상 데이터에 기초하여, 사용자의 위치를 획득할 수 있다.
프로세서(190)는 획득된 사용자의 위치로 이동하도록 주행 구동부(170)를 제어할 수 있다.
프로세서(190)는 인공 지능 청소기(100)를 사용자의 위치로 이동시킨 후, 사용자가 위치한 영역에 대한 청소를 수행할 수 있다.
프로세서(190)의 구체적인 동작에 대해서는 후술한다.
도 2는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 사시도이고, 도 3은 본 발명의 일 실시 예에 따른 인공 지능 청소기의 저면도이다.
도 2를 참조하면, 인공 지능 청소기(100)는 청소기 본체(50)와 청소기 본체(50)의 상면에 구비된 깊이 센서(110)를 포함할 수 있다.
깊이 센서(110)는 전방에 빛을 조사하고, 반사된 빛을 수신할 수 있다.
깊이 센서(110)는 수신된 빛이 돌아오는 시간 차이를 이용하여 깊이 정보를 획득할 수 있다.
청소기 본체(50)는 도 1에서 설명된 구성 요소들 중 깊이 센서(110)를 제외한 다른 구성 요소들을 포함할 수 있다.
도 3을 참조하면, 인공 지능 청소기(100)는 도 1의 구성에 더해, 청소기 본체(50), 좌륜(61a), 우륜(61b) 및 흡입부(70)를 더 포함할 수 있다.
좌륜(61a) 및 우륜(61b)은 청소기 본체(50)를 주행시킬 수 있다.
좌륜 구동부(171)는 좌륜(61a)을 구동시킬 수 있고, 우륜 구동부(173)는 우륜(61b)을 구동시킬 수 있다.
좌륜(61a) 및 우륜(61b)이 주행 구동부(170)에 의해 회전됨에 따라, 흡입부(70)를 통해 먼지나 쓰레기 등의 이물질이 흡입될 수 있다.
흡입부(70)는 청소기 본체(50)에 구비되어 바닥 면의 먼지를 흡입할 수 있다.
흡입부(70)는 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 동작 방법을 설명하기 위한 흐름도이다.
인공 지능 청소기(100)의 마이크로폰(120)은 사용자가 발화한 음성 명령어를 수신한다(S401).
인공 지능 청소기(100)는 사용자가 발화한 음성 명령어를 수신한 시점에 청소를 위해 주행 중이거나, 고정된 위치에 있을 수 있다.
프로세서(190)는 수신된 음성 명령어의 의도를 분석한다(S403).
수신된 음성 명령어는 기동 명령어 및 동작 명령어를 포함할 수 있다.
기동 명령어는 인공 지능 청소기(100)를 기동시키기 위한 명령어일 수 있다.
기동 명령어 또는 기동 명령어에 대응하는 텍스트는 메모리(150)에 미리 저장되어 있을 수 있다.
프로세서(190)는 저장된 기동 명령어와 마이크로폰(120)을 통해 수신된 기동 명령어가 매칭된 것으로 판단한 경우, 인공 지능 청소기(100)의 동작 제어를 위해 자신이 선택된 것으로 판단할 수 있다.
또 다른 예로, 상기 음성 명령어의 수신 이전에, 프로세서(190)는 기동 명령어를 수신할 수 있고, 수신된 기동 명령어에 따라 인공 지능 청소기(100)의 동작 제어를 위해 자신이 선택된 것으로 판단할 수 있다.
프로세서(190)는 기동 명령어가 인식된 경우, 동작 명령어를 이용하여, 사용자의 의도를 분석할 수 있다.
프로세서(190)는 동작 명령어를 텍스트로 변환하고, 변환된 텍스트를 이용하여, 사용자의 의도를 분석할 수 있다.
일 예로, 프로세서(190)는 무선 통신부(140)를 통해, 변환된 텍스트를 자연어 처리 서버(Natural Processing Sever, NLP)에 전송할 수 있고, 자연어 처리 서버로부터, 의도 분석 결과를 수신할 수 있다.
자연어 처리 서버는 수신된 텍스트에 기초하여, 텍스트의 의도 분석을 수행할 수 있다.
자연어 처리 서버는 텍스트 데이터에 대해, 형태소 분석 단계, 구문 분석 단계, 화행 분석 단계, 대화 처리 단계를 순차적으로, 수행하여, 의도 분석 정보를 생성할 수 있다.
형태소 분석 단계는 사용자가 발화한 음성에 대응하는 텍스트 데이터를 의미를 지닌 가장 작은 단위인 형태소 단위로 분류하고, 분류된 각 형태소가 어떤 품사를 가지는지를 결정하는 단계이다.
구문 분석 단계는 형태소 분석 단계의 결과를 이용하여, 텍스트 데이터를 명사구, 동사구, 형용사 구 등으로 구분하고, 구분된 각 구들 사이에, 어떠한 관계가 존재하는지를 결정하는 단계이다.
구문 분석 단계를 통해, 사용자가 발화한 음성의 주어, 목적어, 수식어들이 결정될 수 있다.
화행 분석 단계는 구문 분석 단계의 결과를 이용하여, 사용자가 발화한 음성에 대한 의도를 분석하는 단계이다. 구체적으로, 화행 분석 단계는 사용자가 질문을 하는 것인지, 요청을 하는 것인지, 단순한 감정 표현을 하는 것인지와 같은 문장의 의도를 결정하는 단계이다.
대화 처리 단계는 화행 분석 단계의 결과를 이용하여, 사용자의 발화에 대해 대답을 할지, 호응을 할지, 추가 정보를 문의하는 질문을 할지를 판단하는 단계이다.
자연어 처리 서버는 대화 처리 단계 후, 사용자가 발화한 의도, 의도에 대한 답변, 호응, 추가 정보 문의 중 하나 이상을 포함하는 의도 분석 정보를 생성할 수 있다.
또 다른 예로, 프로세서(190)는 자연어 처리 엔진을 구비할 수 있다. 이 경우, 프로세서(190)는 자연어 처리 엔진을 이용하여, 변환된 텍스트의 의도를 분석할 수 있다.
즉, 자연어 처리 엔진은 자연어 처리 서버의 기능을 수행할 수 있는 엔진일 수 있다.
자연어 처리 엔진은 프로세서(190) 내에 구비될 수도 있고, 프로세서(190)와는 별개의 구성으로 구비될 수 있다.
프로세서(190)는 의도 분석 결과에 따라 음성 명령어가 우선 청소 영역을 지정하는 명령어인지를 판단한다(S405).
프로세서(190)는 의도 분석 결과를 이용하여, 음성 명령어에 포함된 동작 명령어가 우선 청소 영역을 지시하는 명령어인지를 판단할 수 있다.
프로세서(190)는 의도 분석 결과에 특정 청소 영역을 지시하는 의도가 포함된 경우, 동작 명령어를 우선 청소 영역을 지정하는 명령어로 판단할 수 있다.
예를 들어, 동작 명령어에 <여기> 또는 <저기>와 같은 단어를 포함하는 경우, 프로세서(190)는 사용자의 의도에 특정 청소 영역을 지시하는 의도가 있는 것으로, 판단할 수 있다.
프로세서(190)는 음성 명령어가 우선 청소 영역을 지정하는 명령어로 판단된 경우, 영상 센서(110)를 이용하여, 영상을 획득한다(S407).
프로세서(190)는 음성 명령어가 우선 청소 영역을 지정하는 명령어인 것으로 판단한 경우, 영상 센서(110)를 활성화시키고, 주변의 영상을 획득할 수 있다.
영상 센서(110)는 피사체 정보를 읽어, 읽어들인 피사체 정보를 전기적인 영상 신호로 변환하는 센서이다.
인공 지능 청소기(100)는 카메라를 구비할 수 있고, 카메라는 다양한 형태의 영상 센서(110)로 구성될 수 있다.
영상 센서(110)는, CCD(Charged Coupled Device) 영상 센서, CMOS(Complementary Metal Oxide Semiconductor) 센서 중 어느 하나를 포함할 수 있다.
프로세서(190)는 획득된 영상으로부터, 청소 지시 영상이 인식되었는지를 판단한다(S409).
일 실시 예에서, 프로세서(190)는 획득된 영상과, 메모리(150)에 기 저장된 청소 지시 영상을 비교하여, 획득된 영상으로부터, 청소 지시 영상이 인식되었는지를 판단할 수 있다.
예를 들어, 프로세서(190)는 획득된 영상과, 메모리(150)에 기 저장된 청소 지시 영상을 비교할 수 있고, 매칭 정도를 판별할 수 있다. 프로세서(190)는 매칭 정도가 기 설정된 정도 이상인 경우, 획득된 영상으로부터, 청소 지시 영상이 인식된 것으로 결정할 수 있다.
반대로, 프로세서(190)는 매칭 정도가 기 설정된 정도 미만인 경우, 획득된 영상으로부터, 청소 지시 영상이 인식되지 않은 것으로 결정할 수 있다.
또 다른 실시 예에서, 프로세서(190)는 머신 러닝 알고리즘을 이용하여, 획득된 영상으로부터, 청소 지시 영상이 인식되었는지를 결정할 수 있다.
구체적으로, 프로세서(190)는 학습된 청소 지시 영상 인식 모델을 이용하여, 청소 지시 영상의 인식 여부를 결정할 수 있다.
청소 지시 영상 인식 모델은 기계 학습 알고리즘 또는 딥 러닝 알고리즘에 의해 학습된 인공 신경망 기반 모델을 나타낼 수 있다.
청소 지시 영상 인식 모델은 인공 지능 청소기(100)를 사용하는 사용자마다 개별적으로 학습화된 개인화 모델일 수 있다.
청소 지시 영상 인식 모델은 메모리(150)에 저장될 수 있다.
일 예로, 메모리(150)에 저장된 청소 지시 영상 인식 모델은 인공 지능 청소기(100)의 프로세서(190)를 통해 학습되어 저장된 모델일 수 있다.
또 다른 예로, 메모리(150)에 저장된 청소 지시 영상 인식 모델은 외부의 서버로부터 무선 통신부(140)를 통해 수신되어, 저장된 모델일 수 있다.
청소 지시 영상 인식 모델은 사용자 영상을 나타내는 사용자 영상 데이터와 동일한 형식의 학습 데이터를 입력 데이터로 하여, 특징점을 나타내는 청소 지시 영상 인식 여부를 추론하도록 학습된 모델일 수 있다.
청소 지시 영상 인식 모델은 지도 학습을 통해 학습될 수 있다.
구체적으로, 청소 지시 영상 인식 모델의 학습에 이용하는 학습 데이터에는 청소 지시 영상 인식 여부(청소 지시 영상 인식 성공, 청소 지시 영상 인식 실패)가 라벨링될 수 있고, 라벨링된 학습 데이터를 이용하여, 청소 지시 영상 인식 모델이 학습될 수 있다.
청소 지시 영상 인식 모델은 주어진 영상 데이터로부터 라벨링된 청소 지시 영상 인식 여부를 정확하게 추론하는 것을 목표로 학습될 수 있다.
청소 지시 영상 인식 모델의 손실 함수(loss function, cost function)는 각 학습 데이터에 상응하는 청소 지시 영상 인식 여부에 대한 라벨과 각 학습 데이터로부터 추론된 청소 지시 영상 인식 여부의 차이의 제곱 평균으로 표현될 수 있다.
청소 지시 영상 인식 모델은 학습을 통하여, 손실 함수를 최소화하도록 인공 신경망에 포함된 모델 파라미터들이 결정될 수 있다.
청소 지시 영상 인식 모델은 영상 데이터에서 입력 특징 벡터가 추출되어, 입력되면, 청소 지시 영상 인식 여부에 대한 결정 결과가 대상 특징 벡터로서, 출력되고, 출력된 대상 특징 벡터와 라벨링된 청소 지시 영상 인식 여부의 차이에 상응하는 손실 함수가 최소화되도록 학습될 수 있다.
일 예로, 청소 지시 영상 인식 모델의 대상 특징점은 청소 지시 영상 인식 여부를 나타내는 단일 노드의 출력층으로 구성될 수 있다. 즉, 대상 특징점은 청소 지시 영상의 인식이 성공일 때, 그 값으로, 1, 청소 지시 영상의 인식이 실패일 때, 그 값으로 0을 가질 수 있다. 이 경우, 청소 지시 영상 인식 모델의 출력층은 활성 함수로 시그모이드, 하이퍼볼릭 탄젠트 등이 이용될 수 있다.
도 5는 본 발명의 일 실시 예에 따라, 청소 지시 영상 인식 모델을 이용하여, 획득된 영상의 청소 지시 영상의 인식 여부를 결정하는 예를 설명하는 도면이다.
프로세서(190)는 영상 센서(110)로부터 영상 데이터를 획득하고(S501), 획득된 영상 데이터와 청소 지시 영상 인식 모델을 이용하여, 청소 지시 영상의 인식 여부를 결정한다(S503).
단계 S501은 도 4의 단계 S407 에 대응될 수 있고, 단계 S503은 단계 S409에 대응될 수 있다.
프로세서(190)는 영상 센서(110)로부터 획득된 영상 데이터와 메모리(150)에 저장된 청소 지시 영상 인식 모델을 이용하여, 청소 지시 영상의 인식이 성공되었는지, 실패되었는지를 결정할 수 있다.
프로세서(190)는 청소 지시 영상의 인식이 성공 또는 실패된 경우, 이를 알리는 알림을 출력부(미도시)를 통해 출력할 수 있다. 출력부는 스피커 또는 디스플레이 중 하나 이상을 포함할 수 있다.
다시, 도 4를 설명한다.
프로세서(190)는 획득된 영상으로부터 청소 지시 영상이 인식되지 않은 경우 , 인공 지능 청소기(100)의 방향을 전환하도록, 주행 구동부(170)를 제어한다(S411). 그 후, 프로세서(190)는 영상 획득 단계를 재 수행한다(S407).
일 실시 예에서, 프로세서(190)는 획득된 영상으로부터, 청소 지시 영상이 인식되지 않은 경우, 인공 지능 청소기(100)의 방향을 일정 각도만큼 회전시키도록, 주행 구동부(170)를 제어할 수 있다.
여기서, 일정 각도는 30도일 수 있으나, 이는 예시에 불과한 수치이다.
프로세서(190)는 인공 지능 청소기(100)를 일정 각도만큼 회전시키고, 영상 센서(110)를 통해 영상을 다시 획득할 수 있다.
그 후, 프로세서(190)는 재 획득된 영상으로부터, 청소 지시 영상이 인식되었는지를 판단할 수 있다.
단계 S411은 프로세서(190)는 청소 지시 영상의 인식이 될 때까지 반복적으로 수행될 수 있다.
프로세서(190)는 청소 지시 영상의 인식이 성공된 경우, 이 때 회전된 각도를 메모리(150)에 저장할 수 있다.
프로세서(190)는 획득된 영상으로부터 청소 지시 영상이 인식된 경우, 영상 데이터에 기초하여, 사용자의 위치를 획득한다(S413).
프로세서(190)는 획득된 영상으로부터, 청소 지시 영상의 인식이 성공된 것으로 판단한 경우, 영상 데이터에 기초하여, 인공 지능 청소기(100)와 청소 지시 영상에 대응하는 사용자의 거리를 획득할 수 있다.
영상 센서(110)의 깊이 센서(111)는 발광부(미도시)로부터 조사된 빛이 사물에 반사되어 돌아옴을 감지할 수 있다. 깊이 센서(111)는 돌아온 빛을 감지한 시간 차이, 돌아온 빛의 양 등에 기초하여, 사물과의 거리를 측정할 수 있다.
프로세서(110)는 영상 데이터로부터, 청소 지시 영상이 인식된 경우, 청소 지시 영상에 대응하는 사용자와 인공 지능 청소기(100) 간의 거리를 측정할 수 있다.
프로세서(190)는 획득된 사용자의 위치로 이동하도록 주행 구동부(170)를 제어한다(S415).
즉, 프로세서(190)는 측정된 거리만큼, 인공 지능 청소기(100)를 이동시키도록, 주행 구동부(170)를 제어할 수 있다.
프로세서(190)는 인공 지능 청소기(100)를 사용자의 위치로 이동시킨 후, 사용자가 위치한 영역에 대한 청소를 수행한다(S417).
사용자의 위치는 청소 지시 영상을 인식한 지점을 나타낼 수 있다. 사용자가 위치한 영역은 청소 지시 영상을 인식한 지점을 중심으로, 일정 거리를 반지름으로 하는 원 형상의 영역일 수 있으나, 이는 예시에 불과하고, 정사각형 등의 형상을 가질 수 있다.
도 6 및 도 7은 본 발명의 실시 예에 따라, 인공 지능 청소기가 사용자의 음성 명령어 및 청소 지시 영상을 인식하여, 사용자가 지정한 영역의 청소를 수행하는 시나리오를 설명하는 도면이다.
도 6을 참조하면, 인공 지능 청소기(100)는 마이크로폰(120)을 통해 사용자가 발화한 <R9, 여기 먼저 청소해줘> 라는 음성 명령어를 수신할 수 있다.
여기서, <R9>는 기동 명령어에 해당될 수 있고, <여기 먼저 청소해줘>는 동작 명령어에 해당될 수 있다.
인공 지능 청소기(100)는 동작 명령어의 의도 분석을 통해, 동작 명령어의 의도가 특정 청소 영역을 우선적으로, 청소하기를 원하는 우선 청소 영역 지정 의도인지를 파악할 수 있다.
의도 분석에 대한 판단은 전술한 바와 같이, 자연어 처리 서버 또는 인공 지능 청소기(100)에 의해 수행될 수 있다.
인공 지능 청소기(100)는 동작 명령어의 의도 분석을 통해, 우선 청소 영역 지정의 의도를 파악한 경우, 영상 센서(110)를 통해 영상(600)을 획득할 수 있다.
인공 지능 청소기(100)는 획득된 영상(600)으로부터, 청소 지시 영상의 인식이 성공되었는지를 판단할 수 있다.
구체적으로, 인공 지능 청소기(100)는 획득된 영상(600)에 대응하는 영상 데이터와 청소 지시 영상 인식 모델을 이용하여, 청소 지시 영상의 인식 여부를 결정할 수 있다.
도 7을 참조하면, 인공 지능 청소기(100)는 청소 지시 영상의 인식에 성공할 때까지 일정 각도(a)만큼 회전하면서, 영상을 획득할 수 있다.
청소 지시 영상은 사용자의 다리 쌍을 포함하는 영상일 수 있다.
인공 지능 청소기(100)는 사용자(700)의 다리 쌍을 인식하도록 학습된 청소 지시 영상 인식 모델 및 획득된 영상(600)을 이용하여, 청소 지시 영상(다리 쌍 영상)의 인식 여부를 결정할 수 있다.
인공 지능 청소기(100)는 획득된 영상으로부터 청소 지시 영상의 인식에 성공한 것으로 판단한 경우, 사용자(700)가 위치한 청소 지정 영역(710)으로, 이동할 수 있다.
일 예로, 청소 지정 영역(710)은 사용자의 발바닥들을 포함하는 영역일 수 있다.
도 8 및 도 9는 본 발명의 실시 예에 따라 청소 지정 영역을 선정하는 과정을 설명하는 도면이다.
특히, 도 8은 인공 지능 청소기(100)가 청소 지시 영상으로 결정한 다리 쌍을 바닥 평면에 투사시켜, 투사된 발바닥 영역을 획득하는 과정을 설명하는 도면이다.
프로세서(190)는 청소 지시 영상으로 결정된 다리 쌍(810)을 바닥 평면(830)에 투사시킬 수 있다. 이에 따라, 발바닥 쌍 영역(850)이 획득될 수 있다. 발바닥 쌍 영역(850)은 청소 지정 영역(710)을 획득하는데 사용될 수 있다.
프로세서(190)는 발바닥 쌍 영역(850)을 구성하는 발바닥 영역 들 간의 상대적 위치를 이용하여, 사용자의 위치를 획득할 수 있다.
발바닥 영역들 간의 상대적 위치는 좌 발바닥 영역의 중심과 우 발바닥 영역의 중심을 이은 선분의 중심점일 수 있다.
도 9를 참조하면, 발바닥 쌍 영역(850)에 포함된 좌 발바닥 영역(910) 및 우 발바닥 영역(930)이 도시되어 있다.
프로세서(190)는 좌 발바닥 영역(910)의 중심점(911)과 우 발바닥 영역(930)의 중심점(931)을 이은 선분의 중심점(950)을 획득할 수 있다.
프로세서(190)는 선분의 중심점(950)을 사용자의 위치로 인식할 수 있다.
프로세서(190)는 중심점(950)을 중심으로, 일정 거리(h1)에 대응하는 길이를 반지름으로 하는 원 영역(900)을 청소 지정 영역(710)으로 결정할 수 있다.
도 9에서는 원 영역(900)을 청소 지정 영역(710)으로 결정하나, 이는 예시에 불과하다. 즉, 청소 지정 영역은 중심점(950)을 중심으로, 정사각형의 형태를 가질 수도 있다.
프로세서(190)는 사용자의 위치(950)로 이동 후, 청소 지정 영역(710)에 대해 청소를 수행할 수 있다.
프로세서(190)는 청소 지정 영역(710)에 대해 청소를 수행 시, 청소 모드를 변경할 수 있다. 청소 모드는 일반 청소 모드 및 꼼꼼 청소 모드(또는 집중 청소 모드)가 있음을 가정한다.
꼼꼼 청소 모드(또는 집중 청소 모드)는 일반 청소 모드에 비해, 청소 영역에 인공 지능 청소기(100)가 청소를 하는 시간이 길며, 먼지의 흡입력을 강하게 하는 모드일 수 있다.
꼼꼼 청소 모드는 청소 지정 영역을 지그재그로 이동하면서, 청소를 수행하는 모드일 수 있다.
도 10은 본 발명의 실시 예에 따라 인공 지능 청소기가 청소 지정 영역에 대해 꼼꼼 청소 모드로 청소를 수행하는 예를 설명하는 도면이다.
도 10을 참조하면, 사용자의 음성 명령어 및 청소 지시 영상에 의해 얻어진 청소 지정 영역(710)이 도시되어 있다.
인공 지능 청소기(100)는 청소 지정 영역(710)에 대해, 지그재그로 주행하여, 청소 지정 영역(710)을 청소할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 사용자는 간단한 음성 명령어의 발화와, 간단한 제스쳐 만으로, 원하는 청소 영역을 청소하도록 인공 지능 청소기(100)를 제어할 수 있다.
이에 따라, 인공 지능 청소기(100)를 조작하기 위한 리모컨이 필요 없어, 사용자의 편의성이 크게 향상될 수 있다.
한편, 프로세서(190)는 동시적 위치 추정 및 맵 작성(Simultaneous Localization And Mapping, 이하, SLAM이라 함) 알고리즘을 이용하여, 획득된 집안 내부에 대한 지도를 메모리(150)에 미리 저장하고 있을 수 있다.
프로세서(190)는 사용자의 음성 명령어 및 청소 지시 영상에 기초하여, 얻어진 지도 내의 청소 지정 영역의 좌표 정보를 태깅하여, 메모리(150)에 미리 저장하고 있을 수 있다.
청소 지정 영역이 원 영역인 경우, 원의 중심과, 원의 반지름이 좌표 정보를 추출하는데 사용될 있고, 메모리(150)에 저장될 수 있다.
청소 지정 영역이 정사각형 영역인 경우, 정사각형의 중심과, 정사각형의 한 변의 길이가, 좌표 정보를 추출하는데 사용될 수 있고, 메모리(150)에 저장될 수 있다.
프로세서(190)는 상기 청소 지정 영역이 일정 횟수 이상 꼼꼼 청소 모드로 청소가 수행된 경우, 해당 청소 지정 영역을 청소 관심 영역으로 결정할 수 있다. 일정 횟수는 3회일 수 있으나, 이는 예시에 불과한 횟수이다.
프로세서(190)는 인공 지능 청소기(100)가 일반 청소 모드로 동작하면서, 청소 경로를 따라 청소를 하는 중, 청소 관심 영역으로 진입하면, 일반 청소 모드를 꼼꼼 청소 모드로 변경할 수 있다.
즉, 프로세서(190)는 사용자의 별도 호출 없이도, 청소 관심 영역에 대해서는 청소 모드를 변경하여, 보다 집중적으로 청소를 수행할 수 있다.
이에 따라, 청소가 잘 되지 않은 영역 또는 사용자가 깨끗이 청소를 하기 원하는 영역에 대한, 청소가 자동으로 이루어져, 사용자의 만족도가 향상될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 인공 지능 청소기에 있어서,
    메모리;
    음성 명령어를 수신하는 마이크로폰;
    영상 데이터를 획득하는 영상 센서;
    상기 인공 지능 청소기를 주행시키는 주행 구동부; 및
    상기 마이크로폰에 입력된 상기 음성 명령어가 우선 청소 영역을 지정하는 명령어인 경우, 상기 영상 데이터를 이용하여, 청소 지시 영상을 인식 여부를 판단하고, 상기 청소 지시 영상이 인식된 경우, 상기 영상 데이터를 이용하여, 사용자의 위치를 획득하고, 획득된 사용자의 위치로, 상기 인공 지능 청소기를 이동시키도록 상기 주행 구동부를 제어하는 프로세서를 포함하는
    인공 지능 청소기.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 사용자의 위치에 대응하는 청소 지정 영역을 획득하고, 획득된 청소 지정 영역을 청소하도록 상기 주행 구동부를 제어하는
    인공 지능 청소기.
  3. 제2항에 있어서,
    상기 인공 지능 청소의 청소 모드는
    일반 청소 모드 및 꼼꼼 청소 모드를 포함하고,
    상기 프로세서는
    상기 청소 지정 영역의 청소를 위해 상기 일반 청소 모드를 상기 꼼꼼 청소 모드로 변경하는
    인공 지능 청소기.
  4. 제1항에 있어서,
    상기 프로세서는
    상기 음성 명령어의 의도를 획득하고, 획득된 의도가 상기 우선 청소 영역을 지정하는 의도인 경우, 상기 영상 센서를 통해 상기 영상 데이터를 획득하는
    인공 지능 청소기.
  5. 제1항에 있어서,
    상기 프로세서는
    상기 영상 데이터 및 상기 메모리에 저장된 청소 지시 영상 인식 모델을 이용하여, 상기 청소 지시 영상의 인식 성공 여부를 결정하고,
    상기 청소 지시 영상 인식 모델은
    사용자 영상 데이터와 동일한 형식의 학습 데이터를 입력 데이터로 하여, 청소 지시 영상 인식 여부를 추론하도록 학습된 인공 신경망 기반의 모델인
    인공 지능 청소기.
  6. 제5항에 있어서,
    상기 프로세서는
    상기 영상 데이터에 기반하여, 상기 청소 지시 영상의 인식이 실패한 경우, 상기 인공 지능 청소기를 일정 각도만큼 회전시키고, 상기 영상 센서를 통해 영상 데이터를 재 획득하는
    인공 지능 청소기.
  7. 제2항에 있어서,
    상기 프로세서는
    상기 인식된 청소 지시 영상으로부터, 발바닥 쌍 영역을 획득하고,
    획득된 발바닥 쌍 영역의 중심을 상기 사용자의 위치로 획득하는
    인공 지능 청소기.
  8. 제7항에 있어서,
    상기 프로세서는
    상기 획득된 사용자의 위치를 중심으로, 일정 길이를 반지름으로 하는 원 영역을 상기 청소 지정 영역으로 결정하는
    인공 지능 청소기.
  9. 인공 지능 청소기의 동작 방법에 있어서,
    음성 명령어를 수신하는 단계;
    수신된 음성 명령어가 우선 청소 영역을 지정하는 명령어인 경우, 영상 데이터를 획득하는 단계;
    획득된 영상 데이터를 이용하여, 청소 지시 영상을 인식 여부를 판단하는 단계;
    상기 청소 지시 영상이 인식된 경우, 상기 영상 데이터를 이용하여, 사용자의 위치를 획득하는 단계; 및
    획득된 사용자의 위치로, 상기 인공 지능 청소기를 이동시키도록 상기 주행 구동부를 제어하는 단계를 포함하는
    인공 지능 청소기의 동작 방법.
  10. 제9항에 있어서,
    상기 사용자의 위치에 대응하는 청소 지정 영역을 획득하는 단계; 및
    획득된 청소 지정 영역을 청소하도록 상기 주행 구동부를 제어하는 단계를 더 포함하는
    인공 지능 청소기의 동작 방법.
  11. 제9항에 있어서,
    상기 음성 명령어의 의도를 획득하는 단계; 및
    획득된 의도가 상기 우선 청소 영역을 저정하는 의도인 경우, 상기 영상 센서를 통해 상기 영상 데이터를 획득하는 단계를 더 포함하는
    인공 지능 청소기의 동작 방법.
  12. 제9항에 있어서,
    상기 영상 데이터 및 상기 메모리에 저장된 청소 지시 영상 인식 모델을 이용하여, 상기 청소 지시 영상의 인식 성공 여부를 결정하는 단계를 더 포함하고,
    상기 청소 지시 영상 인식 모델은
    사용자 영상 데이터와 동일한 형식의 학습 데이터를 입력 데이터로 하여, 청소 지시 영상 인식 여부를 추론하도록 학습된 인공 신경망 기반의 모델인
    인공 지능 청소기의 동작 방법.
  13. 제12항에 있어서,
    상기 영상 데이터에 기반하여, 상기 청소 지시 영상의 인식이 실패한 경우, 상기 인공 지능 청소기를 일정 각도만큼 회전시키는 단계; 및
    상기 영상 센서를 통해 영상 데이터를 재 획득하는 단계를 더 포함하는
    인공 지능 청소기의 동작 방법.
  14. 제10항에 있어서,
    상기 인식된 청소 지시 영상으로부터, 발바닥 쌍 영역을 획득하는 단계를 더 포함하고,
    상기 사용자의 위치를 획득하는 단계는
    획득된 발바닥 쌍 영역의 중심을 상기 사용자의 위치로 획득하는 단계를 포함하는
    인공 지능 청소기의 동작 방법.
  15. 제14항에 있어서,
    상기 획득된 사용자의 위치를 중심으로, 일정 길이를 반지름으로 하는 원 영역을 상기 청소 지정 영역으로 결정하는 단계를 더 포함하는
    인공 지능 청소기의 동작 방법.
PCT/KR2019/002718 2019-03-08 2019-03-08 인공 지능 청소기 및 그의 동작 방법 WO2020184736A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/499,813 US20210331314A1 (en) 2019-03-08 2019-03-08 Artificial intelligence cleaner
PCT/KR2019/002718 WO2020184736A1 (ko) 2019-03-08 2019-03-08 인공 지능 청소기 및 그의 동작 방법
KR1020190089593A KR20190095178A (ko) 2019-03-08 2019-07-24 인공 지능 청소기 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/002718 WO2020184736A1 (ko) 2019-03-08 2019-03-08 인공 지능 청소기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020184736A1 true WO2020184736A1 (ko) 2020-09-17

Family

ID=67622037

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002718 WO2020184736A1 (ko) 2019-03-08 2019-03-08 인공 지능 청소기 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20210331314A1 (ko)
KR (1) KR20190095178A (ko)
WO (1) WO2020184736A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019105936A1 (de) * 2019-03-08 2020-09-10 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Sauggutsammelstation, System aus einer Sauggutsammelstation und einem Saugreinigungsgerät sowie Verfahren dafür
KR20210033848A (ko) * 2019-09-19 2021-03-29 엘지전자 주식회사 로봇 청소기 및 이를 동작시키기 위한 방법
CN110881909A (zh) * 2019-12-20 2020-03-17 小狗电器互联网科技（北京）股份有限公司 一种扫地机控制方法及装置
CN111743476A (zh) * 2020-06-18 2020-10-09 小狗电器互联网科技（北京）股份有限公司 扫地机器人的清扫方法及装置
US12002458B1 (en) * 2020-09-04 2024-06-04 Amazon Technologies, Inc. Autonomously motile device with command processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232717A1 (en) * 2012-03-09 2013-09-12 Lg Electronics Inc. Robot cleaner and method for controlling the same
KR20140128021A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
US20150039127A1 (en) * 2012-05-07 2015-02-05 Sharp Kabushiki Kaisha Self-propelled electronic device
KR20150014237A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
KR20180058511A (ko) * 2016-11-24 2018-06-01 엘지전자 주식회사 이동 로봇 및 그 제어방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6466139B2 (ja) * 2014-10-20 2019-02-06 有限会社テレビジネス 人間の動きを測定するロボット計測器
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
CN105072143B (zh) * 2015-07-02 2018-11-20 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人与客户端的交互***
CN105867630A (zh) * 2016-04-21 2016-08-17 深圳前海勇艺达机器人有限公司 机器人的手势识别方法及装置及机器人***
CN108900882A (zh) * 2018-07-17 2018-11-27 杭州行开科技有限公司 一种基于裸眼3d的广告互动***及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232717A1 (en) * 2012-03-09 2013-09-12 Lg Electronics Inc. Robot cleaner and method for controlling the same
US20150039127A1 (en) * 2012-05-07 2015-02-05 Sharp Kabushiki Kaisha Self-propelled electronic device
KR20140128021A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
KR20150014237A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
KR20180058511A (ko) * 2016-11-24 2018-06-01 엘지전자 주식회사 이동 로봇 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Also Published As

Publication number Publication date
US20210331314A1 (en) 2021-10-28
KR20190095178A (ko) 2019-08-14

Similar Documents

Publication Publication Date Title
WO2020184736A1 (ko) 인공 지능 청소기 및 그의 동작 방법
WO2018124682A2 (ko) 이동 로봇 및 그 제어방법
WO2018160035A1 (ko) 이동 로봇 및 그 제어방법
WO2018135870A1 (en) Mobile robot system and control method thereof
WO2018139865A1 (ko) 이동 로봇
WO2020139064A1 (en) Cleaning robot and method of performing task thereof
WO2020256159A1 (ko) 이동 로봇과 그의 제어 방법
AU2014297039B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
WO2018131884A1 (en) Moving robot and control method thereof
WO2022045808A1 (ko) 청소 로봇 및 그 제어 방법
WO2018128353A1 (en) Robot cleaner and method for controlling thereof
WO2020184733A1 (ko) 로봇
EP3727122A1 (en) Robot cleaners and controlling method thereof
WO2016065627A1 (zh) 一种基于位置的控制方法、装置、可移动机器以及机器人
WO2021137483A1 (ko) 자율주행 로봇을 이용한 지도 업데이트 방법 및 시스템
WO2018143620A2 (en) Robot cleaner and method of controlling the same
WO2019135437A1 (ko) 안내 로봇 및 그의 동작 방법
WO2020196948A1 (ko) 인공 지능 청소기 및 그의 동작 방법
WO2019098631A1 (en) Moving apparatus for cleaning and control method thereof
WO2020145688A1 (en) Electronic device and controlling method thereof
WO2019160396A2 (ko) 안내 로봇 및 안내 로봇의 동작 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2021141396A1 (en) Robot cleaner using artificial intelligence and control method thereof
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2021006674A2 (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919344

Country of ref document: EP

Kind code of ref document: A1