KR101842459B1

KR101842459B1 - Robot cleaner and method for controlling the same

Info

Publication number: KR101842459B1
Application number: KR1020110033924A
Authority: KR
Inventors: 장준호
Original assignee: 엘지전자 주식회사
Priority date: 2011-04-12
Filing date: 2011-04-12
Publication date: 2018-05-14
Also published as: KR20120116278A

Abstract

로봇 청소기 및 이의 제어 방법이 개시된다. 본 발명의 실시 예들은 로봇 청소기에 구비된 영상 검출 유닛을 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 사용자 동작 정보를 검출하며, 검출한 사용자 동작 정보를 근거로 동작한다. 본 발명의 실시 예들은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있고, 사용자 동작 정보와 이에 따른 제어 명령을 미리 패턴화, 데이터베이스화하여 이에 따라 로봇 청소기를 제어할 수 있다.A robot cleaner and its control method are disclosed. Embodiments of the present invention detect image information using an image detection unit provided in a robot cleaner, detect user operation information such as a gesture of a user from image information, and operate based on the detected user operation information. Embodiments of the present invention can simplify a step of performing an instruction because the number of operation commands is relatively limited, and it is possible to control the robot cleaner by patterning and databaseing user operation information and control commands accordingly have.

Description

로봇 청소기 및 이의 제어 방법{ROBOT CLEANER AND METHOD FOR CONTROLLING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a robot cleaner,

본 발명은 사용자 등의 동작을 인식하여 이에 따라 구동되는 로봇 청소기와 이의 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a robot cleaner and a control method thereof.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.In general, robots have been developed for industrial use and have been part of factory automation. In recent years, medical robots, aerospace robots, and the like have been developed, and household robots that can be used in ordinary homes are being developed.

상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.A representative example of the domestic robot is a robot cleaner, which is a type of household appliance that sucks and cleanes dust or foreign matter around the robot while traveling in a certain area by itself. Such a robot cleaner is generally equipped with a rechargeable battery and has an obstacle sensor capable of avoiding obstacles during traveling, so that it can run and clean by itself.

로봇 청소기를 제어하기 위한 방식으로는 사용자 인터페이스인 리모콘을 이용하는 방식, 로봇 청소기 본체에 구비된 버튼을 이용하는 방식 등이 있다.As a method for controlling the robot cleaner, there are a method using a remote controller which is a user interface, a method using buttons provided in the robot cleaner main body, and the like.

본 발명의 실시 예들은 사용자 움직임에 따라 구동되는 로봇 청소기 및 이의 제어 방법을 제공함에 일 목적이 있다.Embodiments of the present invention provide a robot cleaner and a control method thereof that are driven according to a user's movement.

본 발명의 실시 예들은 영상 검출 유닛을 통해 검출한 주변 영상으로부터 사용자 동작을 추출하고, 추출한 동작에 따라 구동되는 로봇 청소기 및 이의 제어 방법을 제공함에 다른 목적이 있다.It is another object of the present invention to provide a robot cleaner and a control method thereof, which extract a user's operation from a peripheral image detected through an image detection unit and are driven according to the extracted operation.

상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기는, 주변을 촬영하여 영상 정보를 획득하는 영상 검출 유닛과, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 동작 추출 유닛과, 상기 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어하는 제어 유닛을 포함하여 구성된다.According to an aspect of the present invention, there is provided a robot cleaner including: an image detection unit for capturing image information to acquire image information; an operation extraction unit for extracting user operation information from the image information; And a control unit for controlling the operation of the robot cleaner.

상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 영상 정보를 획득하는 단계와, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계와, 상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계와, 상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계를 포함하여 구성된다.According to another aspect of the present invention, there is provided a method of controlling a robot cleaner, comprising: acquiring image information by photographing a periphery; extracting user operation information from the image information; Comparing the reference operation pattern, and controlling the operation of the robot cleaner based on the comparison result of the comparing step.

본 발명의 실시 예들은 로봇 청소기에 구비된 영상 검출 유닛을 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 사용자 동작 정보를 검출하며, 검출한 사용자 동작 정보를 근거로 동작함으로써 리모콘이나 버튼 등을 이용하는 종래 기술에 따른 문제점 및 불편을 줄일 수 있다.Embodiments of the present invention detect image information by using an image detection unit provided in a robot cleaner, detect user operation information such as a gesture of a user from image information, and operate based on detected user operation information, Button and the like can be reduced.

본 발명의 실시 예들은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있다.Embodiments of the present invention are relatively unlimited in the number of operation instructions and can simplify the step of executing the instructions.

본 발명의 실시 예들은 사용자 동작 정보와 이에 따른 제어 명령을 미리 패턴화, 데이터베이스화하여 저장하고, 사용자 동작 정보에 따른 제어 명령을 이용하여 로봇 청소기를 제어함으로써 로봇 청소기의 운전 효율을 높이고 사용자 편의성을 제고한다.Embodiments of the present invention can improve the operation efficiency of the robot cleaner and improve user convenience by controlling the robot cleaner by using control commands according to user operation information, Increase.

도 1은 본 발명에 따른 로봇 청소기의 일 예의 외관을 도시한 사시도;
도 2 및 도 3은 본 발명의 실시 예들에 따른 로봇 청소기의 구성을 개략적으로 도시한 블록도;
도 4 및 도 5는 본 발명의 실시 예들에 따른 로봇 청소기의 제어 방법을 개략적으로 도시한 흐름도;
도 6a 내지 도 6c는 본 발명의 실시 예들에 따라 사용자의 동작을 추출하는 동작을 설명하기 위한 도이다.1 is a perspective view showing an appearance of an example of a robot cleaner according to the present invention;
FIG. 2 and FIG. 3 are block diagrams schematically showing a configuration of a robot cleaner according to an embodiment of the present invention; FIG.
4 and 5 are flowcharts schematically illustrating a method of controlling a robot cleaner according to embodiments of the present invention;
6A to 6C are diagrams for explaining an operation of extracting a user's operation according to embodiments of the present invention.

도 1 및 도 2를 참조하면, 일 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 동작 추출 유닛(200)과, 제어 유닛(300)을 포함하여 구성된다. 영상 검출 유닛(100)은 주변을 촬영하여 영상 정보를 획득한다. 동작 추출 유닛(200)은 상기 영상 검출 유닛이 획득한 영상 정보로부터 사용자 동작 정보를 추출한다. 제어 유닛(300)은 상기 동작 추출 유닛이 추출한 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어한다. 여기서, 상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보를 포함한다.Referring to FIGS. 1 and 2, a robot cleaner according to an embodiment includes an image detection unit 100, an operation extraction unit 200, and a control unit 300. The image detection unit 100 acquires image information by photographing the periphery. The operation extraction unit (200) extracts user operation information from the image information acquired by the image detection unit. The control unit (300) controls the operation of the robot cleaner based on the user operation information extracted by the operation extracting unit. Here, the user operation information includes one of a gesture of a user, three-dimensional information of a user's arm, and a position of a user's hand.

도 6a를 참조하면, 사용자의 제스처는 'v'자와 같은 체크 표시, 'x'자와 같은 취소 표시, 지그재그와 같은 삭제 표시 등을 의미한다. 사용자의 제스처 인식은 카메라로 사람 영상을 획득한 다음 의미 있는 제스처를 검출하고, 제스처를 계속 추적하면서 제스처의 의미를 분석하여 인식한다. 사용자의 제스처 인식은 고정된 카메라 시점에서 확연하게 구별 가능한 몇 가지 종류의 제스처를 인식 대상으로 한다. 사용자의 제스처를 인식하는 방식으로는 템플릿 매칭(template matching), 은닉 마르코프 모델(hidden Markov model), 신경망을 이용한 방식 등이 있다. 제스처 인식은 의미 있는 제스처의 추적을 통해 생긴 제스처의 궤적을 특징 정보로 하거나, 연속된 영상으로부터 제스처로 추출된 화소들을 모두 합하여 제스처 패턴을 구한 다음 통계적인 방법을 이용한다.Referring to FIG. 6A, the gesture of a user means a check mark such as a 'v' character, a cancel mark such as an 'x' character, a deletion mark such as a zigzag, and the like. The gesture recognition of a user acquires a human image with a camera, then detects a meaningful gesture, and keeps track of the gesture to analyze and recognize the meaning of the gesture. The user's gesture recognition recognizes several types of gestures which can be clearly distinguished from a fixed camera viewpoint. Temporal matching, hidden Markov model, and neural network are used to recognize the gesture of the user. Gesture recognition uses statistical methods after obtaining gesture patterns by combining the traces of gestures generated by tracking meaningful gestures as feature information or by summing pixels extracted from gestures from consecutive images.

도 6b를 참조하면, 사용자 팔의 3차원 정보는 일정 위치(현재 위치)에서 다른 위치로의 이동, 청소 등을 지시할 수 있도록 형성된 정보이다. 즉, 사용자 팔의 3차원 정보는 사용자 팔에 대하여 복수의 영상 정보를 획득하여 추출된 3차원 정보이다. 사용자 팔의 3차원 정보를 인식하는 방법은 제스처 인식 방법에 한 차원의 데이터를 입력 추가하여 제스처를 인식한다. 인식 방법으로는 스테레오 블럽 추적기를 이용하여 3차원 손의 궤적 데이터를 입력하는 방법, 3차원 데이터를 이용하여 웨이브 제스처와 포인팅 제스처를 상태 기반 접근 방법에 의해 분할하는 방법 등이 있다.Referring to FIG. 6B, the three-dimensional information of the user's arm is information formed to instruct movement, cleaning, and the like from a predetermined position (current position) to another position. That is, the three-dimensional information of the user's arm is three-dimensional information extracted by acquiring a plurality of image information with respect to the user's arm. The method of recognizing the three-dimensional information of the user's arm recognizes the gesture by adding one-dimensional data to the gesture recognition method. Recognition methods include inputting three-dimensional hand trajectory data using a stereophonic tracker, and dividing wave gestures and pointing gestures using three-dimensional data by a state-based approach.

도 6c를 참조하면, 사용자 손의 위치 정보는, 획득한 영상 정보를 둘 이상의 영역들로 구분하고(도 6c에서는 세 개의 영역들) 영역들 각각에 대하여 제어 명령을 매핑하여 생성된다. 상기 로봇 청소기는 상기 영역들 중 사용자 손이 위치한 위치에 따라 제어 명령을 실행한다. 예를 들어, 로봇 청소기는 연속된 영상 정보에서 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출한다. 사람의 얼굴 영역과 손 영역 이외의 다른 영역에서도 피부색에 해당되는 후보 영역들이 추출될 수 있다. 상기 로봇 청소기는 피부색 영역들에 대한 블럽 정보, 즉 블럽의 크기, 위치, 형태 등을 분석하여 사람의 얼굴과 손의 위치를 추출한다. Referring to FIG. 6C, the position information of the user's hand is generated by mapping the obtained control information to each of the regions, and divides the acquired image information into two or more regions (three regions in FIG. 6C). The robot cleaner executes a control command according to the position of the user's hand among the areas. For example, the robot cleaner extracts a face region and a hand region of a person using the skin color information of a person in the continuous image information. Candidate regions corresponding to the skin color can be extracted even in regions other than the face region of the person and the hand region. The robot cleaner extracts the position of a person's face and hand by analyzing the information on the skin color areas, i.e., the size, position, and shape of the block.

도 2를 참조하면, 상기 로봇 청소기는, 하나 이상의 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 저장 유닛(400)을 더 포함하여 구성된다. 여기서, 상기 제어 유닛(300)은 상기 사용자 동작 정보와 상기 기준 동작 패턴의 비교 결과를 근거로 상기 제어 명령을 실행한다. 여기서, 상기 기준 동작 패턴은 상기 사용자 동작 정보를 예상하여 미리 설정하고 저장한 패턴들이다. 상기 기준 동작 패턴은 사용자 동작 정보와 같이 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 등으로 구성된다. 또, 상기 저장 유닛은 상기 기준 동작 패턴에 대하여 각각 할당된 하나 이상의 제어 명령을 저장한다. 상기 제어 명령은, 예를 들어 청소 시작, 청소 중지, 청소 종료, 공간 확장, 청소 방식, 집중 청소, 충전, 예약 등을 의미한다.Referring to FIG. 2, the robot cleaner further includes a storage unit 400 for storing one or more reference operation patterns and corresponding control commands in advance. Here, the control unit 300 executes the control command based on a result of comparison between the user operation information and the reference operation pattern. Here, the reference operation pattern is a pattern preset and stored in anticipation of the user operation information. The reference operation pattern includes user's gesture such as user's operation information, three-dimensional information of the user's arm, and position of the user's hand. Further, the storage unit stores one or more control commands each assigned to the reference operation pattern. The control command includes, for example, start of cleaning, stop of cleaning, termination of cleaning, expansion of space, cleaning method, concentrated cleaning, charging, reservation and the like.

상기 저장 유닛(400)은 기준 동작 패턴들과 이들에 따른 제어 명령들 이외에 영상 정보, 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 더 저장할 수 있다. 상기 저장 유닛(400)은 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치이다. 비휘발성 메모리는 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등을 포함한다.The storage unit 400 may further store image information, obstacle information, location information, a cleaning area, a cleaning map, and the like in addition to the reference operation patterns and control commands corresponding thereto. The storage unit 400 mainly uses a nonvolatile memory. Here, the non-volatile memory (NVM, NVRAM) is a storage device that keeps stored information even when power is not supplied. Non-volatile memory includes ROM, flash memory, magnetic computer storage devices (e.g., hard disk, diskette drive, magnetic tape), optical disk drive, magnetic RAM, PRAM, and the like.

도 3을 참조하면, 다른 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 동작 추출 유닛(200)과, 제어 유닛(300)과, 저장 유닛(400)과, 상기 사용자 동작 정보를 화면에 출력하는 출력 유닛(500)을 포함하여 구성된다. 상기 출력 유닛(500)은 상기 기준 동작 패턴 중 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴을 상기 화면에 출력한다. 상기 제어 유닛(300)은 출력 유닛(500)으로 하여금 영상 정보로부터 추출한 사용자 동작 정보를 화면에 그대로 디스플레이하도록 한다. 또, 상기 제어 유닛(300)은, 사용자 동작 정보를 저장 유닛(400)에 저장된 기준 동작 패턴들과 비교한다. 제어 유닛은 비교 결과에 따라 미리 설정한 유사도 이상의 기준 동작 패턴을 읽어와서 상기 출력 유닛(500)이 화면에 디스플레이하도록 한다. 이 경우, 사용자 등이 새로운 동작을 하면, 예를 들어 체크 표시, 누름 표시 등, 해당 기준 동작 패턴이 선택되고, 로봇 청소기는 선택된 기준 동작 패턴에 따른 제어 명령을 수행한다.3, the robot cleaner according to another embodiment includes an image detection unit 100, an operation extraction unit 200, a control unit 300, a storage unit 400, And an output unit 500 for outputting to the screen. The output unit 500 outputs a reference operation pattern having a degree of similarity equal to or greater than a predetermined value to the user operation information among the reference operation patterns on the screen. The control unit 300 causes the output unit 500 to display the user operation information extracted from the image information as it is on the screen. Also, the control unit 300 compares the user operation information with the reference operation patterns stored in the storage unit 400. The control unit reads the reference operation pattern which is equal to or higher than the preset similarity in accordance with the comparison result, and causes the output unit 500 to display on the screen. In this case, when a user or the like performs a new operation, for example, a check display, a push display, or the like, the corresponding reference operation pattern is selected, and the robot cleaner executes a control command according to the selected reference operation pattern.

상기 출력 유닛(500)은 사용자 동작 정보나 기준 동작 패턴 등의 출력 외에 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 화면에 디스플레이할 수 있다. 또 상기 출력 유닛(500)은 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태 등의 상태 정보들을 더 표시할 수 있다. 상기 출력 유닛(500)은 발광다이오드(Light Emitting Diode; LED), 액정표시장치(Liquid Crystal Disply; LCD), 플라즈마표시패널(Plasma Display Panel), 유기발광다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.The output unit 500 may display obstacle information, position information, a cleaning area, a clean map, and the like on the screen in addition to output of user operation information, reference operation pattern, and the like. The output unit 500 may further display status information such as the current status of each unit constituting the robot cleaner and the current cleaning status. The output unit 500 may be any of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED) And may be formed of one element.

또, 도 3을 참조하면, 상기 로봇 청소기는, 경고 신호에 따라 외부에 경고음을 출력하는 음성 출력 유닛(510)을 더 포함한다. 여기서, 상기 제어 유닛(300)은 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면 상기 경고 신호를 발생한다. 상기 음성 출력 유닛(510)은 비퍼(beeper), 스피커 등의 소리를 출력하는 수단을 포함한다. 음성 출력 유닛은 경고음을 출력하거나, 음성 패턴을 생성하는 수단을 구비하여 "다시 입력해 주십시오", "명령이 명확하지 않습니다" 등의 음성을 출력할 수 있다.Referring to FIG. 3, the robot cleaner further includes a sound output unit 510 for outputting a warning sound to the outside according to a warning signal. Here, the control unit 300 generates the warning signal if there is no reference operation pattern having similarity to the user operation information. The audio output unit 510 includes means for outputting sound such as a beeper, a speaker, and the like. The sound output unit is capable of outputting a warning sound or generating a sound pattern to output sounds such as "Please input again "," Command is not clear ", and the like.

상기 로봇 청소기는 청소 영역에서 주변의 장애물을 검출하는 장애물 검출 유닛(900)을 더 포함한다. 장애물 검출 유닛(900)은, 청소 영역 내에서 이동 중이거나, 청소 중에 로봇 청소기 주변의 장애물을 검출한다. 장애물 검출 유닛은 상기 장애물의 유무, 또는 위치, 크기 등의 장애물 정보를 제어 유닛(300)에 출력한다. 장애물 검출 유닛(900)으로는 적외선 센서, 초음파 센서, RF 센서(Radio Frequency Sensor)나 범퍼(Bumper) 등을 사용할 수 있다. 제어 유닛(300)은, 장애물 검출 유닛(900)으로부터 출력된 장애물 정보를 근거로 청소 지도를 생성할 수 있다.The robot cleaner further includes an obstacle detection unit (900) for detecting an obstacle in the vicinity of the cleaning area. The obstacle detecting unit 900 detects obstacles in the vicinity of the robot cleaner while moving in the cleaning area or during cleaning. The obstacle detection unit outputs obstacle information such as the presence or absence of the obstacle, or the position, size, etc. to the control unit 300. As the obstacle detecting unit 900, an infrared sensor, an ultrasonic sensor, a RF sensor (radio frequency sensor), a bumper, or the like can be used. The control unit 300 can generate a cleaning map based on the obstacle information output from the obstacle detection unit 900. [

상기 로봇 청소기는, 청소 영역 내에서 로봇 청소기의 위치를 인식하는 위치 인식 유닛(미도시)을 더 포함할 수 있다. 위치 인식 유닛으로는 가속도 센서, 인코더, 자이로 센서, 레이저 스캐너 등의 센서를 사용한다. 가속도 센서는 로봇 청소기의 이동에 따른 속도 및 위치를 인식한다. 인코더는 로봇 청소기의 바퀴를 구동하는 휠모터와 연결되어 속도를 검출한다. 자이로 센서는 로봇 청소기의 회전 속도를 검출한다. 여기서, 제어 유닛(300)은 장애물 정보와 함께 로봇 청소기의 위치를 이용하여 청소 지도를 작성할 수 있다.The robot cleaner may further include a position recognition unit (not shown) for recognizing the position of the robot cleaner in the cleaning area. As the position recognition unit, sensors such as an acceleration sensor, an encoder, a gyro sensor, and a laser scanner are used. The acceleration sensor recognizes the speed and position of the robot cleaner according to the movement of the robot cleaner. The encoder is connected to a wheel motor that drives the wheels of the robot cleaner to detect the speed. The gyro sensor detects the rotation speed of the robot cleaner. Here, the control unit 300 can create a cleaning map using the position of the robot cleaner together with the obstacle information.

상기 영상 검출 유닛(100)은 하나의 위치 인식 유닛으로 사용될 수 있다. 상기 영상 검출 유닛(100), 도 1의 카메라,은 상방이나 전방을 향하도록 설치되어 로봇 청소기 주변을 촬영한다. 상기 로봇 청소기가 복수의 카메라를 구비하는 경우, 카메라들은 일정 거리 또는 일정 각도로 로봇 청소기의 상부나 옆면에 형성될 수 있다. 상기 로봇 청소기는, 카메라에 연결되어 피사체의 초점을 맞추는 렌즈와, 상기 카메라를 조절하는 조절부와, 상기 렌즈를 조절하는 렌즈 조절부를 더 포함할 수 있다. 상기 렌즈는 소정의 위치에서도 주변의 모든 영역, 예를 들어 상기 카메라가 상방일 때 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈를 사용한다. 예를 들어 화각이 160도 이상인 렌즈를 포함한다.The image detection unit 100 may be used as one position recognition unit. The image detecting unit 100, the camera of FIG. 1, is installed upwardly or forwardly, and photographs the robot cleaner periphery. When the robot cleaner includes a plurality of cameras, the cameras may be formed on the upper side or the side surface of the robot cleaner at a certain distance or at an angle. The robot cleaner may further include a lens connected to the camera for focusing the subject, an adjusting unit for adjusting the camera, and a lens adjusting unit for adjusting the lens. The lens uses a lens having a wide angle of view so that even when the lens is at a predetermined position, all surrounding areas, for example, all areas of the ceiling are photographed when the camera is upward. For example, a lens having an angle of view of 160 degrees or more.

도 3을 참조하면, 실시 예들에 따른 로봇 청소기는, 입력 유닛(600), 구동 유닛(700), 전원 유닛(800)을 더 포함하여 구성된다.Referring to FIG. 3, the robot cleaner according to the embodiments further includes an input unit 600, a drive unit 700, and a power source unit 800.

사용자 등은 입력 유닛(600)을 통해 로봇 청소기에 직접 제어 명령을 입력한다. 또, 사용자 등은 입력 유닛을 통해 상기 저장 유닛(400)에 저장된 정보들 중 하나 이상의 정보를 출력하도록 하는 명령을 입력할 수 있다. 입력 유닛(600)은 확인버튼, 설정버튼 등의 입력 버튼을 구비한다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 청소 영역이나 청소 지도를 확인하는 명령을 입력한다. 설정버튼은 상기 정보들을 설정하는 명령을 입력한다. 입력 유닛은 상기 정보들을 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 등을 구비할 수 있다. 상기 입력 유닛(600)과 출력 유닛(500)은 입력 또는 출력이 모두 가능한 터치스크린의 형태를 가질 수 있다.The user or the like inputs a control command directly to the robot cleaner through the input unit 600. [ Further, a user or the like may input a command to output one or more pieces of information stored in the storage unit 400 via an input unit. The input unit 600 includes input buttons such as an OK button and a setting button. The OK button is used to input detection information, obstacle information, location information, and a command to confirm a cleaning area or cleaning map. The setting button inputs a command for setting the above information. The input unit may include a reset button, a delete button, a cleaning start button, a stop button, and the like for inputting a command for resetting the information. The input unit 600 and the output unit 500 may have the form of a touch screen capable of both inputting and outputting.

구동 유닛(700)은 복수의 주바퀴와 하나 이상의 보조바퀴를 포함한 다수의 바퀴와 연결된다. 구동 유닛은 상기 바퀴들을 회전시키는 소정의 휠모터(Wheel Motor)를 구비하여, 상기 휠모터를 구동함으로써 로봇 청소기를 이동시킨다.The drive unit 700 is connected to a plurality of wheels including a plurality of main wheels and one or more auxiliary wheels. The driving unit includes a predetermined wheel motor for rotating the wheels, and moves the robot cleaner by driving the wheel motor.

전원 유닛(800)은, 충전 가능한 전원 공급 수단을 구비하여 로봇 청소기 내로 전원을 공급한다. 상기 전원 유닛(800)은 로봇 청소기가 이동하고, 청소를 수행하는데 따른 동작 전원을 공급하며, 전원 잔량이 부족하면 충전대로 이동하여 충전 전류를 공급받아 충전된다.The power supply unit 800 includes power supply means that can be recharged to supply power to the robot cleaner. The power supply unit 800 supplies the operating power for moving the robot cleaner and performs cleaning, and when the remaining power is insufficient, the robot cleaner moves to the charging station and is supplied with the charging current.

상기 로봇 청소기는, 청소 유닛(미도시)을 더 포함할 수 있는데, 상기 청소 유닛은 공기를 흡입하는 소정의 흡입 모터와, 먼지를 응집하는 수단을 구비하고, 주변의 먼지 또는 이물질을 흡입한다.The robot cleaner may further include a cleaning unit (not shown), wherein the cleaning unit includes a predetermined suction motor for sucking air and a means for agglomerating the dust, and sucks dust or foreign matter in the vicinity thereof.

도 4를 참조하면, 일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 영상 정보를 획득하는 단계(S100)와, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계(S200)와, 상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계(S300)와, 상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계(S400)를 포함하여 구성된다. 여기서, 상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보를 포함한다. 이하 장치의 구성은 도 1 내지 도 3을 참조한다.Referring to FIG. 4, a method for controlling a robot cleaner according to an exemplary embodiment of the present invention includes: acquiring image information by acquiring image information (S100); extracting user operation information from the image information (S200) (S300) of comparing the user operation information with a previously stored reference operation pattern, and controlling the operation of the robot cleaner based on the comparison result of the comparing step (S400). Here, the user operation information includes one of a gesture of a user, three-dimensional information of a user's arm, and a position of a user's hand. The configuration of the apparatus will be described with reference to Figs.

상기 로봇 청소기는, 상방 또는 전방 카메라를 이용하여 청소 영역을 촬영하는데, 이때 사용자 등이 특정 움직임을 취하면 이를 촬영하여 영상 정보를 획득하고(S100), 사용자 동작 정보를 추출한다(S200). 이때, 로봇 청소기는 사용자의 움직임 중에서 미리 설정한 패턴을 가진 동작을 추출하게 된다. 예를 들어, 로봇 청소기는 도 6a 내지 도 6c에 도시한 동작들을 기준 동작 패턴으로 하여 영상 정보로부터 추출한 동작과 비교하고(S300), 비교 결과를 근거로 하여 제어 명령을 수행한다(S400).The robot cleaner photographs a cleaning area using an upper or a front camera. When the user takes a specific motion, the robot cleaner takes an image of the cleaning area and acquires image information (S100) and extracts user operation information (S200). At this time, the robot cleaner extracts an operation having a preset pattern from among user's movements. For example, the robot cleaner compares the operations shown in FIGS. 6A to 6C with the operation extracted from the image information as a reference operation pattern (S300), and performs a control command based on the comparison result (S400).

도 5를 참조하면, 상기 제어 방법은, 상기 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 단계(S10)를 더 포함하여 구성된다. 상기 로봇 청소기는 상기 사용자 동작 정보와 상기 기준 동작 패턴이 일정 값 이상의 유사도를 갖는지 판단한다(S310). 상기 로봇 청소기는, 상기 사용자 동작 정보와 상기 기준 동작 패턴의 비교 결과를 근거로 상기 제어 명령을 실행한다. 여기서, 상기 기준 동작 패턴은 상기 사용자 동작 정보를 예상하여 미리 설정하고 저장한 패턴들이다. 상기 기준 동작 패턴은 사용자 동작 정보와 같이 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 등으로 구성된다. 또, 상기 로봇 청소기는 상기 기준 동작 패턴에 대하여 각각 할당된 하나 이상의 제어 명령을 저장한다. 상기 제어 명령은, 예를 들어 청소 시작, 청소 중지, 청소 종료, 공간 확장, 청소 방식, 집중 청소, 충전, 예약 등을 의미한다.Referring to FIG. 5, the control method further includes a step S10 of storing the reference operation pattern and a corresponding control command in advance. The robot cleaner determines whether the user operation information and the reference operation pattern have a similarity value equal to or greater than a predetermined value (S310). The robot cleaner executes the control command based on a result of comparison between the user operation information and the reference operation pattern. Here, the reference operation pattern is a pattern preset and stored in anticipation of the user operation information. The reference operation pattern includes user's gesture such as user's operation information, three-dimensional information of the user's arm, and position of the user's hand. In addition, the robot cleaner stores one or more control commands allocated to the reference operation pattern. The control command includes, for example, start of cleaning, stop of cleaning, termination of cleaning, expansion of space, cleaning method, concentrated cleaning, charging, reservation and the like.

도 5를 참조하면, 상기 제어 방법은, 상기 비교하는 단계(S300, S310)의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하면, 해당 기준 동작 패턴을 출력하는 단계(S610)를 더 포함하여 구성된다. 도 5를 참조하면, 상기 제어 방법은, 상기 사용자 동작 정보를 화면에 출력하는 단계(S500)를 더 포함하여 구성된다. 상기 로봇 청소기는 영상 정보로부터 추출한 사용자 동작 정보를 화면에 그대로 디스플레이한다(S500). 또, 상기 로봇 청소기는 사용자 동작 정보를 미리 저장한 기준 동작 패턴들과 비교하여 미리 설정한 유사도 이상의 기준 동작 패턴을 읽어와서 화면에 디스플레이한다(S610). 이 경우, 사용자 등이 새로운 동작을 하면, 예를 들어 체크 표시, 누름 표시 등, 해당 기준 동작 패턴이 선택되고, 로봇 청소기는 선택된 기준 동작 패턴에 따른 제어 명령을 수행한다.Referring to FIG. 5, if there is a reference operation pattern having a degree of similarity equal to or greater than the predetermined value, the control method outputs a corresponding reference operation pattern as a result of comparison in steps S300 and S310 Step S610. Referring to FIG. 5, the control method further includes outputting the user operation information to a screen (S500). The robot cleaner displays the user operation information extracted from the image information as it is on the screen (S500). In addition, the robot cleaner reads a reference operation pattern having a predetermined similarity or more by comparing the user operation information with reference operation patterns stored in advance and displays the read reference operation pattern on the screen (S610). In this case, when a user or the like performs a new operation, for example, a check display, a push display, or the like, the corresponding reference operation pattern is selected, and the robot cleaner executes a control command according to the selected reference operation pattern.

또, 도 5를 참조하면, 상기 제어 방법은, 상기 비교하는 단계(S300, S310)의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면, 경고음을 발생하는 단계(S620)를 더 포함하여 구성된다. 상기 로봇 청소기는 비퍼(beeper), 스피커 등의 소리를 출력하는 수단을 구비하여 경고음을 출력하거나, 음성 패턴을 생성하는 수단을 구비하여 "다시 입력해 주십시오", "명령이 명확하지 않습니다" 등의 음성을 출력한다(S620).Referring to FIG. 5, if there is no reference operation pattern having a degree of similarity equal to or greater than the predetermined value as a result of the comparing operation S300 or S310, the control method generates a warning sound (Step S620). The robot cleaner includes a means for outputting a sound such as a beeper or a speaker to output a warning sound or a means for generating a voice pattern so that the user can input information such as & And outputs a voice (S620).

이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 로봇 청소기 및 이의 제어 방법은, 상방 또는 전방 카메라를 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 동작을 검출하며, 검출된 동작을 근거로 로봇 청소기를 제어한다. 본 발명은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있고, 이에 따라 로봇 청소기의 운전 효율을 높이고 사용자 편의성을 제고한다.As described above, the robot cleaner and the control method thereof according to the embodiments of the present invention detect image information using an upper or a front camera, detect an operation such as a gesture of a user or the like from the image information, Based on this, the robot cleaner is controlled. Since the number of operation commands is not limited, the present invention simplifies the step of executing the command, thereby improving the operation efficiency of the robot cleaner and improving user convenience.

100: 영상 검출 유닛 200: 동작 추출 유닛
300: 제어 유닛 400: 저장 유닛
500: 출력 유닛 510: 음성 출력 유닛100: image detecting unit 200: motion extracting unit
300: control unit 400: storage unit
500: output unit 510: audio output unit

Claims

주변을 촬영하여 영상 정보를 획득하는 영상 검출 유닛;
상기 영상 정보로부터 사용자 동작 정보를 추출하는 동작 추출 유닛; 및
상기 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어하는 제어 유닛;을 포함하고,
경고 신호에 따라 외부에 경고음을 출력하는 음성 출력 유닛;을 더 포함하되,
상기 제어 유닛은,
상기 사용자 동작 정보와 하나 이상의 기준 동작 패턴의 비교 결과를 근거로 상기 제어 동작을 실행하되,
상기 기준 동작 패턴 중 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면 상기 경고 신호를 발생하여, 상기 음성 출력 유닛에서 상기 경고음을 출력하도록 제어하는 것을 특징으로 하는 로봇 청소기.An image detecting unit for photographing the periphery to acquire image information;
An operation extracting unit for extracting user operation information from the image information; And
And a control unit for controlling the operation of the robot cleaner based on the user operation information,
And an audio output unit for outputting a warning sound to the outside in accordance with the warning signal,
Wherein the control unit comprises:
Executing the control operation based on a comparison result of the user operation information and one or more reference operation patterns,
Wherein the control unit generates the warning signal and outputs the alarm sound to the sound output unit when the reference operation pattern having the similarity to the user operation information is not greater than a predetermined value.

제1 항에 있어서,
하나 이상의 상기 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 저장 유닛;을 더 포함하는 로봇 청소기.The method according to claim 1,
And a storage unit for previously storing the one or more reference operation patterns and the corresponding control commands.

삭제delete

제1 항 및 제2 항 중 어느 한 항에 있어서,
상기 사용자 동작 정보를 화면에 출력하는 출력 유닛;을 더 포함하는 로봇 청소기.4. The method according to any one of claims 1 to 3,
And an output unit for outputting the user operation information to a screen.

제4 항에 있어서, 상기 출력 유닛은,
상기 기준 동작 패턴 중 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴을 상기 화면에 출력하는 것을 특징으로 하는 로봇 청소기.5. The apparatus according to claim 4,
And outputs a reference operation pattern having a degree of similarity equal to or greater than a predetermined value to the user operation information among the reference operation patterns on the screen.

삭제delete

제1 항에 있어서,
상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보인 것을 특징으로 하는 로봇 청소기.The method according to claim 1,
Wherein the user operation information is one of a gesture of a user, three-dimensional information of a user's arm, and a position of a user's hand.

주변을 촬영하여 영상 정보를 획득하는 단계;
상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계;
상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계; 및
상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계;를 포함하고,
상기 비교하는 단계는,
상기 사용자 동작 정보와 상기 기준 동작 패턴이 일정 값 이상의 유사도를 갖는지 판단하고,
상기 비교하는 단계의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면, 경고음을 발생하는 단계;를 더 포함하는 것을 특징으로 하는 로봇 청소기의 제어 방법.Acquiring image information by photographing the surroundings;
Extracting user operation information from the image information;
Comparing the user operation information with a previously stored reference operation pattern; And
And controlling the operation of the robot cleaner based on the comparison result of the comparing step,
Wherein the comparing comprises:
Determining whether the user operation information and the reference operation pattern have a similarity value equal to or greater than a predetermined value,
And generating a warning sound when the user operation information and the reference operation pattern having a degree of similarity equal to or greater than the predetermined value do not exist as a result of the comparison of the comparing step.

제9 항에 있어서,
상기 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.10. The method of claim 9,
And storing the reference operation pattern and the corresponding control command in advance.

삭제delete

제9 항에 있어서,
상기 비교하는 단계의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하면, 해당 기준 동작 패턴을 출력하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.10. The method of claim 9,
And outputting a reference operation pattern when there is a reference operation pattern having a degree of similarity equal to or greater than the predetermined value, as a result of the comparison of the comparing step.

삭제delete

제9 항 및 제12 항 중 어느 한 항에 있어서,
상기 사용자 동작 정보를 화면에 출력하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.13. The method according to any one of claims 9 to 12,
And outputting the user operation information to a screen.