KR20190123366A - Robot cleaner - Google Patents

Robot cleaner Download PDF

Info

Publication number
KR20190123366A
KR20190123366A KR1020180041222A KR20180041222A KR20190123366A KR 20190123366 A KR20190123366 A KR 20190123366A KR 1020180041222 A KR1020180041222 A KR 1020180041222A KR 20180041222 A KR20180041222 A KR 20180041222A KR 20190123366 A KR20190123366 A KR 20190123366A
Authority
KR
South Korea
Prior art keywords
obstacle
area
cleaning
type
robotic vacuum
Prior art date
Application number
KR1020180041222A
Other languages
Korean (ko)
Other versions
KR102492947B1 (en
Inventor
최혁두
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180041222A priority Critical patent/KR102492947B1/en
Priority to US17/045,830 priority patent/US20210138640A1/en
Priority to PCT/KR2019/004216 priority patent/WO2019199027A1/en
Priority to EP19784952.4A priority patent/EP3777630A4/en
Publication of KR20190123366A publication Critical patent/KR20190123366A/en
Application granted granted Critical
Publication of KR102492947B1 publication Critical patent/KR102492947B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

According to an embodiment, provided is a robot cleaner comprising: a driving module for moving a cleaner main body in a first cleaning area; a camera module for outputting first and second images of a front environment when the cleaner main body is moved; and a control module for controlling the driving module to move the cleaner main body by performing an avoidance motion or a climbing motion on the basis of a type of obstacle when the type of obstacle located in the front environment is recognized on the basis of the first and second images. Therefore, the present invention provides the robot cleaner capable of performing cleaning quickly.

Description

로봇 청소기{Robot cleaner}Robot cleaner

실시 예는, 로봇 청소기에 관한 것이다.An embodiment relates to a robot cleaner.

통상적으로, 로봇 청소기는 사용자의 조작 없이도 청소하고자 하는 청소장소 내를 스스로 주행하면서 바닥 면으로부터 먼지, 이물질을 흡입하는 청소작업을 수행하는 기기일 수 있다. Typically, the robot cleaner may be a device that performs a cleaning operation of sucking dust and foreign substances from the bottom surface while driving itself in a cleaning place to be cleaned without a user's manipulation.

로봇 청소기는 센서를 통해 청소구역 내에 설치된 가구, 사무용품, 벽과 같은 장애물까지의 거리를 판별하고, 판별된 정보를 이용하여 장애물과 충돌되지 않도록 제어하면서 청소를 수행할 수 있다.The robot cleaner may determine the distance to obstacles such as furniture, office supplies, and walls installed in the cleaning area through the sensor, and perform cleaning while controlling the robot cleaner not to collide with the obstacle using the determined information.

이러한 로봇 청소기는 주행패턴 방법으로 크게 두 가지가 있는데, 첫 번째는 랜덤(random) 청소 방법으로 로봇은 단지 센서에 인식된 정보로 장애물 유무만을 판단하여 회전 및 직진을 랜덤으로 결정하는 방법이고, 두 번째는 지그재그(zigzag) 청소 방법으로 센서에 인식된 정보로 장애물 유무를 판단하고 또한 로봇 자신의 위치를 알아내어 로봇 자신을 특정한 패턴으로 이동시키면서 청소하는 방법이다.The robot cleaner has two driving pattern methods. The first method is a random cleaning method in which a robot determines randomly the rotation and straightness by judging the presence or absence of obstacles only by the information recognized by the sensor. The second method is a zigzag cleaning method that determines whether there is an obstacle using information recognized by the sensor, and also locates the robot itself and moves the robot itself in a specific pattern to clean it.

여기서, 국내 출원 특허(10-2016-0122520A)를 참조하여, 로봇 청소기의 동작을 살펴보도록 한다.Here, the operation of the robot cleaner will be described with reference to the domestic application patent 10-2016-0122520A.

도 1은 종래 발명에 따른 로봇 청소기의 동작방법을 나타낸 순서도이다.1 is a flowchart illustrating a method of operating a robot cleaner according to the related art.

도 1을 참조하면, 종래의 로봇 청소기는 청소 영역을 주행하면서 청소를 수행한다(S1).Referring to FIG. 1, a conventional robot cleaner performs cleaning while driving a cleaning area (S1).

로봇 청소기는 청소 수행 중 바닥 장애물의 감지 여부를 판단하고(S2), 바닥 장애물을 감지한 것으로 판단하면 전방 장애물이 기준 거리 내에 존재하는지 여부를 판단한다(S3).The robot cleaner determines whether the floor obstacle is detected during the cleaning (S2), and when it is determined that the floor obstacle is detected (S2), the robot cleaner determines whether the front obstacle exists within the reference distance (S3).

이때, 로봇 청소기는 전방 장애물이 기준 거리 내에 존재하면, 바닥 장애물을 회피하여 청소를 수행한다(S4).At this time, if the front obstacle exists within the reference distance, the robot cleaner avoids the floor obstacle to perform cleaning (S4).

상술한 바와 같이, 종래의 로봇 청소기는 바닥 장애물이 감지되고 전방 장애물이 기준 거리 내에 존재하면, 바닥 장애물을 회피하는 동작하여 전방 장애물을 회피하여 청소를 수행할 수 있습니다.As described above, when the floor obstacle is detected and the front obstacle exists within the reference distance, the conventional robot cleaner may perform the cleaning by avoiding the front obstacle by operating to avoid the floor obstacle.

또한, 종래의 로봇 청소기는 바닥 장애물을 회피 또는 등반할 수 있으나, 전방 장애물과의 거리를 기반으로 동작하여야 함으로써, 로봇 청소기의 동작이 일시적으로 정지될 수 있으므로, 로봇 청소기의 동작이 신속 정확하게 이루지지 않는 문제가 있다.In addition, the conventional robot cleaner can avoid or climb the floor obstacle, but by operating based on the distance to the front obstacle, the operation of the robot cleaner can be temporarily stopped, the operation of the robot cleaner is not made quickly and accurately There is no problem.

실시 예의 목적은, 장애물 영역의 높이가 기준 높이보다 높으면 장애물을 인식하지 않고 무조건 회피 모션을 수행하여 신속하게 청소를 수행할 수 있는 로봇 청소기를 제공함에 있다.An object of the embodiment is to provide a robot cleaner that can be quickly cleaned by performing the avoidance motion without recognizing the obstacle when the height of the obstacle area is higher than the reference height.

또한, 실시 예의 다른 목적은, 장애물 영역의 높이가 기준 높이보다 낮고 인식한 장애물의 종류에 따라 장애물에 인접하기 이전에 회피 모션 또는 등반 모션을 결정함으로써, 신속하고 원활하게 청소를 수행할 수 있는 로봇 청소기를 제공함에 있다.In addition, another object of the embodiment, the height of the obstacle area is lower than the reference height and the robot that can perform the cleaning quickly and smoothly by determining the avoidance motion or climbing motion before adjoining the obstacle according to the recognized obstacle type In providing a cleaner.

또한, 실시 예의 또 다른 목적은, 장애물 영역의 높이가 기준 높이보다 낮고 장애물의 종류가 미인식되면, 청소 맵 상에 등록한 후 해당 청소 영역의 청소를 완료한 후 장애물 영역의 청소 여부를 결정함으로써, 청소 영역 내에 위치한 장애물의 표면을 청소할 수 있는 로봇 청소기를 제공함에 있다. In addition, another object of the embodiment, if the height of the obstacle area is lower than the reference height and the type of the obstacle is unrecognized, by registering on the cleaning map and determining the cleaning of the obstacle area after completing the cleaning of the cleaning area, The present invention provides a robot cleaner capable of cleaning a surface of an obstacle located in a cleaning area.

실시 예의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 실시 예의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 실시 예의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the embodiments are not limited to the above-mentioned objects, and other objects and advantages of the embodiments not mentioned above may be understood by the following description, and more clearly understood by the embodiments. In addition, it will be readily appreciated that the objects and advantages of the embodiments may be realized by the means and combinations thereof shown in the claims.

실시 예에 따른 로봇 청소기는, 거리 깊이 센서를 이용하여 촬영된 장애물 영역의 높이와 기준 높이보다 높으면, 장애물 영역의 장애물을 인식하지 않고 무조건 회피 모션으로 장애물 영역을 회피하도록 함으로써, 신속하게 청소를 수행할 수 있는 있다.When the robot cleaner according to the embodiment is higher than the height and the reference height of the obstacle area photographed using the distance depth sensor, the robot cleaner may quickly clean the obstacle area by avoiding the obstacle area without any recognition of the obstacle in the obstacle area. I can do it.

또한, 실시 예에 따른 로봇 청소기는, 딥러닝 기반의 합성곱 신경망 모델을 적용하여 장애물의 종류를 인식하기 용이함으로써, 설정된 장애물별 모션에 따라 회피모션 또는 등반모션을 수행함으로써, 신속 정확하게 청소를 수행하여 청소 효율을 높일 수 있는 있다.In addition, the robot cleaner according to the embodiment, by applying a deep learning-based composite product neural network model to easily recognize the type of obstacles, by performing the avoidance motion or climbing motion according to the set motion for each obstacle, to perform a quick and accurate cleaning It can increase the cleaning efficiency.

또한, 실시 예에 따른 로봇 청소기는, 장애물의 종류가 미인식한 장애물 영역을 청소 맵 상에 등록하고 해당 청소 영역이 완료되면, 장애물 영역의 사이즈에 따라 장애물 영역의 청소 여부를 결정하도록 함으로써, 청소 영역 내에 위치한 장애물의 표면에 대한 청소를 수행할 수 있다.In addition, the robot cleaner according to the embodiment of the present invention registers an obstacle area whose type of obstacle is not recognized on the cleaning map, and when the cleaning area is completed, the robot cleaner determines whether to clean the obstacle area according to the size of the obstacle area. The cleaning of the surface of the obstacle located in the area can be performed.

실시 예에 따른 로봇 청소기는, 장애물 영역의 높이가 기준 높이보다 높으면 장애물을 인식하지 않고 무조건 회피 모션을 수행하여 신속하게 청소를 수행할 수 있는 이점이 있다.According to an exemplary embodiment of the present invention, when the height of the obstacle area is higher than the reference height, the robot cleaner may perform the cleaning by quickly performing the avoidance motion without recognizing the obstacle.

또한, 실시 예에 따른 로봇 청소기는, 장애물 영역의 높이가 기준 높이보다 낮고 인식한 장애물의 종류에 따라 장애물에 인접하기 이전에 회피 모션 또는 등반 모션을 결정함으로써, 신속하고 원활하게 청소를 수행할 수 있는 이점이 있다.In addition, the robot cleaner according to the embodiment may perform the cleaning quickly and smoothly by determining the avoidance motion or the climbing motion before the height of the obstacle area is lower than the reference height and adjacent to the obstacle according to the recognized obstacle type. There is an advantage to that.

또한, 실시 예에 따른 로봇 청소기는, 장애물 영역의 높이가 기준 높이보다 낮고 장애물의 종류가 미인식되면, 청소 맵 상에 등록한 후 해당 청소 영역의 청소를 완료한 후 장애물 영역의 청소 여부를 결정함으로써, 장애물의 표면에 대한 청소를 수행할 수 있는 이점이 있다.In addition, when the height of the obstacle area is lower than the reference height and the type of the obstacle is not recognized, the robot cleaner according to the embodiment may register on the cleaning map and determine whether to clean the obstacle area after completing the cleaning of the cleaning area. Therefore, there is an advantage that the cleaning of the surface of the obstacle can be performed.

도 1은 종래 발명에 따른 로봇 청소기의 동작방법을 나타낸 순서도이다.
도 2는 실시 예에 따른 로봇 청소기를 나타낸 사시도이다.
도 3은 실시 예에 따른 로봇 청소기의 제어 구성을 나타낸 제어블록도이다.
도 4는 실시 예에 따른 로봇 청소기가 이동 경로에 따라 청소를 수행하는 일예를 나타낸 도면이다.
도 5는 실시 예에 따른 로봇 청소기가 무조건 회피 모션으로 청소를 수행하는 일 예를 나타낸 도면이다.
도 6은 실시 예에 따른 로봇 청소기가 회피 모션으로 청소를 수행하는 일 예를 나타낸 도면이다.
도 7은 실시 예에 따른 로봇 청소기가 등반 모션으로 청소를 수행하는 일 예를 나타낸 도면이다.
도 8은 실시 예에 따른 로봇 청소기가 등록 회피 모션을 수행하는 일 예를 나타낸 도면이다.
도 9는 실시 예에 따른 로봇 청소기의 동작방법을 나타낸 순서도이다.1 is a flowchart illustrating a method of operating a robot cleaner according to the related art.
2 is a perspective view illustrating a robot cleaner according to an embodiment.
3 is a control block diagram illustrating a control configuration of a robot cleaner according to an embodiment.
4 is a diagram illustrating an example in which the robot cleaner performs cleaning according to a moving path.
FIG. 5 is a diagram illustrating an example in which a robot cleaner performs cleaning in an unavoidable motion. Referring to FIG.
6 is a diagram illustrating an example in which the robot cleaner performs cleaning in an avoiding motion.
7 is a diagram illustrating an example in which the robot cleaner performs cleaning in a climbing motion.
8 is a diagram illustrating an example in which a robot cleaner performs a registration avoidance motion.
9 is a flowchart illustrating a method of operating a robot cleaner according to an embodiment.

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar components.

이하에서는, 실시 예에 따른 로봇 청소기를 설명하도록 한다.Hereinafter, a robot cleaner according to an embodiment will be described.

도 2는 실시 예에 따른 로봇 청소기를 나타낸 사시도이다.2 is a perspective view illustrating a robot cleaner according to an embodiment.

도 2를 참조하면, 로봇 청소기(10)는 본체(11), 집진 장치(14) 및 디스플레이부(19)를 포함할 수 있다.Referring to FIG. 2, the robot cleaner 10 may include a main body 11, a dust collecting device 14, and a display unit 19.

본체(11)는 로봇 청소기(10)의 외관을 형성할 수 있다.The main body 11 may form an exterior of the robot cleaner 10.

즉, 본체(11)는 지름에 비해 상대적으로 높이가 낮은 원통형, 즉 납작한 원통형상일 수 있다.That is, the main body 11 may have a cylindrical shape, ie, a flat cylindrical shape, having a relatively low height compared to the diameter.

또한, 본체(11)의 내부에는 흡입 장치(미도시), 흡입 노즐(미도시) 및 흡입 노즐(미도시)과 연통하는 집진 장치(14)가 구비될 수 있다.In addition, the inside of the main body 11 may be provided with a suction device (not shown), a suction nozzle (not shown) and a dust collector 14 in communication with the suction nozzle (not shown).

상기 흡입 장치는 공기 흡입력을 발생시킬 수 있으며, 집진 장치(14)가 후방에 배치되는 경우 배터리(미도시)와 집진 장치(14) 사이에 경사지게 설치될 수 있다.The suction device may generate an air suction force, and when the dust collecting device 14 is disposed at a rear side, the suction device may be inclined between the battery (not shown) and the dust collecting device 14.

상기 흡입 장치는 상기 배터리에 전기적으로 연결되는 모터(미도시) 및 모터의 회전축에 연결되어 공기의 유동을 강제하는 팬(미도시)을 포함할 수 있으며, 이에 한정을 두지 않는다.The suction device may include a motor (not shown) electrically connected to the battery and a fan (not shown) connected to a rotating shaft of the motor to force the flow of air, but is not limited thereto.

상기 흡입 노즐은 상기 흡입 장치의 구동에 의해, 바닥의 먼지를 흡입할 수 있다.The suction nozzle may suck dust on the floor by driving the suction device.

구체적으로, 상기 흡입 노즐은 본체(11)의 바닥에 형성된 개구부(미도시)를 통해 본체(11)의 하측으로 노출됨으로써, 실내의 바닥에 접하게 되어, 바닥의 이물질을 공기와 함께 흡입할 수 있다Specifically, the suction nozzle is exposed to the lower side of the main body 11 through an opening (not shown) formed in the bottom of the main body 11, so that the suction nozzle is in contact with the floor of the room, it can suck the foreign matter of the floor with the air.

집진 장치(14)는 상기 흡입 노즐에서 흡입한 공기 중의 이물질을 집진하기 위하여 하측에 상기 흡입 노즐을 구비할 수 있다.The dust collector 14 may include the suction nozzle at the lower side to collect the foreign matter in the air sucked by the suction nozzle.

또한, 본체(11)의 상부에는 정보를 표시하는 디스플레이부(19)가 배치될 수 있으며, 이에 한정을 두지 않는다.In addition, the display unit 19 for displaying information may be disposed above the main body 11, but is not limited thereto.

본체(11)의 외주면에는 실내의 벽이나 장애물과의 거리를 감지하는 센서(미도시), 충돌 시 충격을 완충하는 범퍼(미도시), 로봇 청소기(10)의 이동을 위한 구동 바퀴(미도시)가 구비될 수 있다.On the outer circumferential surface of the main body 11, a sensor (not shown) for detecting a distance from an indoor wall or an obstacle, a bumper (not shown) for cushioning a shock during a collision, and driving wheels for moving the robot cleaner 10 ) May be provided.

상기 구동 바퀴는 본체(11)의 하부에 설치될 수 있으며, 양측 하부, 즉 좌측과 우측에 각각 구비될 수 있다The driving wheels may be installed at the lower part of the main body 11, and may be provided at both lower sides, that is, left and right sides, respectively.

상기 구동 바퀴는 각각, 모터(미도시)에 의해 회전되도록 구성될 수 있다.Each of the driving wheels may be configured to be rotated by a motor (not shown).

이때, 상기 모터는 상기 구동 바퀴에 대응되게, 양측 하부, 즉 좌측과 우측에 각각 구비될 수 있으며, 좌측과 우측에 각각 구비된 상기 모터는 독립적으로 작동할 수 있다.In this case, the motor may be provided at both lower sides, that is, left and right sides, corresponding to the driving wheels, and the motors respectively provided at the left and right sides may operate independently.

따라서, 로봇 청소기(10)는 전진 및 후진뿐만 아니라, 좌회전 또는 우회전이 가능함으로써, 상기 모터의 구동에 따라 스스로 방향 전환을 하면서 실내 청소를 수행할 수 있다.Therefore, the robot cleaner 10 may rotate left or right as well as move forward and backward, thereby performing indoor cleaning while switching directions by the motor.

본체(11)의 바닥에는 적어도 하나의 보조 바퀴(미도시)가 구비될 수 있으며, 로봇 청소기(10)와 바닥 사이의 마찰을 최소화하는 동시에, 로봇 청소기(10)의 움직임을 안내할 수 있다.At least one auxiliary wheel (not shown) may be provided at the bottom of the main body 11 to minimize the friction between the robot cleaner 10 and the floor and guide the movement of the robot cleaner 10.

또한, 본체(11)의 내부에는 영상을 촬영할 수 있는 카메라 모듈(미도시), 상기 모터를 구동할 수 있는 구동 모듈(미도시) 및 상기 카메라 모듈, 상기 구동모듈, 상기 흡입장치, 집진 장치(14) 및 상기 디스플레이부(19)를 제어할 수 있는 제어모듈(미도시)을 포함할 수 있다.In addition, the main body 11 has a camera module (not shown) capable of capturing an image, a drive module (not shown) capable of driving the motor, and the camera module, the drive module, the suction device, and a dust collector ( 14) and a control module (not shown) for controlling the display unit 19.

도 3은 실시 예에 따른 로봇 청소기의 제어 구성을 나타낸 제어블록도이다.3 is a control block diagram illustrating a control configuration of a robot cleaner according to an embodiment.

도 3을 참조하면, 로봇 청소기(10)는 구동모듈(110), 카메라 모듈(120) 및 제어모듈(130)을 포함할 수 있다.Referring to FIG. 3, the robot cleaner 10 may include a driving module 110, a camera module 120, and a control module 130.

구동모듈(110)은 제어모듈(130)의 제어에 따라 청소가 수행되게 본체(11)를 이동시킬 수 있다.The drive module 110 may move the main body 11 to perform cleaning under the control of the control module 130.

즉, 구동모듈(110)은 도 1에서 언급한 구동바퀴를 회전시키는 모터를 제어모듈(130)로부터 입력된 제어신호(sc)에 따라 동작시킬 수 있다.That is, the driving module 110 may operate the motor for rotating the driving wheel mentioned in FIG. 1 according to the control signal sc input from the control module 130.

구동모듈(110)은 제어신호(sc)에 따라 상기 모터를 동작시켜, 본체(11)가 전후 및 좌우로 이동시킬 수 있다.The driving module 110 may operate the motor according to the control signal sc so that the main body 11 may move back and forth and left and right.

카메라 모듈(120)은 거리 측정 센서(122) 및 컬러 센서(124)를 포함할 수 있다.The camera module 120 may include a distance sensor 122 and a color sensor 124.

거리 측정 센서(122)는 본체(11)가 이동하는 방향의 전방 환경에 대응하는 깊이 정보를 갖는 제1 영상(m1)을 촬영할 수 있다.The distance measuring sensor 122 may photograph the first image m1 having depth information corresponding to the front environment of the direction in which the main body 11 moves.

또한, 컬러 센서(124)는 상기 전방 환경에 대응하는 컬러 정보를 갖는 제2 영상(m2)을 촬영할 수 있다.In addition, the color sensor 124 may capture a second image m2 having color information corresponding to the front environment.

여기서, 거리 측정 센서(122) 및 컬러 센서(124) 각각은 촬영 각도가 서로 동일할 수 있으며, 이에 한정을 두지 않는다.Here, each of the distance measuring sensor 122 and the color sensor 124 may have the same photographing angle, but the present invention is not limited thereto.

또한, 제1, 2 영상(m1, m2)은 서로 매칭되는 영상일 수 있다.Also, the first and second images m1 and m2 may be images that match each other.

제어모듈(130)은 영역 추출부(132), 장애물 인식부(134) 및 제어부(136)를 포함할 수 있다.The control module 130 may include an area extractor 132, an obstacle recognition unit 134, and a controller 136.

영역 추출부(132)는 거리 측정 센서(122)로부터 촬영된 제1 영상(m1)이 입력되면, 제1 영상(m1)의 깊이 정보를 기반으로 평면 및 상기 평면보다 높은 제1 장애물 영역(n1)을 추출할 수 있다.When the first image m1 captured by the distance measuring sensor 122 is input, the area extractor 132 receives a plane and a first obstacle area n1 higher than the plane based on depth information of the first image m1. ) Can be extracted.

이때, 영역 추출부(132)는 제1 장애물 영역(n1)을 추출하면, 제1 장애물 영역(n1)의 높이가 설정된 기준 높이보다 낮은지 확인할 수 있다.At this time, when extracting the first obstacle region n1, the area extractor 132 may check whether the height of the first obstacle region n1 is lower than the set reference height.

이후, 영역 추출부(132)는 제1 장애물 영역(n1)의 높이가 상기 기준 높이보다 낮으면 제1 장애물 영역(n1)을 포함하는 제1 영역 신호(e1)를 장애물 인식부(134)로 출력할 수 있다.Thereafter, the area extractor 132 transmits the first area signal e1 including the first obstacle area n1 to the obstacle recognition unit 134 when the height of the first obstacle area n1 is lower than the reference height. You can print

또한, 영역 추출부(132)는 제1 장애물 영역(n1)의 높이가 상기 기준 높이보다 높으면 제1 장애물 영역(n1)을 포함하는 제2 영역 신호(e2)를 제어부(136)로 출력할 수 있다.In addition, the area extractor 132 may output the second area signal e2 including the first obstacle area n1 to the controller 136 when the height of the first obstacle area n1 is higher than the reference height. have.

장애물 인식부(134)는 영역 추출부(132)로부터 출력된 제1 영역 신호(e1)이 입력되면, 제1 영역 신호(e1)에 포함된 제1 장애물 영역(n1)을 추출하고, 컬러 센서(114)에서 촬영된 제2 영상(m2)에서 제1 장애물 영역(n1)에 대응하는 제2 장애물 영역(n2)을 추출할 수 있다.When the first region signal e1 output from the region extraction unit 132 is input, the obstacle recognition unit 134 extracts the first obstacle region n1 included in the first region signal e1, and the color sensor The second obstacle region n2 corresponding to the first obstacle region n1 may be extracted from the second image m2 captured at 114.

이후, 장애물 인식부(134)는 제2 장애물 영역(n2)을 설정된 딥러닝 기반의 합성곱 신경망(Convolution Neural Network) 모델을 적용하여 장애물(n)의 종류를 인식할 수 있다.Subsequently, the obstacle recognition unit 134 may recognize the type of the obstacle n by applying a deep learning-based convolutional neural network model to the second obstacle region n2.

즉, 장애물 인식부(134)는 딥러닝 기반의 합성곱 신경망(Convolution Neural Network) 모델에 따라 제2 장애물 영역(n2)에서 장애물(n)의 특징점을 추출하고, 장애물(n)의 특징점과 학습 저장된 이전 장애물 특징점을 비교하여, 장애물(n)의 종류를 인식할 수 있다.That is, the obstacle recognition unit 134 extracts the feature points of the obstacles n from the second obstacle region n2 according to a deep learning based convolutional neural network model, and learns the feature points and the learning of the obstacles n. The type of the obstacle n can be recognized by comparing the stored previous obstacle feature points.

장애물 인식부(134)는 장애물(n)의 종류를 인식하면 제1 신호(s1)를 제어부(136)으로 출력하고, 장애물(n)의 종류를 미인식하면 제2 신호(s2)를 제어부(136)로 출력할 수 있다.The obstacle recognizing unit 134 outputs the first signal s1 to the controller 136 when recognizing the type of the obstacle n, and outputs the second signal s2 when the type of the obstacle n is not recognized. 136).

제어부(136)는 장애물 인식부(134)로부터 제1 신호(s1)가 입력되면, 장애물(n)의 종류에 따라 회피 모션 또는 등반 모션을 결정하여 현재 청소중인 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.When the first signal s1 is input from the obstacle recognition unit 134, the controller 136 determines the avoidance motion or the climbing motion according to the type of the obstacle n so that the cleaning of the first cleaning area currently being cleaned is continued. The driving module 110 may be controlled.

예를 들어, 장애물(n)의 종류가 수건, 구겨진 종이 등과 같은 회피 대상 종류이면, 제어부(136)는 회피 모션으로 결정하여 장애물(n)을 회피한 후 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.For example, if the kind of the obstacle n is a kind of avoiding object such as a towel or a crumpled paper, the controller 136 determines that the avoiding motion is to avoid the obstacle n and then the cleaning of the first cleaning area is continued. The driving module 110 may be controlled.

또한, 장애물(n)의 종류가 문턱, 자 또는 얕은 책 등과 같은 회피 대상 종류가 아니면, 제어부(136)는 등반 모션으로 결정하여 장애물(n)을 등반한 후 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.In addition, when the type of the obstacle n is not the type of the target to be avoided, such as a threshold, a ruler or a shallow book, the controller 136 determines the climbing motion to climb the obstacle n and then the cleaning of the first cleaning area is continued. The driving module 110 can be controlled.

또한, 제어부(136)는 장애물 인식부(134)로부터 제2 신호(s2)가 입력되면, 등록 회피 모션을 수행할 수 있다.In addition, when the second signal s2 is input from the obstacle recognition unit 134, the controller 136 may perform a registration avoidance motion.

제어부(136)는 상기 등록 회피 모션을 수행하기 위하여, 상기 제1 청소 영역을 포함하는 청소 맵 상에 제1, 2 장애물 영역(n1, n2) 중 적어도 하나에 대응하는 장애물 영역(n3)을 등록하고, 장애물 영역(n3)을 회피하여 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.The controller 136 registers the obstacle area n3 corresponding to at least one of the first and second obstacle areas n1 and n2 on the cleaning map including the first cleaning area in order to perform the registration avoidance motion. In addition, the driving module 110 may be controlled to avoid the obstacle area n3 so that cleaning of the first cleaning area is continued.

제어부(136)는 상기 등록 회피 모션에 따라 구동모듈(110)을 제어한 후 상기 제1 청소 영역의 청소를 완료하면, 상기 청소 맵 상에 등록한 장애물 영역(n3)의 사이즈가 설정된 기준 사이즈보다 큰지 판단할 수 있다.When the controller 136 completes the cleaning of the first cleaning area after controlling the driving module 110 according to the registration avoidance motion, whether the size of the obstacle area n3 registered on the cleaning map is larger than the set reference size. You can judge.

이때, 제어부(136)는 장애물 영역(n3)의 사이즈를 상기 청소 맵 상에 이전 등록된 장애물 영역 및 이후 등록된 장애물 영역을 합성하여 산출할 수 있으며, 이에 한정을 두지 않는다.In this case, the controller 136 may calculate the size of the obstacle area n3 by combining the previously registered obstacle area and the subsequently registered obstacle area on the cleaning map, but the present invention is not limited thereto.

이후, 제어부(136)는 장애물 영역(n3)의 사이즈가 상기 기준 사이즈보다 큰 것으로 판단하면, 장애물 영역(n3)을 등반하여 장애물 영역(n3)의 표면에 대한 청소를 수행할 수 있다.Subsequently, when the controller 136 determines that the size of the obstacle area n3 is larger than the reference size, the controller 136 may climb the obstacle area n3 to clean the surface of the obstacle area n3.

또한, 제어부(136)는 장애물 영역(n3)의 청소가 완료되면, 상기 제1 청소 영역 다음의 제2 청소 영역에 대한 청소가 수행되게 구동모듈(110)을 제어할 수 있다.In addition, when the cleaning of the obstacle area n3 is completed, the controller 136 may control the driving module 110 to perform cleaning on the second cleaning area next to the first cleaning area.

제어부(136)는 장애물 영역(n3)의 사이즈가 상기 기준 사이즈보다 작은 것으로 판단하면, 장애물 영역(n3)을 회피하여 상기 제2 청소 영역에 대한 청소가 수행되게 구동모듈(110)을 제어할 수 있다.If the controller 136 determines that the size of the obstacle area n3 is smaller than the reference size, the controller 136 may control the driving module 110 to perform the cleaning of the second cleaning area by avoiding the obstacle area n3. have.

제어부(136)는 영역 추출부(132)로부터 출력된 제2 영역 신호(e2)가 입력되면, 제1 장애물 영역(n1)을 회피하는 무조건 회피 모션을 수행하여 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.When the second area signal e2 output from the area extraction unit 132 is input, the controller 136 performs an unconditional avoidance motion that avoids the first obstacle area n1 to continue cleaning of the first cleaning area. The driving module 110 can be controlled.

도 4는 실시 예에 따른 로봇 청소기가 이동 경로에 따라 청소를 수행하는 일예를 나타낸 도면이다.4 is a diagram illustrating an example in which the robot cleaner performs cleaning according to a moving path.

도 4를 참조하면, 로봇 청소기(10)는 청소 맵에 따라 제1 청소 영역(a1)의 청소를 수행할 수 있으며, 제1 청소 영역(a1)의 청소가 완료되면 제2 청소 영역(a2)의 청소를 수행할 수 있다.Referring to FIG. 4, the robot cleaner 10 may perform the cleaning of the first cleaning area a1 according to the cleaning map. When the cleaning of the first cleaning area a1 is completed, the robot cleaner 10 may clean the second cleaning area a2. Can be cleaned.

이때, 도 4는 제1 청소 영역(a1) 내에 장애물(n)이 존재하지 않는 경우 청소 맵 상에 설정된 이동 경로에 따라 이동하여 청소를 수행하는 겨우를 나타낼 수 있다.In this case, FIG. 4 may indicate only when the obstacle n is not present in the first cleaning area a1 to perform cleaning by moving according to the movement path set on the cleaning map.

도 5는 실시 예에 따른 로봇 청소기가 무조건 회피 모션으로 청소를 수행하는 일 예를 나타낸 도면이다.FIG. 5 is a diagram illustrating an example in which a robot cleaner performs cleaning in an unavoidable motion. Referring to FIG.

도 5를 참조하면, 제어 모듈(130)의 영역 추출부(132)는 카메라 모듈(120)로부터 촬영된 제1 영상(m1)을 기반으로 제1 장애물 영역(n1)을 추출할 수 있다.Referring to FIG. 5, the area extractor 132 of the control module 130 may extract the first obstacle area n1 based on the first image m1 captured by the camera module 120.

이후, 영역 추출부(132)는 제1 장애물 영역(n1)의 높이가 설정된 기준 높이보다 높으면 제2 영역 신호(e2)를 제어부(136)로 출력할 수 있다.Thereafter, the area extractor 132 may output the second area signal e2 to the controller 136 when the height of the first obstacle area n1 is higher than the set reference height.

이때, 제어부(136)는 제2 영역 신호(e2)가 입력되면, 제2 영역 신호(e2)에 포함된 제1 장애물 영역(n1)을 회피하는 무조건 회피 모션을 수행하여, 제1 장애물 영역(n1)을 회피하고 제1 청소 영역(a1)의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.In this case, when the second region signal e2 is input, the controller 136 performs an unconditional avoidance motion that avoids the first obstacle region n1 included in the second region signal e2, thereby causing the first obstacle region ( The driving module 110 may be controlled to avoid n1) and to continue cleaning of the first cleaning area a1.

도 6은 실시 예에 따른 로봇 청소기가 회피 모션으로 청소를 수행하는 일 예를 나타낸 도면 및 도 7은 실시 예에 따른 로봇 청소기가 등반 모션으로 청소를 수행하는 일 예를 나타낸 도면이다.6 is a view illustrating an example in which the robot cleaner performs cleaning in an avoiding motion, and FIG. 7 is a view illustrating an example in which the robot cleaner performs cleaning in a climbing motion according to an embodiment.

도 6을 참조하면, 제어 모듈(130)의 영역 추출부(132)는 카메라 모듈(120)로부터 촬영된 제1 영상(m1)을 기반으로 제1 장애물 영역(n1)을 추출할 수 있다.Referring to FIG. 6, the area extractor 132 of the control module 130 may extract the first obstacle area n1 based on the first image m1 captured by the camera module 120.

이후, 영역 추출부(132)는 제1 장애물 영역(n1)의 높이가 설정된 기준 높이보다 낮으면 제1 영역 신호(e1)를 장애물 인식부(134)로 출력할 수 있다.Thereafter, the area extractor 132 may output the first area signal e1 to the obstacle recognition unit 134 when the height of the first obstacle area n1 is lower than the set reference height.

장애물 인식부(134)는 제1 영역 신호(e1)가 입력되면, 카메라 모듈(120)로부터 촬영된 제2 영상(m2)에서 제1 장애물 영역(n1)에 대응하는 제2 장애물 영역(n2)을 딥 러닝 기반의 합성곱 신경망 모델을 적용하여 장애물(n)의 종류를 인식할 수 있다.When the first area signal e1 is input, the obstacle recognition unit 134 receives the second obstacle area n2 corresponding to the first obstacle area n1 in the second image m2 captured by the camera module 120. The type of obstacle n can be recognized by applying a deep learning-based composite product neural network model.

상기 합성곱 신경망 모델은 제2 장애물 영역(n2)에서 장애물(n)의 특징점을 추출하고, 장애물(n)의 특징점과 학습 저장된 이전 장애물 특징점을 비교하여, 장애물(n)의 종류를 인식할 수 있다.The convolutional neural network model extracts the feature points of the obstacles n from the second obstacle region n2, compares the feature points of the obstacles n with previously stored obstacle feature points, and recognizes the type of the obstacle n. have.

이후, 장애물 인식부(134)는 장애물(n)의 종류를 인식하면 제1 신호(s1)를 제어부(136)로 출력할 수 있다.Subsequently, when the obstacle recognition unit 134 recognizes the type of the obstacle n, the obstacle recognition unit 134 may output the first signal s1 to the controller 136.

제어부(136)는 제1 신호(s1)가 입력되면 장애물(n)의 종류, 예를 들어 얕은 책 등과 같이 회피 대상 종류이면, 회피 모션을 수행할 수 있다. When the first signal s1 is input, the controller 136 may perform an avoiding motion if the type of the obstacle n is a type of avoiding object such as a shallow book.

이후, 제어부(136)는 장애물(n)을 회피한 후 제1 청소 영역(a1)의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.Thereafter, the controller 136 may control the driving module 110 to keep the cleaning of the first cleaning area a1 after avoiding the obstacle n.

도 7은 도 6에서 설명한 바와 같이, 장애물 인식부(134)에서 장애물(n)의 종류를 인식하여 제1 신호(s1)를 제어부(136)로 출력한 이후에 대한 설명이다.As described with reference to FIG. 6, the obstacle recognition unit 134 recognizes the type of the obstacle n and outputs the first signal s1 to the controller 136.

도 7을 참조하면, 제어부(136)는 제1 신호(s1)가 입력되면 장애물(n)의 종류가 상기 회피 대상 종류가 아닌 예를 들어, 자, 문턱 및 얕은 책 등인 경우 장애물(n)을 등반한 후 제1 청소 영역(a1)의 청소가 지속되게 구동모듈(110)을 제어할 수 있다.Referring to FIG. 7, when the first signal s1 is input, the controller 136 may detect the obstacle n when the type of the obstacle n is not the type of the object to be avoided, for example, a ruler, a threshold, a shallow book, or the like. After climbing, the driving module 110 may be controlled to maintain the cleaning of the first cleaning area a1.

도 8은 실시 예에 따른 로봇 청소기가 등록 회피 모션을 수행하는 일 예를 나타낸 도면이다.8 is a diagram illustrating an example in which a robot cleaner performs a registration avoidance motion.

도 8을 참조하면, 제1 지점(①) 에서 제어 모듈(130)의 영역 추출부(132)는 카메라 모듈(120)로부터 촬영된 제1 영상(m1)을 기반으로 제1 장애물 영역(n1)을 추출할 수 있다.Referring to FIG. 8, the area extractor 132 of the control module 130 at the first point ① is based on the first obstacle region n1 photographed from the camera module 120. Can be extracted.

이후, 영역 추출부(132)는 제1 장애물 영역(n1)의 높이가 설정된 기준 높이보다 낮으면 제1 영역 신호(e1)를 장애물 인식부(134)로 출력할 수 있다.Thereafter, the area extractor 132 may output the first area signal e1 to the obstacle recognition unit 134 when the height of the first obstacle area n1 is lower than the set reference height.

장애물 인식부(134)는 제1 영역 신호(e1)가 입력되면, 카메라 모듈(120)로부터 촬영된 제2 영상(m2)에서 제1 장애물 영역(n1)에 대응하는 제2 장애물 영역(n2)을 딥 러닝 기반의 합성곱 신경망 모델을 적용하여 장애물(n)의 종류를 인식할 수 있다.When the first area signal e1 is input, the obstacle recognition unit 134 receives the second obstacle area n2 corresponding to the first obstacle area n1 in the second image m2 captured by the camera module 120. The type of obstacle n can be recognized by applying a deep learning-based composite product neural network model.

상기 합성곱 신경망 모델은 제2 장애물 영역(n2)에서 장애물(n)의 특징점을 추출하고, 장애물(n)의 특징점과 학습 저장된 이전 장애물 특징점을 비교하여, 장애물(n)의 종류를 인식할 수 있다.The convolutional neural network model extracts the feature points of the obstacles n from the second obstacle region n2, compares the feature points of the obstacles n with previously stored obstacle feature points, and recognizes the type of the obstacle n. have.

이후, 장애물 인식부(134)는 장애물(n)의 특징점이 상기 이전 장애물 특징과 비교하여 장애물(n)의 종류가 미인식되면 제2 신호(s2)를 제어부(136)로 출력할 수 있다.Subsequently, the obstacle recognition unit 134 may output the second signal s2 to the controller 136 when the feature point of the obstacle n is not recognized as compared with the previous obstacle feature.

제어부(136)는 제2 신호(s2)가 입력되면 장애물 영역(n3)을 청소 맵 상에 등록하고, 장애물 영역(n3)을 회피하는 등록 회피 모션을 결정할 수 있다.When the second signal s2 is input, the controller 136 may register the obstacle area n3 on the cleaning map and determine a registration avoidance motion for avoiding the obstacle area n3.

제2 지점(②)에서, 제어부(136)는 장애물 영역(n3)를 회피하는 회피 모션을 수행하여, 제1 청소 영역(a1)의 청소가 완료되게 구동모듈(110)를 제어할 수 있다.At the second point ②, the control unit 136 may perform the avoidance motion to avoid the obstacle area n3 to control the driving module 110 to complete the cleaning of the first cleaning area a1.

제3 지점(③)에서, 제어부(136)는 제1 청소 영역(a1)의 청소가 완료되면, 제1 청소 영역(a1)의 청소가 완료되면 장애물 영역(n3)의 사이즈를 산출할 수 있다.At the third point ③, when the cleaning of the first cleaning area a1 is completed, the controller 136 may calculate the size of the obstacle area n3 when the cleaning of the first cleaning area a1 is completed. .

여기서, 장애물 영역(n3)의 사이즈는 상기 청소 맵 상에 이전 등록된 장애물 영역 및 이후 등록된 장애물 영역을 합성하여 산출할 수으며, 이에 한정을 두지 않는다.Here, the size of the obstacle area n3 may be calculated by combining the previously registered obstacle area and the subsequently registered obstacle area on the cleaning map, but the present invention is not limited thereto.

이후, 제어부(136)는 장애물 영역(n3)의 사이즈가 설정된 기준 사이즈보다 크면, 장애물 영역(n3)의 제4 지점(④)으로 이동되게 구동모듈(110)을 제어한 후 장애물 영역(n3)을 등반하여 장애물 영역(n3)의 표면에 대한 청소가 수행되게 구동모듈(110)을 제어할 수 있다.After that, when the size of the obstacle area n3 is larger than the set reference size, the controller 136 controls the driving module 110 to move to the fourth point ④ of the obstacle area n3, and then the obstacle area n3. Climbing to control the drive module 110 to perform the cleaning of the surface of the obstacle area (n3).

또한, 제3 지점(③)에서, 제어부(136)는 장애물 영역(n3)의 사이즈가 상기 기준 사이즈보다 작으면 장애물 영역(n3)을 제외하고 제1 청소 영역(a1) 다음의 제2 청소 영역(a2)의 제5 지점(⑤)으로 이동하여 청소가 수행되게 구동모듈(110)을 제어할 수 있다. In addition, at the third point ③, the control unit 136, if the size of the obstacle area n3 is smaller than the reference size, except for the obstacle area n3, the second cleaning area next to the first cleaning area a1. The driving module 110 may be controlled to move to the fifth point ⑤ of (a2) to perform cleaning.

도 9는 실시 예에 따른 로봇 청소기의 동작방법을 나타낸 순서도이다.9 is a flowchart illustrating a method of operating a robot cleaner according to an embodiment.

도 9를 참조하면, 로봇 청소기(10)의 제어모듈(130)은 제1 청소 영역의 청소가 시작되게 구동모듈(110)을 제어할 수 있다(S110).9, the control module 130 of the robot cleaner 10 may control the driving module 110 to start cleaning of the first cleaning area (S110).

제어모듈(130)은 카메라 모듈(120)로부터 입력된 제1 영상(m1)을 기반으로 제1 장애물 영역(n1)을 추출하고(S120), 제1 장애물 영역(n1)의 높이가 설정된 기준 높이보다 낮은지 판단할 수 있다(S130).The control module 130 extracts the first obstacle area n1 based on the first image m1 input from the camera module 120 (S120), and sets the height of the first obstacle area n1. It may be determined whether it is lower (S130).

제어모듈(130)은 제1 장애물 영역(n1)의 높이가 상기 기준 높이보다 높으면 제1 장애물 영역(n1)을 무조건 회피하게 무조건 회피 모션을 수행한 후 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다(S140).If the height of the first obstacle region n1 is higher than the reference height, the control module 130 performs the avoidance motion unconditionally to avoid the first obstacle region n1 unconditionally, and then the driving module continues cleaning of the first cleaning region. 110 may be controlled (S140).

(S130) 단계 이후, 제어모듈(130)은 제1 장애물 영역(n1)의 높이가 상기 기준 높이보다 낮으면, 카메라 모듈(12)로부터 입력된 제2 영상(m2)에서 제1 장애물 영역(n1)에 대응하는 제2 장애물 영역(n2)를 추출할 수 있다(S150).After the step S130, if the height of the first obstacle area n1 is lower than the reference height, the control module 130 may check the first obstacle area n1 in the second image m2 input from the camera module 12. In operation S150, the second obstacle region n2 corresponding to the second obstacle region may be extracted.

이후, 제어모듈(130)은 제2 장애물 영역(n2)을 딥러닝 기반의 합성곱 신경망 모델에 적용하여 장애물(n)의 종류에 대한 인식 여부를 판단할 수 있다(S160).Thereafter, the control module 130 may determine whether to recognize the type of the obstacle n by applying the second obstacle region n2 to the deep learning-based composite product neural network model (S160).

제어모듈(130)은 장애물(n)의 종류가 인식된 것으로 판단하면, 장애물(n)의 종류가 회피 대상 종류인 것으로 판단하고(S170), 상기 회피 대상 종류이면 회피 모션을 수행하여 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다(S180).If it is determined that the type of the obstacle n is recognized, the control module 130 determines that the type of the obstacle n is the type of avoiding object (S170). The driving module 110 may be controlled to continue cleaning of the cleaning area (S180).

또한, 제어모듈(130)은 장애물(n)의 종류가 회피 대상 종류가 아닌 것으로 판단하면, 등반 모션을 수행하여 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다(S190).In addition, if it is determined that the type of the obstacle n is not the type of avoiding object, the control module 130 may control the driving module 110 to continue the cleaning of the first cleaning area by performing a climbing motion ( S190).

(S150) 단계 이후, 제어모듈(130)은 장애물(n)의 종류가 인식되지 않은 것으로 판단하면, 등록 회피 모션을 수행하여 청소 맵 상에 장애물 영역(n3)을 등록하고 장애물 영역(n3)을 회피하여 상기 제1 청소 영역의 청소가 지속되게 구동모듈(110)을 제어할 수 있다(S200).After the step S150, when the control module 130 determines that the type of the obstacle n is not recognized, the control module 130 performs a registration avoidance motion to register the obstacle area n3 on the cleaning map and register the obstacle area n3. The driving module 110 may be controlled to avoid the cleaning of the first cleaning area (S200).

제어모듈(130)은 상기 제1 청소 영역의 청소가 완료되면, 장애물 영역(n3)의 사이즈를 산출하고(S210), 장애물 영역(n3)의 사이즈가 설정된 기준 사이즈보다 큰지 판단할 수 있다(S220).When the cleaning of the first cleaning area is completed, the control module 130 may calculate the size of the obstacle area n3 (S210) and determine whether the size of the obstacle area n3 is larger than the set reference size (S220). ).

제어모듈(130)은 장애물 영역(n3)의 사이즈가 상기 기준 사이즈보다 크면, 장애물 영역(n3)을 등반하여 장애물 영역(n3)의 표면에 대한 청소를 수행한 후 상기 제1 청소 영역 다음의 제2 청소 영역에 대한 청소가 수행되게 구동모듈(110)을 제어할 수 있다(S230).If the size of the obstacle area n3 is larger than the reference size, the control module 130 performs the cleaning on the surface of the obstacle area n3 by climbing the obstacle area n3, and then after the first cleaning area. 2, the driving module 110 may be controlled to perform cleaning of the cleaning area (S230).

(S220) 단계 이후, 제어모듈(130)은 장애물 영역(n3)의 사이즈가 상기 기준 사이즈보다 작으면, 상기 제2 청소 영역에 대한 청소가 수행되게 구동모듈(110)을 제어할 수 있다(S240).After the step S220, if the size of the obstacle area n3 is smaller than the reference size, the control module 130 may control the driving module 110 to perform cleaning on the second cleaning area S240. ).

전술한 실시 예는, 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The above-described embodiments are limited by the above-described embodiments and the accompanying drawings because various substitutions, modifications, and changes can be made without departing from the technical spirit for those skilled in the art. It is not.

Claims (13)

제1 청소 영역 내에서, 청소기 본체를 이동시키는 구동모듈;
상기 청소기 본체 이동 시, 전방 환경을 촬영한 제1 및 제2 영상을 출력하는 카메라 모듈; 및
상기 제1 및 제2 영상을 기반으로 상기 전방 환경에 위치한 장애물의 종류를 인식하면, 상기 장애물의 종류를 기반으로 회피 모션 또는 등반 모션을 수행하여 상기 청소기 본체가 이동되게 상기 구동모듈을 제어하는 제어모듈을 포함하는,
로봇 청소기.
A driving module to move the cleaner body in the first cleaning area;
A camera module configured to output first and second images photographing a front environment when the cleaner body is moved; And
Recognizing the type of the obstacle located in the front environment based on the first and second image, the control to control the drive module to move the cleaner body by performing the avoidance motion or climbing motion based on the type of the obstacle Including modules,
robotic vacuum.
제 1 항에 있어서,
상기 카메라 모듈은,
상기 전방 환경에 대응하는 깊이 정보를 갖는 상기 제1 영상을 촬영하는 거리 측정 센서; 및
상기 전방 환경에 대응하는 컬러 정보를 갖는 상기 제2 영상을 촬영하는 컬러 센서를 포함하는,
로봇 청소기.
The method of claim 1,
The camera module,
A distance measuring sensor for capturing the first image having depth information corresponding to the front environment; And
And a color sensor configured to photograph the second image having color information corresponding to the front environment.
robotic vacuum.
제 1 항에 있어서,
상기 제어모듈은,
상기 제1 영상으로부터 제1 장애물 영역을 추출하는 영역 추출부;
상기 제1 장애물 영역에 대응하는 상기 제2 영상의 제2 장애물 영역을 딥러닝 기반의 합성곱 신경망(Convolutional Neural Network) 모델을 적용하여 상기 장애물의 종류를 인식하는 장애물 인식부; 및
상기 장애물의 종류를 기반으로 상기 회피 모션 또는 상기 등반 모션을 결정하여, 상기 구동모듈을 제어하는 제어부를 포함하는,
로봇 청소기.
The method of claim 1,
The control module,
An area extractor configured to extract a first obstacle area from the first image;
An obstacle recognition unit configured to recognize a type of the obstacle by applying a deep learning-based convolutional neural network model to the second obstacle region of the second image corresponding to the first obstacle region; And
And a controller configured to control the driving module by determining the avoiding motion or the climbing motion based on the type of the obstacle.
robotic vacuum.
제 3 항에 있어서,
상기 영역 추출부는,
상기 제1 영상의 깊이 정보를 기반으로 평면 및 상기 평면보다 높은 제1 장애물 영역을 추출하며, 상기 제1 장애물 영역의 높이가 설정된 기준 높이보다 낮으면 상기 제1 장애물 영역을 포함하는 제1 영역 신호를 상기 장애물 인식부로 출력하는,
로봇 청소기.
The method of claim 3, wherein
The area extraction unit,
Extracting a plane and a first obstacle area higher than the plane based on depth information of the first image, and if the height of the first obstacle area is lower than a set reference height, the first area signal including the first obstacle area To output to the obstacle recognition unit,
robotic vacuum.
제 4 항에 있어서,
상기 장애물 인식부는,
상기 제1 영역 신호가 입력되면, 상기 제2 장애물 영역을 상기 합성곱 신경망 모델에 적용하여 상기 장애물의 특징점을 추출하고, 학습 저장된 이전 장애물의 종류에 대한 장애물 특징점들 중 어느 하나에 상기 장애물의 특징점이 매칭되면, 상기 이전 장애물을 상기 장애물의 종류로 인식하여 제1 신호를 상기 제어부로 출력하는,
로봇 청소기.
The method of claim 4, wherein
The obstacle recognition unit,
When the first area signal is input, the second obstacle area is applied to the composite product neural network model to extract the feature points of the obstacles, and the feature points of the obstacles to any one of the obstacle feature points for the type of the previously stored obstacle. If is matched, and recognizes the previous obstacle as the type of the obstacle to output a first signal to the controller,
robotic vacuum.
제 5 항에 있어서,
상기 장애물 인식부는,
상기 학습 저장된 이전 장애물의 종류에 대한 장애물 특징점들 중 상기 장애물의 특징점이 매칭되지 않으면 상기 장애물의 종류를 미인식하여 제2 신호를 상기 제어부로 출력하는,
로봇 청소기.
The method of claim 5,
The obstacle recognition unit,
If the feature points of the obstacles do not match among the obstacle feature points for the type of the previously stored obstacle, the type of the obstacle is not recognized and outputs a second signal to the controller.
robotic vacuum.
제 3 항에 있어서,
상기 제어부는,
상기 장애물 인식부로부터 상기 장애물의 종류를 인식한 제1 신호가 입력되고, 상기 장애물의 종류가 회피 대상 종류이면 상기 회피 모션 또는 상기 장애물의 종류가 상기 회피 대상 종류가 아니면 상기 등반 모션으로 결정하여, 상기 제1 청소 영역의 청소를 지속하게 상기 구동모듈을 제어하는,
로봇 청소기.
The method of claim 3, wherein
The control unit,
When the first signal is recognized from the obstacle recognition unit to recognize the type of the obstacle, and the type of the obstacle is the type of the avoiding object, the avoiding motion or the type of the obstacle is determined as the climbing motion if the type of the avoiding object, Controlling the drive module to continuously clean the first cleaning area;
robotic vacuum.
제 3 항에 있어서,
상기 제어부는,
상기 장애물 인식부로부터 상기 장애물의 종류를 미인식한 제2 신호가 입력되면, 상기 제1 청소 영역을 포함하는 청소 맵 상에 상기 제1, 2 장애물 영역 중 적어도 하나에 대응하는 장애물 영역을 등록 후 회피하는 등록 회피 모션을 결정하고, 상기 등록 회피 모션에 따라 상기 구동모듈을 제어하여, 상기 제1 청소 영역의 청소를 지속하는,
로봇 청소기.
The method of claim 3, wherein
The control unit,
When a second signal that does not recognize the type of the obstacle is input from the obstacle recognition unit, after registering an obstacle area corresponding to at least one of the first and second obstacle areas on a cleaning map including the first cleaning area. Determining a registration avoidance motion to avoid, controlling the driving module according to the registration avoidance motion, and continuing cleaning of the first cleaning area;
robotic vacuum.
제 8 항에 있어서,
상기 제어부는,
상기 등록 회피 모션으로 상기 구동모듈을 제어한 후 상기 제1 청소 영역의 청소를 완료하면, 상기 청소 맵 상에 등록한 상기 장애물 영역의 사이즈가 설정된 기준 사이즈보다 큰지 판단하는,
로봇 청소기.
The method of claim 8,
The control unit,
When the cleaning of the first cleaning area is completed after controlling the driving module with the registration avoidance motion, determining whether the size of the obstacle area registered on the cleaning map is larger than a set reference size.
robotic vacuum.
제 9 항에 있어서,
상기 제어부는,
상기 장애물 영역의 사이즈가 상기 기준 사이즈보다 크면, 상기 장애물을 등반하여 상기 장애물의 표면에 대한 청소가 수행되게 상기 구동모듈을 제어하는,
로봇 청소기.
The method of claim 9,
The control unit,
If the size of the obstacle area is larger than the reference size, to control the drive module to perform the cleaning of the surface of the obstacle by climbing the obstacle,
robotic vacuum.
제 9 항에 있어서,
상기 제어부는,
상기 장애물 영역의 사이즈가 상기 기준 사이즈보다 작으면, 상기 제1 청소 영역 다음의 제2 청소 영역에 대한 청소가 진행되게 상기 구동모듈을 제어하는,
로봇 청소기.
The method of claim 9,
The control unit,
If the size of the obstacle area is smaller than the reference size, to control the drive module to proceed with the cleaning for the second cleaning area after the first cleaning area,
robotic vacuum.
제 4 항에 있어서,
상기 영역 추출부는,
상기 제1 장애물 영역의 높이가 상기 기준 높이보다 높으면 상기 제1 장애물 영역을 포함하는 제2 영역 신호를 상기 제어부로 출력하는,
로봇 청소기.
The method of claim 4, wherein
The area extraction unit,
Outputting a second area signal including the first obstacle area to the controller when the height of the first obstacle area is higher than the reference height;
robotic vacuum.
제 12 항에 있어서,
상기 제어부는,
상기 제2 영역 신호가 입력되면, 상기 제1 장애물 영역을 회피하는 무조건 회피 모션으로 결정하고, 상기 무조건 회피 모션에 따라 상기 제1 장애물 영역을 회피한 후 상기 제1 청소 영역의 청소가 지속되게 상기 구동모듈을 제어하는,
로봇 청소기.The method of claim 12,
The control unit,
When the second region signal is input, the controller determines that the first obstacle region avoids the first obstacle region, and the cleaning of the first cleaning region continues after the first obstacle region is avoided according to the unconditional avoidance motion. To control the drive module,
robotic vacuum.
KR1020180041222A 2018-04-09 2018-04-09 Robot cleaner KR102492947B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180041222A KR102492947B1 (en) 2018-04-09 2018-04-09 Robot cleaner
US17/045,830 US20210138640A1 (en) 2018-04-09 2019-04-09 Robot cleaner
PCT/KR2019/004216 WO2019199027A1 (en) 2018-04-09 2019-04-09 Robot cleaner
EP19784952.4A EP3777630A4 (en) 2018-04-09 2019-04-09 Robot cleaner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041222A KR102492947B1 (en) 2018-04-09 2018-04-09 Robot cleaner

Publications (2)

Publication Number Publication Date
KR20190123366A true KR20190123366A (en) 2019-11-01
KR102492947B1 KR102492947B1 (en) 2023-01-27

Family

ID=68535401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041222A KR102492947B1 (en) 2018-04-09 2018-04-09 Robot cleaner

Country Status (1)

Country Link
KR (1) KR102492947B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132954A1 (en) * 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling thereof
KR102358372B1 (en) * 2021-06-02 2022-02-08 아주대학교 산학협력단 Stereo matching method and apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4369573B2 (en) * 1999-11-17 2009-11-25 Ｈｏｙａ株式会社 3D image detection device
KR101689133B1 (en) * 2014-06-02 2016-12-26 에브리봇 주식회사 A robot cleaner and a method for operating it
KR20180023301A (en) * 2016-08-25 2018-03-07 엘지전자 주식회사 Moving robot and control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4369573B2 (en) * 1999-11-17 2009-11-25 Ｈｏｙａ株式会社 3D image detection device
KR101689133B1 (en) * 2014-06-02 2016-12-26 에브리봇 주식회사 A robot cleaner and a method for operating it
KR20180023301A (en) * 2016-08-25 2018-03-07 엘지전자 주식회사 Moving robot and control method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132954A1 (en) * 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling thereof
US11874668B2 (en) 2019-12-27 2024-01-16 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling thereof
KR102358372B1 (en) * 2021-06-02 2022-02-08 아주대학교 산학협력단 Stereo matching method and apparatus
US11657530B2 (en) 2021-06-02 2023-05-23 Ajou University Industry—Academic Cooperation Foundation Stereo matching method and apparatus of images

Also Published As

Publication number Publication date
KR102492947B1 (en) 2023-01-27

Similar Documents

Publication Publication Date Title
JP6290943B2 (en) Robot cleaner and control method of robot cleaner
EP3777630A1 (en) Robot cleaner
KR101570377B1 (en) 3 Method for builing 3D map by mobile robot with a single camera
KR101524020B1 (en) Method for gradually building map by mobile robot and correcting position of mobile robot
EP3696641A1 (en) Robot cleaner and method of controlling the same
US20190254490A1 (en) Vacuum cleaner and travel control method thereof
WO2019007038A1 (en) Floor sweeping robot, floor sweeping robot system and working method thereof
KR20190093800A (en) a Moving robot and Controlling method for the moving robot
KR20180082264A (en) Moving Robot and controlling method
US10303179B2 (en) Moving robot and method of recognizing location of a moving robot
JP6609463B2 (en) Self-propelled electronic device
KR102565250B1 (en) Robot cleaner
JP2019126427A (en) Self-travel type vacuum cleaner
JP6331971B2 (en) Self-propelled vacuum cleaner
KR101331952B1 (en) Robot cleaner and controlling method thereof
US11605244B2 (en) Robot for automatically following a person
EP2420171A1 (en) Cleaner
KR102492947B1 (en) Robot cleaner
KR102122236B1 (en) Robot cleaner and method for controlling the robot cleaner
JP2017064064A (en) Vacuum cleaner
KR102306436B1 (en) Moving Robot and controlling method
CN115151174A (en) Cleaning robot and cleaning control method thereof
KR101223480B1 (en) Mobile robot and controlling method of the same
US20230248203A1 (en) Method for controlling robot cleaner
KR102428214B1 (en) Moving Robot and controlling method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant