KR100486506B1 - Auto charge apparatus and method of robot cleaner in using image processing - Google Patents
Auto charge apparatus and method of robot cleaner in using image processing Download PDFInfo
- Publication number
- KR100486506B1 KR100486506B1 KR10-2002-0088352A KR20020088352A KR100486506B1 KR 100486506 B1 KR100486506 B1 KR 100486506B1 KR 20020088352 A KR20020088352 A KR 20020088352A KR 100486506 B1 KR100486506 B1 KR 100486506B1
- Authority
- KR
- South Korea
- Prior art keywords
- charger
- image
- robot cleaner
- distance
- information
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/02—Docking stations; Docking operations
- A47L2201/022—Recharging of batteries
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 화상처리를 이용한 로봇 청소기의 자동충전장치 및 방법에 관한 것으로, 거리 및 방향을 감지하는 센서 없이, 카메라에 의해 포착된 충전기의 화상을, 일련의 화상 처리 과정으로 처리함으로써, 저비용으로 로봇청소기와 충전기 사이의 거리 및 각도를 손쉽게 검출하여 충전기로의 자동복귀를 수행하도록 한 것이다. 이를 위하여 본 발명은, 로봇 청소기에 있어서, 일정한 주기로 충전기의 화상을 포착하는 카메라와; 포착된 화상으로 부터 충전기의 색을 갖는 색영역정보를 추출하는 색영역정보추출부와; 상기 색영역정보로부터 충전기의 형상을 추출하는 형상추출부와; 상기 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산하는 오프셋 각도 연산부와; 충전기와의 거리 및 절대각도를 연산하는 거리 및 절대각도 연산부와; 상기 절대각도에 의해, 충전기의 현재 위치에 대한 좌/우 방향정보를 계산하는 좌/우방향계산부와; 상기 거리 및 절대각도와 방향정보에 의해, 모터 구동을 제어하기 위한 모터 구동명령을 발생하는 모터구동제어부를 포함하여 구성한다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic charging device and method for a robot cleaner using image processing, wherein a robot is processed at low cost by processing an image of a charger captured by a camera through a series of image processing processes without a sensor detecting distance and direction. The distance and angle between the cleaner and the charger can be easily detected to automatically return to the charger. To this end, the present invention provides a robot cleaner comprising: a camera for capturing an image of a charger at a predetermined cycle; A color gamut information extraction unit for extracting color gamut information having a color of the charger from the captured image; A shape extraction unit for extracting a shape of the charger from the color gamut information; An offset angle calculator configured to calculate an offset angle by comparing the extracted shape with the center of the image; A distance and absolute angle calculator for calculating a distance and an absolute angle from the charger; A left / right direction calculation unit configured to calculate left / right direction information on a current position of a charger based on the absolute angle; And a motor drive control unit for generating a motor drive command for controlling the motor drive based on the distance, the absolute angle, and the direction information.
Description
본 발명은 로봇 청소기에 관한 것으로, 특히 화상처리를 이용하여 충전기로 자동 복귀하여 충전하도록 한 화상처리를 이용한 로봇 청소기의 자동충전장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a robot cleaner, and more particularly, to an apparatus and method for automatically charging a robot cleaner using an image process, which is automatically returned to a charger using an image process.
인간 친화형 로봇에 대한 연구는 최근 가정용 서비스 로봇에 관심이 집중되어 다양한 결과물들을 시장에 내어놓고 있다. Research on human-friendly robots has recently focused on home service robots, bringing various results to market.
그 중에 로봇 청소기는 빠른 시일 안에 상품화 가능한 아이템으로 인식되어 여러 기업체들이 도전해왔는데, 최근 스웨덴, 영국, 미국 및 일본등에서 전시회를 통해서 다양한 모델을 선보이고 있다. Among them, robot cleaners have been recognized as items that can be commercialized as soon as possible and various companies have challenged them. Recently, various models are exhibited at exhibitions in Sweden, the United Kingdom, the United States, and Japan.
상품화에 성공한 기존의 로봇 청소기는 충전을 위하여 충전대를 제공하고 있는데, 청소 도중 배터리 전압이 기준 전압보다 낮거나(Battery Low) 혹은 청소가 끝난 후에는 청소기가 멈춰버리는 것으로 종료하게 되어있다. Conventional robot cleaners that are successfully commercialized provide charging stations for charging, and the battery voltage is lower than the reference voltage (Battery Low) during cleaning, or the cleaner stops after cleaning.
이는 달리 말하면, 로봇 청소기 동작 전에 항상 배터리 잔량을 확인해야 하거나 청소 임무를 종료한 후 수동으로 충전시켜야 하는 불편함이 존재하고 초기 배터리 전압이 충분히 높지 않은 경우 청소 임무를 완전히 수행하지 못하고 종료하는 경우도 발생한다.In other words, it is necessary to always check the battery level before the robot cleaner operates or to manually charge the battery after the cleaning task has been terminated, and if the initial battery voltage is not high enough, the cleaning task may not be completed completely. Occurs.
여기서, 종래 로봇 청소기의 자동 충전기술을 도1을 참조하여 설명한다.Here, the automatic charging technique of the conventional robot cleaner will be described with reference to FIG.
우선, 종래의 로봇 청소기의 자동 충전기술에 있어서, 로봇 청소기는 충전 배터리의 충전 레벨을 수시로 체크하여 일정 레벨 이하로 하강된 것으로 판명되면 스스로 충전기가 설치된 장소로 복귀하여 충전전원을 공급받게 된다. First, in the conventional automatic charging technology of the robot cleaner, the robot cleaner checks the charging level of the rechargeable battery from time to time, and if it turns out to be lowered below a predetermined level, the robot cleaner returns to the place where the charger is installed and receives charging power.
이때, 로봇청소기의 충전단자부가 충전기의 전원단자부와 정확하게 접촉되도록 하기 위해서는 충전기와의 위치 및 진입각도를 오차 범위 이내로 하여 접근시켜야 한다. At this time, in order for the charging terminal part of the robot cleaner to contact the power terminal part of the charger accurately, the position and the entering angle with the charger should be approached within an error range.
여기서, 도 1a는 로봇 청소기가 충전기가 설치된 장소로 자동 복귀하는 종래의 기술을 나타낸 것이다. Here, FIG. 1A illustrates a conventional technology in which the robot cleaner automatically returns to a place where a charger is installed.
로봇 청소기는 충전기(5)의 발광센서(8)에서 송출되는 광신호의 안내를 받아 그 충전기(5)가 위치한 장소로 복귀하게 된다. The robot cleaner receives the guidance of the optical signal transmitted from the light emitting sensor 8 of the charger 5 and returns to the place where the charger 5 is located.
도 1b는 로봇 청소기가 설치된 장소로 자동 복귀한 후 청소기의 충전단자부를 충전기의 전원단자부로 정확하게 유도하기 위한 종래의 기술을 나타낸 것이다. Figure 1b shows a conventional technique for accurately guiding the charging terminal portion of the cleaner to the power terminal portion of the charger after automatically returning to the place where the robot cleaner is installed.
청소기 본체(1)의 외주면에 충전단자부(2)가 원호상으로 설치되고, 이의 양측에 접촉센서 (4a),(4b)가 동일한 형상으로 설치되어 있다. The charging terminal part 2 is provided in the shape of an arc on the outer peripheral surface of the cleaner main body 1, and the contact sensors 4a and 4b are provided in the same shape on both sides thereof.
또한, 충전기(5)의 전면부에 전원단자부(6)가 설치되고, 이의 양측에 만곡된 한 쌍의 가이드(7)가 설치되어 있다. In addition, a power supply terminal 6 is provided at the front of the charger 5, and a pair of guides 7 curved at both sides thereof are provided.
따라서, 청소기의 접촉센서(4a),(4b)가 상기 가이드(7)와 접촉될 때 청소기의 진행방향을 조정하면서 구동륜(1a),(1b)을 정방향 또는 역방향으로 회전시켜 청소기의 충전단자부(2)가 충전기(5)의 전원단자부(6)에 접촉되게 할 수 있다.Therefore, when the contact sensors 4a and 4b of the cleaner are in contact with the guide 7, the driving wheels 1a and 1b are rotated in the forward direction or the reverse direction while adjusting the moving direction of the cleaner. 2) may be in contact with the power supply terminal 6 of the charger (5).
즉, 종래 기술은, 상술한 바와같이 다수의 초음파센서를 이용한 삼각법에 의한 거리와 각도 측정하여 충전대로 복귀하는데, 이러한 경우 원거리에서 충전기 근처로의 접근은 가능하나, 로봇 청소기가 충전대에 부착된 전원 접속단자에 제대로 접속하기 위해서는 진입오차 및 진입각도에 대한 정밀 조정이 요구된다.That is, the prior art, as described above, return to the charging station by measuring the distance and angle by a triangulation method using a plurality of ultrasonic sensors, in this case, it is possible to approach near the charger at a long distance, but the robot cleaner is a power supply attached to the charging station In order to properly connect the connection terminal, precise adjustment of the entry error and the entry angle is required.
이에 따라, 종래의 기술에서는 정밀한 접속을 도와주기 위해, 충전대에 유도가이드를 설치하거나 충전대 전원 접속단자 주변에 특별한 기구적 설계가 요구되므로, 구현비용이 증가하는 문제점이 있다.Accordingly, in the related art, in order to help precise connection, an induction guide is installed in the charging station or a special mechanical design is required around the charging terminal power supply connection terminal, thereby increasing the implementation cost.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 기존의 자동 충전기 검지 및 도킹(Docking)을 위한 많은 종류의 센서들을 제거하고, 카메라에 의해 포착된 충전기의 화상을, 일련의 화상 처리 과정으로 처리함으로써, 저비용으로 로봇청소기와 충전기 사이의 거리 및 각도를 손쉽게 검출하여 충전기로 자동복귀하도록 한 화상처리를 이용한 로봇 청소기의 자동충전장치 및 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and removes many types of sensors for automatic charger detection and docking, and displays images of the charger captured by the camera in a series of image processing procedures. It is an object of the present invention to provide an automatic charging device and method for a robot cleaner using an image processing to easily detect the distance and angle between the robot cleaner and the charger at low cost and automatically return to the charger.
상기와 같은 목적을 달성하기 위한 본 발명은, 로봇 청소기에 있어서,일정한 주기로 충전기의 화상을 포착하는 카메라와;포착된 화상으로 부터 충전기의 색을 갖는 색영역정보를 추출하는 색영역정보추출부와;상기 색영역정보로부터 충전기의 형상을 추출하는 형상추출부와;상기 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산하는 오프셋 각도 연산부와;충전기와의 거리 및 절대각도를 연산하는 거리 및 절대각도 연산부와;상기 절대각도에 의해, 충전기의 현재 위치에 대한 좌/우 방향정보를 계산하는 좌/우방향계산부와;상기 거리 및 절대각도와 방향정보에 의해, 모터 구동을 제어하기 위한 모터 구동명령을 발생하는 모터구동제어부로 구성한 것을 특징으로 한다.According to an aspect of the present invention, a robot cleaner includes: a camera capturing an image of a charger at a predetermined cycle; a color gamut information extracting unit configured to extract color gamut information having a color of a charger from the captured image; A shape extraction unit for extracting a shape of a charger from the color gamut information; an offset angle calculator configured to calculate an offset angle by comparing the extracted shape with a center of an image; a distance for calculating a distance and an absolute angle with a charger and An absolute angle calculator; a left / right direction calculator configured to calculate left / right direction information of a current position of the charger by the absolute angle; and for controlling motor driving by the distance and absolute angle and direction information; Characterized in that the motor drive control unit for generating a motor drive command.
상기와 같은 목적을 달성하기 위한 본 발명은, 일정한 주기로 충전기가 포함된 화상을 포착하여, 그 포착된 화상으로 부터 충전기의 색을 갖는 색영역정보를 추출하는 단계와; 상기 상기 색영역정보로부터 충전기의 형상을 추출한후, 그 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산하는 단계와; 상기 충전기와의 거리 및 절대각도를 연산하고, 그 절대각도에 의해 충전기의 현재 위치에 대한 좌/우 방향정보를 계산하는 단계와; 상기 거리 및 절대각도와 방향정보에 의해, 모터 구동을 제어하여, 로봇 청소기를 충전대로 자동복귀시키는 단계로 수행함을 특징으로 한다.According to an aspect of the present invention, there is provided a method including: capturing an image including a charger at a predetermined cycle and extracting color gamut information having a color of the charger from the captured image; Extracting a shape of the charger from the color gamut information, and then comparing the extracted shape with the center of the image to calculate an offset angle; Calculating distance and absolute angle with the charger, and calculating left / right direction information on the current position of the charger according to the absolute angle; By controlling the driving of the motor by the distance, the absolute angle and the direction information, the robot cleaner is characterized in that the step of automatically returning to the charging station.
이하, 본 발명에 의한 화상처리를 이용한 로봇 청소기의 자동충전장치 및 방법에 대한 작용 및 효과를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings, the operation and effects of the automatic charging apparatus and method of the robot cleaner using the image processing according to the present invention will be described in detail.
도2는 본 발명의 실시예에 따른 화상처리를 이용한 로봇 청소기의 자동충전장치에 대한 구성을 보인 블록도이다.2 is a block diagram showing a configuration of an automatic charging device for a robot cleaner using image processing according to an embodiment of the present invention.
도2에 도시한 바와같이, 본 발명 화상처리를 이용한 로봇 청소기의 자동충전장치는, 일정한 주기로 충전기의 화상을 포착하는 카메라(100)와; 상기 카메라 (100)를 통해 포착된 화상으로, 거리 및 오프셋각도와 절대각도를 연산하여, 충전기에 대하여 정면으로 자동복귀하도록 모터(300)의 구동을 제어하는 화상처리 및 구동제어부(200)로 구성한다.As shown in Fig. 2, the automatic charging apparatus for a robot cleaner using the image processing of the present invention includes a camera 100 for capturing an image of a charger at regular intervals; The image captured by the camera 100, the image processing and drive control unit 200 for controlling the driving of the motor 300 to automatically calculate the distance and the offset angle and the absolute angle to the front with respect to the charger do.
상기 화상처리 및 구동제어부(200)는, 도3에 도시한 바와같이 포착된 화상으로 부터 충전기의 색을 갖는 색영역정보를 추출하는 색영역정보추출부(210)와; 상기 색영역정보로부터 충전기의 형상을 추출하는 형상추출부(220)와; 상기 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산하는 오프셋 각도 연산부(230)와; 충전기와의 거리 및 절대각도를 연산하는 거리 및 절대각도 연산부(240)와; 상기 절대각도에 의해, 충전기의 현재 위치에 대한 좌/우 방향정보를 계산하는 좌/우방향계산부(250)와; 상기 거리 및 절대각도와 방향정보에 의해, 모터(300) 구동을 제어하기 위한 모터 구동명령을 발생하는 모터구동제어부(260)로 구성하며, 이와같은 본 발명의 동작을 설명한다.The image processing and driving control unit 200 includes: a color gamut information extracting unit 210 for extracting color gamut information having a color of a charger from the captured image as shown in FIG. A shape extraction unit 220 for extracting a shape of the charger from the color gamut information; An offset angle calculator 230 for calculating an offset angle by comparing the extracted shape with the center of the image; A distance and absolute angle calculator 240 for calculating a distance and an absolute angle from the charger; A left / right direction calculator 250 for calculating left / right direction information on a current position of a charger by the absolute angle; The motor drive control unit 260 which generates a motor drive command for controlling the drive of the motor 300 by the distance, the absolute angle, and the direction information is described. The operation of the present invention will be described.
먼저,카메라(100)는,일정한 주기로 충전기의 화상을 포착하여 그에 따른 화상을 화상처리및 구동제어부(200)에 인가하고, 이에 따라 상기 화상처리 및 구동제어부(200)는 상기 카메라 (100)를 통해 포착된 화상으로, 거리 및 오프셋각도와 절대각도를 연산하여, 충전기에 대하여 정면으로 자동복귀시킨다.First, the camera 100 captures an image of a charger at a predetermined period and applies the image to the image processing and driving control unit 200 according to the image, and accordingly, the image processing and driving control unit 200 controls the camera 100. Through the captured image, the distance, offset angle and absolute angle are calculated to automatically return to the front of the charger.
이때, 상기 충전기는, 화상에서, 다른 화상정보와의 구별을 위해, 정다각형의 표시로 제작하거나, 충전기를 구별하기 위한 별도의 표시장치를 부착하고, 상기 거리정보를 정확히 가질 수 있도록 여러개의 사이즈별로 배치한다.In this case, in order to distinguish the image from other image information, the charger may be manufactured in a regular polygonal display, or may be attached to a separate display device for distinguishing the charger, and may have various distance information to accurately have the distance information. To place.
여기서, 상기 화상처리 및 구동제어부(200)의 동작을 보다 상세하게 설명한다.Here, the operation of the image processing and drive control unit 200 will be described in more detail.
우선, 색영역정보추출부(210)는, 카메라(100)에서 포착된 화상으로 부터 충전기의 색을 갖는 색영역정보를 추출하는데, 상기 색영역정보는, 조명 조건의 변화에 따른 각 화소정보의 변화를 최소화하기 위하여, 화상정보를 하기의 수학식과 같이, 정규화한다.First, the color gamut information extracting unit 210 extracts color gamut information having a color of a charger from an image captured by the camera 100, and the color gamut information is used to determine each pixel information according to a change in an illumination condition. In order to minimize the change, the image information is normalized as in the following equation.
[수학식][Equation]
Rn_ij=Rij/(Rij+Gij+Bij)Rn_ij = Rij / (Rij + Gij + Bij)
Gn_ij=Gij/(Rij+Gij+Bij)Gn_ij = Gij / (Rij + Gij + Bij)
Bn_ij=Bij/(Rij+Gij+Bij)Bn_ij = Bij / (Rij + Gij + Bij)
그 다음, 형상추출부(220)는, 상기 색영역정보추출부(210)의 색영역정보로부터 충전기의 형상을 추출하는데, 화상정보에서, 에지검출을 통해 충전기의 외곽선을 검출하고, 그 외곽선을 형판 매칭이나 형상 추출 알고리즘을 사용하여 충전기의 형상을 추출한다.Next, the shape extracting unit 220 extracts the shape of the charger from the color gamut information of the color gamut information extracting unit 210. In the image information, the shape extracting unit 220 detects an outline of the charger through edge detection and extracts the outline. Extract the shape of the charger using template matching or shape extraction algorithm.
그 다음, 오프셋 각도 연산부(230)는 상기 형상추출부(220)에서 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산한다.Next, the offset angle calculator 230 compares the shape extracted by the shape extractor 220 with the center of the image to calculate the offset angle.
상기 오프셋 각도 연산부(230)는, 오프셋 각도를 하기의 수학식에 의해 연산한다.The offset angle calculator 230 calculates the offset angle by the following equation.
[수학식][Equation]
:화상의 중심으로부터 충전기 이미지의 중심까지의 거리 : Distance from the center of the image to the center of the charger image
N:임의로 정해진 거리(X)의 화상에서 얻어지는 충전기 화상의 픽셀수N: Number of pixels of the charger image obtained from an image of a randomly determined distance X
Nc;로봇 청소기의 동작중에 계속하여 얻어지는 충전기 화상의 픽셀수Nc; the number of pixels of the charger image obtained continuously during the operation of the robot cleaner
그 다음, 거리 및 절대각도 연산부(240)는, 도6에서와 같이, 충전기 화상의 가로길이(W1)와 수직길이(h)의 비를 이용하여 절대각도를 연산하고, 또한, 실제거리를 하기의 수학식에 의해, 연산한다.Then, the distance and absolute angle calculator 240 calculates the absolute angle using the ratio of the horizontal length W1 and the vertical length h of the charger image, as shown in FIG. It calculates by the following formula.
[수학식][Equation]
이때, N:임의로 정해진 거리(X)의 화상에서 얻어지는 충전기 화상의 픽셀수At this time, N: the number of pixels of the charger image obtained from the image of the arbitrarily determined distance X.
Nc;로봇 청소기의 동작중에 계속하여 얻어지는 충전기 화상의 픽셀수 Nc; the number of pixels of the charger image obtained continuously during the operation of the robot cleaner
그 다음, 좌/우 방향계산부(250)는 상기 절대각도에 의해, 충전기의 현재 위치에 대한 좌/우 방향정보를 계산하는데, 색영역정보에서, 충전기의 옆면 돌기를, 에지검출방식으로 검출하여, 충전기의 좌우를 판별한다.Next, the left / right direction calculation unit 250 calculates left / right direction information on the current position of the charger based on the absolute angle. In the color gamut information, the side projection of the charger is detected by the edge detection method. The left and right sides of the charger are discriminated.
그 다음, 모터구동제어부(260)는 상기 거리 및 절대각도와 방향정보에 의해, 모터(300) 구동을 제어하기 위한 모터 구동명령을 발생하는데, 오프셋각도로 충전기가 화상의 중앙에 오도록 제어하고, 절대각도 및 방향정보를 통하여, 로봇 청소기의 전면이, 충전기에 정면을 바라보도록 구동모터를 회전시키면서, 그 충전기로 접근시키도록 제어한다.Next, the motor driving controller 260 generates a motor driving command for controlling the driving of the motor 300 based on the distance, the absolute angle and the direction information, and controls the charger to be at the center of the image at an offset angle. Through the absolute angle and direction information, the front side of the robot cleaner controls the drive motor while rotating the drive motor so as to face the front side of the charger.
이때, 상기 모터 구동제어부(260)는, 도5와 같이, 다수의 동심원이나 사각 형(정다각형)을 이용하여, 화상에 일정갯수 이하의 동심원이나 사각형(정다각형)이 포착되면, 로봇 청소기가 충전기에 도착되었음을 판별한다.At this time, the motor drive control unit 260 uses a plurality of concentric circles or squares (ordinary polygons) as shown in FIG. 5, and when a certain number of concentric circles or squares (orthogonal polygons) are captured in the image, the robot cleaner is connected to the charger. Determine that it arrived.
이하에서는, 본 발명의 다른 실시예에 따른 화상처리를 이용한 로봇 청소기의 자동충전동작을 도4를 참조하여 상세히 설명한다.Hereinafter, an automatic charging operation of the robot cleaner using image processing according to another embodiment of the present invention will be described in detail with reference to FIG.
도3은 본 발명의 다른 실시예에 따른 화상처리를 이용한 로봇 청소기의 자동충전장치의 동작순서를 나타낸 흐름도이다.3 is a flowchart showing an operation procedure of the automatic charging device for a robot cleaner using image processing according to another embodiment of the present invention.
먼저, 일정한 주기로 충전기가 포함된 화상을 포착하여(SP1), 그 포착된 화상으로부터 충전기의 색을 갖는 색영역정보를 추출한다(SP2).First, an image including the charger is captured at a predetermined cycle (SP1), and color gamut information having the color of the charger is extracted from the captured image (SP2).
즉, 포착된 화상으로부터 충전기의 색을 갖는 색영역정보를 추출한후, 조명 조건의 변화에 따른 각 화소정보의 변화를 최소화하기 위하여, 화상정보를 하기의 수학식과 같이, 정규화한다.That is, after extracting the color gamut information having the color of the charger from the captured image, in order to minimize the change of each pixel information according to the change in the illumination condition, the image information is normalized as in the following equation.
[수학식][Equation]
Rn_ij=Rij/(Rij+Gij+Bij)Rn_ij = Rij / (Rij + Gij + Bij)
Gn_ij=Gij/(Rij+Gij+Bij)Gn_ij = Gij / (Rij + Gij + Bij)
Bn_ij=Bij/(Rij+Gij+Bij)Bn_ij = Bij / (Rij + Gij + Bij)
그 다음, 상기 색영역정보로부터 충전기의 형상을 추출한후, 그 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산한다(SP3~SP5).Then, after extracting the shape of the charger from the color gamut information, an offset angle is calculated by comparing the extracted shape with the center of the image (SP3 to SP5).
즉, 화상정보에서, 에지검출을 통해 충전기의 외곽선을 검출한후, 그 외곽선을 형판 매칭이나 형상 추출 알고리즘을 사용하여 충전기의 형상을 추출하고, 그 상기 추출된 형상과 화상의 중심을 비교하여 오프셋 각도를 연산하는데, 상기 오프셋 각도를 하기의 수학식에 의해 연산한다.That is, after detecting the outline of the charger through the edge detection in the image information, the outline of the charger is extracted using a template matching or shape extraction algorithm, and the offset is compared by comparing the center of the image with the extracted shape. In calculating the angle, the offset angle is calculated by the following equation.
[수학식][Equation]
:화상의 중심으로부터 충전기 이미지의 중심까지의 거리 : Distance from the center of the image to the center of the charger image
N:임의로 정해진 거리(X)의 화상에서 얻어지는 충전기 화상의 픽셀수N: Number of pixels of the charger image obtained from an image of a randomly determined distance X
Nc;로봇 청소기의 동작중에 계속하여 얻어지는 충전기 화상의 픽셀수Nc; the number of pixels of the charger image obtained continuously during the operation of the robot cleaner
그 다음, 상기 충전기와의 거리 및 절대각도를 연산하고, 그 절대각도에 의해 충전기의 현재 위치에 대한 좌/우 방향정보를 계산한다(SP6,SP7).Next, the distance to the charger and the absolute angle are calculated, and the left / right direction information on the current position of the charger is calculated based on the absolute angle (SP6, SP7).
즉, 실제거리를 연산한후, 충전기 화상의 가로길이(W1)와 수직길이(h)의 비를 이용하여 절대각도를 연산하고, 색영역정보에서, 충전기의 옆면 돌기를, 에지검출방식으로 검출하여, 충전기의 좌우를 판별하는데, 상기 실제거리는 하기의 수학식에 의해 연산한다.That is, after calculating the actual distance, the absolute angle is calculated using the ratio of the horizontal length W1 to the vertical length h of the charger image, and the side projection of the charger is detected by the edge detection method in the color gamut information. To determine the left and right of the charger, the actual distance is calculated by the following equation.
[수학식][Equation]
N:임의로 정해진 거리(X)의 화상에서 얻어지는 충전기 화상의 픽셀수N: Number of pixels of the charger image obtained from an image of a randomly determined distance X
Nc;로봇 청소기의 동작중에 계속하여 얻어지는 충전기 화상의 픽셀수Nc; the number of pixels of the charger image obtained continuously during the operation of the robot cleaner
그 다음, 상기에서 연산한 실제 거리 및 절대각도와 방향정보에 의해, 모터 구동을 제어하여, 로봇 청소기를 충전대로 자동복귀시킨다(SP8).Then, the motor drive is controlled by the actual distance, absolute angle, and direction information calculated above to automatically return the robot cleaner to the charging station (SP8).
즉, 오프셋각도로 충전기가 화상의 중앙에 오도록 제어한후, 절대각도 및 방향정보를 통하여, 로봇 청소기의 전면이, 충전기에 정면을 바라보도록 구동모터를 회전시키면서, 그 충전기로 접근시킨다.That is, after the charger is controlled to be at the center of the image at an offset angle, the front of the robot cleaner rotates the driving motor so that the front of the robot cleaner faces the charger through the absolute angle and the direction information, thereby approaching the charger.
이때, 상기 절대각도 및 방향정보를 통하여, 로봇 청소기의 전면이, 충전기에 정면을 바라보도록 구동모터를 회전시키면서, 충전기로 접근시키다가, 다수의 동심원이나 사각형(정다각형)을 이용하여, 화상에 일정갯수 이하의 동심원이나 사각형(정다각형)이 포착되면, 로봇 청소기가 충전기에 도착되었음을 판별한다.At this time, through the absolute angle and the direction information, the front of the robot cleaner, while rotating the drive motor to face the front of the charger while approaching the charger, by using a plurality of concentric circles or squares (squares), fixed to the image When less than the number of concentric circles or squares (or regular polygons) are captured, it is determined that the robot cleaner has arrived at the charger.
상기 본 발명의 상세한 설명에서 행해진 구체적인 실시 양태 또는 실시예는 어디까지나 본 발명의 기술 내용을 명확하게 하기 위한 것으로 이러한 구체적 실시예에 한정해서 협의로 해석해서는 안되며, 본 발명의 정신과 다음에 기재된 특허 청구의 범위내에서 여러가지 변경 실시가 가능한 것이다.The specific embodiments or examples made in the detailed description of the present invention are intended to clarify the technical contents of the present invention to the extent that they should not be construed as limited to these specific embodiments and should not be construed in consultation. Various changes can be made within the scope of.
이상에서 상세히 설명한 바와같이 본 발명은, 거리 및 방향을 감지하는 센서 없이, 카메라에 의해 포착된 충전기의 화상을, 일련의 화상 처리 과정으로 처리함으로써, 저비용으로 로봇청소기와 충전기 사이의 거리 및 각도를 손쉽게 검출하여 충전기로의 자동복귀를 수행하는 효과가 있다As described in detail above, the present invention processes the image of the charger captured by the camera without a sensor for sensing the distance and direction, by processing a series of image processing, thereby reducing the distance and angle between the robot cleaner and the charger at low cost. Easily detects and automatically returns to charger
도1은 로봇 청소기가 충전기가 설치된 장소로 자동 복귀하는 모습을 보인도.Figure 1 shows a robot cleaner automatically returns to the place where the charger is installed.
도2는 본 발명 실시예에 따른 화상처리를 이용한 로봇 청소기의 자동충전장치에 대한 구성을 보인 블록도.Figure 2 is a block diagram showing the configuration of an automatic charging device for a robot cleaner using image processing according to an embodiment of the present invention.
도3은 도2에 있어서, 화상처리 및 모터 구동제어부의 구성을 보인 블록도.3 is a block diagram showing the configuration of an image processing and motor drive control section in FIG.
도4는 본 발명 실시예에 따른 화상처리를 이용한 로봇 청소기의 자동충전장치에 대한 동작흐름도.Figure 4 is an operation flow diagram for the automatic charging device of the robot cleaner using the image processing according to the embodiment of the present invention.
도5는 도2에 있어서, 로봇 청소기가 충전기에 접근하는 경우의 화상을 보인도.FIG. 5 is a view showing an image when the robot cleaner approaches the charger in FIG. 2. FIG.
도6은 도2에 있어서, 로봇 청소기와 충전기 사이의 절대각도를 판별하기 위한 모습을 보인도.FIG. 6 is a view for determining the absolute angle between the robot cleaner and the charger in FIG. 2; FIG.
*****도면의 주요부분에 대한 부호의 설명***** ***** Description of the symbols for the main parts of the drawings *****
100:카메라 200:화상처리 및 모터 구동제어부100: camera 200: image processing and motor drive control unit
201:색영역정보추출부 202:형상추출부201: color gamut information extracting unit 202: shape extracting unit
203:오프셋각도연산부 204:거리 및 절대각도 연산부203: Offset angle calculator 204: Distance and absolute angle calculator
250:좌/우방향계산부 260:모터 구동제어부250: left / right calculation unit 260: motor drive control unit
300:구동모터300: drive motor
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0088352A KR100486506B1 (en) | 2002-12-31 | 2002-12-31 | Auto charge apparatus and method of robot cleaner in using image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0088352A KR100486506B1 (en) | 2002-12-31 | 2002-12-31 | Auto charge apparatus and method of robot cleaner in using image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040062040A KR20040062040A (en) | 2004-07-07 |
| KR100486506B1 true KR100486506B1 (en) | 2005-04-29 |
Family
ID=37353506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0088352A KR100486506B1 (en) | 2002-12-31 | 2002-12-31 | Auto charge apparatus and method of robot cleaner in using image processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100486506B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10852738B2 (en) | 2016-01-11 | 2020-12-01 | Husqvarna Ab | Self-propelled robotic tool navigation |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100766434B1 (en) * | 2005-07-22 | 2007-10-15 | 엘지전자 주식회사 | Robot having function of recognizing image and leading method for thereof |
| KR20110054472A (en) * | 2009-11-17 | 2011-05-25 | 엘지전자 주식회사 | Robot cleaner and controlling method thereof |
| KR101607671B1 (en) | 2015-01-14 | 2016-03-31 | (주)바램시스템 | Mobile robot and method for docking with charge station of mobile robot |
| JP7007078B2 (en) * | 2015-10-08 | 2022-01-24 | 東芝ライフスタイル株式会社 | Vacuum cleaner |
| KR101984101B1 (en) * | 2017-03-06 | 2019-05-30 | 엘지전자 주식회사 | Cleaner and controlling method thereof |
| CN110412530B (en) * | 2018-04-27 | 2021-09-17 | 深圳市优必选科技有限公司 | Method and device for identifying charging pile and robot |
| KR102121458B1 (en) * | 2018-12-28 | 2020-06-10 | 한국생산기술연구원 | Method for path finding of robot cleaner for automatic charging and robot cleaner using the same |
| CN114910020B (en) * | 2021-02-09 | 2023-11-21 | 北京小米机器人技术有限公司 | Positioning method and device of movable equipment, movable equipment and storage medium |
-
2002
- 2002-12-31 KR KR10-2002-0088352A patent/KR100486506B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10852738B2 (en) | 2016-01-11 | 2020-12-01 | Husqvarna Ab | Self-propelled robotic tool navigation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040062040A (en) | 2004-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107765688B (en) | Autonomous mobile robot and automatic docking control method and device thereof | |
| KR100645381B1 (en) | Apparatus for return to external charge of robot cleaner and method thereof | |
| KR100766434B1 (en) | Robot having function of recognizing image and leading method for thereof | |
| US10175696B2 (en) | Apparatus for guiding an autonomous vehicle towards a docking station | |
| KR101083394B1 (en) | Apparatus and Method for Building and Updating a Map for Mobile Robot Localization | |
| US6957712B2 (en) | Robot cleaner, system employing the same and method for re-connecting to external recharging device | |
| KR100560966B1 (en) | Method compensating gyro sensor for robot cleaner | |
| KR100871114B1 (en) | Moving robot and operating method for same | |
| CN212089442U (en) | Docking station for robot cleaner, beacon and robot cleaner system | |
| US10303179B2 (en) | Moving robot and method of recognizing location of a moving robot | |
| KR100486506B1 (en) | Auto charge apparatus and method of robot cleaner in using image processing | |
| KR102450982B1 (en) | Moving apparatus for cleaning, charging apparatus and method for controlling thereof | |
| EP3777630A1 (en) | Robot cleaner | |
| KR102201144B1 (en) | Mobile robot and its control method | |
| US11921205B2 (en) | Method for eliminating misjudgment of reflective lights and optical sensing system | |
| CN115151174A (en) | Cleaning robot and cleaning control method thereof | |
| KR100500831B1 (en) | Method calculating rotated angles of robot cleaner | |
| KR102492947B1 (en) | Robot cleaner | |
| CN104111652A (en) | Automatic working system and docking method thereof | |
| KR102203438B1 (en) | a Moving robot and Controlling method for the moving robot | |
| KR101353309B1 (en) | Robot cleaner system and control method thereof | |
| KR20080078327A (en) | Automatic charging system and method in movable robot | |
| KR20050011053A (en) | The methode of self-localization for cleaning robot using ceiling image | |
| WO2020059292A1 (en) | Autonomous traveling cleaner | |
| Phong et al. | Study on controlling three-dimensional plugin-docking motion with the active-caster omnidirectional robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080319 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |