KR101339449B1 - Cleaning robot using floor image information and control method using the same - Google Patents

Abstract

본 발명은 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어 방법으로, 더욱 상세하게는 바닥결의 손상을 방지하고 국부적인 영상 정보를 이용하여 청소구역 내를 균일하게 청소할 수 있는 청소용 로봇 및 로봇의 제어 방법에 관한 것이다.The present invention is a control method of a robot and a robot for cleaning using floor image information, more specifically, to prevent damage to the floor texture and to control the cleaning robot and robot that can uniformly clean the inside of the cleaning area using the local image information It is about a method.

본 발명에 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법은 바닥면을 촬영하는 단계와, 촬영된 바닥면의 영상으로부터 바닥결의 방향을 추출하는 단계 및 추출된 바닥결 방향으로 청소용 로봇이 추종하는 단계를 포함한다.According to an embodiment of the present invention, a method for controlling a robot for cleaning using floor image information includes photographing a floor, extracting a direction of flooring from an image of the photographed floor, and cleaning robot in the extracted flooring direction. This includes following steps.

바닥결, 마룻결, 청소용 로봇, 바닥결 추종, 마룻결 추종, 허프 변환, 칼만 필터 Floor Grain, Floor Grain, Sweeping Robot, Floor Grain Follow, Floor Grain Follow, Hough Convert, Kalman Filter

Description

바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어 방법{Cleaning robot using floor image information and control method using the same}Cleaning robot using floor image information and control method using the same}

도 1은 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법을 나타낸 흐름도이다.1 is a flowchart illustrating a control method of a cleaning robot using floor image information according to an exemplary embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 소실점을 기준으로 그룹화한 경우를 보여준다.2 shows a case of grouping based on a vanishing point according to an embodiment of the present invention.

도 3은 본 발명의 다른 일 실시예에 따른 그룹화하는 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a grouping method according to another embodiment of the present invention.

도 4는 촬영한 바닥 영상에서 추출된 하나 이상의 직선을 이용하여 바닥결의 방향을 구하기 위한 개락도이다.4 is a schematic diagram for obtaining a direction of floor grains using at least one straight line extracted from a photographed floor image.

도 5는 로봇이 진행하는 방향과 바닥결의 방향을 도식적으로 보여준다.5 schematically shows the direction of the robot and the direction of the bottom grain.

도 6에서는 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법에서 장애물 인식 및 회피를 하는 방법을 보여주는 흐름도이다.6 is a flowchart illustrating a method for recognizing and avoiding obstacles in a control method of a cleaning robot using floor image information according to an exemplary embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법에서 장애물 인식 및 회피를 하는 로봇의 주행 궤적을 보여준다.7 illustrates a driving trajectory of a robot for obstacle recognition and avoidance in a control method of a cleaning robot using floor image information according to an exemplary embodiment of the present invention.

도 8은 바닥결이 있는 거실과 바닥결이 없는 방을 청소하는 경우를 설명하기 위한 도면이다. 8 is a view for explaining a case of cleaning a living room with a floor and a room without a floor.

도 9에서는 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용한 청소용 로봇의 블록도를 보여준다.9 shows a block diagram of a robot for cleaning using floor image information according to an exemplary embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 장애물 인식부와 회피부를 더 포함하는 마루 영상 정보를 이용한 청소용 로봇의 블록도를 보여준다.10 is a block diagram of a cleaning robot using floor image information further including an obstacle recognizing unit and an avoiding unit according to an exemplary embodiment of the present invention.

*도면의 주요 부분에 대한 설명*Description of the Related Art [0002]

712: 촬영부 714: 직선 추출부712: photographing unit 714: straight line extracting unit

716: 선 필터링부 718: 바닥결 결정부716: line filtering unit 718: floor determination unit

710: 바닥결 추출부 750: 바닥결 추종부710: bottom grain extraction unit 750: bottom grain follower

810: 장애물 인식부 850: 장애물 회피부810: obstacle recognition unit 850: obstacle avoidance unit

본 발명은 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어 방법으로, 더욱 상세하게는 바닥결의 손상을 방지하고 국부적인 영상 정보를 이용하여 청소구역 내를 균일하게 청소할 수 있는 청소용 로봇 및 로봇의 제어 방법에 관한 것이다.The present invention is a control method of a robot and a robot for cleaning using floor image information, more specifically, to prevent damage to the floor texture and to control the cleaning robot and robot that can uniformly clean the inside of the cleaning area using the local image information It is about a method.

일반적으로 로봇은 공장이나 산업체에서 자동화 공정에 대한 방안으로 개발되었다. 자동제어기술과 원격조종기술 등이 진보함에 따라 고온, 저온 등의 극한의 환경이나 우주나 해저 등의 위험한 환경에서 작업하거나 단조로운 작업을 반복하는 경우에 로봇이 주로 응용되었다. In general, robots have been developed as a way to automate processes in factories and industries. As the automatic control technology and the remote control technology have advanced, the robot has been mainly applied in the case of working in extreme environments such as high and low temperatures, dangerous environments such as space and the seabed or repeating monotonous operations.

최근에는 산업체에서 이용되는 산업용 로봇뿐만 아니라 일반 가정이나 사무실 등에서 가사일이나 사무 보조로서 로봇이 실용화되고 있다. 이에 해당하는 대표적인 예로서 청소용 로봇을 들 수 있다. 이러한 상기 청소용 로봇은 보통 이동을 위한 구동수단과, 청소를 위한 청소 수단, 전방위 장애물을 감지 하기 위한 감시수단 등으로 구성되어 있다.In recent years, not only industrial robots used in industry, but also robots have been put into practical use as housework or office assistants in general homes and offices. Representative examples thereof include a cleaning robot. The cleaning robot is usually composed of a driving means for movement, a cleaning means for cleaning, a monitoring means for detecting an omnidirectional obstacle.

일반적으로, 상기 구동수단은 구동력을 발휘하기 위한 구동모터와, 상기 구동모터에 의해 구동되는 무한궤도 또는 소정직경의 바퀴와, 구동을 제어하기 위한 구동 제어회로 등으로 구성되어 있다. 그리고, 상기 청소수단은 먼지 등을 집진하여 제거하기 위한 집진기 등과, 집진행동을 제어하기 위한 집진 제어회로 등으로 구성되어 있다. 또한, 상기 감시수단은 전방위 장애물을 포착하기 위한 감시용 카메라와, 상기 감시용 카메라로 포착되는 영상을 사용자에게 전송하기 위한 전송장치로 구성되어 있다.In general, the drive means is composed of a drive motor for exerting a driving force, a wheel having a track or a predetermined diameter driven by the drive motor, a drive control circuit for controlling the drive and the like. The cleaning means includes a dust collector for collecting and removing dust and the like, and a dust collecting control circuit for controlling the dust collecting behavior. In addition, the monitoring means is composed of a surveillance camera for capturing omnidirectional obstacles, and a transmission device for transmitting an image captured by the surveillance camera to the user.

종래의 청소용 로봇 등의 자율이동형 로봇에서는 자신의 위치 추정, 청소 구역의 지도 구현 및 장애물 회피 기능에 대하여 관심이 집중되었다. 따라서 아파트 등의 주거지에서 현관 등의 낭떠러지를 회피하거나 벽면을 인식하고 벽면을 따라 청소를 진행하는 벽 추종(Wall following) 기능이 추가되었다. 이러한 기능은 청소용 로봇의 안전사고와 장애물 충돌 등을 예방할 수 있지만, 청소할 구역내를 균일하게 청소하지 못하는 문제와 상기의 기능을 수행하기 위해서 다수의 센서 등이 필요로 하여 청소용 로봇의 가격이 비싸지는 단점이 있다.In conventional autonomous robots, such as cleaning robots, attention has been focused on their location estimation, map implementation of the cleaning area and obstacle avoidance functions. Therefore, the wall following function has been added to avoid the cliff of the entrance or the like and to clean the wall along the wall. Such a function can prevent safety accidents and obstacle collisions of the cleaning robot, but the problem of not uniformly cleaning the area to be cleaned and a number of sensors are required to perform the above functions, which makes the cleaning robot expensive. There is this.

또한 아파트 등의 청소할 구역의 구조 정보를 미리 입력하여, 입력된 구조 정보에 의하여 청소를 수행하게 하는 경우도 있다. 이러한 경우에는 청소할 구조를 청소용 로봇이 인식하는 구조로 입력하여야 하는 번거로움이 있고, 가구의 위치 변경 등의 내부 구조의 단순한 변화에 대하여도 제대로 대응하지 못하는 문제가 있다. In addition, in some cases, the structure information of the area to be cleaned, such as an apartment, is input in advance, so that cleaning may be performed according to the input structure information. In this case, there is a hassle to input a structure to be cleaned as a structure recognized by the cleaning robot, and there is a problem in that it does not properly respond to simple changes in the internal structure such as changing the position of furniture.

이와 함께, 미리 격자 정보가 주어지고 청소용 로봇이 격자(grid)를 탐색하여 위치 정보를 인식하는 것도 있다. 이러한 경우에도 내부 구조에 격자를 부여하여야 하는 번거로움이 있다. In addition, the grid information is given in advance, and the cleaning robot may search the grid to recognize the position information. Even in this case, there is a need to give a lattice to the internal structure.

이와 유사한 위치 정보 탐색으로는 미리 입력된 지형 이미지와 비행할 지형의 사진을 실시간으로 비교하면서 운행하는 크루즈미사일의 원리를 청소기에 응용하는 것으로, 청소용 로봇이 바닥면을 탐색하여 미리 입력된 전체 지역의 이미지 중에서 일치하는 지역으로 위치 정보를 인식하는 것도 있다. 이러한 청소용 로봇은 미리 전체 지역의 이미지 등의 구조를 입력하여야 하는 번거로움이 있고, 바닥면처럼 동일한 이미지가 반복되는 경우 위치 정보 인식에 문제가 생길 수 있으며, 고해상도의 이미지 센서를 요하는 문제점이 있다.Similar to the location information search, the application of the cruise missile that operates by comparing the pre-entered terrain image with the photo of the terrain to fly in real time, and the cleaning robot searches the floor surface for the entire pre-input area. Other locations may recognize location information as matching regions. Such a cleaning robot has a problem of inputting a structure such as an image of an entire area in advance, and may cause a problem in recognizing location information when the same image is repeated like a floor surface, and has a problem of requiring a high resolution image sensor. .

최근에 주거환경 개선과 아파트 등의 보급화에 힘있어 거실 뿐만 아니라 집안 내부에서 바닥결을 가진 바닥면을 손쉽게 볼 수 있다. 신규로 지어지는 아파트의 경우에는 마루 바닥면을 채용하는 아파트가 대다수를 차지하고 있다. 청소할 때 마루 바닥의 손상을 방지하기 위해서는 마룻결을 따라 청소를 하는 것이 좋다. Recently, due to the improvement of the living environment and the spread of apartments, it is easy to see the flooring with the floor texture inside the house as well as the living room. In the case of newly built apartments, the majority of the apartments employ flooring floors. When cleaning, it is best to clean the floors to avoid damaging the floor.

이러한 아파트에서 상기 위에서 언급한 청소용 로봇에 의한 청소는 번거로운 격자구조 입력 등의 번거로움이 있을 수 있고, 무작위적 경로에 의한 청소 등으로 바닥결이 손상되는 문제도 있다.In such an apartment, the cleaning by the above-mentioned cleaning robot may be cumbersome, such as a cumbersome lattice input, and the floor may be damaged by cleaning by a random path.

따라서 다수의 센서를 장착하지 아니하며 미리 전체적인 청소 구역의 정보를 청소용 로봇에 입력하지 아니하고도 바닥결의 손상을 예방하면서 청소할 구역을 균일하게 청소하는 로봇이 필요할 수 있다.Therefore, a robot that does not have a plurality of sensors and does not input information of the entire cleaning area into the cleaning robot in advance may need a robot that uniformly cleans the area to be cleaned while preventing damage to the floor.

본 발명은 상기와 같은 문제점을 고려하여 안출된 것으로서, 바닥면을 촬영하여 바닥결을 추출하여 추출된 바닥결 방향으로 로봇을 추종하게 함으로써 바닥결의 손상을 방지하고 국부적인(local) 영상 정보를 이용하여 청소구역 내를 균일하게 청소하는 것을 목적으로 한다.The present invention has been made in view of the above problems, by taking the bottom surface to extract the bottom grain to follow the robot in the extracted bottom grain direction to prevent damage of the bottom grain and use local image information The purpose is to uniformly clean the inside of the cleaning area.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상술한 목적을 달성하기 위하여 본 발명에 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법은 (a) 바닥면을 촬영하는 단계; (b) 상기 촬영된 바닥면의 영상으로부터 바닥결의 방향을 추출하는 단계; 및 (c) 상기 추출된 바닥결 방향으로 청소용 로봇이 추종하는 단계를 포함한다.In order to achieve the above object, a control method of a cleaning robot using floor image information according to an embodiment of the present invention includes: (a) photographing a floor surface; (b) extracting the direction of the bottom grain from the image of the photographed bottom surface; And (c) following the cleaning robot in the extracted bottom grain direction.

상술한 목적을 달성하기 위하여 본 발명에 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇은 바닥면을 촬영하는 촬영부; 상기 촬영된 영상으로부터 바닥결의 방향을 추출하는 바닥결 추출부; 및 상기 추출된 바닥결 방향으로 청소용 로봇이 추종하는 바닥결 추종부를 포함한다.In order to achieve the above object, a robot for cleaning using floor image information according to an embodiment of the present invention includes a photographing unit photographing a floor; A bottom grain extracting unit extracting a direction of a bottom grain from the photographed image; And a bottom grain follower that the cleaning robot follows in the extracted bottom grain direction.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The details of other embodiments are included in the detailed description and drawings. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법을 나타낸 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 소실점을 기준으로 그룹화한 경우를 보여준고, 도 3은 본 발명의 다른 일 실시예에 따른 그룹화하는 방법을 나타낸 흐름도이다. 1 is a flowchart illustrating a control method of a robot for cleaning using floor image information according to an exemplary embodiment of the present invention, and FIG. 2 illustrates a case of grouping based on a vanishing point according to an exemplary embodiment of the present invention. Is a flowchart illustrating a grouping method according to another embodiment of the present invention.

본 발명에 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법은 바닥면을 촬영하는 단계와, 촬영된 바닥면의 영상으로부터 바닥결의 방향을 추출하는 단계 및 추출된 바닥결 방향으로 청소용 로봇이 추종하는 단계를 포함한다.According to an embodiment of the present invention, a method for controlling a robot for cleaning using floor image information includes photographing a floor, extracting a direction of flooring from an image of the photographed floor, and cleaning robot in the extracted flooring direction. This includes following steps.

바닥 영상을 촬영하는 단계(S110)는 청소용 로봇에 카메라(Camera), 캠코 드(Camcorder) 등의 화상을 포착할 수 있는 장치를 장착하여 로봇의 진행방향의 전방 바닥면을 촬영하는 단계이다. 청소용 로봇이 진행하는 부분의 바닥결의 방향과 장애물의 존재 여부 등을 파악하기 위해 카메라가 촬영하는 부분은 로봇이 진행하는 방향의 앞부분 바닥면이 바람직하다. 청소용 로봇이 구동부에 의해 진행하면서 주기적으로 상기와 같이 장착된 화상을 촬영하여 영상을 획득할 수 있다.Taking a floor image (S110) is a step of photographing a front bottom surface of a robot in a moving direction by attaching a device capable of capturing an image such as a camera or a camcorder to a cleaning robot. In order to determine the direction of the bottom grain and the presence of obstacles in the portion where the cleaning robot proceeds, the bottom surface of the front portion of the direction in which the robot proceeds is preferable. As the cleaning robot proceeds by the driving unit, the robot may periodically photograph the mounted image to obtain an image.

바닥결의 방향을 추출단계는 청소용 로봇이 주행하면서 촬영된 영상으로부터 하나 이상의 선을 추출하는 단계(S120)와 상기 추출된 선으로부터 바닥결의 방향을 결정하는 단계(S140)를 포함할 수 있다. 이와 함께 바닥결을 추종하는 단계는 바닥결 추출단계로부터 획득된 바닥결 방향으로 청소용 로봇이 진행되도록 제어하는 단계(S160)를 포함하며, 효율적인 제어를 위해 칼만 필터를 적용하여 로봇의 위치 및 방향을 보정하는 단계(S150)를 포함할 수 있다.Extracting the direction of the floor texture may include the step (S120) of extracting one or more lines from the image taken while the cleaning robot is running (S140). In addition, the step of following the bottom grain includes a step of controlling the cleaning robot to proceed in the direction of the bottom grain obtained from the bottom grain extraction step (S160), and applying a Kalman filter for efficient control to adjust the position and direction of the robot. It may include the step of correcting (S150).

촬영된 영상으로부터 직선을 추출하는 단계(S120)는 획득 영상으로부터 하나 이상의 직선을 추출하여 바닥결 방향을 결정하기 위한 데이터로 활용하는 단계이다. 촬영된 영상으로부터 직선을 검출하는 방법으로 허프 변환(Hough Transform)을 이용할 수 있다. 허프 변환 기법은 잡음 성분을 포함한 이차원 영상의 데이터 점들을 계수 공간(Hough Space 또는 Parameter Space)으로 변환시켜 계수 공간에서 극대값으로 표현되는 특정값을 검출함으로써 직선이나 윤곽선을 검출할 수 있다. 예컨데, 촬영된 영상에 있어서 영상의 에지(Edge) 부분의 이미지의 각 점(x, y)들이 직선 상의 한 점이라는 가정하에 직선의 파라미터 (r, δ)를 다음의 식으로 구할 수 있다.Extracting a straight line from the captured image (S120) is a step of extracting one or more straight lines from the acquired image and using them as data for determining the bottom grain direction. Hough transform may be used as a method of detecting a straight line from the captured image. The Hough transform technique detects a straight line or outline by converting data points of a two-dimensional image including a noise component into a coefficient space (Hough Space or Parameter Space) to detect a specific value expressed as a maximum value in the coefficient space. For example, assuming that each point (x, y) of the image of the edge portion of the image in the photographed image is a point on the straight line, the parameters of the straight line ( r, δ) can be obtained by the following equation.

[식 1][Formula 1]

여기서 r는 원점에서 직선까지의 법선거리를 나타내며, δ는 각도를 나타낸다.Where r is the normal distance from the origin to a straight line, and δ is Indicates an angle.

예컨데, 도 2에서 도시하는 바와 같이 허프 변환에 의해 촬영된 영상으로부터 직선을 추출한 경우이다. 추출된 직선은 촬영 영상의 면적에 따라 하나 이상의 직선이 추출될 수 있다. 허프 변환에 의해 추출된 선에는 획득된 영상에 처음부터 바닥결이 아닌 다른 방향으로의 선, 예를 들어 벽이나 물건에 의한 직선이 포함되어 있을 수 있고, 이와 함께 바닥 영상을 촬영하거나 허프 변환을 하면서 일종의 노이즈(Noise)로서 다수개의 짧은 길이의 선이 포함될 수도 있다. 이러한 선들이 포함되는 경우는 청소용 로봇이 추종하려는 바닥결에 해당하는 방향을 결정하는데 방해할 수 있다. 따라서 허프 변환에 의해 추출된 하나 이상의 직선을 바닥결에 방향으로 결정하기 위해 선택적으로 직선을 그룹화 할 수 있다.For example, as illustrated in FIG. 2, a straight line is extracted from an image photographed by Hough transform. One or more straight lines may be extracted according to the extracted straight line area. The lines extracted by the Hough transform may include lines in a direction other than flooring from the beginning, such as a straight line by a wall or an object. In addition, a plurality of short length lines may be included as a kind of noise. If such lines are included, it may interfere with the cleaning robot in determining the direction corresponding to the bottom grain to be followed. Thus, one or more straight lines extracted by the Hough transform can be optionally grouped to determine the direction to the bottom grain.

바닥결의 방향을 결정하는 단계(S140)에서는 직선 추출단계(S120)에서 추출된 하나 이상의 선을 그룹화하고, 생성된 그룹(Group) 중에서 바닥결에 해당하는 선그룹을 선택하여 바닥결 방향을 계산한다.In the determining of the direction of the bottom grain (S140), one or more lines extracted in the straight line extraction step (S120) are grouped, and the bottom grain direction is calculated by selecting a line group corresponding to the bottom grain among the generated groups.

먼저, 허프 변환에 의해 추출된 선을 그룹화 할 수 있다. 도 2에서 도시하는 바와 같이 추출된 하나 이상의 선들은 여러 그룹들로 나뉘어 질 수 있다. 본 발명의 일 실시예에 따른 그룹을 나누는 기준으로는 추출된 선을 연장시켜 한 점에서 만나는 소실점을 공유하는지 여부가 될 수 있다. 따라서 소실점을 공유하는 선들에 대하여는 동일한 그룹으로 분류하고, 소실점을 공유하지 않는 선에 대하여는 다른 그룹으로 분류할 수 있다. 즉 도 2를 살펴보면 선(210, 212, 214, 216)은 소실점(240)에서 만나기에 그룹 1로 지정 될 수 있다. 다만 선(250)는 상기의 선들과 공유하는 소실점이 없으므로 그룹 2로 지정 된다.First, the lines extracted by the Hough transform can be grouped. As illustrated in FIG. 2, one or more extracted lines may be divided into several groups. A criterion for dividing a group according to an embodiment of the present invention may be whether or not sharing the vanishing points that meet at one point by extending the extracted line. Therefore, the lines sharing the vanishing points may be classified into the same group, and the lines not sharing the vanishing points may be classified into different groups. That is, referring to FIG. 2, the lines 210, 212, 214, and 216 may be designated as group 1 to meet at the vanishing point 240. However, line 250 is designated as group 2 because there is no vanishing point shared with the above lines.

또 다른 방법으로 도 3에 도시된 흐름도와 같이 추출된 직선들을 소정의 방향 범위에 있는 선들로 그룹화할 수도 있다. 먼저 S120 에서 추출한 선들의 각각에 대해서 기존의 선 그룹들과의 방향차이가 소정의 각도 범위 내에 있는지를 조사한다(S141). 도면에서는 5도로 나타내고 있으나, 그룹화의 기준이되는 각도의 한 예시일뿐 이에 한정되는 것은 아니다. 기존의 그룹들의 방향과 각도를 비교해서 소정의 각도 범위를 초과하는 경우(S141)에는 이 직선은 새로운 그룹에 속하는 직선으로 판단하고, 새로운 선 그룹의 방향과 가중치를 저장한다(S142). 가중치는 그룹에 속하는 각 선의 길이와 개수 등이 될 수 있다. 기존의 특정 그룹과 소정의 각도 범위 내에 있는 경우에는(S141), 그 그룹에 포함되는 직선으로 판단하고, 해당 선 그룹의 방향과 가중치를 업데이트한다(S143). 이러한 과정을 추출된 모든 직선에 대하여 반복 수행함으로써 추출된 선을 그룹화할 수 있다. 선을 그룹화한 후에 후술하는 방법으로 바닥결 방향을 결정한다(S145).Alternatively, the extracted straight lines may be grouped into lines in a predetermined direction range as shown in the flowchart of FIG. 3. First, for each of the lines extracted in S120, it is examined whether the direction difference with the existing line groups is within a predetermined angle range (S141). Although shown in the figure 5 degrees, it is only one example of the angle that is the basis of the grouping is not limited thereto. When the direction and angle of the existing groups are compared to exceed a predetermined angle range (S141), the straight line is determined to be a straight line belonging to the new group, and the direction and weight of the new line group are stored (S142). The weight may be the length and number of each line belonging to the group. If it is within a predetermined angle range with an existing specific group (S141), it is determined as a straight line included in the group, and the direction and weight of the corresponding line group are updated (S143). By repeating this process for all extracted straight lines, the extracted lines can be grouped. After grouping the lines, the bottom grain direction is determined by the method described below (S145).

직선 추출단계(S120)에 의해 추출된 선을 그룹화한 후에, 바닥결 방향을 결정하는 데이터로 활용되는 그룹을 선택한다. 도 2의 그룹 1의 선들을 살펴보면, 허프 변환에 의해 검출된 선들이 소실점에서 교차하는 경우에 각 선의 길이와 개수 등으로 하여 가중치를 부여하여 그 크기를 상대적으로 지정할 수 있다. 즉 하나 이상의 선 그룹이 생성되는 경우에는, 동일 그룹에 속하는 각 선의 길이와 개수 등으로 가중치를 부여하여 그룹의 크기를 생성한다. 그리하여, 생성한 크기가 가장 큰 그룹에 속하는 선을 본 발명에서 구하고자 하는 바닥결의 방향을 정하는 데이타로 활용할 수 있다.After grouping the lines extracted by the straight line extraction step (S120), a group used as data for determining the bottom grain direction is selected. Referring to the lines of Group 1 of FIG. 2, when the lines detected by the Hough transform intersect at the vanishing point, weights may be given as the length and the number of each line and the size may be relatively designated. That is, when one or more line groups are generated, the size of the group is generated by giving a weight to the length and the number of each line belonging to the same group. Thus, the line belonging to the group with the largest size can be used as the data for determining the direction of the bottom grain to be obtained in the present invention.

도 4는 촬영한 바닥 영상에서 추출된 하나 이상의 직선을 이용하여 바닥결의 방향을 구하기 위한 개략도이고,락도이고 도 5는 로봇이 진행하는 방향과 바닥결의 방향을 도식적으로 보여준다.Figure 4 is a schematic diagram for obtaining the direction of the bottom grain by using one or more straight lines extracted from the captured floor image, Figure 5 is a schematic diagram showing the direction the robot proceeds and the direction of the bottom grain.

바닥결 방향으로 인정되는 그룹의 선을 선택하여 청소용 로봇의 진행방향에 대한 바닥결의 각도를 구할 수 있다. 도 4에서 도시하는 바와 같이, 진행중인 청소용 로봇이 촬영한 영상으로부터 바닥결 방향으로 인정되는 그룹의 선을 추출한다. 정면 상부로 향하고 있는 화살표가 청소용 로봇의 진행방향(310)이 된다. 추출된 선들이 소실점으로 표시되는 좌표(Kx, Ky)에 수렴한다. 추출된 선들의 소실점의 y좌표에 해당하는 값인 Ky는 촬영하는 영상의 확대 또는 축소가 없는 경우에는 로봇의 향하는 방향이 변하더라도 일정하다. 다만 청소용 로봇의 진행방향(θ)이 변함에 따라 소실점의 x좌표에 해당하는 값인 Kx는 달라진다. 따라서 소실점의 좌표가 (Kx, Ky)인 경우에 청소용 로봇의 진행방향에 대한 바닥결의 방향 ρ를 다음의 식에 의해 결정할 수 있다.The angle of the bottom grain with respect to the moving direction of the cleaning robot can be obtained by selecting a group of lines recognized as the bottom grain direction. As shown in FIG. 4, the group of lines recognized in the bottom grain direction are extracted from the image taken by the cleaning robot in progress. The arrow pointing to the upper front becomes the traveling direction 310 of the cleaning robot. The extracted lines converge to the coordinates (Kx , Ky) represented by vanishing points. Ky, a value corresponding to the y-coordinate of the vanishing points of the extracted lines, is constant even if the robot's heading direction changes when there is no enlargement or reduction of the captured image. However, as the moving direction (θ) of the cleaning robot changes, the value Kx corresponding to the x coordinate of the vanishing point changes. Therefore, when the coordinate of the vanishing point is (Kx , Ky), the direction p of the bottom grain with respect to the traveling direction of the cleaning robot can be determined by the following equation.

[식 2][Formula 2]

여기서, H는 촬영 이미지의 높이를 의미하며, W는 촬영 이미지의 가로길이를 의미한다.Here, H means height of the captured image, and W means horizontal length of the captured image.

또는, 바닥결의 방향을 구하기 위해 선택된 그룹의 선들의 방향의 평균을 구하여 바닥결의 방향을 구할 수도 있다. 선의 길이를 가중치로 고려하여 그룹의 평균 방향을 계산하는 경우 아래의 식과 같이 정의될 수 있다. Alternatively, the direction of the bottom grain may be obtained by obtaining an average of the directions of the lines of the selected group to determine the direction of the grain. When the average direction of the group is calculated by considering the length of the line as a weight, it may be defined as in the following equation.

[식 3][Equation 3]

여기서,

는 선택된 그룹의 방향의 평균이고,

는 그룹에 포함되는 선의 가중치의 합이며, ρ는 각 선의 방향, l은 가중치인 각 선의 길이이다. here,

Is the average of the direction of the selected group,

Is the sum of the weights of the lines included in the group, ρ is the direction of each line, and l is the length of each line which is the weight.

따라서 청소용 로봇은 바닥면 영상을 촬영하여 촬영 이미지를 획득하고, 획득된 영상 정보를 바탕으로 허프 변환에 의해 직선을 추출하여 바닥결의 방향을 구할 수 있다. 마루는 일정한 간격으로 촘촘하게 바닥에 설치되어 있으므로 영상에서 검출되는 선의 대부분은 바닥결에 의한 직선에 된다. 따라서, 로봇을 직진시키면서 일정시간 이상 같은 방향을 향하는 직선이 검출되면 이를 바닥결의 방향으로 결정 할 수 있다. Therefore, the cleaning robot may obtain a photographed image by photographing the bottom surface image, and extract a straight line by Hough transform based on the obtained image information to obtain the direction of the bottom grain. Since the floors are densely installed on the floor at regular intervals, most of the lines detected in the image are straight lines due to the bottom grain. Therefore, when a straight line in the same direction is detected for a predetermined time while driving the robot, it can be determined as the direction of the bottom grain.

다만, 로봇이 청소를 진행하면서 바닥면에 예상치 못한 선들이 놓여 있다고 가정할 수 있다. 특히 로봇이 위치 제어를 하면서 즉 구동부에 의해 회전 또는 직진을 하면서 상기와 같이 바닥결을 추출한 것이 이전에 설정된 바닥결 방향과 소정 이상의 차이가 있는 경우에는 바닥결이 아닌 일종의 노이즈에 해당할 가능성이 높다. 그러므로, 아래와 같이 노이즈에 해당하는 선들을 제거하기 위하여 선 필터링하는 단계(S130)를 더 포함할 수 있다.However, it can be assumed that unexpected lines lie on the floor while the robot is cleaning. In particular, when the robot extracts the bottom grain as described above while controlling the position, that is, rotating or going straight by the driving unit, there is a high possibility that it is a kind of noise, not a bottom grain, when there is a predetermined difference or more from the previously set bottom grain direction. . Therefore, line filtering may be further included (S130) to remove lines corresponding to noise as follows.

로봇의 진행방향에 대한 바닥결 방향이 각도 ρ만큼 기울어져 있다고 가정하자. 로봇은 각도 ρ만큼 자세를 보정하면서 진행하는 것이 바람직하다. 그러한 자세 보정은 각도 ρ만큼 회전을 하고 직진을 하거나, 직진을 하면서 동시에 ρ만큼 회전을 할 수 있다. 따라서 청소용 로봇이 회전하는 경우에는 로봇의 회전한 각도만큼 이에 해당하여 진행방향에 대한 바닥결의 방향의 변화가 이루어 진다. 따라서 이론상으로는 다음의 식이 성립될 수 있다.Assume that the bottom grain direction with respect to the robot's direction is inclined by the angle p. It is preferable that the robot proceeds while correcting the attitude by the angle p. Such posture correction can rotate by an angle ρ and go straight, or go straight and rotate by ρ at the same time. Therefore, when the cleaning robot is rotated, a change in the direction of the bottom grain with respect to the traveling direction is made according to the rotation angle of the robot. Therefore, in theory, the following equation can be established.

[식 4][Formula 4]

여기서

는 i-번째 바닥결 추종 스텝에서 i-번째 검출된 바닥결 방향의 변화량을 의미하고,

는 i-번째 로봇의 진행방향의 변화량을 의미한다. 다만, 식 4의 계산량이 영이 아닌 경우에는 회전하는 로봇에 의한 진행방향의 변화량이 일치하지 않는다는 의미이므로, 이 경우에는 추출된 바닥결 방향이 바닥의 노이즈 등에 의해 이전의 바닥결 방향과 다르거나 로봇의 진행방향의 변화량을 측정하는데 기인하는 오차가 있다는 것을 의미할 수 있다. 따라서 다음의 식을 이용하여 로봇의 위치 보정을 하는 중에 노이즈에 해당하는 선을 제거하는 선 필터링 단계(S130)를 수행할 수 있다.here

Denotes the amount of change in the i-th detected bottom grain direction in the i-th bottom grain follow step,

Is the amount of change in the traveling direction of the i-th robot. However, if the calculation amount in Equation 4 is not zero, it means that the amount of change in the moving direction by the rotating robot does not coincide. It may mean that there is an error due to measuring the amount of change in the advancing direction of. Therefore, the line filtering step (S130) may be performed to remove the line corresponding to the noise during the position correction of the robot by using the following equation.

[식 5][Formula 5]

여기서

는 임의의 작은 양수를 의미한다. 따라서 청소용 로봇의 회전 각도와 진행방향에 대한 바닥결의 각도 변화량의 합이 소정의 범위 내(여기서는

)라면 진행방향에 대한 바닥결의 방향으로

로 결정한다.here

Means any small positive number. Therefore, the sum of the rotation angle of the cleaning robot and the angle change amount of the bottom grain with respect to the traveling direction is within a predetermined range (here

) In the direction of the bottom grain relative to the direction of travel.

.

식 5를 적용하는데 있어 청소용 로봇이 인식한 초기 바닥결 방향이나 청소용 로봇이 회전하기 전의 바닥결 방향으로 인식되는 ρ를 저장한다. 예컨데, 도 5를 참조하여 보면 로봇이 회전하여 진행방향(

)이 40도에서 70도로 변화하는 경우에 바닥결 각도(

)는 50도에서 20도로 감소하게 된다. 다만, 로봇이 회전하면서 i-번째 촬영 영상을 획득하여 바닥결을 추출한 경우에 바닥결 각도가 20도로 감소되는 것이 아니라 60도로 증가하는 경우에는 식 5가 성립하지 않게 되므로 청소용 로봇은 i-번째에서 추출된 바닥결을 노이즈로 인식함이 바람직히다. 따라서 청소용 로봇이 위치 보정을 하며 주행하는 경우에 식 5을 이용하여 선 필터링을 하는 단 계(S130)를 포함하는 것이 노이즈 제거에 바람직하다.In applying Equation 5, the initial floor grain direction recognized by the cleaning robot or ρ recognized as the bottom grain direction before the robot is rotated is stored. For example, referring to Figure 5 the robot rotates in the direction of travel (

) Changes the flooring angle (

) Decreases from 50 degrees to 20 degrees. However, if the bottom grain angle is not reduced to 20 degrees but increases to 60 degrees when the bottom grain is extracted by acquiring the i-th shot image while the robot rotates, the robot for cleaning does not have an i-th image. It is preferable to recognize the extracted bottom grain as noise. Therefore, it is preferable to include the step (S130) for performing line filtering using Equation 5 when the cleaning robot travels while correcting the position.

상기와 같이 바닥 영상을 로봇이 주행하면서 촬영하고, 촬영된 영상에서 바닥결을 추출할 수 있다. 추출된 바닥결을 따라 청소용 로봇이 추종하는 단계를 수행한다. 바닥결 추종단계는 바닥결 추종을 위한 제어 단계(S160)와 칼만 필터 적용 단계(S150)를 포함할 수 있다.As described above, the floor image may be photographed while the robot is traveling, and the floor texture may be extracted from the photographed image. The cleaning robot follows the extracted floor texture. The bottom grain following step may include a control step (S160) and a Kalman filter applying step (S150) for following the bottom grain.

바닥결 추종을 위한 제어 단계(S160)는 바닥결 방향으로 청소용 로봇의 진행방향을 변화시키는 회전 단계와, 바닥결을 따라 전진 또는 후진하는 직진 단계를 포함한다. 바닥결의 방향이 ρ로 추출된 경우에 로봇의 위치제어는 ρ만큼 회전 후 직진을 하거나 직진을 하면서 ρ만큼 회전을 할 수 있기에 직진 단계와 회전 단계는 순서와는 관계없이 로봇의 바닥결 추종을 제어하는 단계(S160)에 포함할 수 있다.The control step (S160) for following the bottom grain includes a rotating step of changing a moving direction of the cleaning robot in the bottom grain direction and a straight step of moving forward or backward along the bottom grain. When the direction of the bottom grain is extracted as ρ, the position control of the robot can be rotated by ρ while turning straight or going straight after turning by ρ, so the straight and rotating steps control the bottom grain tracking of the robot regardless of the order It may be included in the step (S160).

일반적인 청소용 로봇의 바닥결 추종하는 단계에서는 직진 운동과 회전 운동의 조합일 수 있다. 따라서 청소용 로봇의 직진과 회전의 식은 다음으로 표현 할 수 있다.In the bottom-following step of the general cleaning robot, it may be a combination of a straight motion and a rotary motion. Therefore, the equation of straightening and rotation of the cleaning robot can be expressed as

[식 6][Formula 6]

여기서, L은 왼쪽 바퀴의 이동거리, R은 오른쪽 바퀴의 이동거리, B는 왼쪽과 오른쪽 바퀴의 거리를 나타낸다. 이에 따라 u1은 청소용 로봇의 양 바퀴의 이동 량의 평균을 의미하므로 청소용 로봇이 직진을 한 거리를 의미하고, u2는 청소용 로봇의 회전한 각도를 나타낸다. 예컨데 양 바퀴의 이동한 거리를 알 수 있다면 청소용 로봇의 직진한 양과 회전한 양을 계산할 수 있다. 양바퀴의 이동 거리를 알기 위해서는 엔코더(Encoder) 또는 포텐셔미터(Potentiometer) 등 공지의 거리 측정기를 사용할 수 있다.Where L is the movement distance of the left wheel, R is the movement distance of the right wheel, and B is the distance of the left and right wheels. Accordingly, since u1 means the average amount of movement of both wheels of the robot for cleaning, it means the distance that the robot for cleaning went straight, and u2 represents the rotated angle of the robot for cleaning. For example, if you know the distance traveled by both wheels, you can calculate the amount of straight and rotated sweep robots. In order to know the moving distance of both wheels, well-known distance measuring instruments, such as an encoder or a potentiometer, can be used.

예를 들어 k-번째 바닥결 추종 스텝에서 바닥결 방향이

인 경우에 청소용 로봇의 제어를 설명한다. 먼저, 청소용 로봇이

가 될 때까지 회전하게 한다. 여기서 α는 임의의 작은 양수를 의미한다. 즉 청소용 로봇이 추출된 바닥결의 방향과 일치할 때까지 로봇을 회전시키는 것이 바람직하지만, 진행방향에 대한 바닥결의 각도가 일정각도 범위 내에 해당될 때까지 로봇을 회전시켜 로봇이 바닥결 방향으로 주행하도록 한다. 청소용 로봇을 바닥결 방향으로 향하도록 한 후에 전진 또는 후진하는 단계를 수행할 수 있다. 청소용 로봇이 바닥결을 따라 직진함으로 인하여 기본적으로는 바닥결을 따라 청소를 수행할 수 있고, 이로써 바닥결을 따라 청소용 로봇의 바퀴를 회전시킴으로 인하여 바닥결의 손상을 방지할 수 있다.For example, in the k-th floor following step,

The control of the cleaning robot will be described. First, the cleaning robot

Rotate until Where α means any small positive number. That is, it is preferable to rotate the robot until the cleaning robot coincides with the extracted direction of the bottom grain, but the robot moves in the direction of the bottom grain by rotating the robot until the angle of the bottom grain with respect to the traveling direction is within a certain angle range. do. After the cleaning robot is directed in the bottom grain direction, the step of moving forward or backward may be performed. Since the cleaning robot goes straight along the floor, it is basically possible to perform cleaning along the floor, thereby preventing damage to the floor by rotating the wheel of the cleaning robot along the floor.

바닥결 추종단계에서는 k-번째 스텝에서의 정보를 바탕으로 k+1번째 스텝에서의 효과적인 위치 및 방향으로 로봇을 추종시키기 위하여 칼만 필터(Kalman filter)를 적용하는 단계(S150)를 포함할 수 있다. 또한 칼만 필터를 적용시에는 청소용 로봇 시스템에 의한 잡음과 측정치로 인한 잡음을 효과적으로 여과(filtering)시킬 수 있다.The bottom grain tracking step may include applying a Kalman filter to follow the robot in the effective position and direction at the k + 1th step based on the information at the k-th step (S150). . In addition, the Kalman filter can effectively filter out noise caused by the cleaning robot system and measured noise.

청소용 로봇의 k-번째 스텝에서의 위치를 Xk라 하자. 따라서 청소용 로봇의 시스템식(System Equation)과 측정식(Measurement Equation)은 다음과 같다.Let Xk be the position at the k-th step of the cleaning robot. Therefore, the system equation and measurement equation of the cleaning robot are as follows.

[식 7][Equation 7]

여기서 xk, yk 는 k-번째 스텝의 x축과 y축의 위치이고, θk는 k-번째 스텝에서의 x축에 대한 로봇의 진행방향의 각을 의미하며 c는 상수이다. 또한 Zk는 바닥결 방향을 의미한다. k+1번째 스텝에서의 위치를 칼만 필터를 이용하여 청소용 로봇의 위치를 보정하기 위해 다음식을 이용할 수 있다.Where xk and yk are the positions of the x-axis and y-axis of the k-th step, θk means the angle of the robot's traveling direction with respect to the x-axis at the k-th step, and c is a constant. Zk also means the bottom grain direction. The following equation can be used to correct the position of the cleaning robot using the Kalman filter at the position at the k + 1th step.

[식 8][Equation 8]

여기서

는 시스템 모델을 이용하여 계산된 값을 의미하고,

는 오차공분산항목(error covariance factor)을 말하며 다음의 식들로 표현될 수 있다. 또한

는 k+1번째 스텝에서의 칼만 게인(Kalman Gain)을 의미하고,

는 k+1번 째 스텝에서의 측정치에 의한 값을 의미한다.here

Means the value calculated using the system model,

Is an error covariance factor and can be expressed by the following equation. Also

Is the Kalman Gain at the k + 1th step,

Means the value by the measured value in k + 1st step.

[식 9][Equation 9]

식 8에서는 시스템 모델을 이용한 k+1번째 스텝에서의 로봇의 위치 및 방향에 칼만 게인을 이용한 보상값을 더해 줌으로 인하여 로봇이 가고자 하는 위치 및 방향(여기서는

)을 보정할 수 있다. 따라서 로봇에 장착된 엔코더나 포텐셔미터 등에 의해서 로봇의 상대적인 주행거리 및 주행방향에 대한 오차(error)를 칼만 필터를 통하여 보상함으로써 로봇의 위치 및 방향을 더욱 안정화 시킬 수 있다. 칼만 필터를 적용하여 주행하는 위치 및 방향을 계산한 후에, 이러한 결과를 바탕으로 바닥결 방향 추종을 제어하는 것이므로 바닥결 방향 제어 단계(S160)를 수행하기 전에 칼만 필터를 적용함이 바람직하다. 다만, 본 발명에 있어서 칼만 필터를 적용하지 아니하고 로봇으로 하여금 바닥결을 추종하도록 제어하여도 바닥결을 추종할 수 있다.Equation 8 adds the compensation value using Kalman gain to the position and direction of the robot at the k + 1th step using the system model, so

) Can be corrected. Therefore, the encoder's encoder or potentiometer can further stabilize the robot's position and direction by compensating for the error of the robot's relative travel distance and driving direction through the Kalman filter. After calculating the driving position and direction by applying the Kalman filter, it is preferable to apply the Kalman filter before performing the bottom grain direction control step (S160) because it is to control the bottom grain direction following based on these results. However, in the present invention, the bottom grain can be followed even if the robot is controlled to follow the bottom grain without applying the Kalman filter.

도 6에서는 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법에서 장애물 인식 및 회피를 하는 방법을 보여주는 흐름도이고, 도 7은 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법에서 장애물 인식 및 회피를 하는 로봇의 주행 궤적을 보여준다.FIG. 6 is a flowchart illustrating a method for recognizing and avoiding obstacles in a control method of a cleaning robot using floor image information according to an embodiment of the present invention, and FIG. 7 illustrates floor image information according to an embodiment of the present invention. In the control method of the cleaning robot, the driving trajectory of the robot for obstacle recognition and avoidance is shown.

전방 하향 카메라 등으로 촬영한 바닥면의 이미지가 도 7에서 도시하는 바와 같이 벽 또는 장애물에 접근하는 경우에는 촬영되는 이미지가 바닥면의 바닥결이 되는 것이 아니라 바닥면과 장애물(610)을 구분하는 선이 될 수 있다. 이러한 경우에 청소용 로봇이 장애물인 벽면에 접근하여 바닥면을 촬영하여 얻은 영상으로부터 추출한 직선이 바닥면과 벽면(장애물)의 경계선이 될 수 있다. 따라서 청소용 로봇이 추출된 경계선을 바닥결로 인식하는 오류를 범할 수 있다. 이를 예방하기 위하여, 본 발명에서는 영상을 촬영(S505)하고, 촬영된 영상으로부터 바닥결을 추출하는 단계(S510)에서 얻어진 바닥결의 방향이 기존의 바닥결 방향과 소정의 차이를 초과하는 경우에는 전방에는 바닥결이 계속되는 것이 아닌 장애물이 존재한다고 인식 할 수 있다(S512). When the image of the bottom surface photographed by the front downward camera approaches a wall or an obstacle as shown in FIG. 7, the image to be photographed does not become a bottom grain of the floor surface, but distinguishes the bottom surface and the obstacle 610. Can be good. In this case, a straight line extracted from an image obtained by photographing the floor surface by approaching the wall surface, which is a cleaning robot, may be a boundary line between the floor surface and the wall (obstacle). Therefore, the cleaning robot may make an error of recognizing the extracted boundary as the bottom grain. In order to prevent this, in the present invention, the image is taken (S505), and if the direction of the bottom grain obtained in the step (S510) extracted from the photographed image exceeds a predetermined difference from the existing floor grain direction in the front It can be recognized that there is an obstacle, rather than the floor is continuous (S512).

장애물 인식하는 단계(S512)는 전술한 선필터링 하는 단계(S130)와 차이가 있다. 선필터링을 하는 단계(S130)에서는 입력된 영상에서 추출된 선을 그룹화시에 바닥결과 노이즈에 해당하는 부분이 있고, 바닥결을 결정하는 단계(S140)에서 노이즈에 해당하는 방향을 바닥결로 인식하는 경우를 예방하고자 하는 것이다. 하지만, 장애물을 인식하는 단계(S512)에서는 도 7에서 도시하는 바와 같이 전방의 하향 카메라 등으로 촬영된 영상에서 바닥결을 포착하지 못하고 전혀 다른 방향의 선을 추출하여 이를 일단 바닥결을 결정하는 단계(S140)에 의해 바닥결로 인식한다. 다만 결정된 바닥결 방향이 이전의 바닥결 방향과 소정의 범위를 넘어서는 차이가 발생하는 경우에 장애물로 인식하는 것이다.The obstacle recognizing step S512 may be different from the above-described prefiltering step S130. In the step S130 of filtering the lines extracted from the input image, there is a part corresponding to the bottom result noise when grouping the input image, and in the step S140 of determining the floor grain, the direction corresponding to the noise is recognized as the bottom grain. This is to prevent the case. However, in the step of recognizing the obstacle (S512), as shown in FIG. 7, the bottom grain is not extracted from the image captured by the downward camera in front, and the ground grain is extracted in a completely different direction. It is recognized as the bottom grain by (S140). However, it is recognized as an obstacle when the determined floor direction differs from the previous floor direction by a predetermined range.

따라서 장애물이 존재하는 것으로 판정되는 경우에는 장애물의 테두리 선 중에 하나를 바닥결 추출단계에 의해 결정한 후에 그 방향으로 청소용 로봇을 회전시 킨다(S514). 회전 후 소정 거리만큼 직진을 하면서(S516) 바닥결을 추출하는 단계(S518)를 수행한다. 소정의 거리를 직진하면서 바닥결을 추출한 것이 기존의 바닥결과 동일한 경우에는 청소용 로봇이 기존 바닥결 방향으로 회전하여 바닥결을 추종하는 단계(S530)를 수행한다. 이와 함께, 기존 바닥결 방향과 차이가 있는 바닥결 방향이 추출되더라도 그 방향을 초기 바닥결 방향으로 리셋(reset, S520)하여 추출된 바닥결 방향으로 청소용 로봇을 회전시키고 바닥결을 추종하는 단계(S530)를 수행한다.Therefore, when it is determined that an obstacle exists, the cleaning robot is rotated in the direction after determining one of the edges of the obstacle by the bottom grain extraction step (S514). After the rotation, go straight for a predetermined distance (S516) and performs the step of extracting the bottom grain (S518). If the extraction of the bottom grain while going straight a predetermined distance is the same as the existing bottom result, the cleaning robot rotates in the direction of the existing bottom grain to follow the bottom grain (S530). In addition, even if the flooring direction that is different from the existing flooring direction is extracted, the direction is reset to the initial flooring direction (Reset, S520) by rotating the cleaning robot in the extracted flooring direction and following the flooring ( S530).

이상의 장애물 인식 단계(S512), 회피 단계(S514, S516), 바닥결 추종 단계(S530)를 거치는 청소용 로봇은 도 7에서 도시하는 바와 같은 궤적(620)을 그리며 청소를 수행할 수 있다. 따라서 청소구역 내를 균일하게 청소할 수 있고, 또한 청소구역 내를 전부 청소할 수 있다. 이와 함께, 자신의 절대적인 위치를 인식할 필요 없이 바닥면의 영상만을 촬영하여 국부적인 위치와 지역정보를 이용하여 청소구역 내를 효과적으로 청소할 수 있다.The cleaning robot that passes through the obstacle recognition step S512, the avoidance steps S514 and S516, and the bottom grain following step S530 may perform the cleaning while drawing the trajectory 620 as shown in FIG. 7. Therefore, the inside of the cleaning area can be cleaned uniformly, and the inside of the cleaning area can be cleaned entirely. In addition, it is possible to effectively clean the inside of the cleaning area by using only the local location and local information by photographing only the image of the floor without recognizing its absolute position.

도 8은 바닥결이 있는 거실과 바닥결이 없는 방을 청소하는 경우를 설명하기 위한 도면이다. 8 is a view for explaining a case of cleaning a living room with a floor and a room without a floor.

도면에서와 같이 거실에서는 바닥결이 있으므로 전술한 본 발명에 따른 방법으로 바닥결을 따라 청소가 가능하다. 그러나, 거실을 청소한 후 청소 로봇이 바닥결이 없는 방을 청소하는 경우에는 방의 영역에 맞는 패턴 주행을 하면서 청소를 수행 할 수 있다. 청소 로봇이 방을 청소하고 다시 거실로 나오는 경우에는 다시 거실의 바닥결에 따라 주행을 할 필요가 있다. 이때, 다시 바닥결의 방향을 계산할 필요가 없이, 방에 들어가기 전에 거실에서 주행을 하면서 그룹화된 선으로부터 구한 초기 바닥결의 방향을 저장을 하고, 방 청소를 수행하고 다시 거실로 이동한 경우에 저장된 초기 바닥결의 방향을 기초로 전술한 바닥결을 추정하는 단계에 따라서 바닥결을 따라 이동할 수 있다. As shown in the drawing, since there is a floor in the living room, the floor can be cleaned by the method according to the present invention. However, if the cleaning robot cleans a room without a floor after cleaning the living room, the cleaning may be performed while driving a pattern suitable for the area of the room. If the cleaning robot cleans the room and then comes back to the living room, it is necessary to drive again according to the floor of the living room. At this time, it is not necessary to calculate the direction of the floor again, the initial floor stored in the direction of the group from the grouped lines while driving in the living room before entering the room, cleaning the room and moved back to the living room According to the step of estimating the above-mentioned bottom grain based on the direction of the grain may move along the bottom grain.

도 9에서는 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용한 청소용 로봇의 블록도를 보여준다.9 shows a block diagram of a robot for cleaning using floor image information according to an exemplary embodiment of the present invention.

도 9에서 도시하는 본 발명의 일 실시예에 따른 바닥 영상 정보를 이용한 청소용 로봇 장치는 촬영부(712), 바닥결 추출부(710), 바닥결 추종부(750)를 포함한다. The robot apparatus for cleaning using floor image information according to an exemplary embodiment of the present invention illustrated in FIG. 9 includes a photographing unit 712, a bottom grain extracting unit 710, and a bottom grain follower 750.

바닥결 추출부(710)는 직선 추출부(714) 및 바닥결 결정부(718)를 포함한다. 또한 바닥결 추출부(710)는 필터링부(716)를 더 포함할 수 있다. 바닥결 추종부(750)는 바닥결 추종을 위한 추종 제어부(752) 및 칼만 필터부(754)를 포함한다.The bottom grain extractor 710 includes a straight extractor 714 and a bottom grain determiner 718. In addition, the bottom grain extractor 710 may further include a filter 716. The bottom grain follower 750 includes a following controller 752 and a Kalman filter 754 for bottom grain follower.

촬영부(712)는 바닥면 영상을 촬영하는 역할을 한다. 촬영부(712)는 청소용 로봇의 몸체에 부착되어 전방의 하향으로 바닥면을 촬영할 수 있도록 카메라, CCD 등을 장착할 수 있다. 따라서 촬영부(712)는 청소용 로봇의 전방의 하방 바닥면의 영상을 획득할 수 있다.The photographing unit 712 serves to photograph the bottom surface image. The photographing unit 712 may be attached to the body of the robot for cleaning so as to mount a camera, a CCD, or the like so as to photograph the bottom surface of the front downward. Therefore, the photographing unit 712 may acquire an image of the bottom bottom surface of the front of the cleaning robot.

일반적으로 종래의 청소용 로봇에서 정하여진 구역내에서 균일한 청소를 수행하기 위하여 청소용 로봇의 위치 추정이 필요로 한다. 절대적 위치를 추정하는 방식으로 경계표(Landmarks) 인식 방법이나 지도를 근거로 하는 지도 매칭 방법(Map Matching) 등을 사용할 수 있다. 하지만 본 발명에서는 하면의 바닥면을 포 착할 수 있는 촬영부(712)를 장착하여 바닥면의 국부적인(local) 정보만을 이용하여 절대적인 위치 추정 없이도 청소용 로봇의 역할을 할 수 있다.In general, in order to perform uniform cleaning in the area defined by the conventional cleaning robot, it is necessary to estimate the position of the cleaning robot. As a method of estimating an absolute position, a landmark recognition method or a map matching method based on a map may be used. However, in the present invention, by mounting the photographing unit 712 that can capture the bottom surface of the lower surface can be used as a cleaning robot without absolute position estimation using only local (local) information of the bottom surface.

다시 도 9를 참고하면, 직선 추출부(714)는 촬영부로부터 얻어진 영상을 변환하여 얻어진 하나 이상의 직선을 추출하는 역할을 한다. 청소용 로봇은 바닥면을 진행하면서 영상을 촬영한다. 바닥면을 촬영하여 얻어진 영상은 허프 변환(Hough Transform)에 의해 하나 이상의 직선으로 추출될 수 있다.Referring again to FIG. 9, the straight line extractor 714 extracts one or more straight lines obtained by converting an image obtained from the photographing unit. The cleaning robot shoots the image as it goes through the floor. An image obtained by photographing the bottom surface may be extracted as one or more straight lines by Hough Transform.

바닥결 결정부(718)는 그룹화된 선들에 가중치를 부여하여 크기를 정한 후 상대적으로 큰 그룹에 대하여 바닥결 방향의 선그룹으로 선택한다. 선택된 그룹에 대하여 식 2를 도입하여 청소용 로봇의 진행방향에 대한 바닥결의 방향 ρ를 구할 수 있다.The bottom determination unit 718 determines the size by weighting the grouped lines, and selects a line group in the bottom grain direction for a relatively large group. Equation 2 can be introduced for the selected group to find the direction of the bottom grain ρ relative to the moving direction of the cleaning robot.

직선 추출부(714)에 의해 추출된 하나 이상의 선은 선이 향하는 방향에 따라 그룹화 될 수 있다. 다시 말해, 도 2에서 도시된 바와 같이 소실점을 공유하는 선(210, 212, 214, 216)들은 하나의 그룹으로 가중치를 부여하여 그룹화 한다. 또한 선(250)는 소실점을 공유하지 아니하므로 다른 그룹으로 정해진다. 이러한 방식에 의해 각 그룹들의 크기를 상대적으로 결정할 수 있고, 크기가 가장 큰 그룹을 바닥결 방향의 선그룹에 해당할 수 있고, 선택되지 아니한 그룹의 선을 노이즈로 처리할 수 있다.One or more lines extracted by the straight line extractor 714 may be grouped according to the direction that the lines face. In other words, as shown in FIG. 2, the lines 210, 212, 214, and 216 sharing vanishing points are grouped by weighting them as one group. Also, line 250 does not share a vanishing point, so it is defined as another group. In this manner, the size of each group can be determined relatively, the largest group can correspond to the line group in the bottom grain direction, and the lines of the unselected group can be treated as noise.

선 필터링부(716)는 로봇이 바닥결을 추종하는 중에 발생하는 노이즈를 효과적으로 제거하는 역할을 한다. 로봇이 일정 각도를 회전하면서 바닥결을 추종하는 경우에 식 5에 따라 로봇의 회전각도와 바닥결의 각도 변화량의 합이 측정치의 오 차를 포함하여 소정의 범위 내이어야 한다. 따라서 로봇이 회전하는 중에 로봇의 회전양과 바닥결의 각도 변화량의 합이 소정의 범위를 넘어서는 경우에 대해서는 바닥결로 추출된 방향이 바닥결 방향으로 인정되지 아니하고 제거할 수 있다.The line filtering unit 716 effectively removes noise generated while the robot follows the bottom grain. When the robot follows the bottom grain while rotating a certain angle, the sum of the rotation angle of the robot and the angle change amount of the bottom grain should be within a predetermined range including the measurement error according to Equation 5. Therefore, when the sum of the rotation amount of the robot and the angle change amount of the bottom grain exceeds a predetermined range while the robot is rotating, the direction extracted as the bottom grain may be removed without being recognized as the bottom grain direction.

본 발명의 청소용 로봇은 저장부를 더 포함할 수 있는데, 저장부는 추출된 바닥결의 방향을 저장할 수 있다. The cleaning robot of the present invention may further include a storage unit, and the storage unit may store the direction of the extracted bottom grain.

바닥결의 방향이 구해지면,구해지며 청소용 로봇은 바닥결을 추종하는 바닥결 추종부(750)에 의해 바닥결 방향에 따라 주행하게 된다. 바닥결 추종부는 추종 제어부(752) 및 칼만 필터부(754)를 포함할 수 있다.When the direction of the bottom grain is obtained, the robot for cleaning is driven along the bottom grain direction by the bottom grain follower 750 following the bottom grain. The bottom grain follower may include a follower control unit 752 and a Kalman filter unit 754.

바닥결이 추출되면 청소용 로봇의 진행방향을 추출된 바닥결 방향으로 향하도록 회전할 수 있다. 바닥결 추종을 위한 추종 제어부(752)는 청소용 로봇을 회전시키기 위해 좌우 바퀴의 회전속도를 이용하여 로봇의 회전양을 조정할 수 있다. 예컨데, 좌우 바퀴를 다른 방향으로 진행시키거나, 어느 한 바퀴의 회전양을 크게 하거나 작게 하는 방법을 사용할 수 있다. When the bottom grain is extracted, the moving direction of the cleaning robot may be rotated to face the extracted bottom grain direction. The tracking controller 752 for following the bottom grain may adjust the amount of rotation of the robot by using the rotation speeds of the left and right wheels to rotate the cleaning robot. For example, a method of advancing the left and right wheels in another direction or increasing or decreasing the amount of rotation of one of the wheels may be used.

바닥결 추종을 위한 추종 제어부(752)는 일정각도를 회전시킨 후에 바닥결을 추종하도록 직진시킬 수 있다. 청소용 로봇의 진행방향이 바닥결의 방향과 일치하거나 또는 진행방향과 바닥결 방향의 차이가 일정한 범위내이면 청소용 로봇은 바닥결 방향으로 주행중이라고 판단하여 전진 또는 후진을 할 수 있다. 다만, 직진을 하는 중이라도 바닥결 추출부에 의해 바닥결을 추출하여 진행방향과 바닥결 방향이 소정의 차이 이상이라면 바닥결을 추종하기 위해 회전을 병행할 수도 있다. 추종 제어부(752)는 청소용 로봇의 구동부에 장착된 모터 또는 엔진 등의 파워를 인가하 는 시스템에 의해 바퀴나 무한퀘도 등의 이송부재를 움직이게 한다.The tracking control unit 752 for following the bottom grain may rotate to follow the bottom grain after rotating a predetermined angle. If the moving direction of the cleaning robot coincides with the direction of the bottom grain or the difference between the moving direction and the bottom grain direction is within a certain range, the cleaning robot may determine that it is traveling in the bottom grain direction and may move forward or backward. However, even while going straight, it is possible to extract the bottom grain by the bottom grain extraction unit, and if the advancing direction and the bottom grain direction are more than a predetermined difference, the rotation may be performed in parallel to follow the bottom grain. The tracking control unit 752 moves the transfer member such as wheels or infinite quedos by a system for applying power such as a motor or an engine mounted on the driving unit of the cleaning robot.

칼만 필터부(754)는 로봇의 바닥결 추종시에 k-번째 스텝에서의 정보를 가지고, k+1번째 스텝에서의 로봇이 향하는 위치 및 방향을 효율적으로 보정하기 위해서 칼만 필터를 적용할 수 있다. 식 (7, 8, 9)을 적용하는 칼만 필터부는 시스템 모델을 이용한 추정치에 칼만 게인에 의한 보상치를 더해 줌으로 인하여 바닥결을 추종하는데 로봇의 위치 및 방향을 효과적으로 보정할 수 있다.The Kalman filter unit 754 has information at the k-th step when following the bottom grain of the robot, and may apply the Kalman filter to efficiently correct the position and direction that the robot faces at the k + 1 step. . The Kalman filter unit applying Equation (7, 8, 9) can effectively correct the position and orientation of the robot to follow the bottom grain by adding the compensation by Kalman gain to the estimate using the system model.

도 10은 본 발명의 일 실시예에 따른 장애물 인식부와 회피부를 더 포함하는 마루 영상 정보를 이용한 청소용 로봇의 블록도를 보여준다.10 is a block diagram of a cleaning robot using floor image information further including an obstacle recognizing unit and an avoiding unit according to an exemplary embodiment of the present invention.

장애물 인식부(810)는 바닥결 추출부로부터 얻어진 바닥결의 방향이 기존의 바닥결의 방향과 비교시에 일정한 차이를 초과하는 경우가 있다. 이러한 경우 이전 바닥결과 다른 방향의 바닥결이 발생하였음을 의미하므로 바닥결이 아닌 장애물로 인식할 수 있다. The obstacle recognizing unit 810 may exceed a predetermined difference in the direction of the bottom grain obtained from the bottom grain extracting unit in comparison with the direction of the existing bottom grain. In this case, it means that the bottom grain in the other direction has occurred as the previous bottom grain, so it can be recognized as an obstacle rather than the bottom grain.

장애물 회피부(850)는 장애물 인식부에 의해 장애물로 인식되는 선을 회피하기 위해 장애물로 인식되는 선 방향으로 청소용 로봇을 회전 시킨 후 소정 간격만큼 직진한다. 소정 간격은 청소용 로봇이 바닥결을 따라 청소할 수 있는 폭에 해당하는 길이가 될 수 있다. 소정 간격을 진직하는 동안 바닥결 추출부에 의해 바닥결 방향을 추출하고, 청소용 로봇은 바닥결 방향을 따라 다시 추종하게 된다.The obstacle avoidance unit 850 rotates the cleaning robot in the direction of the line recognized as the obstacle to avoid the line recognized as the obstacle by the obstacle recognition unit, and then goes straight for a predetermined interval. The predetermined interval may be a length corresponding to the width that the cleaning robot can clean along the floor. The bottom grain direction is extracted by the bottom grain extractor while advancing the predetermined interval, and the cleaning robot follows the bottom grain direction again.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므 로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. It will be understood that the invention may be embodied in other specific forms without departing from the spirit or scope of the invention. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

상기한 바와 같은 본 발명의 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.According to the cleaning robot and the control method of the robot using the floor image information of the present invention as described above has one or more of the following effects.

첫째, 바닥면을 촬영하여 바닥결을 추출하여 추출된 바닥결 방향으로 로봇을 추종하게 함으로써 바닥결의 손상을 방지 할 수 있다.First, it is possible to prevent the damage of the bottom grain by photographing the bottom surface to extract the bottom grain to follow the robot in the extracted bottom grain direction.

둘째, 청소용 로봇의 절대적인 위치 정보를 인식할 필요없이 바닥면의 국부적인 정보를 이용하여 청소구역 내를 균일하게 청소할 수 있다.Second, it is possible to uniformly clean the inside of the cleaning area by using local information on the floor without recognizing the absolute position information of the cleaning robot.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

Claims (30)

(a) 바닥면을 촬영하는 단계;(a) photographing the bottom surface; (b) 상기 촬영된 바닥면의 영상으로부터 바닥결의 방향을 추출하는 단계; 및(b) extracting the direction of the bottom grain from the image of the photographed bottom surface; And (c) 상기 추출된 바닥결 방향으로 청소용 로봇이 추종하는 단계를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.(C) a method for controlling a cleaning robot using the floor image information including the step of following the cleaning robot in the extracted floor grain direction. 제 1항에 있어서, 상기 (b) 단계는 The method of claim 1, wherein step (b) (b1) 상기 촬영된 영상으로부터 하나 이상의 직선을 추출하는 단계; 및(b1) extracting one or more straight lines from the captured image; And (b2) 상기 추출된 선으로부터 바닥결 방향을 결정하는 단계를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.(b2) A control method of a robot for cleaning using floor image information, the method comprising: determining a bottom grain direction from the extracted line. 제 2항에 있어서, 상기 (a) 단계는The method of claim 2, wherein step (a) 청소용 로봇의 전방에 부착되고, 마룻바닥을 촬영할 수 있도록 하향으로 장착된 카메라를 이용하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.A control method of a cleaning robot using floor image information attached to a front of the cleaning robot and mounted downwardly so as to photograph a floor. 제 2항에 있어서, 상기 (b1) 단계는 The method of claim 2, wherein step (b1) 허프 트랜스폼(Hough Transform)을 적용하여 촬영된 이미지로부터 하나 이상의 선을 추출하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.A method of controlling a cleaning robot using floor image information that extracts one or more lines from a photographed image by applying a Hough Transform. 제 4항에 있어서, 상기 (b2) 단계는The method of claim 4, wherein step (b2) 상기 (b1) 단계로부터 추출된 하나 이상의 선을 소정의 방향 특징에 따라 그룹으로 나누어 가중치가 높은 그룹을 바닥결 방향에 해당하는 그룹의 선으로 결정하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.The control method of the cleaning robot using the floor image information by dividing one or more lines extracted from the step (b1) into groups according to a predetermined direction characteristic to determine a group having a high weight as a line of the group corresponding to the floor grain direction. 제 5항에 있어서, 상기 소정의 방향 특징은 6. The method of claim 5, wherein the predetermined directional feature is 상기 추출된 하나 이상의 선이 소실점을 가지는지 여부인 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.The control method of the cleaning robot using the bottom image information whether the extracted one or more lines have a vanishing point. 제 5항에 있어서, 상기 소정의 방향 특징은 6. The method of claim 5, wherein the predetermined directional feature is 상기 추출된 하나 이상의 선들의 방향이 소정의 각도 범위 내에 있는지 여부인 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.The control method of the robot for cleaning using the floor image information whether the direction of the extracted one or more lines is within a predetermined angle range. 제 6항에 있어서, 상기 (b2) 단계에서 상기 바닥결 방향(ρ)는 The method of claim 6, wherein in the step (b2) the bottom grain direction (ρ) is

식을 이용하여 바닥결의 방향이 결정되데, 상기 H는 촬영 영상의 높이, W는 촬영 영상의 가로길이, Kx는 소실점으로 표시되는 x 좌표, Ky는 소실점의 y 좌표인 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.

The direction of the bottom grain is determined using a formula, wherein H is the height of the photographed image, W is the horizontal length of the photographed image, Kx is the x coordinate represented by the vanishing point, and Ky is the cleaning robot using the floor image information of the y coordinate of the vanishing point. Control method. 제 2항 또는 제 8항에 있어서, 상기 (b2) 단계는The method of claim 2 or 8, wherein step (b2) 상기 추출된 직선을 필터링하는 단계를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.Control method of a robot for cleaning using the floor image information comprising the step of filtering the extracted straight line. 제 1항에 있어서, The method according to claim 1, 장애물 인식 단계를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.Control method of a cleaning robot using the floor image information further comprising an obstacle recognition step. 제 10항에 있어서, The method of claim 10, 장애물 회피 단계를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.Control method of a cleaning robot using the floor image information further comprising an obstacle avoidance step. 제 1항에 있어서, 상기 (c) 단계는The method of claim 1, wherein step (c) 진행방향을 변화시키는 회전과 전후방향으로 직진을 수행하는 바닥결 추종을 위한 제어 단계를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.A control method of a robot for cleaning using a floor image information including a control step for performing a rotation to change the direction of progress and the bottom grain tracking to go straight forward and backward direction. 제 12항에 있어서, 상기 바닥결 추종을 위한 제어 단계는The method of claim 12, wherein the controlling step for following the bottom grain 좌측과 우측의 바퀴의 회전속도를 변화시킴으로 직진 또는 회전을 할 수 있는 단계를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.A control method of a robot for cleaning using a floor image information comprising the step of moving straight or rotating by changing the rotational speed of the left and right wheels. 제 12항에 있어서, 상기 (c) 단계는The method of claim 12, wherein step (c) 칼만 필터를 적용하는 단계를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.A control method of a cleaning robot using floor image information, the method further comprising applying a Kalman filter. 제 1항에 있어서, 상기 (b) 단계는The method of claim 1, wherein step (b) 상기 추출된 바닥결의 방향을 저장하는 단계를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇의 제어 방법.The control method of the cleaning robot using the floor image information further comprising the step of storing the extracted floor grain direction. 바닥면을 촬영하는 촬영부;Shooting unit for photographing the bottom surface; 상기 촬영된 영상으로부터 바닥결의 방향을 추출하는 바닥결 추출부; 및A bottom grain extracting unit extracting a direction of a bottom grain from the photographed image; And 상기 추출된 바닥결 방향으로 청소용 로봇이 추종하는 바닥결 추종부를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.A cleaning robot using floor image information including a floor grain follower that the cleaning robot follows in the extracted floor grain direction. 제 16항에 있어서, 상기 바닥결 추출부는 The method of claim 16, wherein the bottom grain extraction unit 상기 촬영된 영상으로부터 하나 이상의 직선을 추출하는 직선 추출부; 및A straight line extracting unit extracting one or more straight lines from the photographed image; And 상기 추출된 선으로부터 바닥결 방향을 결정하는 바닥결 결정부를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the floor image information including a floor determination unit for determining the bottom grain direction from the extracted line. 제 17항에 있어서, 상기 촬영부는 The method of claim 17, wherein the photographing unit 청소용 로봇의 전방에 부착되고, 마룻바닥을 촬영할 수 있도록 하향으로 장 착된 카메라를 이용하는 바닥 영상 정보를 이용하는 청소용 로봇.A cleaning robot that is attached to the front of the cleaning robot and uses floor image information using a camera mounted downward to capture the floor. 제 17항에 있어서, 상기 직선 추출부는 The method of claim 17, wherein the straight line extraction unit 허프 트랜스폼(Hough Transform)을 적용하여 촬영된 이미지로부터 하나 이상의 선을 추출하는 바닥 영상 정보를 이용하는 청소용 로봇.A cleaning robot that uses floor image information to apply one or more lines from a photographed image by applying a Hough Transform. 제 19항에 있어서, 상기 바닥결 결정부는The method of claim 19, wherein the bottom determination unit 상기 추출된 하나 이상의 선을 소정의 방향 특징에 따라 그룹으로 나누어 가중치가 높은 그룹을 바닥결 방향에 해당하는 그룹의 선으로 결정하는 바닥 영상 정보를 이용하는 청소용 로봇.The robot for cleaning uses floor image information by dividing the extracted one or more lines into groups according to predetermined direction characteristics to determine a group having a high weight as a line of a group corresponding to a floor grain direction. 제 20항에 있어서, 상기 소정의 방향 특징은 21. The method of claim 20, wherein the predetermined directional feature is 상기 추출된 하나 이상의 선이 소실점을 가지는지 여부인 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the bottom image information whether the extracted one or more lines have a vanishing point. 제 20항에 있어서, 상기 소정의 방향 특징은 21. The method of claim 20, wherein the predetermined directional feature is 상기 추출된 하나 이상의 선들의 방향이 소정의 각도 범위 내에 있는지 여부인 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the bottom image information whether the direction of the extracted one or more lines is within a predetermined angle range. 제 21항에 있어서, 상기 바닥결 결정부에서 상기 바닥결 방향(ρ)는 22. The method of claim 21, wherein the bottom grain direction (ρ) in the bottom grain determiner

식을 이용하여 바닥결의 방향이 결정되데, 상기 H는 촬영 영상의 높이, W는 촬영 영상의 가로길이, Kx는 소실점으로 표시되는 x 좌표, Ky는 소실점의 y 좌표인 바닥 영상 정보를 이용하는 청소용 로봇.

The direction of the bottom grain is determined using a formula, wherein H is the height of the photographed image, W is the horizontal length of the photographed image, Kx is the x coordinate represented by the vanishing point, and Ky is the cleaning robot using the floor image information of the y coordinate of the vanishing point. . 제 17항 또는 제 23항에 있어서, 상기 바닥결 결정부는24. The method of claim 17 or 23, wherein the bottom determination unit 상기 추출된 직선을 필터링하는 선 필터링부를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the floor image information further comprises a line filtering unit for filtering the extracted straight line. 제 16항에 있어서, 17. The method of claim 16, 장애물 인식부를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using floor image information further comprising an obstacle recognition unit. 제 25항에 있어서, 26. The method of claim 25, 장애물 회피부를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using floor image information further comprising an obstacle avoidance unit. 제 16항에 있어서, 상기 바닥결 추종부는The method of claim 16, wherein the bottom grain follower 진행방향을 변화시키는 회전과 전후방향으로 직진을 할 수 있는 바닥결 추종을 위한 추종 제어부를 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.A robot for cleaning using floor image information including a tracking control unit for rotating the floor to change the direction of movement and the bottom grain tracking that can go straight forward and backward. 제 27항에 있어서, 상기 바닥결 추종을 위한 추종 제어부는28. The method of claim 27, wherein the following control unit for following the bottom grain 좌측과 우측의 바퀴의 회전속도를 변화시킴으로 직진 또는 회전을 할 수 있는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using floor image information that can go straight or rotate by changing the rotation speed of left and right wheels. 제 27항에 있어서, 상기 바닥결 추종부는28. The method of claim 27, wherein the bottom grain follower 칼만 필터부 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the bottom image information Kalman filter unit further included. 제 16항에 있어서,17. The method of claim 16, 상기 추출된 바닥결의 방향을 저장하는 저장부를 더 포함하는 바닥 영상 정보를 이용하는 청소용 로봇.Cleaning robot using the floor image information further comprises a storage unit for storing the direction of the extracted floor texture.

Images