KR20210059839A - Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same - Google Patents
Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same Download PDFInfo
- Publication number
- KR20210059839A KR20210059839A KR1020190146641A KR20190146641A KR20210059839A KR 20210059839 A KR20210059839 A KR 20210059839A KR 1020190146641 A KR1020190146641 A KR 1020190146641A KR 20190146641 A KR20190146641 A KR 20190146641A KR 20210059839 A KR20210059839 A KR 20210059839A
- Authority
- KR
- South Korea
- Prior art keywords
- grass
- lawn
- area
- unit
- boundary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 241000196324 Embryophyta Species 0.000 claims abstract description 60
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 241000209504 Poaceae Species 0.000 claims abstract description 4
- 244000025254 Cannabis sativa Species 0.000 claims description 137
- 238000005516 engineering process Methods 0.000 claims description 42
- 238000010191 image analysis Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000009333 weeding Methods 0.000 description 3
- 238000009966 trimming Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
- Harvester Elements (AREA)
Abstract
Description
본 발명은 잔디 깎기 장치에 관한 것으로, 구체적으로 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법에 관한 것이다.The present invention relates to a lawn mowing apparatus, and in particular, a lawn mower using image processing on a lawn boundary line to enable efficient work motion control by generating a moving path and an active region by analyzing an image captured in a work area, and its It relates to the control method.
잔디 깎기 장치(lawn mower)는 가정의 마당이나 운동장 등에 심어진 잔디를 다듬기 위한 장치이다. 이러한 잔디깎기 장치는 가정에서 사용된 가정용과, 넓은 운동장이나 넓은 농장에서 사용되는 트랙터용 등으로 구분되기도 한다.The lawn mower is a device for trimming the lawn planted in the yard or playground of a home. These lawnmowers are also classified into households used in homes and tractors used in large playgrounds or large farms.
가정용 잔디 깎기 장치에는 사람이 직접 잔디 깎기를 뒤에서 끌고 다니며 잔디를 깍는 워크 비하인드(walk behind)타입과, 사람이 직접 손으로 들고 다니는 핸드 타입이 존재한다.There are two types of domestic lawn mowers: a walk behind type, in which a person pulls the lawn mower directly from behind and mows the lawn, and a hand type that a person carries by hand.
그러나 두 타입의 잔디 깎기 장치 모두 사람이 직접 잔디 깎기 장치를 작동시켜야 하는 번거로움이 있다.However, both types of lawn mowers have the hassle of having to operate the lawn mower by hand.
특히, 현대의 바쁜 일상 속에서 잔디 깎기 장치를 사용자가 직접 작동하여 마당의 잔디를 깍기 어려우므로, 잔디를 깍을 외부의 사람을 고용하는 것이 대부분이고, 이에 따른 고용 비용이 발생된다.In particular, since it is difficult to mow the lawn in the yard by the user directly operating the lawn mower in the busy daily life of the modern day, it is most likely to hire an outside person to mow the lawn, resulting in hiring costs.
따라서, 이러한 추가적인 비용의 발생을 방지하고 사용자의 수고로움을 덜기 위한 자동로봇타입의 잔디 깎기 장치가 개발되고 있다.Therefore, an automatic robot-type lawn mower has been developed to prevent the occurrence of such additional costs and to reduce the user's labor.
잔디 깍기 장치는 일반 가정의 마당이나 혹은 운동장과 같은 심어진 잔디를 다듬기 위한 장비이다. 이러한 기기에 최근 자율주행의 기술의 발달로 인해 더 이상 인간이 직접 이 장비를 사용하여 잔디를 다듬지 않아도 된다.The lawnmower is an equipment for trimming planted lawns such as the yard or playground of a general home. Due to the recent advances in autonomous driving technology in these devices, humans no longer have to use these devices to trim the lawn.
종래 기술의 잔디 깍기 로봇은 잔디 경계를 구분하는 바운더리(Boundary) 전력선을 따로 설치하여, 로봇이 제초작업을 하다 이 선을 넘지 않도록 유도하는 기술이 사용되고 있다.In the conventional lawnmowing robot, a boundary power line that separates the boundary of the lawn is separately installed, and a technique of inducing the robot not to cross this line during weeding is used.
이와 같이 종래 기술의 잔디 깍기 로봇은 잔디와 잔디가 아닌 일반 길거리에 대한 구분점에 대한 인식을 위하여 바운더리(Boundary) 전력선을 따로 설치하여 전력을 흘려보내어 잔디와 잔디가 아닌 길에 대한 구분 점을 만들었다.In this way, the conventional lawnmower robot made a division point for the lawn and the road other than the lawn by separately installing a boundary power line to transmit power to recognize the division point for the general street other than the lawn and the lawn. .
이는 잔디 깍기 로봇의 구입에 추가하여 바운더리(Boundary) 전력선 설치 공사를 하여야 하므로 비용 증가, 잔디 영역의 훼손, 미관 저해 등의 문제를 발생시키게 된다.In addition to the purchase of a lawnmower robot, it is necessary to install a boundary power line, resulting in problems such as an increase in cost, damage to the lawn area, and impairment of aesthetics.
따라서, 잔디 깍기 로봇의 자율 주행을 위한 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new technology for autonomous driving of a lawnmower robot.
본 발명은 종래 기술의 잔디 깎기 장치의 문제점을 해결하기 위한 것으로, 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the conventional lawn mowing apparatus, by analyzing the image captured of the work area to generate a moving path and an active area, using image processing for the lawn boundary to enable efficient work motion control. An object thereof is to provide a lawnmower robot and a control method thereof.
본 발명은 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention applies an image processing technology that distinguishes grass and non-grass points by using a camera when a lawnmower is operating in a work area, thereby enabling efficient driving and motion control of the lawnmower robot. An object thereof is to provide a lawnmower robot using image processing and a control method thereof.
본 발명은 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하여 잔디 상태 관리의 효율성을 높이고, 거주자의 관리 스트레스를 줄일 수 있도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention is an image processing technology and deep learning technology that uses image processing on the grass boundary, which enables the robot to constantly manage the grass state by learning about the grass state by itself, thereby increasing the efficiency of the grass state management and reducing the management stress of residents. An object thereof is to provide a lawnmower robot and a control method thereof.
본 발명은 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 것에 의해 사용자의 편리성을 높일 수 있도록 한 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention is a lawnmower robot using image processing for a lawn boundary line and its control so that the user's convenience can be improved by automatically performing a task within a specified range by designating a working area range. Its purpose is to provide a method.
본 발명은 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분할 수 있도록 하여 잔디 관리의 효율성을 높인 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention uses image processing technology and deep learning technology to provide image processing for grass boundary lines, which improves the efficiency of grass management by allowing plants in the grass field to be classified as grass and non-grass, using features previously learned about grass. An object thereof is to provide a lawnmower using a lawnmower and a control method thereof.
본 발명은 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 것에 의해 잔디깍기 로봇의 주행 안정성 및 작업 효율성을 높인 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법을 제공하는데 그 목적이 있다.The present invention uses image processing technology and deep learning technology to memorize area characteristics such as the average running speed of the area, the presence of obstacles, and the amount of grass removed, and the driving stability and work efficiency of the lawnmower by performing obstacle avoidance driving. It is an object of the present invention to provide a lawnmower robot and a control method thereof using image processing for a lawn boundary line with an increased value.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부;작업영역 촬영부에서 촬영된 영상을 분석하는 영상 분석부;영상 분석부의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부;영상 분석부의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부;잔디 경계선 산출부에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부;작업 영역 지정 및 이동경로 생성부에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부;를 포함하는 것을 특징으로 한다.A lawnmower robot using image processing on a lawn boundary line according to the present invention for achieving the above object comprises: a working area photographing unit installed in the main body of the lawnmower to capture an entire area of the working area before starting work; An image analysis unit that analyzes the image captured by the area photographing unit; based on the analysis result of the image analysis unit, using the features learned in advance about the grass, classifies the plants in the lawn as grass and non-grass and determines the condition of the lawn. A plant characteristic determination unit to perform; A grass boundary line calculation unit that calculates a grass boundary line based on the analysis result of the image analysis unit; A work area is designated based on the grass boundary line calculated by the grass boundary line calculation unit, and a movement path for the work is generated. It characterized in that it comprises a; work area designation and movement path generation unit; Travel and work control unit for controlling for performing a lawnmowing operation while driving the area and movement path designated by the work area designation and movement path generation unit; and characterized in that it comprises a.
여기서, 잔디 경계선 산출부는, 작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나, 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 한다.Here, the grass boundary calculation unit calculates the grass boundary by recognizing only the corresponding area as grass when color data of the green color series is recognized in the image captured by the work area photographing unit, When the color of is detected, the grass boundary is calculated by recognizing the corresponding area as a non-grass area, or the grass boundary is calculated based on the result of dividing the plants in the lawn as grass and non-grass by the plant characteristic determination unit. It is done.
그리고 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면, 촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 한다.In addition, when a color other than grass is detected in the image captured by the work area imaging unit, the grass-mower robot recognizes the distance to the boundary point using the shooting point as the origin, and makes the lawnmower move around this distance. When the area point of is measured, it is characterized in that it operates again through measurement to calculate the lawn boundary line.
그리고 상기 주행 및 작업 제어부의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습부와, 영역 특성 학습부에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공부를 더 포함하는 것을 특징으로 한다.And while performing the lawn mowing operation under the control of the driving and operation control unit, the work area photographing unit continues to take pictures, and using image processing technology and deep learning technology, the average driving speed of the area, presence or absence of obstacles, and the amount of grass removal are areas. Further comprising a region characteristic learning unit for learning characteristics, and a region characteristic storage and providing unit that stores the region characteristics learned by the region characteristic learning unit and provides a driving and operation control unit for control to perform a lawn mowing operation. It is done.
그리고 영역 특성 학습부는 특정 영역의 이전 작업시에 촬영된 영상과 현재 작업중에 촬영된 영상을 비교하여 영역 변화 특성을 학습을 하는 것을 특징으로 한다.In addition, the region characteristic learning unit is characterized in that it learns region change characteristics by comparing an image photographed during a previous operation of a specific region with an image photographed during a current operation.
그리고 상기 작업영역 촬영부에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 장애물 검출부를 더 포함하는 것을 특징으로 한다.And it characterized in that it further comprises an obstacle detection unit for detecting an obstacle positioned on the path when the lawnmowing operation is performed based on the analysis result of the image captured by the work area photographing unit and the detection signal through the ultrasonic sensor.
그리고 잔디 작업 영역내의 지정 영역에 무선 충전 스케이션을 구비하여 잔디깍기 로봇이 충전 상태에 따라 자동으로 복귀하여 충전 및 작업 개시를 하는 것을 특징으로 한다.In addition, a wireless charging station is provided in a designated area within the grass working area, so that the lawnmower robot automatically returns according to the charging state to charge and start the work.
다른 목적을 달성하기 위한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법은 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영 단계;작업영역 촬영 단계에서 촬영된 영상을 분석하는 영상 분석 단계;영상 분석 단계의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단 단계;영상 분석 단계의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출 단계;잔디 경계선 산출 단계에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성 단계;작업 영역 지정 및 이동경로 생성 단계에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어 단계;를 포함하는 것을 특징으로 한다.A control method of a lawnmower robot using image processing on a lawn boundary line according to the present invention for achieving another object comprises: a working area photographing step of being installed on a main body of the lawnmower to capture an entire area of the working area before starting work; An image analysis step that analyzes the image captured in the work area photographing step; Based on the analysis result of the image analysis step, using the features learned in advance about the lawn, classify the plants in the lawn into lawns and non-grass and state the lawn. A plant characteristic determination step of judging; a grass boundary calculation step of calculating a grass boundary line based on the analysis result of the image analysis step; designating a work area based on the grass boundary line calculated in the grass boundary line calculation step, and a moving path for the work A working area designation and movement path generation step of generating; A driving and operation control step of performing a lawnmowing operation while driving the designated area and movement path in the work area designation and movement path generation step; It is done.
여기서, 잔디 경계선 산출 단계는,작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 한다.Here, in the step of calculating the grass boundary, when the green color data of the grass index is recognized in the image taken by the work area photographing unit, only the corresponding area is recognized as grass to calculate the grass boundary, or When a color other than that is detected, the grass boundary is calculated by recognizing the area as a non-grass area, or calculating the grass boundary based on the result of dividing the plants in the lawn as grass and non-grass by the plant characteristic determination unit. It is characterized.
그리고 작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면,촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 한다.In addition, when a color other than grass is detected in the image captured by the work area imaging unit, the grass-mower robot recognizes the distance to the boundary point using the shooting point as the origin, and makes the lawnmower move around this distance. When the area point of is measured, it is characterized in that it operates again through measurement to calculate the lawn boundary line.
그리고 식물 특성 판단 단계에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면 이종 식물 제거 및 재탐색 과정을, 이종 식물 제거를 하고, 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하는 단계와,재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고,잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 단계를 포함하여 수행하는 것을 특징으로 한다.In addition, if it is determined that other plants other than grass are found in the plant characteristic determination stage, the process of removing and re-searching the heterogeneous plant, removing the heterogeneous plant, and recognizing the distance to the boundary point using the shooting point as the origin, the lawnmower robot If more plants other than grass are found in the step of re-searching with the focus of distance and re-searching, the process of removing xenografts and re-searching is performed again, and no other plants other than grass are found. If not, it is characterized in that performing, including the step of performing a lawnmowing operation again by returning to the first heterogeneous plant discovery point.
그리고 상기 주행 및 작업 제어 단계의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습 단계와, 영역 특성 학습 단계에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공 단계를 더 포함하는 것을 특징으로 한다.And while performing the lawn mowing operation under the control of the driving and operation control steps, the work area photographing unit continuously photographs, and using image processing technology and deep learning technology, the average driving speed of the area, presence or absence of obstacles, and grass removal amount are determined. Further comprising a region characteristic learning step of learning the region characteristic, and a region characteristic storing and providing step of storing the region characteristic learned in the region characteristic learning step and providing the driving and operation control unit for control to perform a lawn mowing operation. It is characterized by that.
그리고 상기 작업영역 촬영 단계에서 촬영된 영상 분석 결과 및 초음파 센서를 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 단계를 더 포함하는 것을 특징으로 한다.And it characterized in that it further comprises the step of detecting an obstacle positioned on the path when the lawnmowing operation is performed based on the image analysis result photographed in the work area photographing step and the detection signal through the ultrasonic sensor.
이상에서 설명한 바와 같은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 다음과 같은 효과가 있다.As described above, the lawnmower robot and its control method using image processing for a lawn boundary line according to the present invention have the following effects.
첫째, 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하여 효율적인 작업 동작 제어가 가능하도록 한다.First, by analyzing the image captured by the work area, a movement path and an activity area are generated, so that efficient work operation control is possible.
둘째, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한다.Second, when the lawnmower robot operates in the work area, an image processing technology that automatically separates grass and non-grass points using a camera enables efficient driving and motion control of the lawnmower robot.
셋째, 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하여 잔디 상태 관리의 효율성을 높이고, 거주자의 관리 스트레스를 줄일 수 있도록 한다.Third, by using image processing technology and deep learning technology, the robot can continuously manage the turf condition by learning about the turf condition by itself, thereby increasing the efficiency of turf condition management and reducing the management stress of residents.
넷째, 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 것에 의해 사용자의 편리성을 높일 수 있도록 한다.Fourth, by designating the work area range, the lawnmower robot automatically performs work only within the designated range, thereby improving the user's convenience.
다섯째, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분할 수 있도록 하여 잔디 관리의 효율성을 높인다.Fifth, by using the features learned about grass in advance using image processing technology and deep learning technology, the efficiency of grass management is improved by allowing plants in the grass field to be classified as grass and non-grass.
여섯째, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 것에 의해 잔디깍기 로봇의 주행 안정성 및 작업 효율성을 높인다.Sixth, using image processing technology and deep learning technology, it remembers the characteristics of the area, such as the average driving speed of the area, the presence of obstacles, and the amount of grass removed, and improves the driving stability and work efficiency of the lawnmower by performing obstacle avoidance driving. Raise.
도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 구성도
도 2는 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 전체 구성 블록도
도 3은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성 블록도
도 4내지 도 6은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 나타낸 플로우 차트
도 7은 잡초로 의심되는 식물을 발견했을 때의 잔디깍기 로봇의 동작의 일 예를 나타낸 구성도1 is a block diagram showing an example of calculating a lawn boundary line using image processing of a lawnmower according to the present invention.
Figure 2 is a block diagram of the overall configuration of a lawnmower robot using image processing for a lawn boundary line according to the present invention
3 is a detailed block diagram of a lawnmower robot using image processing for a lawn boundary line according to the present invention
4 to 6 are flow charts showing a control method of a lawnmower robot using image processing for a lawn boundary line according to the present invention.
7 is a block diagram showing an example of the operation of a lawnmower robot when a plant suspected of weeds is found
이하, 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a lawnmower robot using image processing for a lawn boundary line and a control method thereof according to the present invention will be described in detail as follows.
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the lawnmower robot and its control method using image processing for a lawn boundary line according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 구성도이고, 도 2는 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 전체 구성 블록도이다.FIG. 1 is a block diagram showing an example of calculating a lawn boundary line using image processing of a lawnmower according to the present invention, and FIG. 2 is a block diagram showing the overall configuration of a lawnmower using image processing on the lawn boundary line according to the present invention. to be.
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하는 것으로, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 것이다.A lawnmower robot using image processing on a lawn boundary according to the present invention and a control method thereof are to generate a movement path and an active region by analyzing an image photographed in a working area. When the lawnmower robot operates in the working area, a camera By applying an image processing technology that distinguishes grass and non-turf spots by itself, efficient driving and motion control of the lawnmower robot is possible.
이를 위하여, 본 발명은 영상처리 기술과 딥러닝 기술로 로봇이 스스로 잔디 상태에 대한 학습을 통하여 상시 관리를 하는 구성 및 작업 구역 범위를 지정하는 것에 의해 잔디깍기 로봇이 자동으로 지정 범위내에서만 작업을 수행하는 구성을 포함할 수 있다.To this end, the present invention uses image processing technology and deep learning technology to designate a configuration and work area range in which the robot always manages itself through learning about the state of the grass, so that the lawnmower robot automatically performs tasks only within the specified range. It may include a configuration that performs.
특히, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하는 구성을 포함할 수 있다.In particular, it may include a configuration for classifying plants in a lawn into lawns and non-grasses by using features previously learned about lawns with image processing technology and deep learning technology.
본 발명은 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 기억하고, 장애물 회피 주행을 하는 구성을 포함할 수 있다.The present invention may include a configuration for storing area characteristics such as an average driving speed of a corresponding area, presence or absence of an obstacle, and an amount of grass removal by using image processing technology and deep learning technology, and performing obstacle avoidance driving.
본 발명은 잔디 작업 영역내의 지정 영역에 무선 충전 스케이션을 구비하여 잔디깍기 로봇이 충전 상태에 따라 자동으로 복귀하여 충전 및 작업 개시를 할 수 있도록 하는 구성을 포함할 수 있다.The present invention may include a configuration in which a wireless charging station is provided in a designated area within a grass working area so that the lawnmower robot can automatically return to charge and start work according to the charging state.
도 1은 본 발명에 따른 잔디깍기 로봇의 영상처리를 이용하는 잔디경계선 산출의 일 예를 나타낸 것으로, 잔디깍기 로봇 본체에 카메라를 가지고 있으며, 카메라로부터 받아온 영상은 잔디의 색상을 구별하여 경계점을 구분한다.1 shows an example of calculating a lawn boundary line using image processing of a lawnmower according to the present invention. A camera is provided in the main body of the lawnmower, and an image received from the camera distinguishes the color of the lawn to distinguish boundary points. .
잔디경계선 산출을 위한 구분 방법은 다음과 같다.The classification method for calculating the lawn boundary line is as follows.
첫째, 카메라로 측정되는 화면에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면, 그곳은 잔디로 인식한다.First, if the green color data of the grass color is recognized on the screen measured by the camera, it is recognized as grass.
둘째, 카메라로 측정되는 화면에서 잔디이외의 색상이 들어왔을 경우 카메라 촬영시점을 원점으로 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출을 한다.Second, when a color other than grass comes in from the screen measured by the camera, the lawnmower robot moves the distance to the boundary point by recognizing the distance to the boundary point from the camera shooting point. If the point is measured, it operates through measurement again and calculates the lawn boundary line.
셋째, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한다. Third, using the features learned about grass in advance with image processing technology and deep learning technology, plants in the grass field are classified into grass and non-grass.
잔디깍기 로봇이 '잔디'가 아닌 식물을 발견했을 때, 일정 범위내의 잔디가 아닌 식물의 유무를 확인 후 일정 범위 안에 있는 식물이외의 식물을 제거할 수 있도록 한다.When the lawnmower robot finds a plant that is not'grass', it checks the presence of non-grass plants within a certain range, and then allows it to remove plants other than those within a certain range.
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 도 2에서와 같이, 잔디경계선 산출을 위한 작업 영역의 촬영을 위한 카메라 및 주행 제어, 장애물 검출, 제초 작업 제어를 위한 센서들과, 카메라 및 센서에 의해 영상 분석 및 센싱 신호에 의한 이동 경로 생성 및 작업 영역 지정을 하는 이동경로 및 활동영역 생성기와, 잔디깍기 작업을 위한 이동 및 제초 작업 진행을 제어하는 차량 제어기와, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고, 장애물 인식을 하는 장애물 및 이종 식물 인식기와, 영상처리기술과 딥러닝 기술로 잔디에 관하여 미리 학습시킨 특징들의 저장 및 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 저장하는 메모리를 포함한다.As shown in FIG. 2, the lawnmower robot using image processing for a lawn boundary line according to the present invention includes a camera for photographing a work area for calculating a lawn boundary line, and sensors for driving control, obstacle detection, and weeding operation control, A movement path and activity area generator that creates a movement path and designates a work area by analyzing an image by a camera and a sensor and a sensing signal, a vehicle controller that controls the movement and weeding work for lawn mowing, and an image processing technology department. Using the features learned about grass in advance with deep learning technology, plants in the grass field are classified into grass and non-grass, and obstacles and heterogeneous plant recognizers that recognize obstacles, and image processing technology and deep learning technology are used to identify the grass. It includes a memory for storing characteristics of areas such as the average driving speed of the area, the presence or absence of obstacles, and the amount of grass removal using deep learning technology and image processing technology and storage of features learned in advance.
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성을 설명하면 다음과 같다.A detailed configuration of a lawnmower robot using image processing for a lawn boundary line according to the present invention will be described as follows.
도 3은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 상세 구성 블록도이다.3 is a detailed block diagram of a lawnmower using image processing for a lawn boundary line according to the present invention.
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇은 도 3에서와 같이, 잔디깍기 로봇의 본체에 설치되어 작업 개시 이전에 작업 영역의 전체 영역을 촬상하는 작업영역 촬영부(10)와, 작업영역 촬영부(10)에서 촬영된 영상을 분석하는 영상 분석부(20)와, 영상 분석부(20)의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부(30)와, 영상 분석부(20)의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부(40)와, 잔디 경계선 산출부(40)에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부(50)와, 작업 영역 지정 및 이동경로 생성부(50)에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부(60)와, 주행 및 작업 제어부(60)의 제어에 의해 잔디깍기 작업을 수행하면서 작업영역 촬영부(10)는 계속 촬영을 하고, 영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량 등의 영역 특성을 학습하는 영역 특성 학습부(70)와, 영역 특성 학습부(70)에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부(60)로 제공하는 영역 특성 저장 및 제공부(80)와, 작업영역 촬영부(10)에서 촬영된 영상 분석 결과 및 초음파 센서 등을 통한 감지 신호를 기초하여 잔디깍기 작업을 수행시에 경로상에 위치하는 장애물을 검출하는 장애물 검출부(90)를 포함한다.As shown in FIG. 3, the lawnmower robot using image processing on the lawn boundary line according to the present invention includes a working
본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 구체적으로 설명하면 다음과 같다.A method of controlling a lawnmower robot using image processing on a lawn boundary line according to the present invention will be described in detail as follows.
도 4내지 도 6은 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법을 나타낸 플로우 차트이고, 도 7은 잡초로 의심되는 식물을 발견했을 때의 잔디깍기 로봇의 동작의 일 예를 나타낸 구성도이다.4 to 6 are flow charts showing a control method of a lawnmower robot using image processing for a lawn boundary line according to the present invention, and FIG. 7 is an operation of the lawnmower robot when a plant suspected of weeds is found. It is a configuration diagram showing an example.
도 4는 영상 분석 및 잔디 인식 과정을 나타낸 것이다.4 shows an image analysis and grass recognition process.
먼저, 작업영역 촬영부(10)에서 전체 잔디깍기 작업 영역을 촬영하고(S401), 촬영된 영상을 영상 분석부(20)에서 분석을 하는 단계(S401)와, 영상 분석부(20)에서 분석된 결과를 기준으로 잔디경계선을 산출하는 단계(S403)와, 잔디 경계선 산출부(40)에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 단계(S404)와, 잔디깍기 작업을 수행하면서 작업영역 촬영부(10)는 계속 촬영을 하고 영상 분석 결과를 경로상에 위치하는 장애물을 검출하는 장애물 검출부(90) 및 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부(30)로 전송하는 단계(S405)를 포함한다.First, the whole lawnmowing work area is photographed by the work area photographing unit 10 (S401), and the captured image is analyzed by the image analysis unit 20 (S401), and the
도 5는 잔디가 아닌 식물 검출 및 장애물 회피 방법을 나타낸 것이다.5 shows a method of detecting plants other than grass and avoiding obstacles.
먼저, 촬영된 영상을 영상 분석부(20)에서 분석을 하여 잔디 인식이 이루어지면(S501), 식물 특성 판단부(30)에서 잔디를 구분하는 단계(S502)와, 영상내에서 잔디 영역을 검출하고(S503), 해당 잔디 영역에서 제초기를 작동하는 단계(S504)와, 작업 영역 지정 및 이동경로 생성부(50)에서 생성된 경로를 주행하면서(S505) 장애물이 검출되면(S506) 회피 주행을 하고, 최종 목적지까지 이동하면서 잔디깍기 작업을 수행하는 단계(S507)를 포함한다.First, when grass is recognized by analyzing the captured image in the image analysis unit 20 (S501), the step of classifying grass in the plant characteristic determination unit 30 (S502) and detecting a grass area in the image And (S503), operating the mower in the corresponding turf area (S504), and while driving the path generated by the work area designation and movement path generation unit 50 (S505), when an obstacle is detected (S506), avoidance driving is performed. And performing a lawnmowing operation while moving to the final destination (S507).
여기서, 식물 특성 판단부(30)에서 잔디를 구분하는 단계(S502)에서 잔디 이외의 다른 식물이 발견된 것으로 판단되면 도 6 및 도 7에서 나타낸 이종 식물 제거 및 재탐색 과정을 수행한다.Here, when it is determined that other plants other than the grass are found in the step S502 of classifying the grass in the plant
이종 식물 제거 및 재탐색 과정은 도 6에서와 같이, 이종 식물 제거를 하고(S601), 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하는 단계(S602)와, 재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고, 잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 단계(S604)를 포함한다.In the process of removing and re-searching heterogeneous plants, as shown in FIG. 6, removing the heterogeneous plants (S601), recognizing the distance to the boundary point using the shooting point as the origin, and causing the lawnmower to move around this distance and re-searching. If other plants other than grass are found in the step (S602) and the step of re-searching, the xenogeneic plant removal process and the re-search process are performed again, and if no other plants other than the grass are found, the first heterogeneous plant discovery point Returning to and performing the lawnmowing operation again (S604).
이상에서 설명한 본 발명에 따른 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법은 작업 영역을 촬영한 영상을 분석하여 이동경로 및 활동 영역을 생성하는 것으로, 잔디깍기 로봇이 작업 영역에서 동작할때 카메라를 이용하여 잔디와 잔디가 아닌 지점을 스스로 구분하는 영상처리 기술을 적용하여 잔디깍기 로봇의 효율적인 주행 및 동작 제어가 가능하도록 한 것이다.The lawnmower robot and its control method using image processing on the lawn boundary according to the present invention described above are to generate a movement path and an active region by analyzing an image photographed in the working area, and the lawnmower is operated in the working area. This is to enable efficient driving and motion control of the lawnmower robot by applying an image processing technology that uses a camera to distinguish grass and non-grass points by itself.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto are included in the present invention. It will have to be interpreted.
10. 작업영역 촬영부 20. 영상 분석부
30. 식물 특성 판단부 40. 잔디 경계선 산출부
50. 작업 영역 지정 및 이동경로 생성부 60. 주행 및 작업 제어부
70. 영역 특성 학습부 80. 영역 특성 저장 및 제공부
90. 장애물 검출부10. Work
30. Plant
50. Work area designation and movement
70. Area
90. Obstacle detection unit
Claims (13)
작업영역 촬영부에서 촬영된 영상을 분석하는 영상 분석부;
영상 분석부의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단부;
영상 분석부의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출부;
잔디 경계선 산출부에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성부;
작업 영역 지정 및 이동경로 생성부에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어부;를 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.A work area photographing unit installed on the main body of the lawnmower to capture an entire area of the work area before starting the work;
An image analysis unit that analyzes an image captured by the work area photographing unit;
A plant characteristic determination unit for classifying plants in the lawn into lawns and non-grasses and determining a state of the lawn by using features previously learned about the lawn based on the analysis result of the image analysis unit;
A grass boundary calculation unit that calculates a grass boundary line based on the analysis result of the image analysis unit;
A work area designation and movement path generation unit that designates a work area based on the grass boundary line calculated by the grass boundary line calculation unit and generates a movement path for the work;
A lawnmower using image processing for a lawn boundary line, comprising: a driving and operation control unit that controls the operation area designation and movement path generation unit to perform a lawnmowing operation while driving the specified area and movement path. .
작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,
작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,
식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.The method of claim 1, wherein the lawn boundary calculation unit,
When the green color data of the grass index is recognized in the image taken by the working area photographing unit, only the corresponding area is recognized as grass and the grass boundary is calculated, or
When a color other than grass is detected in the image captured by the working area imaging unit, the corresponding area is recognized as an area other than grass and a grass boundary is calculated, or
A lawnmower robot using image processing for a lawn boundary line, characterized in that a lawn boundary line is calculated based on a result of dividing the plants in the lawn into grass and non-grass by the plant characteristic determination unit.
촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.The method of claim 2, wherein when a color other than grass is detected in an image photographed by the work area photographing unit,
By recognizing the distance to the boundary point with the shooting point as the origin, the lawnmower robot moves this distance as the center, and if the area point of the lawn is measured even though it reaches the measured distance, it operates again through measurement to calculate the lawn boundary A lawnmower robot using image processing for a lawn boundary line, characterized in that.
영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습부와,
영역 특성 학습부에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공부를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇.The method of claim 1, wherein the work area photographing unit continuously photographs while performing the lawn mowing operation under the control of the driving and operation control unit,
An area characteristic learning unit that learns the area characteristics of the average running speed of the area, the presence of obstacles, and the amount of grass removed by using image processing technology and deep learning technology,
Using the image processing for the grass boundary, characterized in that it further comprises a region characteristic storage and provision unit that stores the region characteristic learned by the region characteristic learning unit and provides the driving and operation control unit for control to perform the lawnmowing operation. Lawn mower robot.
작업영역 촬영 단계에서 촬영된 영상을 분석하는 영상 분석 단계;
영상 분석 단계의 분석 결과를 기준으로 잔디에 관하여 미리 학습시킨 특징들을 이용하여, 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분하고 잔디 상태를 판단하는 식물 특성 판단 단계;
영상 분석 단계의 분석 결과를 기준으로 잔디경계선을 산출하는 잔디 경계선 산출 단계;
잔디 경계선 산출 단계에서 산출된 잔디 경계선을 기준으로 작업 영역을 지정하고, 작업을 위한 이동 경로를 생성하는 작업 영역 지정 및 이동경로 생성 단계;
작업 영역 지정 및 이동경로 생성 단계에서 지정된 영역 및 이동경로를 주행하면서 잔디깍기 작업을 수행하기 위한 제어를 하는 주행 및 작업 제어 단계;를 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.A working area photographing step installed in the main body of the lawnmower to capture an entire area of the working area before starting the work;
An image analysis step of analyzing an image captured in the work area photographing step;
A plant characteristic determination step of classifying the plants in the lawn as grass and non-grass and determining a state of the lawn using the features learned in advance about the lawn based on the analysis result of the image analysis step;
A grass boundary calculation step of calculating a grass boundary line based on the analysis result of the image analysis step;
Designating a work area and generating a movement path for designating a work area based on the grass boundary line calculated in the grass boundary calculation step and generating a movement path for the work;
A driving and operation control step of performing a lawnmowing operation while driving a designated area and a movement path in the step of designating a work area and generating a movement path; How to control the robot.
작업영역 촬영부에서 촬영된 영상에서 잔디 색인 초록색 계열의 색상 데이터가 인식되면 해당 영역만을 잔디로 인식하여 잔디 경계선을 산출하거나,
작업영역 촬영부에서 촬영된 영상에서 잔디 이외의 색상이 검출되면 해당 영역을 잔디가 아닌 영역으로 인식하여 잔디 경계선을 산출하거나,
식물 특성 판단부에서 잔디밭에 있는 식물들을 잔디와 잔디가 아닌 것으로 구분한 결과를 기준으로 잔디 경계선을 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.The method of claim 8, wherein the step of calculating the lawn boundary,
When the green color data of the grass index is recognized in the image taken by the working area photographing unit, only the corresponding area is recognized as grass and the grass boundary is calculated, or
When a color other than grass is detected in the image captured by the working area imaging unit, the corresponding area is recognized as an area other than grass and a grass boundary is calculated, or
A control method of a lawnmower robot using image processing for a lawn boundary line, characterized in that a lawn boundary line is calculated based on a result of dividing the plants in the lawn into grass and non-grass by the plant characteristic determination unit.
촬영 지점을 원점으로하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며, 측정된 거리만큼 도달 했음에도 잔디의 영역점이 측정이 될 경우 다시 한 번 측정을 통하여 작동하여 잔디경계선 산출하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.The method of claim 9, wherein when a color other than grass is detected in an image photographed by the work area photographing unit,
By recognizing the distance to the boundary point with the shooting point as the origin, the lawnmower robot moves this distance as the center, and if the area point of the lawn is measured even though it reaches the measured distance, it operates again through measurement to calculate the lawn boundary A method of controlling a lawnmower robot using image processing on a lawn boundary line, characterized in that.
이종 식물 제거를 하고, 촬영 지점을 원점으로 하여 경계점까지의 거리를 인식하여 잔디깍기 로봇이 이 거리를 중점으로 움직이게 하며 재탐색을 하는 단계와,
재탐색을 하는 단계에서 잔디 이외의 다른 식물이 더 발견되면 이종 식물 제거 과정 및 재탐색 과정을 다시 수행하고,
잔디 이외의 다른 식물이 더 발견되지 않으면 최초 이종 식물 발견 지점으로 복귀하여 다시 잔디깍기 작업을 수행하는 단계를 포함하여 수행하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.The method of claim 8, wherein if it is determined that other plants other than grass are found in the plant characteristic determination step, the process of removing and re-searching the heterogeneous plant,
The step of removing heterogeneous plants and re-searching by recognizing the distance to the boundary point using the shooting point as the origin, and making the lawnmower move around this distance and searching again,
If more plants other than grass are found during the re-search phase, the xenogeneic plant removal process and re-search process are performed again.
If no other plants other than the grass are found, the method of controlling a lawnmower robot using image processing for a lawn boundary line, comprising the step of performing a lawnmowing operation by returning to an initial heterogeneous plant discovery point.
영상처리기술과 딥러닝 기술을 이용하여 해당 영역의 평균 주행속도, 장애물 존재 유무, 잔디 제거량의 영역 특성을 학습하는 영역 특성 학습 단계와,
영역 특성 학습 단계에서 학습된 영역 특성을 저장하고 잔디깍기 작업을 수행하기 위한 제어를 위하여 주행 및 작업 제어부로 제공하는 영역 특성 저장 및 제공 단계를 더 포함하는 것을 특징으로 하는 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇의 제어 방법.The method of claim 8, wherein the work area photographing unit continuously photographs while performing the lawn mowing operation under the control of the driving and operation control step,
An area characteristic learning step of learning the area characteristics of the average driving speed of the area, the presence of obstacles, and the amount of grass removed by using image processing technology and deep learning technology, and
The image processing for the grass boundary line, characterized in that it further comprises the step of storing and providing the region characteristics that are provided to the driving and operation control unit for control for storing the region characteristics learned in the region characteristic learning step and performing the lawnmowing operation. A method of controlling a lawnmower robot using.
The method of claim 8, further comprising detecting an obstacle positioned on a path when a lawnmowing operation is performed based on an image analysis result photographed in the work area photographing step and a detection signal through an ultrasonic sensor. A control method of a lawnmower robot using image processing for a lawn boundary line.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190146641A KR102347511B1 (en) | 2019-11-15 | 2019-11-15 | Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190146641A KR102347511B1 (en) | 2019-11-15 | 2019-11-15 | Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210059839A true KR20210059839A (en) | 2021-05-26 |
KR102347511B1 KR102347511B1 (en) | 2022-01-11 |
Family
ID=76137825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190146641A KR102347511B1 (en) | 2019-11-15 | 2019-11-15 | Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102347511B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627248A (en) * | 2021-07-05 | 2021-11-09 | 深圳拓邦股份有限公司 | Method, system, lawn mower and storage medium for automatically selecting recognition model |
CN113778110A (en) * | 2021-11-11 | 2021-12-10 | 山东中天宇信信息技术有限公司 | Intelligent agricultural machine control method and system based on machine learning |
CN114077249A (en) * | 2021-10-22 | 2022-02-22 | 陕西欧卡电子智能科技有限公司 | Operation method, operation equipment, device and storage medium |
CN114489083A (en) * | 2022-02-11 | 2022-05-13 | 松灵机器人(深圳)有限公司 | Working area construction method and related device |
WO2023063682A1 (en) * | 2021-10-12 | 2023-04-20 | Samsung Electronics Co., Ltd. | System and method for rf based robot localization |
KR102630545B1 (en) * | 2023-08-07 | 2024-01-29 | 하순태 | Robot and robot control method carrying out management information according to the condition of the grass |
US11937539B2 (en) | 2019-08-28 | 2024-03-26 | Samsung Electronics Co., Ltd. | Sensor fusion for localization and path planning |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100032154A (en) | 2008-09-17 | 2010-03-25 | 전자부품연구원 | Robot and method for driving a robot |
KR20130015457A (en) | 2011-08-03 | 2013-02-14 | 엘지전자 주식회사 | Lawn mower robot and control method for the same |
EP2689650A1 (en) * | 2012-07-27 | 2014-01-29 | Honda Research Institute Europe GmbH | Trainable autonomous lawn mower |
KR20150124305A (en) * | 2014-04-28 | 2015-11-05 | 이철희 | Agricultural robot |
KR20180101809A (en) | 2017-03-06 | 2018-09-14 | 차윤원 | An robot apparatus for cutting grass |
KR20190108530A (en) * | 2019-09-04 | 2019-09-24 | 엘지전자 주식회사 | Mobile robot and method for operating the same |
-
2019
- 2019-11-15 KR KR1020190146641A patent/KR102347511B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100032154A (en) | 2008-09-17 | 2010-03-25 | 전자부품연구원 | Robot and method for driving a robot |
KR20130015457A (en) | 2011-08-03 | 2013-02-14 | 엘지전자 주식회사 | Lawn mower robot and control method for the same |
KR101448248B1 (en) * | 2011-08-03 | 2014-10-07 | 엘지전자 주식회사 | Lawn mower robot and control method for the same |
EP2689650A1 (en) * | 2012-07-27 | 2014-01-29 | Honda Research Institute Europe GmbH | Trainable autonomous lawn mower |
KR20150124305A (en) * | 2014-04-28 | 2015-11-05 | 이철희 | Agricultural robot |
KR20180101809A (en) | 2017-03-06 | 2018-09-14 | 차윤원 | An robot apparatus for cutting grass |
KR20190108530A (en) * | 2019-09-04 | 2019-09-24 | 엘지전자 주식회사 | Mobile robot and method for operating the same |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11937539B2 (en) | 2019-08-28 | 2024-03-26 | Samsung Electronics Co., Ltd. | Sensor fusion for localization and path planning |
CN113627248A (en) * | 2021-07-05 | 2021-11-09 | 深圳拓邦股份有限公司 | Method, system, lawn mower and storage medium for automatically selecting recognition model |
WO2023063682A1 (en) * | 2021-10-12 | 2023-04-20 | Samsung Electronics Co., Ltd. | System and method for rf based robot localization |
CN114077249A (en) * | 2021-10-22 | 2022-02-22 | 陕西欧卡电子智能科技有限公司 | Operation method, operation equipment, device and storage medium |
CN114077249B (en) * | 2021-10-22 | 2024-03-15 | 陕西欧卡电子智能科技有限公司 | Operation method, operation equipment, device and storage medium |
CN113778110A (en) * | 2021-11-11 | 2021-12-10 | 山东中天宇信信息技术有限公司 | Intelligent agricultural machine control method and system based on machine learning |
CN114489083A (en) * | 2022-02-11 | 2022-05-13 | 松灵机器人(深圳)有限公司 | Working area construction method and related device |
KR102630545B1 (en) * | 2023-08-07 | 2024-01-29 | 하순태 | Robot and robot control method carrying out management information according to the condition of the grass |
Also Published As
Publication number | Publication date |
---|---|
KR102347511B1 (en) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102347511B1 (en) | Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same | |
CN109063575B (en) | Intelligent mower autonomous and orderly mowing method based on monocular vision | |
US9137943B2 (en) | Trainable autonomous lawn mower | |
KR102295824B1 (en) | Mapping method of Lawn Mower Robot. | |
WO2022021630A1 (en) | Autonomous walking device and control method and system therefor, and readable storage medium | |
US20200233413A1 (en) | Method for generating a representation and system for teaching an autonomous device operating based on such representation | |
WO2021169192A1 (en) | Automatic working system, automatic walking device and control method therefor, and computer-readable storage medium | |
CN107643751A (en) | The slope recognition methods of intelligent walking equipment and system | |
CN107463167B (en) | Automatic walking equipment and target area identification method | |
CN107564071A (en) | A kind of image recognition meadow method and device | |
CN114265409A (en) | Track information processing method and device and ground equipment | |
CN114937258A (en) | Control method for mowing robot, and computer storage medium | |
CN110347144B (en) | Self-mobile device, self-learning method thereof and readable storage medium | |
CN112180945B (en) | Method for automatically generating obstacle boundary and automatic walking equipment | |
US11464161B1 (en) | Automatic sensitivity adjustment for an autonomous mower | |
JP2019204500A (en) | Autonomous work vehicles, various work vehicles, drones, or the like, and method for controlling autonomous work vehicles or the like | |
WO2021139683A1 (en) | Self-moving device | |
WO2021184665A1 (en) | Automatic working system, automatic walking device and method for controlling same, and computer-readable storage medium | |
CN116700228A (en) | Robot path planning method, electronic device and readable storage medium | |
WO2017206950A1 (en) | Automatic walking device and method for controlling the walking thereof | |
JP2020188735A (en) | Onion harvest implement and onion harvest work method | |
WO2021031406A1 (en) | Automatic working system, and automatic walking device and control method therefor | |
US11538226B2 (en) | Information processing device, information providing system, and information processing method | |
CN118274847B (en) | Navigation decision planning method for agricultural inspection robot based on road surface unevenness | |
CN115509228A (en) | Target detection-based agricultural machinery obstacle avoidance method and device, agricultural machinery and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |