WO2021095907A1 - 가변형 농업용 로봇의 주행 제어방법 - Google Patents

가변형 농업용 로봇의 주행 제어방법 Download PDF

Info

Publication number
WO2021095907A1
WO2021095907A1 PCT/KR2019/015404 KR2019015404W WO2021095907A1 WO 2021095907 A1 WO2021095907 A1 WO 2021095907A1 KR 2019015404 W KR2019015404 W KR 2019015404W WO 2021095907 A1 WO2021095907 A1 WO 2021095907A1
Authority
WO
WIPO (PCT)
Prior art keywords
driving
agricultural robot
obstacle
driving path
variable
Prior art date
Application number
PCT/KR2019/015404
Other languages
English (en)
French (fr)
Inventor
김대희
서갑호
조용준
오장석
홍형길
우성용
송수환
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to PCT/KR2019/015404 priority Critical patent/WO2021095907A1/ko
Publication of WO2021095907A1 publication Critical patent/WO2021095907A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to a driving control method of a variable agricultural robot, and more specifically, a variable agricultural robot that performs an agricultural-related task is operated stably and smoothly by reflecting in consideration of the condition of the field that frequently changes according to the weather or environment. It relates to a driving control method of a variable agricultural robot designed to be able to.
  • the agricultural field is a field in which such robotization is slow, and most of the work in the agricultural process is still performed by manpower, and the working machines are also operated in the form of manual manual control by humans. .
  • the head of the field may be collapsed by heavy rain or strong wind as described above, and in this case, there is a difficulty in driving the robot because obstacles included in the head of the field block the path between the dukes.
  • the present invention is an invention conceived to solve the problems of the prior art described above, and it is possible to flexibly operate an agricultural robot that performs agriculture-related tasks even in fields that change frequently according to weather and environment, and is suitable for agricultural use. It has an object to provide a driving control method optimized to enable automatic control of a robot.
  • the driving control method of the variable agricultural robot of the present invention for achieving the above object is a driving control method of an agricultural robot that performs a task while moving along a preset driving path of a field, including a degree of change in surrounding environment and a degree of growth of crops.
  • the agricultural robot sets the preset driving route.
  • the driving status determination step of determining whether driving is possible while maintaining the driving path and the driving status determination step, if it is determined that driving is impossible while maintaining the preset driving path, the surrounding area
  • the driving path setting step of performing a driving path change process using an image related to the environment and the agricultural robot driving along the preset driving path or driving along the changed driving path the agricultural It includes a driving step of changing the shape of the robot to perform an obstacle overcoming process.
  • the agricultural robot includes a body part, a left driving part and a right driving part performing a driving function, and the height of the body part with respect to the left driving part and the right driving part, and between the left driving part and the right driving part. It is formed to be adjustable in width, and in the obstacle overcoming process, the step of determining whether or not the agricultural robot can be changed to pass the obstacle by performing height analysis and width analysis on obstacles other than predicted, and the body part When it is determined that it is possible to pass the obstacle by adjusting the height, when it is determined that the height of the body portion can be adjusted and the width of the left driving part and the right driving part is determined to be able to pass through the obstacle, the left side It may include adjusting the width of the driving part and the right driving part.
  • the height of the body part and the widths of the left and right travel parts when it is determined that the height of the body part and the widths of the left and right travel parts can be simultaneously adjusted to pass the obstacle, the height of the body part, the left driving part, and the It may further include the step of simultaneously adjusting the width of the right driving part.
  • the obstacle overcoming process when it is determined that the obstacle cannot be passed even if the agricultural robot is varied, determining whether the obstacle can be overcome through the driving path bypass, and the obstacle can be overcome through the driving path bypass. If it is determined that the agricultural robot may further include controlling the operation to bypass the obstacle.
  • the process of overcoming the obstacle may further include performing an alarm to the user when it is determined that overcoming the obstacle through the driving path bypass is impossible.
  • the straightness maintenance control process may be performed to maintain the straightness without deviating from the driving path.
  • At least one beacon device for transmitting a beacon signal is installed on the foot of the driving path, and the agricultural robot is provided with a front photographing unit for photographing the driving direction, and the straightness maintenance control process is performed by the front photographing unit at the initial stage.
  • Photographing a driving direction at a working position setting the corresponding position as a reference position by using the edge boundary line of the ridge in the photographed image as a reference guideline, photographing the driving direction during the driving process of the agricultural robot, and Determining the location of the edge boundary line of the current guideline, generating an error value between the location of the current guideline and the reference location, detecting a change in the posture of the agricultural robot according to the movement of the agricultural robot, and , Generating a posture change value for the detected posture change, performing a posture maintenance operation corresponding to the posture change value, and the agricultural robot using at least one of the error value and the posture change value. It may include the step of maintaining the driving straightness of the agricultural robot by outputting a steering control signal for continuing to go straight in the initial moving direction.
  • a straight identification guide is installed on the foot of the driving path, and the agricultural robot is provided with a rear photographing unit for photographing a direction opposite to the driving direction, and the straightness maintenance control process includes the agricultural robot moving along the driving path.
  • the step of determining whether the position in the longitudinal direction by comparison is the same, and when it is determined that the position of the straight identification guide shown in the photographed image and the straight identification guide shown in the pre-prepared reference image do not match, with respect to the agricultural robot It may include the step of outputting the steering control signal to maintain the driving straightness of the agricultural robot.
  • the preset driving route may be constructed based on a GPS-based coordinate map.
  • the process of changing the driving route includes acquiring a plurality of images related to the surrounding environment, constructing an environment map by combining the plurality of images with the GPS-based coordinate map, and based on the environment map. It may include the step of changing the driving route.
  • the process of changing the driving route is performed between the step of acquiring the plurality of images and the step of constructing the environment map, further comprising selecting at least some of the images as a key frame image.
  • the coordinates obtained by obtaining the selected key frame image may be combined to correspond to the GPS-based coordinate map.
  • the agricultural robot includes a tracking photographing unit that tracks and photographs a specific point
  • the step of obtaining the plurality of images includes collecting images photographed by any one or more of the tracking photographing units, and among the plurality of images
  • the step of selecting at least some of the images as a key frame image an image in which a photographing direction matches the driving direction of the agricultural robot among the images photographed by the tracking photographing unit may be selected as a key frame image.
  • the agricultural robot includes at least one or more of a front photographing unit for photographing a driving direction, a rear photographing unit for photographing a direction opposite to the driving direction, and a tracking photographing unit for tracking and photographing a specific point, and includes the plurality of images.
  • a front photographing unit for photographing a driving direction
  • a rear photographing unit for photographing a direction opposite to the driving direction
  • a tracking photographing unit for tracking and photographing a specific point
  • an image acquired in the air may be collected through a separate drone.
  • the driving control data storage step of storing a plurality of driving control data generated in the process of performing the driving route confirmation step, the driving status determination step, the driving route setting step and the driving step, and the stored driving control data It may further include a manual construction step of constructing an automatic driving response manual of the variable agricultural robot by performing a predetermined deep learning algorithm.
  • the driving control method of the variable agricultural robot of the present invention for solving the above problems is a response method suitable for the situation by considering in advance whether a preset driving path is changed and whether the agricultural robot can run along a preset driving path. It has the advantage of being able to operate agricultural robots in all weather regardless of changes in weather, environment, and terrain.
  • the present invention has the advantage that it is possible to flexibly operate an agricultural robot that performs agricultural-related tasks even in a field that frequently changes according to the weather and environment, and that automatic control of the agricultural robot is possible to suit the situation.
  • the present invention has the advantage of being able to perform a reasonable response through an optimized algorithm even when an unexpected obstacle occurs during the operation of an agricultural robot.
  • the present invention collects and stores a plurality of driving control data generated in the process of operating an agricultural robot, and performs a predetermined deep learning algorithm to form big data.
  • a predetermined deep learning algorithm to form big data.
  • FIG. 1 is a view sequentially showing the core processes of a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 2 is a view showing an entire algorithm of a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 3 is a view showing the state of the variable agricultural robot according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a predetermined driving path of a field in a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 5 is a view showing each step of a process of changing a driving route in a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 6 is a view showing each step of the first method in the process of maintaining the straightness in the driving control method of the variable agricultural robot according to an embodiment of the present invention
  • FIG. 7 is a view conceptually showing a first method in a process of maintaining straightness in a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 8 is a view showing each step of the second method in the process of controlling the straightness maintenance control in the driving control method of the variable agricultural robot according to an embodiment of the present invention
  • FIG. 9 is a view conceptually showing a second method in the process of maintaining straightness control in the driving control method of the variable agricultural robot according to an embodiment of the present invention.
  • FIG. 10 is a view showing each step of a third method in a process of maintaining straightness in a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 11 is a view conceptually showing a third method in the process of maintaining straightness in the driving control method of the variable agricultural robot according to an embodiment of the present invention.
  • FIG. 12 is a view showing an algorithm of an obstacle overcoming process in the driving control method of a variable agricultural robot according to an embodiment of the present invention
  • FIG. 13 is a view showing a state of varying the height of the body portion during the process of overcoming obstacles in the driving control method of the variable agricultural robot according to an embodiment of the present invention
  • FIG. 14 is a view showing a state of varying the width of the left driving part and the right driving part during an obstacle overcoming process in the driving control method of a variable agricultural robot according to an embodiment of the present invention.
  • 15 is a view showing a state in which the agricultural robot bypasses an obstacle during an obstacle overcoming process in a driving control method of a variable agricultural robot according to an embodiment of the present invention.
  • FIG. 1 is a view showing in sequence the core processes of a driving control method of a variable agricultural robot according to an embodiment of the present invention
  • Figure 2 is a whole algorithm of the driving control method of a variable agricultural robot according to an embodiment of the present invention. It is a figure shown.
  • the driving control method of a variable agricultural robot according to an embodiment of the present invention shown in FIGS. 1 and 2 is a driving control method applicable to an agricultural robot that moves along a preset driving path of a field and performs a task.
  • the driving control method of the variable agricultural robot generally includes a driving route confirmation step, a driving status determination step, a driving route setting step, and a driving step. do.
  • the step of confirming the driving route is a step of confirming whether the preset driving route has been changed in consideration of at least one of a degree of change in the surrounding environment and a degree of growth of a crop.
  • the step of confirming the driving route at least one or more of the degree of change of the surrounding environment and the degree of growth of the crop is identified, and whether the degree of change of the surrounding environment and the degree of growth of the crop is a range that does not affect a preset driving route. Is judged.
  • the agricultural robot is controlled to travel along the preset driving route, and the degree of change of the surrounding environment and the growth degree of crops If it affects the preset driving route, it is recognized that the preset driving route has been changed.
  • the driving status determination step is a step of determining whether the agricultural robot is capable of driving while maintaining the preset driving path when it is determined that the preset driving path has been changed by the driving path checking step.
  • the agricultural robot in the determination of whether to travel, if it is determined that the agricultural robot is capable of driving while maintaining the preset driving path even though the preset driving path has been changed, the agricultural robot is controlled to travel along the preset driving path. When it is determined that the agricultural robot is unable to travel while maintaining the preset driving path, the step of changing the driving path is performed.
  • the preset driving path can be found using various image processing techniques or deep learning techniques without performing the step of changing the driving path If so, it may be determined that the agricultural robot is capable of driving while maintaining the preset driving path.
  • various image processing techniques may be a method including even various technical features described in the process of constructing an environment map to be described later, and it is natural that the scope of rights is not limited due to this.
  • the driving path changing process is performed using an image related to the surrounding environment. This is the step to perform.
  • the driving path is changed so that the agricultural robot can travel, and the agricultural robot can be controlled to travel through the changed driving path.
  • the driving step is a step corresponding to a process in which the agricultural robot travels along the preset driving path or along a changed driving path.
  • the process of maintaining the straightness of the agricultural robot may be performed, and if an obstacle other than predicted appears during driving, the shape of the agricultural robot is changed to perform the obstacle overcoming process.
  • FIG 3 is a view showing the state of the agricultural robot 100 according to an embodiment of the present invention.
  • the agricultural robot 100 includes a body portion 110, a left driving portion (120b) and a right driving portion (120a).
  • the body part 110 is equipped with the left driving part 120b and the right driving part 120a, and also an arbitrary work module for performing agricultural-related work in a field may be selectively mounted.
  • the work module may be various devices for performing agricultural-related work without limitation, and may be provided under the body part 110.
  • the body part 110 includes a main electric box in which important core parts such as a ROS PC, various sensors, and DC power SMPS are stored, as well as a posture control electric box in which a posture control motor drive, a brake SSR, etc. are accommodated.
  • a posture control electric box in which a posture control motor drive, a brake SSR, etc. are accommodated.
  • Various components may be included.
  • the body part 110 may be a concept that includes the rest of the part except for a part that performs a driving function, and the definition of the body part 110 is not limited to this embodiment only, and may be determined according to various criteria. I can.
  • left driving part 120b and the right driving part 120a are constituent elements that perform a driving function of the variable agricultural robot 100.
  • the left driving part 120b and the right driving part 120a are provided on both sides of the body part 110, respectively, and the left driving part 120b and the right driving part 120a, respectively Silver may be provided to be driven by a total of four wheels including a pair of wheels.
  • the left driving part 120b and the right driving part 120a may include a steering module, a driving module, a suspension module, a posture control module, etc., which are various components related to driving in detail.
  • the left driving part 120b and the right driving part 120a may be formed in various shapes.
  • the left driving part 120b and the right driving part 120a are respectively formed to be movable in the lateral direction with respect to the body part 110, so that the widths between them are adjustable. .
  • the body portion 110 may be formed to be height adjustable with respect to the left driving portion (120b) and the right driving portion (120a).
  • the left driving part 120b and the right driving part 120a are formed to be self-adjustable to move the body part 110 up and down together, but the body part 110 It goes without saying that the height adjustment method of the can be implemented in various ways unlike the present embodiment.
  • the step of confirming the driving route it is checked whether the preset driving route has been changed in consideration of at least one or more of the degree of change in the surrounding environment and the degree of growth of the crop.
  • the agricultural robot 100 may be driven through a preset driving path to perform a task.
  • FIG. 4 is a diagram illustrating a preset driving path of a field in the driving control method of a variable agricultural robot according to an embodiment of the present invention.
  • a preset driving path may be formed to pass through each head of a field with a minimum movement distance.
  • the preset driving route may be constructed based on a GPS-based coordinate map.
  • the size of data allocated to the map may be small, and a process of setting a route may be simple.
  • the agricultural robot performs a driving status determination step of determining whether driving is possible while maintaining the preset driving path. do.
  • the agricultural robot can normally be driven while maintaining a preset driving path.
  • a driving path changing process is performed using an image related to the surrounding environment.
  • the setup step will be performed.
  • FIG. 5 is a view showing each step of a process of changing a traveling route in a method for controlling a traveling of a variable agricultural robot according to an embodiment of the present invention.
  • obtaining a plurality of images related to the surrounding environment constructing an environment map by combining the plurality of images with the GPS-based coordinate map, and the environment It may include the step of changing the driving route based on the map.
  • the driving route changing process is performed between the step of acquiring the plurality of images and the step of constructing the environment map, further comprising selecting at least some of the images as a key frame image. I can.
  • the reason for doing this is to acquire various farmland information as an image that cannot be obtained with a GPS-based coordinate map alone, and reflect this on the coordinate map to build a more usable environment map to quickly and efficiently change the driving route. It is to make it possible.
  • the agricultural robot includes a front photographing unit that photographs a driving direction, a rear photographing unit that photographs a direction opposite to the driving direction, and a tracking photographing unit that tracks and photographs a specific point. It may include at least one or more.
  • the step of acquiring the plurality of images may include collecting images captured by at least one of the front photographing unit, the rear photographing unit, and the tracking photographing unit.
  • the step of acquiring the plurality of images may include collecting images acquired in the air through a separate drone.
  • a method for obtaining an image for constructing an environment map is not limited to a specific method, and can be obtained through various means.
  • the coordinates obtained by obtaining the key frame image selected by the step of selecting at least some of the images as a key frame image are combined to correspond to the GPS-based coordinate map. It can be done.
  • key frame images are selected in this way is that it is inefficient to create an environment map using all of the various images and related data obtained through shooting. Therefore, when creating an environment map, even the combination with the coordinate map is taken into consideration at a specific location.
  • the key frame images of are selected and an environment map is created around them.
  • Selection of key frame images may also be performed according to various criteria without limitation.
  • the agricultural robot may include a tracking photographing unit that tracks and photographs a specific point, and the step of obtaining the plurality of images may collect images photographed by one or more of the tracking photographing units.
  • the step of selecting at least some of the images as a key frame image may include selecting an image in which a photographing direction matches the driving direction of the agricultural robot from among the images photographed by the tracking photographing unit as a key frame image. Can be used.
  • the driving route change process is performed using an image related to the surrounding environment. Through this, a precise environmental map can be built.
  • the agricultural robot corresponds to The straightness maintenance control process to maintain the straightness without deviating from the driving path.
  • This straightness maintenance control process is to prevent the agricultural robot from deviating from the driving path due to various causes due to the nature of the field with irregular surfaces.By analyzing the driving of the agricultural robot in real time and controlling the movement, the driving path is determined. To be able to move exactly along.
  • the straightness maintenance control process may be implemented by various methods, and in the present embodiment, at least one of the three methods may be applied.
  • FIG. 6 is a view showing each step of the first method during a straightness maintenance control process in a driving control method of a variable agricultural robot according to an embodiment of the present invention.
  • a diagram conceptually shows the first method in the process of maintaining straightness.
  • At least one light source irradiation device 200 for irradiating light having straightness is provided to the ridge R located in the driving path.
  • the above is installed, and the agricultural robot 100 may be provided with a front photographing unit 130 for photographing a driving direction.
  • the straightness maintenance control process includes the steps of the front photographing unit 130 photographing the driving direction at the initial working position, and formed by the light irradiated by the light source irradiating device 200 in the photographed image. Setting a linear guideline as a reference position, and photographing a forward direction according to the movement of the agricultural robot 100, and a straight line formed by the light irradiated by the light source irradiation device 200 in the captured image.
  • current guideline Recognizing the location of the guideline (hereinafter referred to as “current guideline”), generating an error value between the location of the current guideline and the reference location, and according to the movement of the agricultural robot 100 Detecting a change in posture of the agricultural robot 100, generating a posture change value for the detected posture change, performing a posture maintenance operation corresponding to the posture change value, and the error value and the posture change It may include the step of outputting a steering control signal for the agricultural robot 100 to continue to go straight in the initial progress direction using at least one or more of the values to maintain the driving straightness of the agricultural robot 100.
  • the working head R is photographed, and a guideline formed by the light irradiated by the light source irradiating device 200 is photographed.
  • the agricultural robot 100 is It can be steered to maintain straightness.
  • the agricultural robot 100 repeats the turning and performs such a process for all the heads R existing in the driving path.
  • FIG. 8 is a view showing each step of the second method during the straightness maintenance control process in the driving control method of the variable agricultural robot according to an embodiment of the present invention.
  • At least one beacon device 300 for transmitting a beacon signal is installed in the duduk R located in the driving path.
  • the agricultural robot 100 may be provided with a front photographing unit 130 for photographing a driving direction.
  • the straightness maintenance control process includes the step of the front photographing unit 130 photographing the driving direction at the initial working position, and using the edge boundary of the ridge R in the photographed image as a reference guideline. Setting a position as a reference position, photographing a driving direction during the driving process of the agricultural robot 100, and determining the position by using the edge boundary line of the ridge R as a current guideline, and the current Generating an error value between the position of the guideline and the reference position, detecting a change in the posture of the agricultural robot 100 according to the movement of the agricultural robot 100, and calculating a posture change value for the detected posture change.
  • the agricultural robot 100 continues to go straight in the initial moving direction It may include the step of maintaining the driving straightness of the agricultural robot 100 by outputting a steering control signal.
  • the front photographing unit 130 photographs the front, and grasps the boundary line of the straight ridge (R) edge in the photographed image to determine the position.
  • the edge boundary line identified as described above may be set as a reference guideline.
  • the working dug (R) is photographed, and the edge boundary of the duduk (R) is defined as the current guideline. It is recognized as a location.
  • the pixel gap between the reference guideline and the current guideline is recognized as an error value, and the agricultural robot 100 is steered. You can keep it straight.
  • the agricultural robot 100 repeats the turning and performs such a process for all the heads R existing in the driving path.
  • the agricultural robot 100 detects whether a beacon signal is received from the beacon device 300, and compares the measured signal strength with a set value to determine whether it is greater than or equal to the set value.
  • the agricultural robot 100 continuously moves straight ahead, and if the measured signal strength is more than the set value, steering is driven to perform a turn, so that the next work is performed ( You can proceed with R).
  • FIG. 10 is a view showing each step of the third method in the process of maintaining straightness in the driving control method of the variable agricultural robot according to an embodiment of the present invention
  • FIG. 11 is In the driving control method of the variable agricultural robot according to this, a diagram conceptually showing a third method in the process of maintaining straightness.
  • a straight identification guide 400 is installed on the duduk R located on the driving path, and the agricultural robot 100 A rear photographing unit 140 for photographing a direction opposite to the driving direction may be provided.
  • the straightness maintenance control process includes the step of starting the agricultural robot 100 to travel along the driving path, and the rear photographing unit 140 moving the agricultural robot 100 straight forward.
  • a steering control signal is transmitted to the agricultural robot 100. It may include the step of outputting and maintaining the driving straightness of the agricultural robot 100.
  • this method is to determine whether the left driving part 120b and the right driving part 120a proceed along the length direction of the identification guide 400 based on the straight identification guide 400, and is prepared in advance. Steering is performed according to whether the image matches the straight identification guide 400 shown in the currently photographed image.
  • the straight identification guide 400 is assumed to include a left straight identification guide 400b corresponding to the left driving part 120b and a right straight identification guide 400a corresponding to the right driving part 120a.
  • the shape of the straight identification guide 400 may be implemented in various ways.
  • the agricultural robot 100 includes a body part 110, a left driving part 120b and a right driving part 120a for performing a driving function, and the left driving part ( 120b) and the height of the body part 110 with respect to the right driving part 120a, and the width between the left driving part 120b and the right driving part 120a are adjustable (see FIG. 3).
  • FIG. 12 is a diagram showing an algorithm for overcoming an obstacle in a method for controlling a driving of a variable agricultural robot according to an embodiment of the present invention.
  • the step of determining whether the agricultural robot 100 can be changed to pass the obstacle by performing a height analysis and a width analysis of an obstacle other than prediction is preferentially performed. Performed.
  • the step of adjusting the height of the body portion 110 is performed. That is, the height adjustment of the body portion 110 may be performed in preference to other types of obstacle overcoming mechanisms.
  • FIG. 13 is a view showing an example of varying the height of the body portion 110 during the process of overcoming an obstacle in the driving control method of the variable agricultural robot according to an embodiment of the present invention.
  • the height of the body portion 110 may be adjusted to pass through the corresponding section as shown in FIG. 13.
  • the left driving part 120b and the right driving part 120a are The step of adjusting the width is carried out.
  • FIG 14 is a view showing an example of varying the widths of the left driving part 120b and the right driving part 120a during an obstacle overcoming process in the driving control method of a variable agricultural robot according to an embodiment of the present invention. .
  • an obstacle (M2) that cannot be passed for example, a part of the duke (R)
  • the widths of the left driving part 120b and the right driving part 120a may be increased widely to pass the corresponding section, as shown in FIG. 14.
  • the height of the body part 110 is adjusted and the left driving part 120b ) And the width adjustment of the right driving part 120a are performed at the same time to determine whether the obstacle can be passed.
  • the body part 110 and the width adjustment of the left driving part 120b and the right driving part 120a are simultaneously performed to pass an obstacle, the body part The steps of adjusting the height of 110 and simultaneously adjusting the widths of the left driving part 120b and the right driving part 120a are performed.
  • the step of determining whether or not the obstacle can be overcome by bypassing the driving path is subsequently performed.
  • 15 is a view illustrating a state in which the agricultural robot 100 bypasses the obstacle M3 during the process of overcoming the obstacle in the driving control method of the variable agricultural robot according to an embodiment of the present invention.
  • the step of performing an alarm on the user side may be performed.
  • the user can visit the site and perform follow-up measures.
  • the driving control method of the variable agricultural robot includes a plurality of driving control data generated in the process of performing the driving route confirmation step, the driving status determination step, the driving route setting step, and the driving step described above. It may further include a driving control data storage step of storing and a manual construction step of constructing an automatic driving response manual of a variable agricultural robot by performing a predetermined deep learning algorithm based on the stored driving control data. .
  • a more accurate and precise control method can be constructed as time elapses, and this can be utilized in the subsequent operation of the agricultural robot 100. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명에 따른 가변형 농업용 로봇의 주행 제어방법은, 밭의 기 설정된 주행경로를 따라 이동하며 작업을 수행하는 농업용 로봇의 주행 제어방법으로서, 주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상을 고려하여 상기 기 설정된 주행경로가 변경되었는지를 확인하는 주행경로 확인단계, 상기 주행경로 확인단계에 의해 상기 기 설정된 주행경로가 변경된 것으로 판단되었을 경우, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한지의 여부를 판단하는 주행여부 판단단계, 상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 수행하는 주행경로 설정단계 및 상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에서 예측 외의 장애물이 나타난 경우, 상기 농업용 로봇의 형태를 가변시켜 장애물 극복과정을 수행하는 주행단계를 포함한다.

Description

가변형 농업용 로봇의 주행 제어방법
본 발명은 가변형 농업용 로봇의 주행 제어방법에 관한 것으로서, 보다 상세하게는 농업 관련 작업을 수행하는 가변형 농업용 로봇을 날씨 또는 환경에 따라 빈번히 변화하는 밭의 상황을 고려하여 반영함에 따라 안정적이고 원활하게 운용할 수 있도록 고안된 가변형 농업용 로봇의 주행 제어방법에 관한 것이다.
최근에는 다양한 분야에서 인력으로 수행되던 작업들이 로봇 또는 기계를 통해 수행하는 것으로 점차 대체되고 있다. 이와 같이 현재까지 많은 분야에서 로봇이 적용되고 있으나, 일부 분야에서는 이러한 로봇의 도입이 늦어지고 있다.
대표적으로, 농업 분야는 이와 같은 로봇화가 더디게 이루어지고 있는 분야로서, 아직까지 농사 과정의 대부분의 작업은 인력을 통해 수행되고 있으며, 또한 작업기계들 역시 사람이 수동으로 직접 조종하는 형태로 운전되고 있다.
이에 최근에는 농업 분야 역시 밭에 필요한 작업을 자동으로 수행하며 주행하는 로봇에 대한 연구가 지속적으로 이루어지고 있는 추세이다.
하지만, 이러한 노력에도 밭의 작업은 자갈이나 모래 등에 의해 지형이 평탄하지 않기 때문에 기계가 주행하면서 진동이 발생하게 되며, 이는 정교한 작업에 방해가 되는 문제가 있다.
또한 폭우가 쏟아지거나 강풍이 지나간 후에는 두둑이 무너지거나 기계의 주행 경로에 장애물이 생기는 등의 예상하지 못한 상황들이 발생하게 되고, 설정된 경로를 따라 주행하는 로봇이나 운전자가 탑승하여 작업하는 기계들의 경우, 경로를 우회하기 위해 설정 값을 상황에 따라 변경하거나 사용자가 직접 장애물을 치우는 등의 별도의 작업이 필요하여 오히려 번거로움이 늘어날 수도 있다.
한편 밭의 두둑은 상기와 같이 폭우 또는 강풍에 의해 무너져 내릴 수 있으며, 이와 같은 경우 두둑에 포함되어 있던 장애물들이 두둑 사이의 경로를 막기 때문에 로봇 주행 시 어려움이 있다.
이와 같은 현상을 방지하기 위해 비닐 등을 이용하여 두둑을 감싸 그 형태를 온전히 유지하기 위한 노력이 이루어지고 있으나, 비닐의 내구성이 낮아 그 형상을 지속적으로 유지하는 것은 힘들다.
따라서 작업을 하기 위한 기계나 로봇이 일정한 폭을 가지고 주행 및 작업하는 데에는 큰 어려움이 생길 수밖에 없으며, 또한 작업 위치를 동일하게 유지하며 주행 및 작업을 하는 것 역시 힘들다는 단점이 있다.
즉 농업을 수행하기 위한 로봇은 밭의 특성 상 빈번하게 변화하는 지형 및 환경에 따라 자동 제어가 극히 어렵다는 문제가 있으며, 현재까지도 이를 해결하기 위한 방법은 전무한 상태이다.
따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서, 날씨 및 환경에 따라 빈번하게 변화하는 밭에서도 농업 관련 작업을 수행하는 농업용 로봇을 탄력적으로 운용할 수 있으며, 상황에 적합하게 농업용 로봇의 자동 제어가 가능하도록 최적화된 주행 제어방법을 제공하기 위한 목적을 가진다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위한 본 발명의 가변형 농업용 로봇의 주행 제어방법은, 밭의 기 설정된 주행경로를 따라 이동하며 작업을 수행하는 농업용 로봇의 주행 제어방법으로서, 주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상을 고려하여 상기 기 설정된 주행경로가 변경되었는지를 확인하는 주행경로 확인단계, 상기 주행경로 확인단계에 의해 상기 기 설정된 주행경로가 변경된 것으로 판단되었을 경우, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한지의 여부를 판단하는 주행여부 판단단계, 상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 수행하는 주행경로 설정단계 및 상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에서 예측 외의 장애물이 나타난 경우, 상기 농업용 로봇의 형태를 가변시켜 장애물 극복과정을 수행하는 주행단계를 포함한다.
그리고 상기 농업용 로봇은 몸체부와, 주행 기능을 수행하는 좌측 주행부 및 우측 주행부를 포함하고, 상기 좌측 주행부 및 상기 우측 주행부에 대한 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부 간의 폭을 조절 가능하게 형성되며, 상기 장애물 극복과정은, 예측 외의 장애물에 대한 높이 분석 및 폭 분석을 수행하여, 상기 농업용 로봇을 가변시켜 장애물을 통과할 수 있는지의 여부를 판단하는 단계, 상기 몸체부의 높이를 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부의 높이를 조절하는 단계 및 상기 좌측 주행부 및 상기 우측 주행부의 폭을 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 조절하는 단계를 포함할 수 있다.
이때 상기 장애물 극복과정은, 상기 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 동시에 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 동시에 조절하는 단계를 더 포함할 수 있다.
또한 상기 장애물 극복과정은, 상기 농업용 로봇을 가변시키더라도 장애물을 통과할 수 없는 것으로 판단된 경우, 주행경로 우회를 통한 장애물 극복이 가능한지의 여부를 판단하는 단계 및 주행경로 우회를 통한 장애물 극복이 가능한 것으로 판단된 경우, 상기 농업용 로봇이 장애물을 우회하도록 동작 제어하는 단계를 더 포함할 수 있다.
더불어 상기 장애물 극복과정은, 주행경로 우회를 통한 장애물 극복이 불가능한 것으로 판단된 경우, 사용자 측에 알람을 수행하는 단계를 더 포함할 수 있다.
한편 상기 주행단계는, 상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에서, 주행경로를 이탈하지 않고 직진성을 유지하도록 하는 직진성 유지제어과정을 수행하도록 할 수 있다.
이때 주행경로에 위치되는 두둑에는 직진성이 있는 광을 조사하는 광원 조사장치가 적어도 하나 이상이 설치되고, 상기 농업용 로봇에는 주행 방향을 촬영하는 전방촬영부가 구비되며, 상기 직진성 유지제어과정은, 상기 전방촬영부가 초기작업 위치에서 주행 방향을 촬영하는 단계, 촬영된 영상에서 상기 광원 조사장치에 의해 조사된 광에 의해 형성된 직선의 가이드라인을 기준위치로 설정하는 단계, 상기 농업용 로봇의 이동에 따라 전방 방향을 촬영하고, 촬영된 영상에서 상기 광원 조사장치에 의해 조사된 광에 의해 형성된 직선의 가이드라인(이하 "현재 가이드라인"이라 함)의 위치를 파악하는 단계, 상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계, 상기 농업용 로봇의 이동에 따라 상기 농업용 로봇의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계, 상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계 및 상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
또한 주행경로에 위치되는 두둑에는 비콘 신호를 송출하는 비콘장치가 적어도 하나 이상이 설치되고, 상기 농업용 로봇에는 주행 방향을 촬영하는 전방촬영부가 구비되며, 상기 직진성 유지제어과정은, 상기 전방촬영부가 초기작업 위치에서 주행 방향을 촬영하는 단계, 촬영된 영상에서 상기 두둑의 가장자리 경계선을 기준 가이드라인으로 하여 해당 위치를 기준위치로 설정하는 단계, 상기 농업용 로봇의 주행과정 중 주행 방향을 촬영하고, 상기 두둑의 가장자리 경계선을 현재 가이드라인으로 하여 그 위치를 파악하는 단계, 상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계, 상기 농업용 로봇의 이동에 따라 상기 농업용 로봇의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계, 상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계 및 상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
그리고 주행경로에 위치되는 두둑에는 직진 식별가이드가 설치되고, 상기 농업용 로봇에는 주행 방향의 반대 방향을 촬영하는 후방촬영부가 구비되며, 상기 직진성 유지제어과정은, 상기 농업용 로봇이 주행경로를 따라 주행을 시작하는 단계, 상기 농업용 로봇이 주행하는 과정에서 상기 후방촬영부가 상기 직진 식별가이드를 촬영하는 단계, 촬영된 영상에서 상기 직진 식별가이드를 추출하고, 미리 준비된 기준영상에 나타난 직진 식별가이드와의 위치를 비교하여 길이 방향의 위치가 일치하는지의 여부를 판단하는 단계 및 촬영된 영상에 나타난 직진 식별가이드와 미리 준비된 기준영상에 나타난 직진 식별가이드의 위치가 일치하지 않는 것으로 판단된 경우, 상기 농업용 로봇에 대해 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
한편 상기 기 설정된 주행경로는 GPS기반의 좌표지도를 기반으로 구축될 수 있다.
이와 같은 경우 상기 주행경로 변경과정은, 주변환경과 관련된 복수 개의 이미지를 획득하는 단계, 상기 GPS기반의 좌표지도에 상기 복수 개의 이미지를 조합하여 환경지도를 구축하는 단계 및 상기 환경지도를 기반으로 하여 주행경로를 변경하는 단계를 포함할 수 있다.
이때 상기 주행경로 변경과정은, 상기 복수 개의 이미지를 획득하는 단계 및 상기 환경지도를 구축하는 단계 사이에 수행되며, 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계를 더 포함할 수 있다.
그리고 상기 환경지도를 구축하는 단계는, 선별된 키 프레임 이미지를 획득한 좌표를 상기GPS기반의 좌표지도에 대응시켜 조합할 수 있다.
또한 상기 농업용 로봇은 특정 지점을 추적하며 촬영하는 트래킹촬영부를 포함하고, 상기 복수 개의 이미지를 획득하는 단계는, 상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집하며, 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계는, 상기 트래킹촬영부에 의해 촬영된 이미지 중, 촬영 방향이 상기 농업용 로봇의 주행 방향이 일치되는 이미지를 키 프레임 이미지로 선별할 수 있다.
그리고 상기 농업용 로봇은 주행 방향을 촬영하는 전방촬영부, 주행 방향의 반대 방향을 촬영하는 후방촬영부 및 특정 지점을 추적하며 촬영하는 트래킹촬영부 중 적어도 어느 하나 이상을 포함하고, 상기 복수 개의 이미지를 획득하는 단계는, 상기 전방촬영부, 상기 후방촬영부 및 상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집할 수 있다.
또한 상기 복수 개의 이미지를 획득하는 단계는, 별도의 드론을 통해 공중에서 획득한 이미지를 수집할 수 있다.
한편 상기 주행경로 확인단계, 상기 주행여부 판단단계, 상기 주행경로 설정단계 및 상기 주행단계의 수행 과정에서 생성된 복수의 주행제어데이터를 저장하는 주행제어데이터 저장단계 및 상기 저장된 주행제어데이터를 기반으로 소정의 딥 러닝(Deep Learning) 알고리즘을 수행하여 가변형 농업용 로봇의 자동 주행대응 매뉴얼을 구축하는 매뉴얼 구축단계를 더 포함할 수 있다.
상기한 과제를 해결하기 위한 본 발명의 가변형 농업용 로봇의 주행 제어방법은, 기 설정된 주행경로의 변경 여부와, 기 설정된 주행경로를 따른 농업용 로봇의 주행 가능 여부를 사전에 고려하여 상황에 적합한 대응방법을 적용함에 따라 날씨, 환경, 지형 변화 등에 구애되지 않고 농업용 로봇을 전천후로 운용할 수 있는 장점을 가진다.
즉 본 발명은 날씨 및 환경에 따라 빈번하게 변화하는 밭에서도 농업 관련 작업을 수행하는 농업용 로봇을 탄력적으로 운용할 수 있으며, 상황에 적합하게 농업용 로봇의 자동 제어가 가능하다는 장점이 있다.
또한 본 발명은 농업용 로봇의 운용 과정에서 미리 예측하지 못한 장애물이 발생할 경우에도, 최적화된 알고리즘을 통해 합리적인 대응을 수행할 수 있는 장점이 있다.
더불어 본 발명은 농업용 로봇을 운용하는 과정에서 생성되는 복수의 주행제어데이터를 수집 및 저장하고, 이에 대해 소정의 딥 러닝 알고리즘을 수행하여 빅 데이터를 형성함에 따라, 시간이 경과될수록 보다 정확하고 정밀한 제어방법을 구축할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법의 핵심 과정들을 순차적으로 나타낸 도면;
도 2는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법의 전체 알고리즘을 나타낸 도면;
도 3은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 모습을 나타낸 도면;
도 4는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 밭의 기 설정된 주행경로를 예시하여 나타낸 도면;
도 5는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 주행경로 변경과정의 각 단계를 나타낸 도면;
도 6은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제1방법의 각 단계를 나타낸 도면;
도 7은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제1방법을 개념적으로 나타낸 도면;
도 8은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제2방법의 각 단계를 나타낸 도면;
도 9는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제2방법을 개념적으로 나타낸 도면;
도 10은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제3방법의 각 단계를 나타낸 도면;
도 11은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제3방법을 개념적으로 나타낸 도면;
도 12는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정의 알고리즘을 나타낸 도면;
도 13은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 몸체부의 높이를 가변시키는 모습을 나타낸 도면;
도 14는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 좌측 주행부 및 우측 주행부의 폭을 가변시키는 모습을 나타낸 도면; 및
도 15는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 농업용 로봇이 장애물을 우회하는 모습을 나타낸 도면이다.
이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법의 핵심 과정들을 순차적으로 나타낸 도면이며, 도 2는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법의 전체 알고리즘을 나타낸 도면이다.
도 1 및 도 2에 나타난 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법은 밭의 기 설정된 주행경로를 따라 이동하며 작업을 수행하는 농업용 로봇에 적용될 수 있는 주행 제어방법이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법은 전체적으로 주행경로 확인단계와, 주행여부 판단단계와, 주행경로 설정단계와, 주행단계를 포함한다.
상기 주행경로 확인단계는 주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상을 고려하여, 상기 기 설정된 주행경로가 변경되었는지를 확인하는 단계이다.
즉 상기 주행경로 확인단계에서는 상기 주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상의 상황을 파악하고, 상기 주변환경 변화도 및 작물의 성장도가 기 설정된 주행경로에 영향을 미치지 않는 범위인지 아닌지를 판단하게 된다.
본 단계에서 상기 주변환경 변화도 및 작물의 성장도가 기 설정된 주행경로에 영향을 미치지 않는 경우, 농업용 로봇이 기 설정된 주행경로를 따라 주행하도록 제어하며, 상기 주변환경 변화도 및 작물의 성장도가 기 설정된 주행경로에 영향을 미치는 경우 기 설정된 주행경로가 변경된 것으로 인지하게 된다.
상기 주행여부 판단단계는 상기 주행경로 확인단계에 의해 상기 기 설정된 주행경로가 변경된 것으로 판단되었을 경우, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한지의 여부를 판단하는 단계이다.
즉 주행여부 판단단계에서는 기 설정된 주행경로가 변경되었음에도 불구하고 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한 것으로 판단될 경우, 농업용 로봇이 기 설정된 주행경로를 따라 주행하도록 제어하며, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단될 경우 상기 주행경로를 변경하는 단계를 수행하도록 한다.
이때 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단된다고 하더라도, 만약 주행경로를 변경하는 단계를 수행하지 않고 다양한 영상처리 기법 또는 딥러닝 기법을 이용하여 기 설정된 주행경로를 찾을 수 있는 경우라면, 이는 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한 것으로 판단될 수 있을 것이다.
여기서 다양한 영상 처리 기법은 후술할 환경지도를 구축하는 과정에서 설명된 여러 기술적 특징들까지도 포함하는 방법일 수 있음은 물론이며, 이로 인해 권리범위가 제한되지 않음은 당연하다.
상기 주행경로를 변경하는 단계는 상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 수행하는 단계이다.
즉 본 단계에서는 농업용 로봇이 주행 가능하도록 주행경로를 변경시키게 되며, 이와 같이 변경된 주행경로를 통해 농업용 로봇이 주행하도록 제어할 수 있다.
상기 주행단계는, 상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에 해당하는 단계이다.
이때 상기 주행단계에서는, 상기 농업용 로봇의 직진성 유지과정을 수행할 수 있으며, 또한 주행 중 예측 외의 장애물이 나타난 경우, 상기 농업용 로봇의 형태를 가변시켜 장애물 극복과정을 수행하도록 한다.
그리고 이상과 같은 각 단계의 보다 구체적인 내용에 대해서는 후술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 농업용 로봇(100)의 모습을 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 농업용 로봇(100)은 몸체부(110), 좌측 주행부(120b) 및 우측 주행부(120a)를 포함한다.
상기 몸체부(110)에는 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)가 장착되며, 또한 밭에서의 농업 관련 작업을 수행하기 위한 임의의 작업모듈이 선택적으로 장착될 수 있다. 상기 작업모듈은 제한 없이 농업 관련 작업을 수행하기 위한 다양한 장치일 수 있으며, 상기 몸체부(110)의 하부에 구비될 수 있다.
특히 본 실시예에서 상기 몸체부(110)에는 ROS PC, 다양한 센서, DC전원 SMPS 등 중요한 핵심 부품들이 수납되는 메인 전장박스를 비롯하여, 자세제어 모터드라이브, 브레이크 SSR 등이 수납되는 자세제어 전장박스 등 다양한 구성요소들이 포함될 수 있다.
즉 상기 몸체부(110)는 주행 기능을 수행하는 부분을 제외한 나머지 부분을 전체를 포함하는 개념일 수 있으며, 상기 몸체부(110)의 정의는 본 실시예만으로 제한되지 않고 다양한 기준에 따라 정해질 수 있다.
그리고 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)는 상기 가변형 농업용 로봇(100)의 주행 기능을 수행하는 구성요소이다.며,
본 실시예에서 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)는 상기 몸체부(110)의 양측에 각각 구비되며, 또한 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a) 각각은 한 쌍의 휠을 포함하여 총 4개의 휠에 의해 주행 가능하게 구비될 수 있다.
이와 같은 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)는 세부적으로 주행에 관련된 다양한 구성요소인 조향모듈, 구동모듈, 현가모듈, 자세제어모듈 등을 포함할 수 있으나, 이는 하나의 실시예로서 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)는 다양한 형태로 형성될 수 있다.
본 실시예의 경우 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)은 상기 몸체부(110)를 기준으로 하여 각각 측 방향으로 위치 이동 가능하게 형성되어, 서로 간의 폭을 조절 가능하게 형성된다.
또한 상기 몸체부(110)는 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)에 대해 높이 조절 가능하게 형성될 수 있다. 본 실시예에서는 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)가 자체적으로 높이 조절 가능하게 형성되어 상기 몸체부(110)를 함께 상하 이동시키는 구조로 형성되나, 상기 몸체부(110)의 높이 조절 방식은 본 실시예와 달리 다양하게 구현될 수 있음은 물론이다.
이하에서는, 이와 같은 농업용 로봇(100)의 구조를 기초로 하여, 전술한 가변형 농업용 로봇의 주행 제어방법의 각 단계를 자세히 설명하도록 한다.
전술한 바와 같이, 주행경로 확인단계는 주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상을 고려하여, 상기 기 설정된 주행경로가 변경되었는지를 확인하게 된다.
예컨대, 주변환경의 변화가 거의 없고, 작물도 일정 기준 미만으로 성장한 경우에는, 기 설정된 주행경로를 통해 농업용 로봇(100)을 주행시키며 작업을 수행하도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 밭의 기 설정된 주행경로를 예시하여 나타낸 도면이다.
도 4에 도시된 바와 같이, 일반적으로 기 설정된 주행경로는, 밭의 각 두둑을 최소한의 이동 거리로 경유할 수 있도록 형성될 수 있다. 이때 상기 기 설정된 주행경로는 GPS기반의 좌표지도를 기반으로 구축될 수 있다.
이와 같이 GPS기반의 좌표지도를 이용하는 경우, 지도에 할당되는 데이터 크기가 작으며, 경로를 설정하는 과정이 단순하다는 장점을 가질 수 있다.
다만, 상기 주행경로 확인단계에 의해 상기 기 설정된 주행경로가 변경된 것으로 판단되었을 경우, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한지의 여부를 판단하는 주행여부 판단단계를 수행하게 된다.
즉 주변환경 변화가 어느 정도 있고, 작물이 적당히 성장하였다고 하더라도 주행에 지장이 없는 경우에는 정상적으로 상기 농업용 로봇이 기 설정된 주행경로를 유지한 상태로 주행하도록 할 수 있다.
하지만, 이와 달리 상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 수행하는 주행경로 설정단계를 수행하게 된다.
도 5는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 주행경로 변경과정의 각 단계를 나타낸 도면이다.
도 5에 도시된 바와 같이, 주행경로 변경과정은 주변환경과 관련된 복수 개의 이미지를 획득하는 단계와, 상기 GPS기반의 좌표지도에 상기 복수 개의 이미지를 조합하여 환경지도를 구축하는 단계와, 상기 환경지도를 기반으로 하여 주행경로를 변경하는 단계를 포함할 수 있다.
또한 상기 주행경로 변경과정은, 상기 복수 개의 이미지를 획득하는 단계 및 상기 환경지도를 구축하는 단계 사이에 수행되며, 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계를 더 포함할 수 있다.
이와 같이 하는 이유는, GPS기반의 좌표지도만으로는 얻을 수 없는 다양한 농지의 정보를 이미지로서 획득하고, 이를 좌표지도에 반영함에 따라 보다 활용성이 높은 환경지도를 구축하여 신속하고 효율적으로 주행경로를 변경할 수 있도록 하기 위한 것이다.
이와 같은 환경지도를 구축하기 위한 다양한 이미지들을 얻기 위해, 상기 농업용 로봇은 주행 방향을 촬영하는 전방촬영부, 주행 방향의 반대 방향을 촬영하는 후방촬영부 및 특정 지점을 추적하며 촬영하는 트래킹촬영부 중 적어도 어느 하나 이상을 포함할 수 있다.
따라서 상기 복수 개의 이미지를 획득하는 단계는, 상기 전방촬영부, 상기 후방촬영부 및 상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집하는 것으로 할 수 있다.
또한 환경지도를 구축하기 위한 또 다른 형태의 이미지를 얻기 위해, 상기 복수 개의 이미지를 획득하는 단계는, 별도의 드론을 통해 공중에서 획득한 이미지를 수집하도록 할 수도 있다.
즉 환경지도를 구축하기 위한 이미지를 획득하기 위한 방법은 특정 방법으로만 제한되지 않으며, 다양한 수단을 통해 획득할 수 있다.
여기서 상기 환경지도를 구축하는 단계는, 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계에 의해 선별된 키 프레임 이미지를 획득한 좌표를 상기GPS기반의 좌표지도에 대응시켜 조합하는 것으로 할 수 있다.
이와 같이 키 프레임 이미지를 선별하는 이유는, 촬영을 통해 얻은 다양한 이미지 및 관련 데이터를 모두 이용하여 환경지도를 만드는 것이 비효율적이기 때문이며, 따라서 환경지도를 작성할 때 좌표지도와의 결합까지도 고려하여 특정 위치에서의 키 프레임 이미지를 선별하고 이를 중심으로 환경지도를 작성하게 된다.
키 프레임 이미지의 선별 역시 제한없이 다양한 기준에 의해 수행될 수 있다.
예컨대, 상기 농업용 로봇은 특정 지점을 추적하며 촬영하는 트래킹촬영부를 포함하고, 상기 복수 개의 이미지를 획득하는 단계는, 상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집할 수 있다.
이때 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계는, 상기 트래킹촬영부에 의해 촬영된 이미지 중, 촬영 방향이 상기 농업용 로봇의 주행 방향이 일치되는 이미지를 키 프레임 이미지로 선별하는 방법이 사용될 수 있다.
이상과 같이 주행경로 설정단계는, 상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 거쳐 정밀한 환경지도를 구축할 수 있다.
한편 전술한 각 단계 이후 상기 농업용 로봇이 기 설정된 주행경로, 즉 좌표지도를 기반으로 하여 주행하거나, 또는 변경된 주행경로, 즉 환경지도를 기반으로 하여 주행하는 모든 주행단계에 있어서, 상기 농업용 로봇이 해당 주행경로를 이탈하지 않고 직진성을 유지하도록 하는 직진성 유지제어과정이 수행될 수 있다.
이와 같은 직진성 유지제어과정은 표면이 불규칙한 밭의 특성 상 다양한 원인에 의해 상기 농업용 로봇이 주행경로를 이탈하는 것을 방지하기 위한 것으로, 상기 농업용 로봇의 주행을 실시간으로 분석하고 동작을 제어함으로써 주행경로를 따라 정확하게 이동할 수 있도록 한다.
그리고 이와 같은 직진성 유지제어과정은 다양한 방법에 의해 구현될 수 있으며, 본 실시예에서는 세 가지의 방법 중 적어도 어느 하나를 적용하도록 할 수 있다.
먼저, 도 6은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제1방법의 각 단계를 나타낸 도면이며, 도 7은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제1방법을 개념적으로 나타낸 도면이다.
도 6 및 도 7에 도시된 바와 같이, 직진성 유지제어과정 중 제1방법을 수행하기 위해, 주행경로에 위치되는 두둑(R)에는 직진성이 있는 광을 조사하는 광원 조사장치(200)가 적어도 하나 이상이 설치되고, 상기 농업용 로봇(100)에는 주행 방향을 촬영하는 전방촬영부(130)가 구비될 수 있다.
그리고 이와 같은 경우 상기 직진성 유지제어과정은, 상기 전방촬영부(130)가 초기작업 위치에서 주행 방향을 촬영하는 단계와, 촬영된 영상에서 상기 광원 조사장치(200)에 의해 조사된 광에 의해 형성된 직선의 가이드라인을 기준위치로 설정하는 단계와, 상기 농업용 로봇(100)의 이동에 따라 전방 방향을 촬영하고, 촬영된 영상에서 상기 광원 조사장치(200)에 의해 조사된 광에 의해 형성된 직선의 가이드라인(이하 "현재 가이드라인"이라 함)의 위치를 파악하는 단계와, 상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계와, 상기 농업용 로봇(100)의 이동에 따라 상기 농업용 로봇(100)의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계와, 상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계와, 상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇(100)이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇(100)의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
구체적으로 상기 전방촬영부(130)에 의해 촬영된 영상 화면에는, 작업중인 두둑(R)이 촬영되고, 또한 광원 조사장치(200)에 의해 조사된 광에 의해 형성된 가이드라인이 촬영된다.
이때 농업용 로봇(100)의 작업시작지점에서 가이드라인이 화면의 중앙에 오도록 한 경우이면, 화면의 중앙에 위치한 직선이 기준 가이드라인이 된다.
만약, 촬영된 영상에서 현재 가이드라인이 화면의 중앙에서 좌측에 위치하면, 위치 오차가 발생하였다고 판단하고, 기준 가이드라인과 현재 가이드라인 사이의 픽셀 간격을 오차값으로서 인지하고 농업용 로봇(100)을 조향하여 직진성을 유지하도록 할 수 있다.
그리고 상기 농업용 로봇(100)은 선회를 반복하여 이와 같은 과정을 주행경로에 존재하는 모든 두둑(R)에 대해 수행하게 된다.
다음으로, 도 8은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제2방법의 각 단계를 나타낸 도면이며, 도 9는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제2방법을 개념적으로 나타낸 도면이다.
도 8 및 도 9에 도시된 바와 같이, 직진성 유지제어과정 중 제2방법을 수행하기 위해, 주행경로에 위치되는 두둑(R)에는 비콘 신호를 송출하는 비콘장치(300)가 적어도 하나 이상이 설치되고, 상기 농업용 로봇(100)에는 주행 방향을 촬영하는 전방촬영부(130)가 구비될 수 있다.
그리고 이와 같은 경우 상기 직진성 유지제어과정은, 상기 전방촬영부(130)가 초기작업 위치에서 주행 방향을 촬영하는 단계와, 촬영된 영상에서 상기 두둑(R)의 가장자리 경계선을 기준 가이드라인으로 하여 해당 위치를 기준위치로 설정하는 단계와, 상기 농업용 로봇(100)의 주행과정 중 주행 방향을 촬영하고, 상기 두둑(R)의 가장자리 경계선을 현재 가이드라인으로 하여 그 위치를 파악하는 단계와, 상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계와, 상기 농업용 로봇(100)의 이동에 따라 상기 농업용 로봇(100)의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계와, 상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계와, 상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇(100)이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇(100)의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
구체적으로 상기 농업용 로봇(100)이 두둑(R) 상의 초기작업 위치에 서면, 상기 전방촬영부(130)는 전방을 촬영하고, 촬영 영상에서 직선의 두둑(R) 가장자리 경계선을 파악하여 그 위치를 파악한다. 이와 같이 파악된 가장자리 경계선은 기준 가이드라인으로 설정될 수 있다.
또한 상기 농업용 로봇(100)의 주행 과정에서 상기 전방촬영부(130)에 의해 촬영된 영상 화면에는, 작업중인 두둑(R)이 촬영되며, 이와 같은 두둑(R)의 가장자리 경계선을 현재 가이드라인의 위치로서 파악하게 된다.
만약, 촬영된 영상에서 현재 가이드라인이 상기 기준 가이드라인을 벗어난 경우 위치 오차가 발생하였다고 판단하고, 기준 가이드라인과 현재 가이드라인 사이의 픽셀 간격을 오차값으로서 인지하고 농업용 로봇(100)을 조향하여 직진성을 유지하도록 할 수 있다.
그리고 상기 농업용 로봇(100)은 선회를 반복하여 이와 같은 과정을 주행경로에 존재하는 모든 두둑(R)에 대해 수행하게 된다.
한편 이와 같이 직진성을 유지하는 중에, 농업용 로봇(100)은 비콘장치(300)로부터 비콘 신호가 수신되는지를 감지하고, 측정한 신호 세기를 설정값과 비교하여 설정값 이상인지를 판단하게 된다.
이때 측정한 신호 세기가 설정값 미만인 경우, 상기 농업용 로봇(100)은 지속적으로 직진 이동을 하게 되며, 측정한 신호 세기가 설정값 이상일 경우 조향을 주행하여 선회를 수행하도록 함에 따라 다음 작업할 두둑(R)으로 진행할 수 있다.
다음으로, 도 10은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제3방법의 각 단계를 나타낸 도면이며, 도 11은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 직진성 유지제어과정 중 제3방법을 개념적으로 나타낸 도면이다.
도 10 및 도 11에 도시된 바와 같이, 직진성 유지제어과정 중 제3방법을 수행하기 위해, 주행경로에 위치되는 두둑(R)에는 직진 식별가이드(400)가 설치되고, 상기 농업용 로봇(100)에는 주행 방향의 반대 방향을 촬영하는 후방촬영부(140)가 구비될 수 있다.
그리고 이와 같은 경우 상기 직진성 유지제어과정은, 상기 농업용 로봇(100)이 주행경로를 따라 주행을 시작하는 단계와, 상기 농업용 로봇(100)이 주행하는 과정에서 상기 후방촬영부(140)가 상기 직진 식별가이드(400)를 촬영하는 단계와, 촬영된 영상에서 상기 직진 식별가이드(400)를 추출하고, 미리 준비된 기준영상에 나타난 직진 식별가이드와의 위치를 비교하여 길이 방향의 위치가 일치하는지의 여부를 판단하는 단계와, 촬영된 영상에 나타난 직진 식별가이드(400)와 미리 준비된 기준영상에 나타난 직진 식별가이드의 위치가 일치하지 않는 것으로 판단된 경우, 상기 농업용 로봇(100)에 대해 조향 제어신호를 출력하여 농업용 로봇(100)의 주행 직진성을 유지시키는 단계를 포함할 수 있다.
즉 본 방법은 직진 식별가이드(400)를 기준으로 하여 좌측 주행부(120b) 및 우측 주행부(120a)가 식별가이드(400)의 길이 방향을 따라 진행하는지의 여부를 판단하는 것으로서, 미리 준비된 기준영상과 현재 촬영된 영상에 나타난 직진 식별가이드(400)의 일치 여부에 따라 조향을 수행하도록 한다.
본 실시예에서 상기 직진 식별가이드(400)는 좌측 주행부(120b)에 대응되는 좌측 직진 식별가이드(400b) 및 우측 주행부(120a)에 대응되는 우측 직진 식별가이드(400a)를 포함하는 것으로 하였으나, 상기 직진 식별가이드(400)의 형태는 다양하게 구현될 수 있을 것이다.
이상으로, 다양한 방법을 포함하는 직진성 유지제어과정에 대해 설명하였다.
한편 전술한 각 단계 이후 상기 농업용 로봇이 기 설정된 주행경로, 즉 좌표지도를 기반으로 하여 주행하거나, 또는 변경된 주행경로, 즉 환경지도를 기반으로 하여 주행하는 모든 주행단계에서, 예측 외의 장애물이 나타난 경우 상기 농업용 로봇의 형태를 가변시켜 장애물에 대처하는 장애물 극복과정이 수행될 수 있다.
전술한 바와 같이, 본 실시예에서 상기 농업용 로봇(100)은 몸체부(110)와, 주행 기능을 수행하는 좌측 주행부(120b) 및 우측 주행부(120a)를 포함하고, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)에 대한 몸체부(110)의 높이와, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a) 간의 폭을 조절 가능하게 형성된다(도 3 참조).
그리고 도 12는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정의 알고리즘을 나타낸 도면이다.
도 12를 참조하면, 상기 장애물 극복과정은, 예측 외의 장애물에 대한 높이 분석 및 폭 분석을 수행하여, 상기 농업용 로봇(100)을 가변시켜 장애물을 통과할 수 있는지의 여부를 판단하는 단계가 우선적으로 수행된다.
판단 결과, 상기 몸체부(110)의 높이를 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부(110)의 높이를 조절하는 단계가 수행된다. 즉 몸체부(110)의 높이 조절은 다른 형태의 장애물 극복 메커니즘에 우선하여 수행될 수 있다.
도 13은 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 몸체부(110)의 높이를 가변시키는 모습을 예시하여 나타낸 도면이다.
농업용 로봇(100)이 두둑(R)을 통과하는 과정에서 몸체부(110)의 현재 높이를 유지하며 통과할 수 없는 장애물(M1), 예컨대 두둑(R)의 일부에 토사가 쌓여 높이가 증가됨에 따라 주행경로를 막고 있을 경우, 도 13에 도시된 바와 같이 몸체부(110)의 높이를 조절하여 해당 구간을 통과하도록 할 수 있다.
다만, 상기 몸체부(110)의 높이를 조절하여 장애물을 통과할 수 없는 것으로 판단된 경우, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭을 조절하여 장애물을 통과할 수 있는지를 판단하게 된다.
판단 결과, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭을 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭을 조절하는 단계가 수행된다.
도 14는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 좌측 주행부(120b) 및 우측 주행부(120a)의 폭을 가변시키는 모습을 예시하여 나타낸 도면이다.
농업용 로봇(100)이 두둑(R)을 통과하는 과정에서 좌측 주행부(120b) 및 우측 주행부(120a)의 현재 폭을 유지하며 통과할 수 없는 장애물(M2), 예컨대 두둑(R)의 일부가 무너져 폭이 증가됨에 따라 주행경로를 막고 있을 경우, 도 14에 도시된 바와 같이 좌측 주행부(120b) 및 우측 주행부(120a)의 폭을 넓게 증가시켜 해당 구간을 통과하도록 할 수 있다.
다만, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭을 조절하여 장애물을 통과할 수 없는 것으로 판단된 경우, 상기 몸체부(110)의 높이 조절과, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭 조절을 동시에 수행하여 장애물을 통과할 수 있는지를 판단하게 된다.
판단 결과, 상기 몸체부(110)의 높이 조절과, 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭 조절을 동시 수행하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부(110)의 높이 조절과 상기 좌측 주행부(120b) 및 상기 우측 주행부(120a)의 폭을 동시에 조절하는 단계가 수행된다.
이상의 단계를 모두 수행함에 따라, 상기 농업용 로봇(100)을 가변시키더라도 장애물을 통과할 수 없는 것으로 판단된 경우, 주행경로 우회를 통한 장애물 극복이 가능한지의 여부를 판단하는 단계가 이어 수행된다.
그리고 주행경로 우회를 통한 장애물 극복이 가능한 것으로 판단된 경우에는, 상기 농업용 로봇(100)이 장애물을 우회하도록 동작 제어하는 단계가 수행된다.
도 15는 본 발명의 일 실시예에 따른 가변형 농업용 로봇의 주행 제어방법에 있어서, 장애물 극복과정 중 농업용 로봇(100)이 장애물(M3)을 우회하는 모습을 예시하여 나타낸 도면이다.
농업용 로봇(100)이 두둑(R)을 통과하는 과정에서 어떤 가변 형태로도 통과할 수 없는 장애물(M3), 예컨대 가변 범위를 벗어나는 크기의 대형 장애물이 존재할 경우, 도 15에 도시된 바와 같이 상기 농업용 로봇(100)의 좌측 주행부(120b) 및 우측 주행부(120a)를 동작 제어하여 장애물을 임시적으로 우회하도록 할 수 있다.
다만, 이와 같이 주행경로 우회를 통한 장애물 극복이 불가능한 것으로 판단된 경우, 사용자 측에 알람을 수행하는 단계가 수행될 수 있다. 이와 같은 경우에는 사용자가 현장에 방문하여 후속 조치를 수행하도록 할 수 있다.
한편 본 발명에 따른 가변형 농업용 로봇의 주행 제어방법은, 이상에 걸쳐 설명한 상기 주행경로 확인단계, 상기 주행여부 판단단계, 상기 주행경로 설정단계 및 상기 주행단계의 수행 과정에서 생성된 복수의 주행제어데이터를 저장하는 주행제어데이터 저장단계와, 상기 저장된 주행제어데이터를 기반으로 소정의 딥 러닝(Deep Learning) 알고리즘을 수행하여 가변형 농업용 로봇의 자동 주행대응 매뉴얼을 구축하는 매뉴얼 구축단계를 더 포함할 수 있다.
따라서 본 발명은, 소정의 딥 러닝 알고리즘에 의해 빅 데이터를 형성함에 따라, 시간이 경과될수록 보다 정확하고 정밀한 제어방법을 구축할 수 있게 되며, 이를 차후의 농업용 로봇(100) 운용 과정에서 활용할 수 있도록 할 수 있다.
이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

Claims (17)

  1. 밭의 기 설정된 주행경로를 따라 이동하며 작업을 수행하는 농업용 로봇의 주행 제어방법으로서,
    주변환경 변화도 및 작물의 성장도 중 적어도 어느 하나 이상을 고려하여 상기 기 설정된 주행경로가 변경되었는지를 확인하는 주행경로 확인단계;
    상기 주행경로 확인단계에 의해 상기 기 설정된 주행경로가 변경된 것으로 판단되었을 경우, 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 가능한지의 여부를 판단하는 주행여부 판단단계;
    상기 주행여부 판단단계에 의해 상기 농업용 로봇이 상기 기 설정된 주행경로를 유지한 상태로 주행이 불가능한 것으로 판단되었을 경우, 주변환경과 관련된 이미지를 이용하여 주행경로 변경과정을 수행하는 주행경로 설정단계; 및
    상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에서 예측 외의 장애물이 나타난 경우, 상기 농업용 로봇의 형태를 가변시켜 장애물 극복과정을 수행하는 주행단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  2. 제1항에 있어서,
    상기 농업용 로봇은 몸체부와, 주행 기능을 수행하는 좌측 주행부 및 우측 주행부를 포함하고, 상기 좌측 주행부 및 상기 우측 주행부에 대한 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부 간의 폭을 조절 가능하게 형성되며,
    상기 장애물 극복과정은,
    예측 외의 장애물에 대한 높이 분석 및 폭 분석을 수행하여, 상기 농업용 로봇을 가변시켜 장애물을 통과할 수 있는지의 여부를 판단하는 단계;
    상기 몸체부의 높이를 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부의 높이를 조절하는 단계; 및
    상기 좌측 주행부 및 상기 우측 주행부의 폭을 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 조절하는 단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  3. 제2항에 있어서,
    상기 장애물 극복과정은,
    상기 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 동시에 조절하여 장애물을 통과할 수 있는 것으로 판단된 경우, 상기 몸체부의 높이와, 상기 좌측 주행부 및 상기 우측 주행부의 폭을 동시에 조절하는 단계를 더 포함하는 가변형 농업용 로봇의 주행 제어방법.
  4. 제2항에 있어서,
    상기 장애물 극복과정은,
    상기 농업용 로봇을 가변시키더라도 장애물을 통과할 수 없는 것으로 판단된 경우, 주행경로 우회를 통한 장애물 극복이 가능한지의 여부를 판단하는 단계; 및
    주행경로 우회를 통한 장애물 극복이 가능한 것으로 판단된 경우, 상기 농업용 로봇이 장애물을 우회하도록 동작 제어하는 단계;를 더 포함하는 가변형 농업용 로봇의 주행 제어방법.
  5. 제4항에 있어서,
    상기 장애물 극복과정은,
    주행경로 우회를 통한 장애물 극복이 불가능한 것으로 판단된 경우, 사용자 측에 알람을 수행하는 단계를 더 포함하는 가변형 농업용 로봇의 주행 제어방법.
  6. 제1항에 있어서,
    상기 주행단계는,
    상기 농업용 로봇이 상기 기 설정된 주행경로를 따라 주행하거나 변경된 주행경로를 따라 주행하는 과정에서, 주행경로를 이탈하지 않고 직진성을 유지하도록 하는 직진성 유지제어과정을 수행하도록 하는 가변형 농업용 로봇의 주행 제어방법.
  7. 제6항에 있어서,
    주행경로에 위치되는 두둑에는 직진성이 있는 광을 조사하는 광원 조사장치가 적어도 하나 이상이 설치되고,
    상기 농업용 로봇에는 주행 방향을 촬영하는 전방촬영부가 구비되며,
    상기 직진성 유지제어과정은,
    상기 전방촬영부가 초기작업 위치에서 주행 방향을 촬영하는 단계;
    촬영된 영상에서 상기 광원 조사장치에 의해 조사된 광에 의해 형성된 직선의 가이드라인을 기준위치로 설정하는 단계;
    상기 농업용 로봇의 이동에 따라 전방 방향을 촬영하고, 촬영된 영상에서 상기 광원 조사장치에 의해 조사된 광에 의해 형성된 직선의 가이드라인(이하 "현재 가이드라인"이라 함)의 위치를 파악하는 단계;
    상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계;
    상기 농업용 로봇의 이동에 따라 상기 농업용 로봇의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계;
    상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계; 및
    상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  8. 제6항에 있어서,
    주행경로에 위치되는 두둑에는 비콘 신호를 송출하는 비콘장치가 적어도 하나 이상이 설치되고,
    상기 농업용 로봇에는 주행 방향을 촬영하는 전방촬영부가 구비되며,
    상기 직진성 유지제어과정은,
    상기 전방촬영부가 초기작업 위치에서 주행 방향을 촬영하는 단계;
    촬영된 영상에서 상기 두둑의 가장자리 경계선을 기준 가이드라인으로 하여 해당 위치를 기준위치로 설정하는 단계;
    상기 농업용 로봇의 주행과정 중 주행 방향을 촬영하고, 상기 두둑의 가장자리 경계선을 현재 가이드라인으로 하여 그 위치를 파악하는 단계;
    상기 현재 가이드라인의 위치와 상기 기준위치간의 오차값을 생성하는 단계;
    상기 농업용 로봇의 이동에 따라 상기 농업용 로봇의 자세 변화를 감지하고, 감지한 자세변화에 대한 자세변화값을 생성하는 단계;
    상기 자세변화값에 대응하는 자세 유지 동작을 수행하는 단계; 및
    상기 오차값 및 상기 자세변화값 중 적어도 어느 하나 이상을 이용하여 상기 농업용 로봇이 초기 진행 방향으로 계속 직진하도록 하는 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  9. 제6항에 있어서,
    주행경로에 위치되는 두둑에는 직진 식별가이드가 설치되고,
    상기 농업용 로봇에는 주행 방향의 반대 방향을 촬영하는 후방촬영부가 구비되며,
    상기 직진성 유지제어과정은,
    상기 농업용 로봇이 주행경로를 따라 주행을 시작하는 단계;
    상기 농업용 로봇이 주행하는 과정에서 상기 후방촬영부가 상기 직진 식별가이드를 촬영하는 단계;
    촬영된 영상에서 상기 직진 식별가이드를 추출하고, 미리 준비된 기준영상에 나타난 직진 식별가이드와의 위치를 비교하여 길이 방향의 위치가 일치하는지의 여부를 판단하는 단계; 및
    촬영된 영상에 나타난 직진 식별가이드와 미리 준비된 기준영상에 나타난 직진 식별가이드의 위치가 일치하지 않는 것으로 판단된 경우, 상기 농업용 로봇에 대해 조향 제어신호를 출력하여 농업용 로봇의 주행 직진성을 유지시키는 단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  10. 제1항에 있어서,
    상기 기 설정된 주행경로는 GPS기반의 좌표지도를 기반으로 구축되는 가변형 농업용 로봇의 주행 제어방법.
  11. 제10항에 있어서,
    상기 주행경로 변경과정은,
    주변환경과 관련된 복수 개의 이미지를 획득하는 단계;
    상기 GPS기반의 좌표지도에 상기 복수 개의 이미지를 조합하여 환경지도를 구축하는 단계; 및
    상기 환경지도를 기반으로 하여 주행경로를 변경하는 단계;를 포함하는 가변형 농업용 로봇의 주행 제어방법.
  12. 제11항에 있어서,
    상기 주행경로 변경과정은,
    상기 복수 개의 이미지를 획득하는 단계 및 상기 환경지도를 구축하는 단계 사이에 수행되며, 상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계를 더 포함하는 가변형 농업용 로봇의 주행 제어방법.
  13. 제12항에 있어서,
    상기 환경지도를 구축하는 단계는,
    선별된 키 프레임 이미지를 획득한 좌표를 상기GPS기반의 좌표지도에 대응시켜 조합하는 가변형 농업용 로봇의 주행 제어방법.
  14. 제12항에 있어서,
    상기 농업용 로봇은 특정 지점을 추적하며 촬영하는 트래킹촬영부를 포함하고,
    상기 복수 개의 이미지를 획득하는 단계는,
    상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집하며,
    상기 복수 개의 이미지 중 적어도 일부의 이미지를 키 프레임 이미지로서 선별하는 단계는,
    상기 트래킹촬영부에 의해 촬영된 이미지 중, 촬영 방향이 상기 농업용 로봇의 주행 방향이 일치되는 이미지를 키 프레임 이미지로 선별하는 가변형 농업용 로봇의 주행 제어방법.
  15. 제11항에 있어서,
    상기 농업용 로봇은 주행 방향을 촬영하는 전방촬영부, 주행 방향의 반대 방향을 촬영하는 후방촬영부 및 특정 지점을 추적하며 촬영하는 트래킹촬영부 중 적어도 어느 하나 이상을 포함하고,
    상기 복수 개의 이미지를 획득하는 단계는,
    상기 전방촬영부, 상기 후방촬영부 및 상기 트래킹촬영부 중 어느 하나 이상에 의해 촬영된 이미지를 수집하는 가변형 농업용 로봇의 주행 제어방법.
  16. 제11항에 있어서,
    상기 복수 개의 이미지를 획득하는 단계는,
    별도의 드론을 통해 공중에서 획득한 이미지를 수집하는 가변형 농업용 로봇의 주행 제어방법.
  17. 제1항에 있어서,
    상기 주행경로 확인단계, 상기 주행여부 판단단계, 상기 주행경로 설정단계 및 상기 주행단계의 수행 과정에서 생성된 복수의 주행제어데이터를 저장하는 주행제어데이터 저장단계; 및
    상기 저장된 주행제어데이터를 기반으로 소정의 딥 러닝(Deep Learning) 알고리즘을 수행하여 가변형 농업용 로봇의 자동 주행대응 매뉴얼을 구축하는 매뉴얼 구축단계;를 더 포함하는 가변형 농업용 로봇의 주행 제어방법.
PCT/KR2019/015404 2019-11-13 2019-11-13 가변형 농업용 로봇의 주행 제어방법 WO2021095907A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/015404 WO2021095907A1 (ko) 2019-11-13 2019-11-13 가변형 농업용 로봇의 주행 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/015404 WO2021095907A1 (ko) 2019-11-13 2019-11-13 가변형 농업용 로봇의 주행 제어방법

Publications (1)

Publication Number Publication Date
WO2021095907A1 true WO2021095907A1 (ko) 2021-05-20

Family

ID=75912388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015404 WO2021095907A1 (ko) 2019-11-13 2019-11-13 가변형 농업용 로봇의 주행 제어방법

Country Status (1)

Country Link
WO (1) WO2021095907A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN115362773A (zh) * 2022-08-05 2022-11-22 中国农业科学院都市农业研究所 一种丘陵农业机器人装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049337A (ko) * 2013-10-30 2015-05-08 주식회사 드림씨엔지 지능형 무인 제초 로봇
US20170083024A1 (en) * 2014-03-20 2017-03-23 Lely Patent N.V. Method and system for navigating an agricultural vehicle on a land area
KR20170053332A (ko) * 2015-11-06 2017-05-16 대한민국(농촌진흥청장) 농업용 로봇 및 이의 제어방법
US20170227969A1 (en) * 2016-02-04 2017-08-10 Deere & Company Autonomous robotic agricultural machine and system thereof
US20180243774A1 (en) * 2017-02-28 2018-08-30 Deere & Company Agricultural vehicle with adjustable row unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049337A (ko) * 2013-10-30 2015-05-08 주식회사 드림씨엔지 지능형 무인 제초 로봇
US20170083024A1 (en) * 2014-03-20 2017-03-23 Lely Patent N.V. Method and system for navigating an agricultural vehicle on a land area
KR20170053332A (ko) * 2015-11-06 2017-05-16 대한민국(농촌진흥청장) 농업용 로봇 및 이의 제어방법
US20170227969A1 (en) * 2016-02-04 2017-08-10 Deere & Company Autonomous robotic agricultural machine and system thereof
US20180243774A1 (en) * 2017-02-28 2018-08-30 Deere & Company Agricultural vehicle with adjustable row unit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALBERTO PRETTO: "Building an Aerial-Ground Robotics System for Precision Farming", IEEE ROBOTICS & AUTOMATION MAGAZINE, 8 November 2019 (2019-11-08), pages 1 - 14, XP055823309, Retrieved from the Internet <URL:https://arxiv.org/pdf/1911.03098.pdf> [retrieved on 20200723] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN114494848B (zh) * 2021-12-21 2024-04-16 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN115362773A (zh) * 2022-08-05 2022-11-22 中国农业科学院都市农业研究所 一种丘陵农业机器人装置及方法

Similar Documents

Publication Publication Date Title
WO2021095907A1 (ko) 가변형 농업용 로봇의 주행 제어방법
KR102248382B1 (ko) 가변형 농업용 로봇의 주행 제어방법
WO2011013862A1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
Katrasnik et al. New robot for power line inspection
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2018186583A1 (ko) 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
WO2017164544A1 (ko) 인공수분용 무인 비행체 및 이를 이용한 인공수분 시스템
CN111958591A (zh) 一种语义智能变电站巡检机器人自主巡检方法及***
WO2020151038A1 (zh) 割草机器人视觉避障方法、机器人、控制装置、存储介质
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2021112369A1 (en) Mapping method of lawn mower robot
WO2021137483A1 (ko) 자율주행 로봇을 이용한 지도 업데이트 방법 및 시스템
WO2020226187A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
CN105870814A (zh) 一种适用于10kV开关紧急分闸的操作装置
CN106680290A (zh) 狭窄空间的多功能检测车
WO2021158009A1 (ko) 추종 장치, 이를 포함하는 추종 시스템 및 추종 장치의 추종 방법
WO2019135437A1 (ko) 안내 로봇 및 그의 동작 방법
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2015147371A1 (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
WO2021158062A1 (ko) 이동수단의 위치인식방법 및 위치인식시스템
CN114320398B (zh) 高精度全智能锚杆支护机器人
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952738

Country of ref document: EP

Kind code of ref document: A1