WO2020261823A1 - 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法 - Google Patents

障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法 Download PDF

Info

Publication number
WO2020261823A1
WO2020261823A1 PCT/JP2020/019932 JP2020019932W WO2020261823A1 WO 2020261823 A1 WO2020261823 A1 WO 2020261823A1 JP 2020019932 W JP2020019932 W JP 2020019932W WO 2020261823 A1 WO2020261823 A1 WO 2020261823A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
image
obstacle detection
unit
detection
Prior art date
Application number
PCT/JP2020/019932
Other languages
English (en)
French (fr)
Inventor
江戸俊介
石見憲一
宮下隼輔
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to EP20830975.7A priority Critical patent/EP3991531A4/en
Priority to US17/609,544 priority patent/US20220230444A1/en
Priority to CN202080039882.6A priority patent/CN113873868A/zh
Publication of WO2020261823A1 publication Critical patent/WO2020261823A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • A01D75/18—Safety devices for parts of the machines
    • A01D75/185—Avoiding collisions with obstacles
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • A01D75/20—Devices for protecting men or animals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1274—Control or measuring arrangements specially adapted for combines for drives
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Definitions

  • the present invention relates to an obstacle detection system for an agricultural work vehicle that performs field work while traveling in the field.
  • Patent Document 1 discloses a harvester provided with an image recognition module that estimates an existing area where an obstacle exists in a field by using a photographed image acquired by a camera provided on the machine body.
  • This image recognition module is constructed using neural network technology that employs deep learning.
  • the captured image is used as an input image, and the obstacle is detected by a neural network that employs deep learning.
  • a neural network a photographed image having a large image size with the field of view in front of the traveling as an input image is used. Therefore, an obstacle away from the camera becomes a small subject, the number of calculations for detecting the obstacle becomes large, and a high-performance computing unit at a high price is required to detect the obstacle in a short time.
  • the obstacle detection system for an agricultural work vehicle estimates an existing area of an obstacle in a field based on an obstacle sensor that detects an obstacle in the field and a detection signal from the obstacle sensor.
  • the obstacle estimation unit that outputs the object existence area information, the photographing unit that photographs the field and outputs the photographed image, and the obstacle based on the obstacle existence area information and the photographing angle information of the photographing unit.
  • An image preprocessing unit that generates a trimmed image obtained by trimming the captured image so as to include an existing region of the above, and an obstacle detection unit in which the trimmed image is input as an input image and includes an obstacle detection result. It is equipped with an obstacle detection unit that outputs information.
  • This obstacle detection system is equipped with an obstacle sensor that detects obstacles in the field and an obstacle detection unit that detects obstacles using captured images.
  • the obstacle existence area information indicating the existence area of the obstacle is output.
  • the image preprocessing unit determines the obstacle existence area in the image taken from the photographing unit by using the obstacle existence area information, and trims the photographed image so that the obstacle existence area is included.
  • the trimmed image obtained by trimming is an image (an image having a smaller number of pixels) whose image size is smaller than that of the original captured image, even though it contains obstacles (reflectors). Since this cropped image is used as an input image of the obstacle detection unit, the calculation load of the obstacle detection unit, for example, the calculation load of the image recognition process is reduced. As a result, the cost performance of the obstacle detection unit is improved.
  • the traveling control of the agricultural work vehicle is changed to the obstacle avoidance control based on the obstacle detection information output from the obstacle detection unit.
  • This obstacle avoidance control preferably includes deceleration, stopping, turning, and the like of the agricultural work vehicle.
  • the obstacle sensor is a scanning sensor using an ultrasonic beam, a light beam, or an electromagnetic wave beam, and the transmitted beam is reflected by a reflector and returned.
  • the obstacle estimation unit calculates the three-dimensional position of the obstacle by regarding the reflector as the obstacle from the detection signal, and calculates the three-dimensional position of the obstacle from the detection signal. It is configured to output the obstacle existence area information including.
  • a scanning sensor can search the surroundings of an agricultural work vehicle in a wide range and in a short cycle, and can also calculate the distance from the return time of the beam to an obstacle. Therefore, the obstacle estimation unit calculates the three-dimensional position of the obstacle based on the detection signal from the scanning type obstacle sensor and outputs it as the obstacle existence area information.
  • the image preprocessing unit accurately calculates the position of the obstacle in the photographed image based on the three-dimensional position of the obstacle and the angle of view information of the photographing unit that captures the photographed image, and the obstacle is obtained from the photographed image. It is possible to generate a cropped image obtained by extracting an area containing.
  • An image recognition unit using pattern matching has been conventionally known as an obstacle detection unit that uses an image obtained by preprocessing a captured image as an input image. Furthermore, in recent years, an obstacle detection unit that accurately classifies obstacle types (humans, animals, etc.) by using a machine-learned neural network has been known. A high-performance arithmetic unit is required to build a machine-learned neural network, but by using an appropriately trimmed cropped image as an input image, good estimation results can be obtained even with a general-purpose arithmetic unit. It becomes possible to output. From this, in one of the preferred embodiments of the present invention, the obstacle detection unit is configured as a machine-learned neural network, and the obstacle detection information output based on the input image is used. Includes the type of obstacle.
  • the present invention is also applied to an agricultural work vehicle equipped with the above-mentioned obstacle detection system.
  • Such an agricultural work vehicle estimates an existing area of the obstacle based on an obstacle sensor that detects an obstacle around the agricultural work vehicle and a detection signal from the obstacle sensor, and provides information on the existing area of the obstacle.
  • An obstacle estimation unit that outputs an obstacle, a photographing unit that photographs the surroundings of the agricultural work vehicle and outputs a photographed image, and the obstacle existing area information and the imaged angle information of the photographing unit.
  • An image preprocessing unit that generates a trimmed image obtained by trimming the captured image so as to include the existing region, and obstacle detection in which the trimmed image is input as an input image and includes the detection result of the obstacle. It is equipped with an obstacle detection unit that outputs information.
  • the object of the present invention also includes an obstacle detection program for agricultural work vehicles.
  • This obstacle detection program estimates the existence area of the obstacle based on the detection signal from the obstacle sensor that detects the obstacle around the farm work vehicle, and outputs the obstacle estimation area information.
  • the existing area of the obstacle is included based on the function, the photographed image of the periphery of the agricultural work vehicle, the photographed angle information of the photographing unit that captured the photographed image, and the obstacle existing area information.
  • An image preprocessing function that generates a trimmed image obtained by trimming the captured image, and an obstacle detection function that inputs the trimmed image as an input image and outputs obstacle detection information including the obstacle detection result. And.
  • the object of the present invention also includes a recording medium on which an obstacle detection program for an agricultural work vehicle is recorded.
  • the obstacle detection program recorded on the recording medium estimates the existing area of the obstacle based on the detection signal from the obstacle sensor that detects the obstacle around the agricultural work vehicle, and the obstacle existing area.
  • the obstacle estimation function that outputs information, the photographed image of the periphery of the farm work vehicle, the photographed angle information of the photographing unit that captured the photographed image, and the obstacle existence area information.
  • An image preprocessing function that generates a trimmed image obtained by trimming the captured image so as to include an existing area, and obstacle detection information including the obstacle detection result when the trimmed image is input as an input image.
  • the computer is realized with an obstacle detection function that outputs.
  • the object of the present invention also includes an obstacle detection method for agricultural work vehicles.
  • This obstacle detection method estimates the existence area of the obstacle based on the detection signal from the obstacle sensor that detects the obstacle around the farm work vehicle, and outputs the obstacle estimation area information.
  • the step, the photographed image around the farm work vehicle, the photographed angle information of the photographing unit that captured the photographed image, and the obstacle existence area information are included so that the obstacle exists.
  • An image preprocessing step that generates a trimmed image obtained by trimming the captured image, and an obstacle detection step in which the trimmed image is input as an input image and obstacle detection information including the obstacle detection result is output. And.
  • an obstacle detection program of the present invention a recording medium recording an obstacle detection program for the agricultural work vehicle of the present invention, and an obstacle detection method of the present invention.
  • the direction of the arrow F shown in FIGS. 1 and 2 is referred to as “front”, and the direction of arrow B is referred to as “rear”. Further, the direction of the arrow L shown in FIG. 2 is “left”, and the direction of the arrow R is “right”. Further, the direction of the arrow U shown in FIG. 1 is “up”, and the direction of the arrow D is “down”.
  • the ordinary combine harvester which is a form of an agricultural work vehicle equipped with the obstacle detection system according to the present invention, includes a crawler type traveling device 11, a driving unit 12, a threshing device 13, and grains. It includes a tank 14, a harvesting section 15, a transport device 16, a grain discharge device 18, and a satellite positioning module 80.
  • the combine harvester 10 means an aggregate of the main components of the combine, but in some cases, it may mean individual components such as the traveling device 11 and the harvesting section 15.
  • the traveling device 11 is provided at the lower part of the combine. Further, the traveling device 11 is driven by power from an engine (not shown).
  • the driving unit 12, the threshing device 13, and the grain tank 14 are provided above the traveling device 11.
  • An operator who monitors the work of the combine can be boarded on the driver unit 12. The operator may monitor the work of the combine from outside the combine.
  • the grain discharge device 18 is provided above the threshing device 13 and the grain tank 14. Further, the satellite positioning module 80 is attached to the upper surface of the ceiling of the cabin constituting the operation unit 12. The satellite positioning module 80 receives a GNSS (Global Navigation Satellite System) signal (including a GPS signal) from the artificial satellite GS and acquires the aircraft position. In addition, in order to complement the satellite navigation by the satellite positioning module 80, an inertial navigation unit incorporating a gyro acceleration sensor and a magnetic compass sensor is incorporated in the satellite positioning module 80. Of course, the inertial navigation unit may be arranged at a different location from the satellite positioning module 80 in the combine.
  • GNSS Global Navigation Satellite System
  • the harvesting section 15 is provided at the front of the combine.
  • the transport device 16 is provided so as to extend to the rear end of the harvesting section 15 and the front end of the threshing device 13.
  • the harvesting section 15 and the transport device 16 are configured to swing up and down around the lateral axis of the machine body by expanding and contracting a hydraulic cylinder (not shown).
  • the harvesting unit 15 scrapes the planted culms to be harvested and cuts the planted culms in the field. As a result, the harvesting unit 15 harvests the planted culms in the field.
  • the combine is traveled by the traveling device 11 while cutting the planted grain culms in the field by the harvesting unit 15.
  • the harvested grain culm cut by the harvesting unit 15 is transported to the threshing device 13 by the transport device 16.
  • the harvested culm is threshed.
  • the grains obtained by the threshing treatment are stored in the grain tank 14.
  • the grains stored in the grain tank 14 are discharged to the outside of the machine by the grain discharging device 18 as needed.
  • the combine has a LIDAR (Laser Imaging Detection and Ringing) 21 which is an example of a scanning beam type obstacle sensor attached to the front end of the grain ejecting device 18.
  • the LIDAR 21 radiates a pulsed laser beam (transmitted beam) as a scanning beam to detect a reflected beam reflected by a reflector such as an obstacle. The distance to the reflector can be calculated based on the propagation time of the beam. Since the LIDAR 21 can scan the laser beam in the horizontal direction, by arranging the scanning surfaces of a plurality of LIDAR 21 in the vertical direction, substantially three-dimensional scanning becomes possible.
  • two LIDAR 21s having a horizontal scanning angle of at least 120 degrees are divided into a level below the height of the planted culm and a level above the height of the planted culm. Have been placed.
  • a camera 22 as a photographing unit for outputting a photographed image of the field is also attached to the front end of the grain discharging device 18.
  • the shooting range of the camera 22 is the field in front of the combine in the traveling direction.
  • the mounting position of the camera 22 can be adjusted, but after the adjustment, it is fixed and the shooting angle of view is also determined.
  • the camera 22 is equipped with a wide-angle lens, and the shooting angle of view thereof is approximately 120 degrees.
  • FIG. 3 shows a functional block diagram of the combine control system.
  • the control system of this embodiment is composed of a large number of electronic control units called ECUs, various operating devices, sensor groups and switch groups, and a wiring network such as an in-vehicle LAN that transmits data between them.
  • the notification device 84 is a device for notifying the driver or the like of a warning such as an obstacle detection result or a working running state, and is a buzzer, a lamp, a speaker, a display, or the like.
  • the control unit 6 is a core element of this control system and is shown as an aggregate of a plurality of ECUs.
  • the positioning data from the satellite positioning module 80, the captured image from the camera 22, and the detection signal from the LIDAR 21 are input to the control unit 6 through the wiring network.
  • the control unit 6 includes an output processing unit 6B and an input processing unit 6A as input / output interfaces.
  • the output processing unit 6B is connected to the vehicle traveling equipment group 7A and the working equipment group 7B.
  • the vehicle traveling device group 7A includes control devices related to vehicle traveling, such as an engine control device, a shift control device, a braking control device, and a steering control device.
  • the working equipment group 7B includes a harvesting unit 15, a transporting device 16, a threshing device 13, a power control device in the grain discharging device 18, and the like.
  • the running state detection sensor group 82, the work state detection sensor group 83, and the like are connected to the input processing unit 6A.
  • the traveling state detection sensor group 82 includes sensors that detect the state of the engine speed adjuster, the accelerator pedal, the brake pedal, the speed change operation tool, and the like.
  • the working state detection sensor group 83 includes a sensor for detecting the device state in the harvesting unit 15, the transport device 16, the threshing device 13, and the grain discharging device 18, and the state of the grain and the grain.
  • the control unit 6 is provided with a travel control module 60, an obstacle processing unit 50, an obstacle avoidance command generation unit 65, an aircraft position calculation unit 66, and a notification unit 67.
  • the obstacle detection system includes a LIDAR 21, a camera 22, an airframe position calculation unit 66, and an obstacle processing unit 50.
  • the notification unit 67 generates notification data based on a request from each functional unit of the control unit 6 and gives it to the notification device 84. Based on the positioning data sequentially sent from the satellite positioning module 80, the aircraft position calculation unit 66 determines the aircraft position which is the map coordinates (or field coordinates) of at least one specific location of the aircraft 10, for example, the harvesting unit 15. calculate.
  • the combine of this embodiment can travel in both automatic driving (automatic steering) and manual driving (manual steering).
  • the travel control module 60 includes a travel command unit 63 and a travel route setting unit 64 in addition to the travel control unit 61 and the work control unit 62.
  • a traveling mode switch (not shown) for selecting between an automatic traveling mode in which the vehicle travels by automatic steering and a manual steering mode in which the vehicle travels by manual steering is provided in the driving unit 12. By operating this travel mode switch, it is possible to shift from manual steering running to automatic steering running, or from automatic steering running to manual steering running.
  • the travel control unit 61 has an engine control function, a steering control function, a vehicle speed control function, and the like, and gives a travel control signal to the vehicle travel equipment group 7A.
  • the work control unit 62 gives a work control signal to the work equipment group 7B in order to control the movements of the harvesting unit 15, the threshing device 13, the grain discharge device 18, the transport device 16, and the like.
  • the travel route setting unit 64 expands the travel route for automatic driving in the memory.
  • the travel route developed in the memory is used as a target travel route in sequential automatic driving. This travel route can be used for guidance for the combine to travel along the travel route even in manual travel.
  • the travel command unit 63 generates an automatic steering command and a vehicle speed command as automatic travel commands and gives them to the travel control unit 61.
  • the automatic steering command is generated so as to eliminate the directional deviation and the positional deviation between the traveling route set by the traveling route setting unit 64 and the own aircraft position calculated by the aircraft position calculation unit 66.
  • the vehicle speed command is generated based on the vehicle speed value set in advance.
  • the vehicle speed command is generated based on the manual vehicle speed operation. However, in the event of an emergency such as obstacle detection, the vehicle speed will be changed, including a forced stop, and the engine will be stopped automatically.
  • the traveling control unit 61 controls the vehicle traveling equipment group 7A related to steering and the vehicle traveling equipment group 7A related to vehicle speed based on the automatic traveling command given by the traveling command unit 63.
  • the driving control unit 61 generates a control signal based on the operation by the driver to control the vehicle traveling equipment group 7A.
  • the obstacle processing unit 50 has a function of detecting the position (three-dimensional position) and type of an obstacle based on the detection signal from the LIDAR 21 and the captured image from the camera 22.
  • the obstacle processing unit 50 includes an image acquisition unit 51, an obstacle estimation unit 52, an image preprocessing unit 53, and an obstacle detection unit 54. Next, the flow of obstacle detection in the obstacle processing unit 50 will be described with reference to FIGS. 4 and 5. In FIG. 5, the data generated by each functional unit shown in FIG. 4 is represented as an image.
  • the obstacle processing unit 50 operates based on an obstacle detection program, which is a program for operating a computer. Therefore, the obstacle detection program includes an obstacle estimation function (obstacle estimation step), an image preprocessing function (image preprocessing step), and an obstacle detection function (obstacle detection step).
  • the obstacle existence area is estimated based on the detection signal from the LIDAR 21, and the obstacle existence area information is output.
  • the image preprocessing step the image captured by the camera 22 is trimmed based on the shooting angle information of the camera 22 and the obstacle existence area information, and at that time, the trimmed image includes the obstacle existence area. ..
  • the trimmed image is input as an input image, so that obstacle detection information including the obstacle detection result is output.
  • the image acquisition unit 51 stores the captured images sent from the camera 22 at a predetermined cycle in the memory by linking them with the own machine position calculated by the machine body position calculation unit 66. Further, the image acquisition unit 51 manages the shooting angle of view required for calculating the shooting area reflected in the shot image taken by the camera 22 at a predetermined position as the shooting angle of view information.
  • the obstacle estimation unit 52 links the detection signal from the LIDAR 21 with the own machine position calculated by the aircraft position calculation unit 66 and stores it in the memory, and based on this detection signal, the obstacle estimation unit 52 is an obstacle in which an obstacle exists in the field.
  • the object existence area is estimated and the obstacle existence area information is output (# 02 in FIG. 5).
  • the obstacle estimation unit 52 accumulates the detection signals sent from the LIDAR 21 and manages them in a three-dimensional space. As a result, 3D point cloud data such as a 3D radar image can be obtained. Each point constituting this point cloud data has a three-dimensional coordinate value (three-dimensional position).
  • the obstacle estimation unit 52 estimates the obstacle existence area from the point cloud data indicating the obstacle existence area, and outputs it as the obstacle existence area information.
  • the image preprocessing unit 53 has a trimming area calculation processing function and a trimming processing function.
  • the trimming area calculation process the area of the captured image in the obstacle estimation image is determined based on the obstacle existence area information output from the obstacle estimation unit 52 and the shooting angle of view information managed by the image acquisition unit 51. It is determined (# 03 in FIG. 5).
  • the obstacle estimation area where the existence of obstacles is estimated from the entire captured image is narrowed down. Since the outer frame of the obstacle estimation area serves as a trimming frame for the captured image, trimming data indicating the position of the trimming frame in the captured image is generated (# 04 in FIG. 5).
  • the captured image acquired by the image acquisition unit 51 is trimmed using the trimming frame to generate a trimmed image which is a part of the captured image (# 05 in FIG. 5). ).
  • the cropped image containing the estimated obstacles is a portion of the captured image.
  • this trimmed image is given to the obstacle detection unit 54 as an input image with a reduced number of pixels.
  • the obstacle detection unit 54 is composed of a machine-learned neural network, and a deep learning algorithm is used. Deep learning algorithms usually require high performance arithmetic units. However, since this neural network uses a trimmed image trimmed so as to include a region where the presence of obstacles is estimated from the captured image as an input image, a high-performance arithmetic unit is not used. In any case, effective results can be obtained quickly.
  • the output obstacle detection information includes detection results such as the type of obstacle (human, animal, utility pole, etc.) and the position of the obstacle. The direction and distance from the aircraft 10 to the obstacle can be calculated based on the obstacle detection information and the obstacle existence area information. The obstacle detection information is given to the notification unit 67 to notify the obstacle detection.
  • the obstacle avoidance command generation unit 65 performs obstacle avoidance control based on the direction and distance from the aircraft 10 to the obstacle. At that time, the obstacle avoidance command generation unit 65 selects the optimum one from the deceleration command, the stop command, the turning command, and the like of the aircraft 10, generates an obstacle avoidance command, and gives it to the traveling control module 60.
  • the components constituting the obstacle processing unit 50 shown in FIGS. 3 and 4 are mainly separated for the purpose of explanation, and the components can be freely integrated and the components can be freely divided. May be done.
  • two LIDAR 21s using a light beam are adopted as scanning beam type obstacle sensors (scanning sensors), but one or three may be used. The above may be sufficient. Further, as the scanning beam type obstacle sensor, an ultrasonic sensor using an ultrasonic beam, an infrared sensor using an infrared beam, or a radar using an electromagnetic wave beam may be adopted.
  • a visible light camera equipped with a wide-angle lens is adopted as the camera 22, but an infrared light camera or a hybrid camera including a visible light camera and an infrared light camera may be adopted. ..
  • the LIDAR 21 and the camera 22 are attached to the front end of the grain discharging device 18, but of course, they can be attached to other parts and also to different parts. Since it is important to monitor the front in the traveling direction, the front part of the combine, for example, the front end of the ceiling of the harvesting part 15 and the driving part 12 is suitable.
  • the obstacle detection unit 54 is composed of a neural network machine-learned using a deep learning algorithm, but of course, a neural network using an algorithm other than the deep learning algorithm, for example. It may be composed of a recurrent neural network. Furthermore, an image recognition technique other than the machine-learned neural network may be adopted.
  • each component in the above-described embodiment may be configured as a control program realized by a computer. Further, the present invention may be configured as a recording medium in which a control program for realizing the functions of each component in the above-described embodiment is recorded in a computer. Further, the present invention may be configured as a control method in which what is performed by each component in the above-described embodiment is performed by one or a plurality of steps.
  • the ordinary type combine is treated as an agricultural work vehicle, but instead, a self-removing type combine, a tractor, a rice transplanter, or the like may be handled.
  • the present invention is applicable to agricultural work vehicles that require obstacle detection.
  • Aircraft 21 LIDAR (obstacle sensor) 22: Camera (shooting section) 50: Obstacle processing unit 51: Image acquisition unit 52: Obstacle estimation unit 53: Image preprocessing unit 54: Obstacle detection unit 6: Control unit 60: Travel control module 61: Travel control unit 62: Work control unit 63: Travel command unit 64: Travel route setting unit 65: Obstacle avoidance command generation unit 66: Aircraft position calculation unit 80: Satellite positioning module 84: Notification device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Combines (AREA)
  • Image Analysis (AREA)

Abstract

農作業車のための障害物検出システムは、障害物センサ２１からの検出信号に基づいて、圃場における障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部５２と、圃場の撮影画像を出力する撮影部２２と、入力画像から障害物を検知して障害物検知情報を出力する障害物検知ユニット５４と、障害物存在領域情報と撮影部２２の撮影画角情報とに基づいて障害物の存在領域が含まれるように撮影画像をトリミングすることで得られるトリミング画像を障害物検知ユニット５４の入力画像として生成する画像前処理部５３とを備える。

Description

障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法
　本発明は、圃場を走行しながら圃場作業を行う農作業車のための障害物検出システムに関する。
　特許文献１には、機体に備えられたカメラによって取得された撮影画像を用いて、圃場における障害物が存在する存在領域を推定する画像認識モジュールを備えた収穫機が開示されている。この画像認識モジュールは、深層学習を採用したニューラルネットワーク技術を用いて構築されている。
特開２０１９－００４７７２号公報
　特許文献１での障害物検出では、撮影画像を入力画像とし、深層学習を採用したニューラルネットワークで、障害物の検出が行われている。このようなニューラルネットワークでは、走行前方を撮影視野とする大きな画像サイズの撮影画像が入力画像として用いられる。このため、カメラから離れた障害物は小さい被写体となり、障害物検出のための演算回数が大きくなり、短時間で障害物を検出するためには、価格の高い高性能演算ユニットが要求される。
　このことから、農作業車のための、コストパフォーマンスに優れた障害物検出システムが要望されている。
　本発明による農作業車のための障害物検出システムは、圃場の障害物を検出する障害物センサと、前記障害物センサからの検出信号に基づいて、圃場における障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、前記圃場を撮影し、撮影画像を出力する撮影部と、前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理部と、前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ユニットとを備える。
　この障害物検出システムは、圃場の障害物を検出する障害物センサと、撮影画像を用いて障害物を検知する障害物検知ユニットとを備えている。障害物センサによって障害物が検出されると、当該障害物の存在領域を示す障害物存在領域情報が出力される。画像前処理部は、障害物存在領域情報を用いて、撮影部からの撮影画像における障害物存在領域を決定し、この障害物存在領域が含まれるように撮影画像をトリミングする。トリミングによって得られたトリミング画像は、障害物（反射体）を含むにもかかわらず、元の撮影画像より画像サイズが縮小された画像（画素数が少なくなった画像）となる。このトリミング画像が障害物検知ユニットの入力画像として用いられるので、障害物検知ユニットの演算負担、例えば、画像認識処理の演算負担が減少する。これにより、障害物検知ユニットのコストパフォーマンスが改善される。
　障害物検知ユニットによって検出された障害物が農作業車の走行前方に位置する場合には、農作業車は障害物を回避する必要がある。あるいは、その障害物が農作業車の走行前方に位置しない場合でも、障害物が農作業車に近づいてくる可能性がある。このことから、本発明の好適な実施形態の１つでは、前記障害物検知ユニットから出力された前記障害物検知情報に基づいて、前記農作業車の走行制御が障害物回避制御に変更される。この障害物回避制御には、農作業車の減速、停止、あるいは旋回などが含まれることが好ましい。
　本発明の好適な実施形態の１つでは、前記障害物センサは、超音波ビームまたは光ビームまたは電磁波ビームを用いた走査型センサであり、送信ビームが反射体で反射して戻ってくる反射ビームから前記検出信号を出力するように構成され、前記障害物推定部は、前記検出信号から、前記反射体を前記障害物とみなして、前記障害物の三次元位置を算出し、前記三次元位置を含む前記障害物存在領域情報を出力するように構成されている。このような走査型センサは、農作業車の周囲を広範囲でかつ短い周期で探査することが可能であり、そのビームの戻り時間から障害物までの距離も算出可能である。したがって、障害物推定部は、このような走査型の障害物センサからの検出信号に基づいて、障害物の三次元位置を算出し、障害物存在領域情報として出力する。画像前処理部は、障害物の三次元位置と撮影画像を撮影する撮影部の撮影画角情報とに基づいて、撮影画像における障害物の位置を正確に算出するとともに、当該撮影画像から障害物を含む領域を取り出したトリミング画像を生成することができる。
　撮影画像を前処理して得られた画像を入力画像とする障害物検知ユニットとして、パターンマッチングを用いた画像認識ユニットが従来から知られている。さらには、近年、機械学習されたニューラルネットワークを用いることで、障害物の種類（人や動物など）も正確に区分けする障害物検知ユニットが知られている。機械学習されたニューラルネットワークを構築するためには、高性能の演算ユニットが必要となるが、適切にトリミングされたトリミング画像を入力画像とすることで、汎用的な演算ユニットでも良好な推定結果を出力することが可能となる。このことから、本発明の好適な実施形態の１つでは、前記障害物検知ユニットは、機械学習されたニューラルネットワークとして構成されており、前記入力画像に基づいて出力される前記障害物検知情報には、前記障害物の種類が含まれている。
　本発明は、上述した障害物検出システムを搭載した農作業車にも適用される。そのような農作業車は、前記農作業車の周辺の障害物を検出する障害物センサと、前記障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、前記農作業車の周辺を撮影し、撮影画像を出力する撮影部と、前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理部と、前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ユニットとを備える。
　本発明の対象には、農作業車のための障害物検出プログラムも含まれる。この障害物検出プログラムは、前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定機能と、前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理機能と、前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知機能とを備える。
　本発明の対象には、農作業車のための障害物検出プログラムを記録した記録媒体も含まれる。この記録媒体に記録された前記障害物検出プログラムは、前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定機能と、前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理機能と、前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知機能とをコンピュータに実現させる。
　本発明の対象には、農作業車のための障害物検出方法も含まれている。この障害物検出方法は、前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定ステップと、前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理ステップと、前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ステップとを備える。
　本発明の障害物検出システムを搭載した農作業車、本発明の障害物検出プログラム、本発明の農作業車のための障害物検出プログラムを記録した記録媒体、本発明の障害物検出方法に対しても、上述した本発明の障害物検出システムにおける作用効果及び種々の実施形態は適用できる。
コンバインの側面図である。 コンバインの平面図である。 コンバインの制御系の機能ブロック図である。 障害物検出システムにおける制御の流れを示す模式図である。 障害物検出システムにおける各処理ステップで生成されるデータを画像の形態で表した模式図である。
　本発明を実施するための形態について、図面に基づき説明する。尚、以下の説明においては、特に断りがない限り、図１及び図２に示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図２に示す矢印Ｌの方向を「左」、矢印Ｒの方向を「右」とする。また、図１に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。
　本発明による障害物検出システムを搭載する農作業車の一形態である普通型のコンバインは、図１及び図２に示すように、クローラ式の走行装置１１、運転部１２、脱穀装置１３、穀粒タンク１４、収穫部１５、搬送装置１６、穀粒排出装置１８、衛星測位モジュール８０を備えている。コンバインの機体１０は、コンバインの主な構成要素の集合体を意味するが、場合によっては、走行装置１１や収穫部１５などの個別の構成要素を意味することがある。
　走行装置１１は、コンバインにおける下部に備えられている。また、走行装置１１は、エンジン（図示せず）からの動力によって駆動する。運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１よりも上側に備えられている。運転部１２には、コンバインの作業を監視するオペレータが搭乗可能である。尚、オペレータは、コンバインの機外からコンバインの作業を監視していても良い。
　穀粒排出装置１８は、脱穀装置１３及び穀粒タンク１４よりも上側に設けられている。また、衛星測位モジュール８０は、運転部１２を構成するキャビンの天井上面に取り付けられている。衛星測位モジュール８０は、人工衛星ＧＳからのＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）の信号（ＧＰＳ信号を含む）を受信して、機***置を取得する。なお、衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは、コンバインにおいて衛星測位モジュール８０と別の箇所に配置されても良い。
　収穫部１５は、コンバインにおける前部に備えられている。そして、搬送装置１６は、収穫部１５の後端部と脱穀装置１３の前端部とに亘る状態で設けられている。収穫部１５及び搬送装置１６は、不図示の油圧シリンダの伸縮作動によって、機体横向き軸芯回りに上下揺動可能に構成されている。
　収穫部１５は、収穫対象の植立穀稈を掻き込むと共に、圃場の植立穀稈を刈り取る。これにより、収穫部１５は、圃場の植立穀稈を収穫する。コンバインは、収穫部１５によって圃場の植立穀稈を刈り取りながら走行装置１１によって走行する。
　収穫部１５により刈り取られた刈取穀稈は、搬送装置１６によって脱穀装置１３へ搬送される。脱穀装置１３において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。
　図１及び図２に示すように、コンバインは、走査ビーム式の障害物センサの一例であるＬＩＤＡＲ（Laser Imaging Detection and Ranging）２１が穀粒排出装置１８の前端に取り付けられている。ＬＩＤＡＲ２１は、走査ビームとしてパルス状のレーザビーム（送信ビーム）を放射して、障害物などの反射体で反射されてくる反射ビームを検出する。ビームの伝播時間に基づいて反射体までの距離を算出することができる。ＬＩＤＡＲ２１は、水平方向にレーザビームを走査させることができるので、複数台のＬＩＤＡＲ２１の走査面を鉛直方向に並べることで、実質的に三次元の走査も可能となる。この実施形態では、少なくとも１２０度を超える水平走査角を有する２つのＬＩＤＡＲ２１が、植立穀稈の高さ以下のレベルと、植立穀稈の高さを超える高さのレベルとに分けられて配置されている。
　さらに、穀粒排出装置１８の前端には、圃場の撮影画像を出力する撮影部としてのカメラ２２も取り付けられている。カメラ２２の撮影範囲は、コンバインの走行方向前方の圃場となっている。カメラ２２の取付位置は調整可能であるが、調整後は、固定され、その撮影画角も決定している。この実施形態では、カメラ２２には広角レンズが装着されており、その撮影画角はほぼ１２０度である。
　図３には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス８４は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。
　制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、カメラ２２からの撮影画像、ＬＩＤＡＲ２１からの検出信号は、配線網を通じて制御ユニット６に入力される。
　制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａおよび作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における動力制御機器などが含まれている。
　入力処理部６Ａには、走行状態検出センサ群８２や作業状態検出センサ群８３などが接続されている。走行状態検出センサ群８２には、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業状態検出センサ群８３には、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。
　制御ユニット６には、走行制御モジュール６０、障害物処理ユニット５０、障害物回避指令生成部６５、機***置算出部６６、報知部６７が備えられている。この実施形態では、障害物検出システムは、ＬＩＤＡＲ２１と、カメラ２２と、機***置算出部６６と、障害物処理ユニット５０とから構成されている。
　報知部６７は、制御ユニット６の各機能部からの要求に基づいて報知データを生成し、報知デバイス８４に与える。機***置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１０の少なくとも１つの特定箇所、例えば収穫部１５などの地図座標（または圃場座標）である機***置を算出する。
　この実施形態のコンバインは、自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、走行指令部６３および走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が運転部１２内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。
　走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、収穫部１５、脱穀装置１３、穀粒排出装置１８、搬送装置１６などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。
　走行経路設定部６４は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。
　走行指令部６３は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって設定された走行経路と、機***置算出部６６によって算出された自機位置との間の方位ずれ及び位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。
　自動走行モードが選択されている場合、走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。
　障害物処理ユニット５０は、ＬＩＤＡＲ２１からの検出信号と、カメラ２２からの撮影画像とに基づいて、障害物の位置（三次元位置）及び種類を検知する機能を有する。障害物処理ユニット５０には、画像取得部５１と、障害物推定部５２と、画像前処理部５３と、障害物検知ユニット５４とが含まれている。次に、図４と図５とを用いて障害物処理ユニット５０における障害物検知の流れを説明する。なお、図５では、図４で示されている各機能部によって生成されるデータが画像として表現されている。
　障害物処理ユニット５０は、実質的には、コンピュータを動作させるプログラムである障害物検出プログラムに基づいて動作する。従って、障害物検出プログラムは、障害物推定機能（障害物推定ステップ）と、画像前処理機能（画像前処理ステップ）と、障害物検知機能（障害物検知ステップ）とを含む。画像前処理ステップでは、ＬＩＤＡＲ２１からの検出信号に基づいて、障害物の存在領域が推定され、障害物存在領域情報が出力される。画像前処理ステップでは、カメラ２２の撮影画角情報と障害物存在領域情報とに基づいて、カメラ２２による撮影画像がトリミングされ、その際、そのトリミング画像には、障害物の存在領域が含まれる。障害物検知ステップでは、トリミング画像が入力画像として入力されることで、障害物の検知結果を含む障害物検知情報が出力される。
　ＬＩＤＡＲ２１が動作すると、ＬＩＤＡＲ２１から検出信号が出力され、カメラ２２が動作すると、カメラ２２から撮影画像が出力される（図５の＃０１）。画像取得部５１は、カメラ２２から所定周期で送られてくる撮影画像を、機***置算出部６６によって算出された自機位置とリンクさせてメモリに格納する。さらに、画像取得部５１は、所定位置におけるカメラ２２による撮影画像に写り込む撮影領域を算出するために必要な撮影画角を撮影画角情報として管理している。
　障害物推定部５２は、ＬＩＤＡＲ２１からの検出信号を機***置算出部６６によって算出された自機位置とリンクさせてメモリに格納するとともに、この検出信号に基づいて、圃場における障害物が存在する障害物存在領域を推定して障害物存在領域情報を出力する（図５の＃０２）。具体的には、障害物推定部５２は、ＬＩＤＡＲ２１から送られてくる検出信号を蓄積して、三次元空間で管理する。これにより、３次元レーダ画像のような３次元点群データが得られる。この点群データを構成する各点は、３次元座標値（３次元位置）を有する。圃場に障害物が存在しない場合には、植立穀稈または圃場の刈取り面からの反射ビームに基づく一様分布した点群データが得られる。しかしながら、送信ビームの反射体としての障害物が存在すれば、その反射ビームによって特徴付けられる当該障害物が存在している領域は、他の領域とは異なる点群データを示すことになる。これにより、障害物の存在領域が推定可能となる。障害物推定部５２は、その障害物の存在領域を示す点群データから障害物存在領域を推定し、障害物存在領域情報として出力する。
　画像前処理部５３は、トリミング領域算出処理機能とトリミング処理機能とを備えている。トリミング領域算出処理では、障害物推定部５２から出力される障害物存在領域情報と、画像取得部５１で管理されている撮影画角情報とに基づいて、障害物推定画像における撮影画像の領域が決定される（図５の＃０３）。
　撮影画像の全体から障害物の存在が推定される障害物推定領域が絞り込まれる。この障害物推定領域の外枠が、撮影画像に対するトリミング枠となるので、この撮影画像におけるトリミング枠の位置を示すトリミングデータが生成される（図５の＃０４）。
　トリミング処理では、画像取得部５１で取得された撮影画像に対して、トリミング枠を用いてトリミング処理が行われ、撮影画像における一部の領域であるトリミング画像が生成される（図５の＃０５）。推定された障害物が含まれているトリミング画像は、撮影画像の一部の領域である。次に、このトリミング画像は、画素数が低減された入力画像として、障害物検知ユニット５４に与えられる。
　障害物検知ユニット５４は、機械学習されたニューラルネットワークで構成されており、ディープラーニングアルゴリズムが用いられている。ディープラーニングアルゴリズムは、通常高性能な演算ユニットを要求する。しかしながら、このニューラルネットワークには、入力画像として、撮影画像から、障害物の存在が推定される領域が含まれるようにトリミングされたトリミング画像が用いられているので、高性能な演算ユニットを用いなくとも、効果的な結果が迅速に得られる。出力される障害物検知情報には、障害物の種類（人間、動物、電柱など）や障害物の位置などの検知結果が含まれる。障害物検知情報と障害物存在領域情報とに基づいて、機体１０からの障害物への方向及び距離が算出可能である。障害物検知情報は、障害物検知を報知するために報知部６７に与えられる。
　障害物回避指令生成部６５は、機体１０からの障害物への方向及び距離に基づいて、障害物回避制御を行う。その際、障害物回避指令生成部６５は、機体１０の減速指令、停止指令、旋回指令などから最適なものを選択して障害物回避指令を生成して、走行制御モジュール６０に与える。
　なお、図３と図４とに示された障害物処理ユニット５０を構成する構成要素は、主に説明目的で分けられており、当該構成要素の統合や、当該構成要素の分割は、自由に行われてよい。
〔別実施形態〕
　以下、上記した実施形態を変更した別実施形態について説明する。以下の各別実施形態で説明している事項以外は、上述した実施形態で説明している事項と同様である。上述した実施形態及び以下の各別実施形態は、矛盾が生じない範囲で、適宜組み合わせてもよい。なお、本発明の範囲は、上記した実施形態及び以下の各別実施形態に限定されるものではない。
（１）上述した実施形態では、走査ビーム式の障害物センサ（走査型センサ）として、光ビーム（レーザビーム）を用いた２台のＬＩＤＡＲ２１が採用されたが、１台でもよいし、３台以上でもよい。さらには、走査ビーム式の障害物センサとして、超音波ビームを用いた超音波センサや赤外線ビームを用いた赤外線センサや電磁波ビームを用いたレーダを採用してもよい。
（２）上述した実施形態では、カメラ２２として広角レンズを装着した可視光カメラが採用されたが、赤外光カメラあるいは可視光カメラと赤外光カメラとからなるハイブリッドカメラを採用してもよい。
（３）上述した実施形態では、ＬＩＤＡＲ２１及びカメラ２２は、穀粒排出装置１８の前端に取り付けられていたが、もちろんその他の部位に、しかもそれぞれ別々の部位に取り付けられることも可能である。走行方向の前方を監視することが重要なので、コンバインの前部、例えば、収穫部１５や運転部１２の天井前端が好適である。
（４）上述した実施形態では、障害物検知ユニット５４は、ディープラーニングアルゴリズムを用いて機械学習されたニューラルネットワークで構成されていたが、もちろん、ディープラーニングアルゴリズム以外のアルゴリズムを用いたニューラルネットワーク、例えばリカレントニューラルネットワークで構成されてもよい。さらには、機械学習されたニューラルネットワーク以外の画像認識技術が採用されてもよい。
（５）上述した実施形態における各構成要素の機能はコンピュータによって実現させる制御プログラムとして、構成されていても良い。また、上述した実施形態における各構成要素の機能をコンピュータに実現させる制御プログラムが記録された記録媒体として、本発明は構成されても良い。また、本発明は、上述した実施形態において各構成要素により行われることを一つまたは複数のステップにより行う制御方法として構成されていても良い。
（６）上述した実施形態では、農作業車として普通型コンバインが取り扱われたが、これに代えて、自脱型コンバイン、さらには、トラクタや田植機などが取り扱われてもよい。
　本発明は、障害物検出が必要な農作業車に適用可能である。
１０　：機体
２１　：ＬＩＤＡＲ（障害物センサ）
２２　：カメラ（撮影部）
５０　：障害物処理ユニット
５１　：画像取得部
５２　：障害物推定部
５３　：画像前処理部
５４　：障害物検知ユニット
６　　：制御ユニット
６０　：走行制御モジュール
６１　：走行制御部
６２　：作業制御部
６３　：走行指令部
６４　：走行経路設定部
６５　：障害物回避指令生成部
６６　：機***置算出部
８０　：衛星測位モジュール
８４　：報知デバイス
 

Claims (8)

  1. 　農作業車のための障害物検出システムであって、
    　圃場の障害物を検出する障害物センサと、
    　前記障害物センサからの検出信号に基づいて、前記圃場における前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、
    　前記圃場を撮影し、撮影画像を出力する撮影部と、
    　前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理部と、
    　前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ユニットと、を備えた障害物検出システム。
  2. 　前記障害物検知ユニットから出力された前記障害物検知情報に基づいて、前記農作業車の走行制御が障害物回避制御に変更される請求項１に記載の障害物検出システム。
  3. 　前記障害物センサは、超音波ビームまたは光ビームまたは電磁波ビームを用いた走査型センサであり、送信ビームが反射体で反射して戻ってくる反射ビームから前記検出信号を出力し、
    　前記障害物推定部は、前記検出信号から、前記反射体を前記障害物とみなして、前記障害物の三次元位置を算出し、前記三次元位置を含む前記障害物存在領域情報を出力する請求項１または２に記載の障害物検出システム。
  4. 　前記障害物検知ユニットは、機械学習されたニューラルネットワークとして構成されており、前記入力画像に基づいて出力される前記障害物検知情報には、前記障害物の種類が含まれている請求項１から３のいずれか一項に記載の障害物検出システム。
  5. 　障害物検出システムを備えた農作業車であって、
    　前記農作業車の周辺の障害物を検出する障害物センサと、
    　前記障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、
    　前記農作業車の周辺を撮影し、撮影画像を出力する撮影部と、
    　前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理部と、
    　前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ユニットと、を備えた農作業車。
  6. 　農作業車のための障害物検出プログラムであって、
    　前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定機能と、
    　前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理機能と、
    　前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知機能と、を備えた障害物検出プログラム。
  7. 　農作業車のための障害物検出プログラムを記録した記録媒体であって、
    　前記障害物検出プログラムが、
    　　前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定機能と、
    　　前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理機能と、
    　　前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知機能とをコンピュータに実現させる、記録媒体。
  8. 　農作業車のための障害物検出方法であって、
    　前記農作業車の周辺の障害物を検出する障害物センサからの検出信号に基づいて、前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定ステップと、
    　前記農作業車の周辺の撮影画像と、前記撮影画像を撮影した撮影部の撮影画角情報と、前記障害物存在領域情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られるトリミング画像を生成する画像前処理ステップと、
    　前記トリミング画像が入力画像として入力され、前記障害物の検知結果を含む障害物検知情報を出力する障害物検知ステップと、を備えた障害物検出方法。
     
PCT/JP2020/019932 2019-06-27 2020-05-20 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法 WO2020261823A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20830975.7A EP3991531A4 (en) 2019-06-27 2020-05-20 OBSTACLE DETECTION SYSTEM, AGRICULTURAL WORK VEHICLE, OBSTACLE DETECTION PROGRAM, RECORDING MEDIA ON WHICH AN OBSTACLE DETECTION PROGRAM IS RECORDED, AND OBSTACLE DETECTION METHOD
US17/609,544 US20220230444A1 (en) 2019-06-27 2020-05-20 Obstacle Detection System, Agricultural Work Vehicle, Obstacle Detection Program, Recording Medium on Which Obstacle Detection Program is Recorded, and Obstacle Detection Method
CN202080039882.6A CN113873868A (zh) 2019-06-27 2020-05-20 障碍物检出***、农用作业车辆、障碍物检出程序、存储障碍物检出程序的存储介质、障碍物检出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019120480A JP2021006011A (ja) 2019-06-27 2019-06-27 農作業車のための障害物検出システム
JP2019-120480 2019-06-27

Publications (1)

Publication Number Publication Date
WO2020261823A1 true WO2020261823A1 (ja) 2020-12-30

Family

ID=74061350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019932 WO2020261823A1 (ja) 2019-06-27 2020-05-20 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法

Country Status (5)

Country Link
US (1) US20220230444A1 (ja)
EP (1) EP3991531A4 (ja)
JP (1) JP2021006011A (ja)
CN (1) CN113873868A (ja)
WO (1) WO2020261823A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4043923A1 (en) * 2021-02-11 2022-08-17 Waymo Llc Methods and systems for three dimensional object detection and localization

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4268152A1 (en) * 2020-12-28 2023-11-01 Blue River Technology Inc. Machine-learned obstruction detection in a farming machine
JP7482838B2 (ja) 2021-06-28 2024-05-14 株式会社クボタ 作業支援システム
US20230027496A1 (en) * 2021-07-22 2023-01-26 Cnh Industrial America Llc Systems and methods for obstacle detection
WO2023119996A1 (ja) * 2021-12-24 2023-06-29 株式会社クボタ 障害物検出システム、農業機械および障害物検出方法
GB202213882D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system
GB202213881D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system
CN115390572A (zh) * 2022-10-28 2022-11-25 潍柴雷沃智慧农业科技股份有限公司 一种无人收获机的避障控制方法和***
WO2024095798A1 (ja) * 2022-10-31 2024-05-10 株式会社クボタ 障害物検知システム
JP2024092334A (ja) * 2022-12-26 2024-07-08 株式会社クボタ 作業車両

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007025739A (ja) * 2005-07-12 2007-02-01 Alpine Electronics Inc 車両用画像表示装置
JP2008230476A (ja) * 2007-03-22 2008-10-02 Denso Corp 車両外部撮影表示システムおよび画像表示制御装置
JP2012023505A (ja) * 2010-07-13 2012-02-02 Denso Corp 運転支援装置
WO2018207303A1 (ja) * 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
JP2018194912A (ja) * 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2018197945A (ja) * 2017-05-23 2018-12-13 株式会社デンソーテン 障害物検出装置および障害物検出方法
JP2019004772A (ja) 2017-06-23 2019-01-17 株式会社クボタ 収穫機
JP2019097454A (ja) * 2017-11-30 2019-06-24 井関農機株式会社 作業車両

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
DE102016118227A1 (de) * 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
JP6739364B2 (ja) * 2017-01-20 2020-08-12 株式会社クボタ 自動走行作業車
JP2018136803A (ja) * 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
KR102589076B1 (ko) * 2017-06-23 2023-10-16 가부시끼 가이샤 구보다 수확기
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
DE102017122712A1 (de) * 2017-09-29 2019-04-04 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
DE102017122710A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
CN109344687B (zh) * 2018-08-06 2021-04-16 深圳拓邦股份有限公司 基于视觉的障碍物检测方法、装置、移动设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007025739A (ja) * 2005-07-12 2007-02-01 Alpine Electronics Inc 車両用画像表示装置
JP2008230476A (ja) * 2007-03-22 2008-10-02 Denso Corp 車両外部撮影表示システムおよび画像表示制御装置
JP2012023505A (ja) * 2010-07-13 2012-02-02 Denso Corp 運転支援装置
WO2018207303A1 (ja) * 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
JP2018194912A (ja) * 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2018197945A (ja) * 2017-05-23 2018-12-13 株式会社デンソーテン 障害物検出装置および障害物検出方法
JP2019004772A (ja) 2017-06-23 2019-01-17 株式会社クボタ 収穫機
JP2019097454A (ja) * 2017-11-30 2019-06-24 井関農機株式会社 作業車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3991531A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4043923A1 (en) * 2021-02-11 2022-08-17 Waymo Llc Methods and systems for three dimensional object detection and localization
US11733369B2 (en) 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization

Also Published As

Publication number Publication date
JP2021006011A (ja) 2021-01-21
CN113873868A (zh) 2021-12-31
EP3991531A4 (en) 2023-07-26
US20220230444A1 (en) 2022-07-21
EP3991531A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
WO2020261823A1 (ja) 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法
JP7034866B2 (ja) 収穫機
JP7195543B2 (ja) 収穫機
JP7068781B2 (ja) 収穫機
JP7381402B2 (ja) 自動走行システム
JP6904539B2 (ja) 収穫機
JP7433362B2 (ja) 走行経路生成システム
US20190225214A1 (en) Advanced wild-life collision avoidance for vehicles
WO2020218464A1 (ja) 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法
JP7246641B2 (ja) 農作業機
WO2020261824A1 (ja) 作業車、障害物検知方法、および障害物検知プログラム
JP2020178619A (ja) 農作業機
JP7041889B2 (ja) 自脱型コンバイン
WO2020262416A1 (ja) 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法
JP7482838B2 (ja) 作業支援システム
WO2020218528A1 (ja) 収穫機等の農作業機
WO2024095798A1 (ja) 障害物検知システム
JP7080042B2 (ja) 収穫機衝突警戒システム及び収穫機
JP6765349B2 (ja) 収穫機
JP7174487B2 (ja) 農作業機
JP2024082938A (ja) 車両制御システム及び作業車
JP2022097149A (ja) 走行車両
JP2024005658A (ja) 機体制御システム
JP2024084486A (ja) 作業車

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20830975

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020830975

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020830975

Country of ref document: EP

Effective date: 20220127