WO2020218528A1 - 収穫機等の農作業機 - Google Patents

収穫機等の農作業機 Download PDF

Info

Publication number
WO2020218528A1
WO2020218528A1 PCT/JP2020/017734 JP2020017734W WO2020218528A1 WO 2020218528 A1 WO2020218528 A1 WO 2020218528A1 JP 2020017734 W JP2020017734 W JP 2020017734W WO 2020218528 A1 WO2020218528 A1 WO 2020218528A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
abnormality
field
unit
type
Prior art date
Application number
PCT/JP2020/017734
Other languages
English (en)
French (fr)
Inventor
江戸俊介
石見憲一
宮下隼輔
中林隆志
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019083819A external-priority patent/JP7149897B2/ja
Priority claimed from JP2019083821A external-priority patent/JP2020178619A/ja
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to EP20796043.6A priority Critical patent/EP3959955A4/en
Priority to US17/605,907 priority patent/US20220210971A1/en
Priority to CN202080031060.3A priority patent/CN113727597B/zh
Publication of WO2020218528A1 publication Critical patent/WO2020218528A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1278—Control or measuring arrangements specially adapted for combines for automatic steering
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/14—Mowing tables
    • A01D41/141—Automatic header control
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • A01D75/18—Safety devices for parts of the machines
    • A01D75/185—Avoiding collisions with obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Definitions

  • the present invention relates to agricultural work machines such as harvesters.
  • Patent Document 1 In farming in the field, it is necessary to pay attention to the locally different conditions of the field in the field and the existence of workers in the field. For this reason, for example, the agricultural work machine disclosed in JP H11-155340A (Patent Document 1) is provided with an imaging device (“TV camera” in Patent Document 1) capable of capturing an image in front of the traveling direction.
  • the recognition unit (“image processing device”) is configured to be able to identify the type of obstacle target (“falling grain culm”) based on the captured image (“image”) captured by the image pickup device.
  • JP H11-155340A Japanese Patent Application Laid-Open No. 11-155340
  • Patent Document 1 The agricultural work machine disclosed in Patent Document 1 has a configuration in which, for example, the operation of the work equipment is controlled based on the existence of the obstacle target, but various controls are not performed according to the type of the obstacle target. Absent. Then, it may be necessary to perform various controls according to the type of the obstacle target. In view of such circumstances, when a failure target is recognized from the captured image captured by the imaging device, suitable output control is performed based on a control pattern appropriately selected from a plurality of control patterns according to the type of the failure target. Agricultural work machines capable of this are desired.
  • [Solution 1] The solutions corresponding to [Problem 1] are as follows. It is a harvester that performs work running to harvest crops in the field while running automatically.
  • the traveling device that performs the work traveling and The aircraft supported by the traveling device and A harvesting section that is supported by the front part of the aircraft and harvests crops in the field.
  • An imaging device provided at the front of the machine and at a position higher than the harvesting section so as to look down on the crops in the unworked area in front of the harvesting section from above.
  • a detection unit that detects abnormalities in the field from the image captured by the image pickup device, and
  • a harvester including a control unit that controls an abnormality, which is a control according to the detected abnormality in the field.
  • the control unit can take appropriate measures in response to the abnormality in the field, and can appropriately continue the work running.
  • the field anomaly is the presence of foreign matter, the presence of weeds, or the lodging of crops. Is determined.
  • the control unit when it is determined that the abnormality in the field is the presence of the foreign matter, the control unit decelerates or stops the aircraft as the control at the time of the abnormality.
  • the harvesting part and the aircraft When traveling in an area where foreign matter exists, the harvesting part and the aircraft may be damaged or broken, or the harvesting work may not be performed properly. By decelerating or stopping the aircraft when it detects (determines) the presence of foreign matter on the work travel route, it is possible to prevent the harvesting part and the aircraft from coming into contact with the foreign matter, or work until there is no foreign matter. By waiting without traveling, it is possible to prevent the harvesting part and the aircraft from being damaged or broken.
  • the foreign body is an obstacle buried between the planted crops.
  • the control unit when it is determined that the abnormality in the field is the lodging of the crop, decelerates the aircraft as the control at the time of the abnormality.
  • the crop When the crop is lying down, if you work at the same speed, you will cut the crop in a state where the fallen crop is not sufficiently raised, and the cutting mark may or may not be when the crop is lying down. Will not be available. Therefore, when it is determined that the crop is lying down, the crop can be sufficiently raised by decelerating the aircraft, and the cutting marks can be aligned.
  • the airframe is A threshing device for threshing harvested crops, A transport device for transporting the harvested crops from the harvesting section to the threshing device, It has an adjusting unit provided in the transport device and adjusting the handling depth of the crop to be transported to the threshing device.
  • the control unit causes the adjustment unit to stop adjusting the handling depth as the control at the time of the abnormality.
  • a self-removing combine which is an example of a harvester, can generally change the handling depth depending on the length of the cut culm.
  • the handling depth is adjusted according to the length of the weed, and the crop becomes shallowly handled.
  • the threshing device does not perform an appropriate threshing process. Therefore, when the control unit determines that the abnormality is the presence of weeds, the control unit stops the adjustment of the handling depth adjusted by the length of the weeds.
  • the handling depth adjusted to the length of the crop to be harvested is controlled to be maintained immediately before the presence of weeds is detected, and the state of proper threshing is maintained.
  • the airframe has a driving unit in front of the airframe, and the imaging device is provided in front of the driving unit.
  • the airframe is A threshing device for threshing harvested crops, A transport device for transporting the harvested crops from the harvesting section to the threshing device, A grain tank for storing threshed crops,
  • the grain has a vertical transport portion connected to the lower part of the grain tank and a horizontal transport portion connected to the upper end portion of the vertical transport portion, and the grain is provided from a discharge portion provided at the tip end portion of the horizontal transport portion. It has a discharge device that can discharge the crops stored in the grain tank,
  • the image pickup device is provided in the lateral transport section.
  • the image pickup device provided in the lateral transport unit can easily image the field from above.
  • the discharge device includes a mode in which the discharge device is stored in a storage position, a mode in which the stored crop is discharged, and a mode in which the discharge unit projects from the machine body. Can be displaced between The automatic traveling is performed only when the discharge device is stored in the storage position.
  • the discharge device is displaced to the storage position during work driving. If the ejection device is not in an appropriate position, the imaging range of the image will shift, and it will not be possible to properly detect abnormalities. Therefore, when the discharge device is not in the storage position, the automatic running is stopped to prevent the working running, so that the working running can be controlled in a state where an abnormality is appropriately detected. ..
  • the notification unit is provided to notify an alarm when the discharge device is separated from the storage position during the automatic traveling.
  • An image pickup device that images crops in an unworked area in front of the harvesting section from above, and a detection unit that detects abnormalities in the field from images captured by the image pickup section.
  • a determination unit that determines the type of abnormality and
  • An imaging device that images crops in the unworked area in front of the harvesting area from above, and a detection function that detects abnormalities in the field from the images captured. Judgment function to determine the type of abnormality and An abnormality control program for the harvester that enables a computer to realize a control function that controls abnormalities according to the type of abnormality identified.
  • a computer-readable recording medium in which an abnormality control program that controls an abnormality in the field detected during the work operation of harvesting crops in the field while the harvester supporting the harvesting part automatically travels in the front part of the machine is recorded. And An imaging device that images crops in the unworked area in front of the harvesting area from above, and a detection function that detects abnormalities in the field from the images captured. Judgment function to determine the type of abnormality and A computer-readable recording medium in which a control function that controls an abnormality according to the type of the identified abnormality and an abnormality control program that enables the computer to realize the control function are recorded.
  • An abnormality control method for a harvester which comprises a step of performing abnormality control according to the type of the identified abnormality.
  • the importance of affecting the control of agricultural work machines differs depending on the type of obstacle target.
  • various objects are identified by the recognition unit from the imaging objects of the imaging device to classify the obstacle objects, and various control patterns are provided according to the types of the obstacle objects.
  • the farm work by the farm work machine can be efficiently performed without being disturbed by the obstacle target, as compared with the configuration in which the aircraft is uniformly stopped based on the existence of the obstacle target in the field. That is, according to the present invention, when a failure target is recognized from the captured image captured by the imaging device, suitable output control is performed based on a control pattern appropriately selected from a plurality of control patterns according to the type of the failure target.
  • Agricultural work machine capable of
  • the recognition unit is configured to be able to identify the type of the obstacle target by using a neural network learned by using deep learning.
  • a neural network is used to identify the type of obstacle target, and the captured image captured by the imaging device is used as the input data of the neural network.
  • Neural networks are known to be able to identify input / output relationships with non-linear characteristics by deep learning. Therefore, by utilizing the neural network in the recognition unit, it is possible to improve the identification accuracy of the type of the obstacle target.
  • the plurality of control patterns include deceleration of the airframe, stoppage of the airframe, and warning to the obstacle target.
  • the aircraft can be stopped, the speed of the aircraft can be adjusted, warnings for obstacles can be smoothly performed according to the type of obstacle, and farm work can be efficiently performed by the agricultural work machine.
  • the pattern determination unit determines the control pattern regarding the stop of the aircraft.
  • the control pattern for stopping the airframe is determined, and the pattern determination unit controls the output so as to stop the airframe, so that contact between the airframe and the obstacle target is preferably avoided.
  • the pattern determination unit when the recognition unit identifies that the type of obstacle object is spontaneously moving, the pattern determination unit relates to deceleration of the aircraft and a warning to the obstacle object. The control pattern is determined.
  • the type of obstacle target is an animal that moves spontaneously, such as livestock and birds and beasts
  • the aircraft can be smoothly moved forward or backward without stopping.
  • a distance measuring sensor capable of measuring the distance between the aircraft and the obstacle target.
  • the pattern determination unit determines the control pattern for stopping the aircraft when the separation distance is equal to or less than a preset distance.
  • the distance measuring sensor is preferably sonar.
  • the ranging sensor is preferably LIDAR. That is, the range-finding sensor is preferably a range-finding device that utilizes the LIDAR (Light detection and ranking) technology (hereinafter, abbreviated as LIDAR). Further, the distance measuring sensor may be a laser scanner.
  • LIDAR Light detection and ranking
  • LIDAR and a laser scanner which is an aspect of LIDAR, have higher distance measurement accuracy than sonar and the like
  • this configuration realizes a distance measurement sensor that is advantageous in terms of accuracy. Will be done.
  • the LIDAR or laser scanner has a configuration that can scan in three dimensions in the vertical direction in addition to the front and left and right, it is possible to have a wider range of distance measurement than the type of LIDAR or laser scanner that scans in two dimensions. It becomes.
  • a control system for agricultural work machines that executes Based on the captured image, a recognition unit that detects the presence of an obstacle target in the field and identifies the type of the obstacle object,
  • a control system for an agricultural work machine including a pattern determination unit that determines the control pattern according to the type of the failure target from a plurality of control patterns and executes the output control based on the determined control pattern.
  • FIG. 5 It is a figure which shows the 1st Embodiment (hereinafter, the same applies to FIG. 5), and is the side view of the combine as an example of a harvester. It is a figure explaining the outline of the automatic traveling of a combine. It is a top view which illustrates work running in a field. It is a figure which illustrates the captured image. It is a block diagram which illustrates the functional structure which detects an abnormality of a field. It is a figure which shows the 2nd Embodiment (hereinafter, the same applies to FIG. 12), and is the whole side view of the combine as an example of an agricultural work machine. It is the whole plan view of the combine. It is a figure which shows the outline of the automatic traveling of a combine.
  • the body 10 is supported by the crawler type traveling device 11.
  • the machine body 10 includes an operation unit 12, a threshing device 13, a grain tank 14, a harvesting unit H, a transport device 16, a discharge device 18, and a vehicle position detection module 80.
  • the combine is configured to be self-propelled by the traveling device 11.
  • the traveling device 11 is a steering traveling device composed of a pair of left and right crawler mechanisms, and is controlled by a traveling control unit 35 (see FIG. 5 described later).
  • the crawler speed of the left crawler mechanism and the crawler speed of the right crawler mechanism can be adjusted independently, and the direction of the aircraft 10 in the traveling direction is changed by adjusting the speed difference.
  • the driving unit 12, the threshing device 13, and the grain tank 14 are provided on the upper side of the traveling device 11 and form the upper part of the machine body 10.
  • the driver unit 12 can be boarded by a driver who drives the combine harvester and a monitor who monitors the work of the combine harvester. Usually, the driver and the observer also serve concurrently. When the driver and the observer are different persons, the observer may monitor the work of the combine from outside the combine.
  • the harvesting section H is provided at the front of the combine.
  • the transport device 16 is connected to the rear portion of the harvesting portion H.
  • the harvesting unit H has a cutting mechanism 15 and a reel 17.
  • the cutting mechanism 15 cuts the planted culms (corresponding to crops) in the field.
  • the reel 17 scrapes the planted culm to be harvested while rotating and driving. With this configuration, the harvesting unit H harvests the grain (a type of crop) in the field. Then, the combine can perform work traveling by the traveling device 11 while harvesting grains in the field by the harvesting unit H.
  • All the culms of the cut grain culms cut by the cutting mechanism 15 are transported to the threshing device 13 by the transport device 16.
  • the harvested culm is threshed.
  • the grains obtained by the threshing treatment are stored in the grain tank 14.
  • the grains stored in the grain tank 14 are discharged to the outside of the machine by the discharging device 18.
  • the discharge device 18 is connected to the lower rear part of the grain tank 14.
  • the discharge device 18 includes a vertical transport unit and a horizontal transport unit whose one end is connected to the lower part of the grain tank 14. One end of the horizontal transport portion is connected to the upper portion of the vertical transport portion, and the discharge portion 19 is provided at the other end.
  • the grains stored in the grain tank 14 are discharged from the discharge unit 19 to a transport vehicle (not shown) or the like.
  • the discharge device 18 is displaceable between a discharge state (protruding mode) and a stored state (stored mode). During work running, the discharge device 18 is held in the storage position and stored in the upper region of the machine body 10 (stored state).
  • the discharging device 18 is displaced so that the discharging unit 19 projects to the side of the machine body 10 (discharging state), and the grains are discharged. Further, the own vehicle position detection module 80 is attached to the front upper part of the driving unit 12.
  • a camera 21 (corresponding to an imaging device) for capturing a front region in which the machine body 10 performs a work run is provided on the front portion or the side portion of the discharging portion 19.
  • the camera 21 may be provided in the discharge unit 19 so as to face the front of the machine body 10 when the discharge device 18 is in the retracted state, and the camera 21 stays at a corner portion protruding forward of the discharge unit 19 (FIG. It may be provided via (not shown) or the like.
  • a communication terminal 2 is arranged in the driving unit 12.
  • the communication terminal 2 is fixed to the driving unit 12.
  • the present invention is not limited to this, and the communication terminal 2 may be configured to be detachable from the driving unit 12. Further, the communication terminal 2 may be taken out of the combine harvester.
  • the own vehicle position detection module 80 includes a satellite navigation module 81 and an inertial navigation module 82.
  • the satellite navigation module 81 receives a GNSS (global navigation system system) signal (including a GPS signal) from the artificial satellite GS, and outputs positioning data for calculating the position of the own vehicle.
  • the inertial navigation module 82 incorporates a gyro acceleration sensor and a magnetic compass sensor, and outputs a position vector indicating an instantaneous traveling direction.
  • the inertial navigation module 82 is used to supplement the vehicle position calculation by the satellite navigation module 81.
  • the inertial navigation module 82 may be arranged at a different location from the satellite navigation module 81.
  • the work running of the unworked area SP is performed with the circumference of the field formed by appropriately circling around the field as a turning area.
  • the area where the work run is completed becomes the existing work area SC.
  • abnormality in the field When there is an abnormality 6 in the field as shown in FIG. 3, it may not be possible to perform appropriate work when working in an area where the field has an abnormality.
  • the abnormality 6 in the field there are the presence of foreign matter 7 (obstacles, humans, animals, etc.), the lodging 9 of the planted culm 3, and the like.
  • the foreign matter 7 is an obstacle or the like that hinders work running and is buried between the strips formed by arranging the planted grain culms 3 in a plurality of rows.
  • the harvesting part H and the machine body 10 when traveling in the area where the foreign matter 7 exists, the harvesting part H and the machine body 10 come into contact with the foreign matter 7, and the harvesting part H and the machine body 10 are damaged or broken, or the harvesting part H and the machine body 10 are properly harvested. You may not be able to work. Further, when the work runs in the area where the lodging 9 of the planted culm 3 exists, the harvesting section H cannot sufficiently scrape the planted culm 3 to cause it, and compared with the case where the lodging 9 does not exist. The cutting marks become long, and the cutting marks are not aligned depending on whether the lodging 9 is present or not.
  • the camera 21 images the field in front of the machine body 10.
  • the imaging range of the camera 21 is in front of the machine body 10 or the harvesting section H, and is a range overlooking the planted grain culm 3 from above.
  • the captured image is captured including the tips of the planted grain culms 3 arranged in a plurality of rows and the interrows.
  • the width of the image is at least the width of the machine body 10 or the harvesting portion H, and includes a region through which the harvesting portion H passes due to work running.
  • the length of the image is such that one end is in the range from the harvesting portion H to the front of the harvesting portion H by a predetermined distance (for example, 1 m), and the other end is in the range of 5 m to 6 m in front of the harvesting portion H. It is preferable that the image includes a part of the unworked region SP on the lateral side thereof in addition to the region through which the harvesting portion H passes.
  • the harvester of the present embodiment can detect at least one of the abnormality 6 in the field and discriminate the type of the abnormality 6 in the field, and can also perform the abnormality time control which is a countermeasure according to the abnormality 6. These detection / discrimination / control are performed by the control device 25 shown in FIG. 5 mounted on the harvester.
  • the control device 25 includes a detection unit 26, a determination unit 27, and a control unit 29.
  • the control device 25 is composed of hardware including a processor such as a CPU and an ECU, and may be distributed to a plurality of functional blocks.
  • some of the functions of the control device 25 can be realized by software.
  • the software is stored in a storage unit (not shown) and executed by the control device 25 or another processor.
  • the detection unit 26 acquires the image captured by the camera 21 and performs image analysis to detect the presence of the abnormality 6 in the field.
  • the detection unit 26 transmits the result of detecting the presence of the abnormality 6 in the field to the control unit 29.
  • the camera 21 in the discharge unit 19 of the discharge device 18, the camera 21 is arranged in the upper part of the body 10 and in the front part of the body 10 near the harvesting part H. Therefore, the camera 21 can take an image of the front region of the machine body 10 near the harvesting portion H from an angle close to directly above. As a result, the camera 21 can more easily take an image of an obstacle or the like buried between the strips.
  • the detection unit 26 can detect the presence or absence of the abnormality 6, but it is difficult to determine the type of the abnormality 6. Therefore, the determination unit 27 acquires the image captured by the camera 21 and determines the type of the abnormality 6. For example, the determination unit 27 inputs the acquired image to the neural network 30, and causes the neural network 30 to determine the type of the abnormality 6.
  • the determination unit 27 includes a communication unit 28, and the communication unit 28 transmits an image to the neural network 30 via a network or the like, and receives the determination result.
  • the neural network 30 is machine-learned by inputting predetermined teacher data, and determines the type of abnormality 6 from the input image based on the learned data generated by machine learning. Machine learning can be performed, for example, by deep learning.
  • the determination unit 27 transmits the determination results of the six types of abnormalities in the field to the control unit 29.
  • the neural network 30 may be provided on the network, but may be provided on the control device 25.
  • the control device 25 can be configured to perform abnormal time control, which is control according to the abnormality 6, as a response measure according to the determination result of the type of the abnormality 6.
  • the control unit 29 performs abnormal time control. For example, when the determination unit 27 determines the type of abnormality 6 at a position 1.5 m or more and 6 m or less in front of the aircraft 10, the control unit 29 can control various responses including the stop of the aircraft 10.
  • the control unit 29 controls the travel control unit 35 to stop or decelerate the aircraft 10 via the travel device 11.
  • the control unit 29 controls the travel control unit 35 to stop or decelerate the aircraft 10 via the travel device 11.
  • the control unit 29 controls the travel control unit 35 to stop or decelerate the aircraft 10 via the travel device 11. Let me.
  • the planted culm 3 is lying down, if the work is carried out at the same speed, the planted culm 3 will be cut in a state where the fallen planted culm 3 is not sufficiently triggered, and the planting culm 3 will be cut.
  • the cutting marks are not aligned depending on whether the grain culm 3 is lying down or not. Therefore, when the planted culm 3 is lying down, it is necessary to reduce the traveling speed in order to sufficiently cause the planted culm 3.
  • control unit 29 decelerates the machine body 10, so that the planted grain culm 3 can be sufficiently caused and the cutting marks can be aligned. Similarly, by stopping the machine body 10, it is possible to control the work running at an appropriate speed thereafter and align the cutting marks.
  • the work running is carried out so as to look down on the planted grain culm 3 from a position as close as possible to the upper side.
  • the abnormality 6 in the field can be detected with high accuracy.
  • the camera 21 at a position in front of the harvesting section H, directly above the harvesting section H, or even after the harvesting section H but as close to the harvesting section H as possible from the front of the aircraft 10, the harvesting section is provided.
  • the field can be imaged from a position closer to directly above, and the abnormality 6 in the field can be detected with high accuracy. Further, since the field is imaged so as to look down on the planted grain culm 3, the abnormality 6 buried in the interstitial spaces can be easily detected.
  • the position where the camera 21 is provided is not limited to the discharge device 18, and may be the front region of the machine body 10. In this case, it is preferable to provide it on the front side of the driving unit 12. That is, the camera 21 may be provided at a position sufficiently higher than the harvesting portion H, as far as possible in front of the machine body 10, and at a position where the unworked region SP in front of the harvesting portion H in the working traveling direction can be imaged from above.
  • the stay may be projected forward from the machine body 10 and the camera 21 may be provided on the stay.
  • the camera 21 may be movable, and may have a configuration in which the imaging range can be changed according to the work situation and the field situation.
  • the camera 21 is a discharge camera (not shown). May be diverted. In this case, the imaging range is changed so that the camera 21 (discharging camera) images the periphery of the discharging unit 19 when the grains are discharged, and images the unworked area SP in front of the harvesting unit H during the working operation. Will be done.
  • the transport device 16 is provided with a sensor (not shown) for detecting the length of the harvested harvested culm. Further, the transport device 16 is provided with an adjusting unit 36 that adjusts the handling depth when the threshed culm is threshed by the threshing device 13 according to the detected length of the cut culm. By providing the adjusting unit 36, the threshing device 13 can perform an appropriate threshing process in consideration of the length of the harvested culm.
  • the adjusting unit 36 of the transport device 16 handles the depth according to the length of the weeds 8. To adjust. As a result, the planted culm 3 to be threshed becomes shallowly handled, and the threshing process may not be performed properly.
  • the control unit 29 controls the adjustment unit 36 to adjust the handling depth. Don't do it.
  • the handling depth is adjusted according to the length of the planted culm 3 to be transported.
  • the handling depth is adjusted according to the length of the weed 8.
  • control unit 29 determines that the abnormality 6 is the presence of the weed 8
  • the control unit 29 stops the adjustment of the handling depth, and when the weed 8 does not exist, the control unit 29 responds to the length of the planted culm 3. Control so that the adjusted handling depth is maintained. As a result, the state in which the threshing process is properly performed is maintained.
  • the determination unit 27 may distinguish and determine a person or an animal including a person as the foreign substance 7. In this case, when the determination unit 27 determines that a person or an animal exists in the traveling direction of the aircraft 10, the control unit 29 generates an alarm to the notification unit 37, and then stops the aircraft 10. If a person or animal is some distance away, the person or animal may be evacuated by an alarm. When a person or animal remains in the direction of travel even after issuing an alarm, when the distance between the aircraft 10 and a person or animal approaches within a predetermined distance, or when a predetermined time has passed since the alarm was issued, etc. In addition, the control unit 29 stops the aircraft 10. When the presence of a person is determined, the control unit 29 may immediately stop the aircraft 10. As described above, it is possible to prevent the aircraft 10 from coming into contact with a person or an animal.
  • the determination unit 27 may determine the presence of the water outlet as the foreign matter 7, and the water outlet is an intake port for drawing water into the field.
  • the water outlet is often buried in the planted culm 3, which is difficult to detect with a normal sensor. Since the camera 21 in each of the above embodiments captures the field from above, it is easy to find the water outlet buried in the planted culm 3.
  • the control unit 29 may generate an alarm to the notification unit 37, control the travel control unit 35 to stop the aircraft 10, or bypass the water outlet. it can. Since the water outlet is provided in the outer peripheral region of the field, it is often the case that the work runs around the water outlet, especially when cutting around the field.
  • abnormal time control is performed not only during automatic traveling but also during manual traveling.
  • the control unit 29 When the determination unit 27 determines the existence of the water outlet during manual driving, the control unit 29 generates an alarm to the notification unit 37, and the operator bypasses the water outlet by manual driving while checking the water outlet. Do. As described above, even if there is a water outlet, it is possible to carry out work running appropriately.
  • the control device 25 includes a detection unit 26 and a determination unit 27, and the determination unit 27 determines the type of the abnormality 6 to detect the presence of the abnormality 6. Therefore, it is not always necessary to provide the detection unit 26. Further, when the control device 25 includes both the detection unit 26 and the determination unit 27, the type of the abnormality 6 detected by the determination unit 27 may be determined when the detection unit 26 detects the abnormality 6. good. Further, when it is not necessary to determine the type of the abnormality 6, the control device 25 may be configured to include at least the detection unit 26. Further, the detection unit 26 and the determination unit 27 are not provided separately, the determination unit 27 is not provided, the detection unit 26 is provided with the communication unit 28, and the detection unit 26 determines the type of the abnormality 6. Is also good.
  • a combination of the satellite navigation module 81 and the inertial navigation module 82 is used as the own vehicle position detection module 80, but only the satellite navigation module 81 may be used. Further, a method of calculating the position of the own vehicle and the orientation of the vehicle body based on the image captured by the camera may be adopted.
  • the harvester according to the present invention can be applied not only to a conventional combine harvester but also to a head-feeding combine harvester.
  • the present invention can also be applied to various harvesters such as a corn harvester, a potato harvester, a carrot harvester, and a sugar cane harvester.
  • the system, program, recording medium and method related to the harvester are also included in the scope of the present invention.
  • anomaly control of a harvester configured to control an abnormality in a field detected during a work run in which a harvester supporting a harvesting portion automatically travels in front of the machine to harvest crops in the field.
  • the scope of the present invention also includes a system, an abnormality control method and an abnormality control program, and a computer-readable recording medium on which the abnormality control program is recorded.
  • the combine is shown as an example of the agricultural work machine of the present invention.
  • the direction indicated by reference numeral (F) in FIGS. 6 and 7 is the front side of the aircraft, and the direction indicated by reference numeral (B) in FIGS. 6 and 7 is the rear side of the aircraft.
  • the direction indicated by the reference numeral (U) in FIG. 6 is the upper side of the machine body, and the direction indicated by the reference numeral (D) in FIG. 6 is the lower side of the machine body.
  • FIG. 6 is the left side of the aircraft, and the direction indicated by the reference numeral (R) in FIG. 6 is the right side of the aircraft.
  • R the direction indicated by the reference numeral
  • the left-right direction of the aircraft 101 the left-right direction is defined in the state of being viewed in the traveling direction of the aircraft.
  • the ordinary combine harvester which is a form of the agricultural work machine, includes the body 101, a pair of left and right crawler type traveling devices 111, a boarding section 112, a threshing device 113, and a grain tank 114.
  • the harvesting device 115, the transporting device 116, and the grain discharging device 118 are provided.
  • the traveling device 111 is provided at the lower part of the combine.
  • the combine can be self-propelled by the traveling device 111.
  • the boarding unit 112, the threshing device 113, and the grain tank 114 are provided above the traveling device 111, and these are configured as the upper part of the machine body 101.
  • a passenger of the combine harvester or an observer who monitors the work of the combine harvester can board the boarding section 112. Usually, the passenger and the observer also serve concurrently. When the passenger and the observer are different persons, the observer may monitor the work of the combine from outside the combine.
  • a drive engine (not shown) is provided below the boarding section 112.
  • the grain discharge device 118 is connected to the lower rear portion of the grain tank 114.
  • the harvesting device 115 is supported by the front part of the machine body 101.
  • the transport device 116 is provided adjacent to the rear side of the harvest device 115.
  • the harvesting device 115 harvests crops in the field.
  • the crop is, for example, a planted culm such as rice, but may be soybean, corn, or the like. With this configuration, the harvesting device 115 harvests the crops in the field. Then, the combine can perform work traveling by the traveling device 111 while harvesting the crops in the field by the harvesting device 115.
  • the crops harvested by the harvesting device 115 are transported to the threshing device 113 by the transport device 116.
  • the harvested crop is threshed by the threshing device 113.
  • the harvested grains obtained by the threshing process are stored in the grain tank 114.
  • the grains stored in the grain tank 114 are discharged to the outside of the machine by the grain discharging device 118, if necessary.
  • the grain discharge device 118 is configured to swing around the vertical axis core at the rear of the machine body. That is, the free end portion of the grain discharge device 118 protrudes laterally outside the machine body 101 to discharge crops, and the free end portion of the grain discharge device 118 is within the range of the machine width of the machine body 101.
  • the grain discharge device 118 is configured so that it can be switched between the stored storage state and the position. When the grain discharging device 118 is in the stored state, the free end portion of the grain discharging device 118 is located on the front side of the boarding portion 112 and above the harvesting device 115.
  • the image pickup device 121 is provided on the side of the grain discharge port located at the free end. Further, as will be described in detail later, a distance measuring sensor 122 is provided at the front of the boarding unit 112, and the distance measuring sensor 122 can measure the distance between the obstacle target in the field existing in front of the aircraft 101 and the aircraft 101. It is configured in.
  • the image pickup device 121 is a color camera capable of capturing visible light, for example, a CCD camera or a CMOS camera.
  • the image pickup device 121 is configured to be able to image the front of the combine in the forward direction in the front-down direction from the location of the grain discharge port.
  • the image pickup device 121 is located in front of the boarding section 112, and is supported by the free end portion of the grain discharge device 118 in a state in which the front-rear direction of the image pickup device 121 is inclined downward.
  • the image pickup device 121 can image the harvested state of the crop in the front end region of the harvesting device 115 with high image quality from a close viewpoint, as compared with the configuration in which the image pickup device 121 is supported on the ceiling portion of the boarding portion 112. Further, the image pickup apparatus 121 can take an image from a viewpoint of looking down on an obstacle object or the like in front of the traveling direction. Therefore, the imaging field of view of the imaging device 121 in the front-rear direction is, for example, 15 meters or 25 meters. As described above, the imaging device 121 is provided at the front portion of the machine body 101 and at a position higher than the harvesting device 115 so as to look down on the unharvested crops in front of the harvesting device 115.
  • the captured image acquired by the image pickup device 121 is converted into image data and sent to the control system of the combine.
  • the imaging device 121 images the field during the harvesting operation, and various objects exist as imaging targets in the field.
  • the combine control system has a function of identifying a specific object as an obstacle target from the image data sent from the image pickup device 121.
  • obstacles in FIGS. 6 and 7, the normal planted culm group indicated by reference numeral Z0, the weed group indicated by reference numeral Z1, the fallen culm group indicated by reference numeral Z2, and the reference numeral Z3.
  • the person indicated by, the stone indicated by the reference numeral Z4 is schematically shown.
  • a satellite positioning module 180 is provided on the ceiling of the boarding section 112.
  • the satellite positioning module 180 receives a GNSS (Global Navigation Satellite System) signal (including a GPS signal) from the artificial satellite GS and acquires the position of the own vehicle.
  • GNSS Global Navigation Satellite System
  • an inertial navigation unit incorporating a gyro acceleration sensor and a magnetic compass sensor is incorporated in the satellite positioning module 180.
  • the inertial navigation unit may be arranged at a different location from the satellite positioning module 180 in the combine.
  • the combine of this embodiment can run in both automatic running and manual running.
  • the automatic traveling is to automatically perform a work traveling along a preset traveling route in a field.
  • FIG. 8 shows an unworked area and a harvested area in the field (hereinafter, referred to as an unharvested area SP and a harvested area SC, respectively), and the unharvested area SP and the harvested area SC are in the inner area of the field. is there.
  • the area outside the inner area of the field is the ridge area of the field.
  • the combine travels straight through the inner region of the field and turns 180 degrees at the ridge region of the field.
  • the traveling route is a route in which a straight route in the inner region of the field and a turning route in the ridge region of the field are alternately repeated.
  • a traveling mode switch (not shown) for selecting either an automatic traveling mode for traveling by automatic steering or a manual steering mode for traveling by manual steering is provided. By operating the travel mode switch, it is possible to shift from manual driving to automatic driving, or from automatic driving to manual driving.
  • the traveling mode switch may be provided, for example, in the boarding unit 112, or may be provided in a terminal CT or the like described later.
  • the image pickup device 121 performs an image of the front of the aircraft, and the image recognition process of the recognition unit 131 based on the image captured by the image pickup device 121 is performed. Therefore, the grain discharging device 118 needs to be in the stored state in the automatic traveling. That is, automatic traveling is performed when the grain discharging device 118 is in the stored state. When the grain discharge device 118 is no longer in the stored state during automatic traveling, an alarm is issued via, for example, a warning control unit 136 or a notification control unit 137, which will be described later.
  • the control unit 130 shown in FIG. 9 is a core element of the control system of the combine, and is shown as an aggregate of a plurality of ECUs.
  • the control unit 130 includes a recognition unit 131, a pattern determination unit 132, a travel control unit 135, a warning control unit 136, and a notification control unit 137. Further, the positioning data from the satellite positioning module 180 and the image data from the imaging device 121 are input to the control unit 130 through the wiring network.
  • a neural network that can be learned using deep learning is constructed in the recognition unit 131.
  • Image data of captured images sequentially acquired by the imaging device 121 is input to the recognition unit 131.
  • Neural networks are known to be able to identify input / output relationships with non-linear characteristics by deep learning.
  • the recognition unit 131 estimates the existence area where the obstacle target exists in the image data, and outputs the recognition output data based on the existence area as the recognition result.
  • the flow of generating the recognition output data by the recognition unit 131 is shown in FIG.
  • the pixel value of the RGB image data is input to the recognition unit 131 from the image pickup apparatus 121 as an input value.
  • the obstacle targets are a fallen culm, a weed, a person, and a stone. Therefore, the recognition output data as the recognition result includes a fallen culm region in which a fallen culm exists, a weed region in which weeds exist, a person region in which a person exists, and a stone region in which stones exist. Is done. Incidentally, it is conceivable that the stones are buried between the planted crops, but the imaging device 121 can image the stones from a viewpoint looking down from above.
  • the recognition unit 131 is configured to be able to determine whether the type of the obstacle target is the presence of a foreign substance such as a stone, the presence of a person, the presence of weeds, or the lodging of a crop. There is. In this way, the recognition unit 131 is configured to be able to detect the presence of an obstacle object ahead in the traveling direction based on the image captured by the image pickup device 121.
  • the recognition unit 131 is configured to be able to identify the type of obstacle target by using a neural network learned by using deep learning. Since the image pickup apparatus 121 acquires the captured image at a predetermined time interval, for example, 0.1 second interval or 0.5 second interval and inputs the image data to the recognition unit 131, the recognition unit 131 also has the same time interval. Output recognition output data.
  • the pattern determination unit 132 shown in FIG. 9 determines the control pattern of the automatic driving control based on the type of the obstacle target identified by the recognition unit 131.
  • the control pattern is stored in a ROM or the like as a lookup table corresponding to the type of the failure target as shown in FIG. 11, and the control pattern corresponding to the type of the failure target is selected by the pattern determination unit 132.
  • the travel control unit 135 shown in FIG. 9 has an engine control function, a steering control function, a vehicle speed control function, and the like, and gives a travel control signal to the travel device 111.
  • the travel control unit 135 When the manual steering mode is selected, the travel control unit 135 generates a control signal to control the travel device 111 based on the operation by the passenger.
  • the traveling control unit 135 When the automatic steering mode is selected, the traveling control unit 135 relates to steering and vehicle speed based on the automatic driving command given by the automatic driving control module of the control unit 130 and the positioning data from the satellite positioning module 180. Control is performed on the traveling device 111.
  • the warning control unit 136 shown in FIG. 9 notifies the animals and people located in the path in front of the machine 101 shown in FIGS. 6 and 7 of the working running state of the machine 101 and various warnings. It is a module for this purpose, and is configured to enable output control for the horn 141.
  • the horn 141 is provided at an arbitrary position on the machine body 101.
  • the notification control unit 137 is configured to be able to output a control pattern determined by the pattern determination unit 132 to a terminal CT such as a smartphone or a tablet computer, and the control pattern is displayed on the terminal CT.
  • the terminal CT is carried by the passenger of the combine harvester or the observer or manager of the field, and the notification control unit 137 allows the person carrying the terminal CT to check the state and history of the control pattern on the terminal CT. It is configured.
  • the combine of the present embodiment is provided with a distance measuring sensor 122, and the distance between the aircraft 101 and the obstacle target existing in the path in front of the aircraft 101 can be measured by the distance measuring sensor 122.
  • the distance measuring sensor 122 is provided at the front portion of the boarding portion 112, but the distance measuring sensor 122 is high enough not to interfere with the forward measurement by the harvesting device 115. It is provided in the field. Further, the distance measuring sensor 122 may be provided in, for example, the harvesting device 115.
  • the range-finding sensor 122 may be a sonar, a radar (millimeter wave), or a range-finding device (for example, a laser scanner) using LIDAR, that is, a LIDAR (Light detection and ranking) technology. Or laser radar. Hereinafter, it may be abbreviated as LIDAR).
  • LIDAR Light detection and ranking
  • the distance measuring sensor 122 is a sonar, it is advantageous in terms of cost.
  • the range-finding sensor 122 is a millimeter-wave radar, it is possible to perform measurement that is not easily affected by the weather, which is advantageous in terms of cost.
  • the millimeter-wave radar is configured to be able to scan in three dimensions in the vertical direction in addition to the front and left and right, it is possible to have a wider range of distance measurement than the millimeter-wave radar of the type that scans in two dimensions.
  • the distance measuring sensor 122 is LIDAR, the separation distance can be measured accurately.
  • the LIDAR is configured to be able to scan in the vertical direction in addition to the front and the left and right in three dimensions, the distance measurement range can be made wider than that of the type of lidar that scans in two dimensions.
  • FIG. 11 shows the type of the failure target and the control pattern corresponding to the type of the failure target.
  • the pattern determination unit 132 selects a control pattern corresponding to the type of the failure target.
  • the type of obstacle target is a stone, a pillar, a fallen tree piece, or the like
  • the control pattern of "stop" is selected by the pattern determination unit 132. Stones, pillars, fallen wood fragments, etc. are not animals and do not move spontaneously.
  • the recognition unit 131 identifies that the type of the obstacle target does not move spontaneously
  • the pattern determination unit 132 determines the control pattern for stopping the aircraft 101 based on the table of FIG.
  • the pattern determination unit 132 controls the stop output of the traveling control unit 135 based on the control pattern related to the stop of the aircraft 101. As a result, the traveling device 111 is stopped.
  • the above-mentioned obstacle target for which the "stop" control pattern is selected is an example, and other than the above-mentioned ones, for example, a standing tree, a utility pole, a ridge, a rice straw roll, or the like may be used.
  • the type of the obstacle target is a ridge, the ridge outside the field may be excluded from the obstacle target from the turning path shown in FIG.
  • the control pattern is selected by the pattern determination unit 132.
  • Animals move spontaneously. For this reason, the animal often leaves the course in front of the aircraft 101 due to the sound being emitted from the horn 141 while the aircraft 101 decelerates.
  • the recognition unit 131 identifies that the type of the obstacle target moves spontaneously
  • the pattern determination unit 132 determines the control pattern regarding the deceleration of the aircraft 101 and the warning to the obstacle target. To do.
  • the pattern determination unit 132 performs output control to the travel control unit 135 and the warning control unit 136, respectively, based on the control patterns relating to the deceleration of the aircraft 101 and the warning to the obstacle target. As a result, the speed of the traveling device 111 is reduced, and a sound is emitted from the horn 141.
  • the above-mentioned obstacle target for which the control pattern of "deceleration / warning" is selected is an example, and may be other than the above-mentioned ones.
  • the pattern determination unit 132 selects the control pattern of "deceleration / warning ⁇ stop" based on the table of FIG. A threshold value is set in advance for the distance between the aircraft 101 and the person in the field. “Deceleration / warning ⁇ stop” means that the pattern determination unit 132 switches between the “deceleration / warning” control pattern and the “stop” control pattern based on the preset threshold value of the separation distance. It is a control pattern.
  • the pattern determination unit 132 While the distance between the aircraft 101 and the person in the field is equal to or greater than this threshold value (or above the threshold value), the pattern determination unit 132 performs output control based on the "deceleration / warning" control pattern. Then, if the distance between the machine 101 and the person in the field is equal to or less than this threshold value (or less than the threshold value), the pattern determination unit 132 performs output control based on the "stop" control pattern.
  • the threshold value of the distance between the machine 101 and the person in the field is, for example, 5 meters or 10 meters.
  • the control pattern of "deceleration" is selected by the pattern determination unit 132 based on the table of FIG. That is, in many cases, the fallen culms and weeds do not interfere with the automatic running even if they are cut as they are by the harvesting device 115. However, when the fallen culm is cut by the harvesting device 115, it may be necessary to reduce the speed of work running in order to firmly cause the fallen culm and reduce the yield loss. Therefore, when the recognition unit 131 identifies that the type of the obstacle target does not significantly hinder the automatic driving, the pattern determination unit 132 determines a control pattern for decelerating the traveling device 111 while continuing the automatic driving. ..
  • the above-mentioned obstacle target for which the "deceleration" control pattern is selected is an example, and may be other than the above-mentioned ones.
  • the pattern determination unit 132 is configured to determine a control pattern from a plurality of control patterns according to the type of failure target and to enable output control based on the control pattern. In other words, the pattern determination unit 132 is configured so that the output can be controlled according to the abnormality of the field detected by the recognition unit 131.
  • FIG. 12 shows a flowchart for determining the control pattern.
  • This flowchart is an outline of internal processing in the pattern determination unit 132 when the existence of the failure target is identified by the recognition unit 131.
  • the pattern determination unit 132 executes the abnormality time control based on this flowchart according to the abnormality of the field detected by the recognition unit 131. Therefore, the internal processing of the pattern determination unit 132 is not limited to the flowchart, and can be modified within a range that does not impair the identity of the output results.
  • at least one control pattern is selected from the plurality of control patterns based on the recognition output data output by the recognition unit 131 (step # 01).
  • the stop output control for the travel control unit 135 is performed in step # 06, and the travel device 111 is controlled by the travel control unit 135. It will be stopped.
  • step # 01 When the control pattern of "deceleration / warning ⁇ stop" or “deceleration / warning” is selected by the pattern determination unit 132 in step # 01, the control pattern of "stop” after "deceleration / warning” in the process of step # 02. That is, it is determined whether the control pattern is "deceleration / warning ⁇ stop". If it is determined in the process of step # 02 that the control pattern is "deceleration / warning ⁇ stop", the process proceeds to step # 03. When the control pattern of "deceleration / warning" is selected by the pattern determination unit 132, the process proceeds from step # 02 to step # 04.
  • step # 03 it is determined whether or not the distance between the aircraft 101 and the person is equal to or greater than a preset distance (or higher than the preset distance). The distance between the aircraft 101 and a person is measured by the distance measuring sensor 122. If the distance between the aircraft 101 and the person is greater than or equal to the preset distance (or higher than the preset distance) (step # 03: Yes), the process proceeds to step # 04 to control "deceleration / warning". Processing based on the pattern is executed in step # 04 and step # 05.
  • step # 04 the pattern determination unit 132 performs output control on the travel control unit 135 based on the control pattern of "deceleration / warning". Then, the traveling control unit 135 controls the traveling device 111 to reduce the vehicle speed.
  • step # 05 the pattern determination unit 132 performs output control based on the "deceleration / warning" control pattern on the warning control unit 136. Then, the warning control unit 136 controls the horn 141 so that the horn 141 emits a sound.
  • step # 03: No If the distance between the aircraft 101 and the person is less than or equal to the preset distance (or less than the distance) (step # 03: No), the process proceeds to step # 06, and the process based on the "stop" control pattern is performed in step # 06. Is executed by.
  • step # 06 the pattern determination unit 132 performs output control based on the "stop" control pattern on the travel control unit 135. Then, the traveling control unit 135 performs stop control on the traveling device 111. In this way, the pattern determination unit 132 determines the control pattern for stopping the aircraft 101 when the distance between the aircraft 101 and the person is equal to or less than (or less than) a preset distance.
  • step # 07 the pattern determination unit 132 performs output control based on the "deceleration" control pattern on the travel control unit 135. Then, the traveling control unit 135 controls the traveling device 111 to reduce the vehicle speed.
  • step # 08 the pattern determination unit 132 outputs to the notification control unit 137, and the state of the control pattern is transmitted to the terminal CT via the notification control unit 137.
  • Step # 08 the current state of the control pattern and the history of the control pattern are displayed on the terminal CT, and the monitor or manager of the field carrying the terminal CT can grasp the state change of the aircraft 101 based on the change of the control pattern.
  • the image pickup device 121 is provided in front of the boarding section 112 so as to image the front of the aircraft 101 in the forward direction, but the present invention is not limited to this embodiment.
  • the imaging device 121 may be provided at the rear end of the machine 101 so that the image can be taken in the backward direction of the machine 101.
  • the image pickup device 121 may be provided on both the front side of the boarding section 112 and the rear end portion of the machine body 101. That is, the image pickup device 121 may be configured so as to be capable of imaging one or both of the forward movement of the machine body 101 and the reverse movement of the machine body 101 in the field.
  • the recognition unit 131 is constructed with a neural network that can be learned by using deep learning, but the recognition unit 131 does not have to be constructed with a neural network.
  • the neural network may be constructed on another computer or terminal CT, and input / output in the neural network may be performed by communication between the recognition unit 131 and the other computer or terminal CT. That is, it is preferable that the recognition unit 131 is configured so that the type of the obstacle target can be identified by using the neural network learned by using deep learning.
  • the control pattern of “deceleration / warning ⁇ stop” is selected by the pattern determination unit 132, but is not limited to this embodiment. ..
  • Other agricultural machines and vehicles identified by the recognition unit 131 may be identified as a type of obstacle target that does not move spontaneously, and a "stop" control pattern may be selected by the pattern determination unit 132.
  • the control pattern of "deceleration / warning" is selected by the pattern determination unit 132, but the "deceleration / warning"
  • the control pattern may be only "warning". That is, when the control pattern of "warning" is selected by the pattern determination unit 132, the pattern determination unit 132 does not perform output control on the travel control unit 135, but warns control based on the control pattern related to the warning for the failure target.
  • the output control may be performed on the unit 136. As a result, sound is emitted from the horn 141 without reducing the speed of the traveling device 111.
  • the warning control unit 136 is configured to enable output control for the horn 141, but is not limited to this embodiment.
  • the output control of the warning control unit 136 may be for, for example, a buzzer, a lamp, a searchlight, a speaker, a display, or the like.
  • the warning control unit 136 may repel birds and beasts by using ultrasonic waves. In this case, the warning control unit 136 may perform output control so that the closer the aircraft 101 is to the birds and beasts, the stronger the ultrasonic waves are output.
  • the control pattern of "deceleration / warning” is selected by the pattern determination unit 132, but the control pattern of "deceleration / warning ⁇ stop” is a pattern.
  • the configuration may be selected by the determination unit 132.
  • the pattern determination unit 132 determines the "deceleration / warning" control pattern, the "stop” control pattern, and the "stop” control pattern based on the threshold value of the distance between the aircraft 101 and the obstacle target.
  • this threshold value may be different between the case of animals and the case of humans. For example, when the obstacle target is a human, the threshold value may be set to 5 meters or 10 meters, and when the obstacle target is an animal, the threshold value may be set to 2 to 3 meters.
  • the warning control unit 136 and the notification control unit 137 may be integrally configured. Further, the pattern determination unit 132, the traveling control unit 135, the warning control unit 136, and the notification control unit 137 may be integrally configured.
  • the "stop" control pattern is selected by the pattern determination unit 132, but is limited to this embodiment.
  • the pattern determination unit 132 has a configuration in which, instead of the "stop" control pattern, the aircraft 101 selects a control pattern that detours so as to avoid contact with stones, pillars, fallen tree pieces, rice straw rolls, and the like. You may. That is, when the recognition unit 131 identifies that the type of the obstacle target does not move spontaneously, the pattern determination unit 132 may be configured to determine the control pattern related to the detour of the aircraft 101.
  • the deceleration process is performed based on the process of step # 07. It is not limited to the embodiment.
  • the type of the obstacle target is a fallen culm or a weed
  • the configuration may be recognized as a non-object that is not an obstacle target. In this case, the flow chart shown in FIG. 12 may not be processed and the automatic driving may be continued as it is.
  • the handling depth in the threshing device 113 is adjusted when the recognition unit 131 identifies that the type of the obstacle target is a weed. Is also good. That is, if the weed is misidentified as the tip of the ear while the weed is at a position higher than the tip of the ear, the handling depth of the threshing device 113 may become shallow. In order to avoid such inconvenience, it is preferable that the recognition unit 131 distinguishes between weeds and tips and adjusts the handling depth in the threshing device 113.
  • the distance measuring sensor 122 capable of measuring the distance between the aircraft 101 and the obstacle target is provided, but the distance measuring sensor 122 may not be provided.
  • the recognition unit 131 identifies that the type of the obstacle target is an animal or a person
  • the pattern determination unit 132 uses the machine body based on the position of the animal or the person in the image captured by the image pickup device 121. It may be configured to determine the control pattern regarding the stop of 101.
  • the agricultural work machine according to the present invention is not limited to a normal type combine, but may be a self-removing type combine. Further, the agricultural work machine according to the present invention is not limited to the combine harvester and may be another harvester. Further, the agricultural work machine according to the present invention is not limited to the harvester, and may be other agricultural work machines such as rice transplanters, seeders, management machines, and tractors.
  • the system, program, recording medium and method related to the agricultural work machine are also included in the scope of the present invention.
  • it relates to an obstacle target in a field based on an image captured by an imaging device capable of capturing one or both of the forward movement of the machine and the backward movement of the machine when the agricultural work machine travels in the field.
  • Control systems, control methods and control programs for agricultural work machines configured to perform output control, and computer-readable recording media on which the control programs are recorded are also included within the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Combines (AREA)
  • Guiding Agricultural Machines (AREA)
  • Harvester Elements (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

自動走行しながら圃場の作物を収穫する作業走行を行う収穫機が提供される。この収穫機は、作業走行を行う走行装置と、走行装置に支持される機体と、機体の前部に支持されて圃場の作物を収穫する収穫部と、収穫部の前方の未作業領域の作物を上方から見下ろすように、機体の前部で、かつ、収穫部よりも高い位置に設けられる撮像装置と、撮像装置が撮像した画像から圃場の異常を検知する検知部と、検知した前記圃場の異常に応じた制御である異常時制御を行う制御部と、を備える。

Description

収穫機等の農作業機
　本発明は、収穫機等の農作業機に関する。
［背景技術１］
　収穫機の中には、圃場を自動走行しながら作物の収穫を行うものがある。このような収穫機の中には、圃場の状態を観測し、圃場に異常がある場合は、走行を停止する等の対応を自動的に行う機能を備えるものがある。圃場の状態の観測は、カメラ等のセンサを用いて行われる。
［背景技術２］
　圃場の農作業においては、圃場内において局所的に異なる圃場の状態や圃場の作業者等の存在に注意を払う必要がある。このため、例えばJP H11-155340A（特許文献１）に開示された農作業機には、進行方向前方を撮像可能な撮像装置（特許文献１では「テレビカメラ」）が備えられている。撮像装置によって撮像された撮像画像（「画像」）に基づいて、認識部（「画像処理装置」）は障害対象（「倒伏穀稈」）の種類を識別可能に構成されている。
日本国特開平１１－１５５３４０号公報（JP H11-155340A）
［課題１］
　［背景技術１］に対応する課題として、自動走行の高性能化のために、圃場の異常を高精度に検知することが求められている。
［課題２］
　特許文献１に開示された農作業機では、障害対象の存在に基づいて、例えば作業機器の動作が制御される構成になっているが、障害対象の種類に応じて種々の制御が行われるわけではない。そして、障害対象の種類に応じて種々の制御が行われることが必要な場合も考えられる。このような実情に鑑みて、撮像装置によって撮像された撮像画像から障害対象が認識されると、複数の制御パターンから障害対象の種類に応じて適宜選択された制御パターンに基づいて好適な出力制御が可能な農作業機が望まれている。
［解決手段１］
　［課題１］に対応する解決手段は、以下の通りである。
　自動走行しながら圃場の作物を収穫する作業走行を行う収穫機であって、
　前記作業走行を行う走行装置と、
　前記走行装置に支持される機体と、
　前記機体の前部に支持されて前記圃場の作物を収穫する収穫部と、
　前記収穫部の前方の未作業領域の作物を上方から見下ろすように、前記機体の前部で、かつ、前記収穫部よりも高い位置に設けられる撮像装置と、
　前記撮像装置が撮像した画像から圃場の異常を検知する検知部と、
　検知した前記圃場の異常に応じた制御である異常時制御を行う制御部と、を備える収穫機。
　このような構成により、機体の前方の圃場を上方から見下ろすように撮像できるため、圃場を俯瞰して確認することができ、圃場の異常を精度良く検知することができる。
　また、制御部により、圃場の異常に対応した適切な対応を行うことができ、作業走行を適切に継続することができる。
　一好適実施形態では、前記画像を、深層学習を用いて機械学習されたニューラルネットワークに入力することにより、前記圃場の異常が異物の存在であるか、雑草の存在であるか、又は作物の倒伏であるかが判別される。
　このような構成により、人工知能を用いて、より容易かつ正確に異常の種類を判別することができる。また、異常の種類を判別することにより、異常の種類に応じたより適切な対応（異常時制御）を行うことができ、適切な作業走行をより確実に継続することができる。
　一好適実施形態では、前記圃場の異常が前記異物の存在であると判別された場合、前記制御部は、前記異常時制御として、前記機体を減速又は停止させる。
　異物が存在する領域を走行した場合、収穫部や機体が破損・故障したり、適切に収穫作業ができなかったりする場合がある。作業走行の経路上に異物が存在することを検知（判別）した場合に機体を減速または停止させることにより、収穫部や機体が異物と接触することが回避でき、あるいは異物が存在しなくなるまで作業走行せずに待機することにより、収穫部や機体が破損・故障することを回避することができる。
　一好適実施形態では、前記異物は、植立した作物の間に埋もれている障害物である。
　植立した作物の間に埋もれている障害物を発見することは困難である。そこで、圃場を上方から撮像することにより、上方から作物の間を確認することが容易であるため、作物の間に埋もれている障害物を発見することが容易となる。
　一好適実施形態では、前記圃場の異常が前記作物の倒伏であると判別された場合、前記制御部は、前記異常時制御として、前記機体を減速させる。
　作物が倒伏している場合、そのままの速度で作業走行を行うと、倒伏した作物が十分に引き起こされていない状態で作物を刈り取ることとなり、作物が倒伏している場合としていない場合とで刈り跡がそろわなくなる。そこで、作物が倒伏していると判定された場合、機体を減速させることにより、作物を十分に引き起こすことができ、刈り跡をそろわせることができる。
　一好適実施形態では、前記機体は、
　収穫された作物を脱穀する脱穀装置と、
　前記収穫部から前記脱穀装置に、収穫された作物を搬送する搬送装置と、
　前記搬送装置に設けられて、前記脱穀装置に搬送される作物の扱ぎ深さを調整する調整部と、を有し、
　前記圃場の異常が前記雑草の存在であると判別された場合、前記制御部は、前記異常時制御として、前記調整部に前記扱ぎ深さの調整を中止させる。
　収穫機の一例である自脱型コンバイン（ｃｕｌｍ　ｈｅａｄ　ｃｈａｒｇｉｎｇ　ｔｙｐｅ　ｃｏｍｂｉｎｅ）は、一般的に、刈り取られた穀稈の長によって扱ぎ深さを変更できるようになっている。一般的に、作物より長い雑草が搬送されると、扱ぎ深さが雑草の長さに応じて調整され、作物が浅扱ぎとなる。その結果、脱穀装置にて適切な脱穀処理が行われなくなる。そのため、制御部は、異常が雑草の存在であると判定された場合、雑草の長さで調整される扱ぎ深さの調整を中止させる。これにより、雑草が存在することが検知される直前の、収穫対象の作物の長さに調整された扱ぎ深さが維持されるように制御され、適切に脱穀処理が行われる状態が維持される。
　一好適実施形態では、前記機体は、前記機体の前部に運転部を有し、前記撮像装置は、前記運転部よりも前側に設けられる。
　このような構成により、機体の比較的前端部分に近く、前方の視認性が高い運転部に撮像装置を設けることにより、圃場を見下ろしながら、かつ、早い段階から撮像することが容易となり、収穫部越しに撮像される画像の範囲が収穫部の近傍を含みやすくなり、適切な位置での異常の検知や異常の種類の判別が容易となる。
　一好適実施形態では、前記機体は、
　収穫された作物を脱穀する脱穀装置と、
　前記収穫部から前記脱穀装置に、収穫された作物を搬送する搬送装置と、
　脱穀された作物を貯留する穀粒タンクと、
　前記穀粒タンクの下部に連結された縦搬送部、および、前記縦搬送部の上端部に連結された横搬送部を有し、前記横搬送部の先端部に設けられた排出部から前記穀粒タンクに貯留された作物を排出可能な排出装置と、を有し、
　前記撮像装置は、前記横搬送部に設けられる。
　このような構成により、横搬送部は機体の上部領域に設けられるので、横搬送部に設けられた撮像装置は、容易に、圃場を上方から撮像することができる。
　一好適実施形態では、前記排出装置は、当該排出装置が収納位置に収納される態様と、前記貯留された作物を排出する際の態様であって前記排出部が前記機体から突出する態様と、の間で変位可能であり、
　前記排出装置が前記収納位置に収納されている場合のみ、前記自動走行が行われる。
　作業走行時には排出装置は収納位置に変位される。排出装置が適切な位置にないと画像の撮像範囲がずれて、適切に異常の検知を行うことができない。そのため、排出装置が収納位置にない場合には自動走行を停止して作業走行を行わないようにすることにより、適切に異常が検知されている状態で作業走行を行うように制御することができる。
　一好適実施形態では、前記自動走行時に、前記排出装置が前記収納位置から離れると警報を報知する報知部を備える。
　このような構成により、排出装置を適切な位置に変位させることが促され、適切に異常が検知されている状態で作業走行を行うようにすることができる。
　さらに、以下のような、上記収穫機に関連するシステム、プログラム、記録媒体及び方法も、本発明の範囲に含まれる。
　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御システムであって、
　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知部と、
　前記異常の種類を判別する判定部と、
　判別された異常の種類に応じて異常時制御を行う制御部と、を備えた収穫機の異常制御システム。
　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御プログラムであって、
　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知機能と、
　前記異常の種類を判別する判定機能と、
　判別された異常の種類に応じて異常時制御を行う制御機能と、をコンピュータに実現させる収穫機の異常制御プログラム。
　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する異常制御プログラムが記録されたコンピュータ読み取り可能記録媒体であって、
　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知機能と、
　前記異常の種類を判別する判定機能と、
　判別された異常の種類に応じて異常時制御を行う制御機能と、をコンピュータに実現させる異常制御プログラムが記録されたコンピュータ読み取り可能記録媒体。
　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御方法であって、
　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知するステップと、
　前記異常の種類を判別するステップと、
　判別された異常の種類に応じて異常時制御を行うステップと、を備えた収穫機の異常制御方法。
［解決手段２］
　［課題２］に対応する解決手段は、以下の通りである。
　圃場において機体の前進及び後進のうち一方又は両方の進行方向前方を撮像可能な撮像装置と、
　前記撮像装置によって撮像された撮像画像に基づいて、圃場の障害対象の存在を検知可能であるとともに、前記障害対象の種類を識別可能な認識部と、
　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するとともに、決定した前記制御パターンに基づく出力制御を実行するパターン決定部と、を備える農作業機。
　障害対象の種類によっては、農作業機の制御に影響を及ぼす重要度は異なる。本発明によると、撮像装置の撮像対象の中から種々の物体が認識部によって識別されることによって障害対象が種類分けされ、障害対象の種類に応じて種々の制御のパターンが備えられる。これにより、圃場の障害対象の存在に基づいて一律に機体が停止等をする構成と比較して、農作業機による農作業が障害対象に邪魔されることなく効率的に行われる。つまり、本発明であれば、撮像装置によって撮像された撮像画像から障害対象が認識されると、複数の制御パターンから障害対象の種類に応じて適宜選択された制御パターンに基づいて好適な出力制御が可能な農作業機が実現される。
　一好適実施形態では、前記認識部は、深層学習を用いて学習されたニューラルネットワークを利用することによって前記障害対象の種類を識別可能に構成されている。
　本構成であれば、障害対象の種類に識別にニューラルネットワークが用いられ、撮像装置によって撮像された撮像画像がニューラルネットワークの入力データに用いられる。ニューラルネットワークは深層学習によって非線形特性を有する入出力関係を同定できることで知られている。このため、認識部がニューラルネットワークを活用することによって、障害対象の種類の識別精度の向上が可能となる。
　一好適実施形態では、前記複数の制御パターンは、前記機体の減速と、前記機体の停止と、前記障害対象に対する警告と、を含む。
　本構成であれば、障害対象の種類に応じて機体の停止や機体の速度調整や障害対象に対する警告等が円滑に行われ、農作業機による農作業が効率的に行われる。
　一好適実施形態では、前記障害対象の種類が自発的に動かないものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の停止に関する前記制御パターンを決定する。
　障害対象の種類が自発的に動かないものである場合、機体と障害対象との接触を回避する必要性が生じる。本構成であれば、機体の停止に関する制御パターンが決定され、パターン決定部は機体を停止するように出力制御を行うため、機体と障害対象との接触が好適に回避される。
　一好適実施形態では、前記障害対象の種類が自発的に動くものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の減速と、前記障害対象に対する警告と、に関する前記制御パターンを決定する。
　例えば家畜や鳥獣等のように、障害対象の種類が自発的に動く動物等である場合、本構成であれば、機体の減速と障害対象に対する警告とを行うだけで、進行方向前方の障害対象を追い払うことが可能となる。これにより、機体が停止することなく機体の前進または後進が円滑に行われる。
　一好適実施形態では、前記機体と前記障害対象との離間距離を測定可能な測距センサが備えられ、
　前記パターン決定部は、前記離間距離が予め設定された距離以下となった場合に、前記機体の停止に関する前記制御パターンを決定する。
　障害対象が存在する場合であっても、機体と障害対象との距離が離れていれば、機体の走行に支障をきたさない場合がある。例えば障害対象が自発的に動く動物等であれば、機体と障害対象との距離が離れている間は、機体が停止しなくても、障害対象に対する警告だけで障害対象を追い払うことが可能であると考えられる。本構成であれば、機体と障害対象との離間距離が測距センサによって計測可能であるため、不必要に機体を停止等させることなく、機体と障害対象との接触のリスクが高くなってきた段階で機体の停止等をさせることができる。これにより、農作業機の効率的な制御が可能となる。なお、本発明では、『前記離間距離が予め設定された距離以下となった場合』とは、離間距離が予め設定された距離未満となった場合も含むものであり、「以下」という言葉は「未満」という意味を排除しない。
　本発明において、前記測距センサは、ソナーであると好適である。
　ソナーはコスト面で有利であることが知られているため、本構成によって、コスト面で有利な測距センサが実現される。
　一好適実施形態では、前記測距センサは、ＬＩＤＡＲであると好適である。即ち、前記測距センサは、ＬＩＤＡＲ（Ｌｉｇｈｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒａｎｇｉｎｇ）技術を利用した測距デバイスであると好適である（以下、ＬＩＤＡＲと略称する）。
　また、前記測距センサは、レーザースキャナーであっても好適である。
　ＬＩＤＡＲや、ＬＩＤＡＲの一態様であるレーザースキャナーは、ソナー等と比較して、測距精度が高精度であることが知られているため、本構成によって、精度面で有利な測距センサが実現される。また、ＬＩＤＡＲやレーザースキャナーが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのＬＩＤＡＲやレーザースキャナーよりも測距範囲を広範囲にすることが可能となる。
　さらに以下のような、上記農作業機に関連するシステム、プログラム、記録媒体及び方法も、本発明の範囲に含まれる。
　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行する農作業機の制御システムであって、
　前記撮像画像に基づいて、圃場の障害対象の存在を検知するとともに、前記障害対象の種類を識別する認識部と、
　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定し、決定した制御パターンに基づいて前記出力制御を実行するパターン決定部と、を備える農作業機の制御システム。
　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行するプログラムであって、
　前記撮像画像に基づいて、圃場の障害対象の存在を検知する機能と、
　前記撮像画像に基づいて、前記障害対象の種類を識別する機能と、
　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定する機能と、
　前記制御パターンに基づいて前記出力制御を実行する機能と、をコンピュータに実現させる制御プログラム。
　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行するプログラムが記録されたコンピュータ読み取り可能記録媒体であって、
　前記撮像画像に基づいて、圃場の障害対象の存在を検知する機能と、
　前記撮像画像に基づいて、前記障害対象の種類を識別する機能と、
　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定する機能と、
　前記制御パターンに基づいて前記出力制御を実行する機能と、をコンピュータに実現させる制御プログラムが記録されたコンピュータ読み取り可能記録媒体。
　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行する農作業機の制御方法であって、
　前記撮像画像に基づいて、圃場の障害対象の存在を検知するステップと、
　前記撮像画像に基づいて、前記障害対象の種類を識別するステップと、
　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するステップと、
　前記制御パターンに基づいて前記出力制御を実行するステップと、を備える農作業機の制御方法。
　その他の特徴及びこれから奏する利点及び効果については、以下の説明から明らかになろう。
第１実施形態を示す図であって（以下、図５まで同じ。）収穫機の一例としてのコンバインの側面図である。 コンバインの自動走行の概要を説明する図である。 圃場における作業走行を例示する平面図である。 撮像画像を例示する図である。 圃場の異常を検知する機能構成を例示するブロック図である。 第２実施形態を示す図であって（以下、図１２まで同じ。）、農作業機の一例としてのコンバインの全体側面図である。 コンバインの全体平面図である。 コンバインの自動走行の概要を示す図である。 コンバインの制御系を示す機能ブロック図である。 認識部による認識出力データの生成の流れを模式的に示す説明図である。 障害対象と制御パターンとの関係を示す説明図である。 制御パターンに基づく出力制御を示すフローチャート図である。
［第１実施形態］
　第１実施形態では、本発明の収穫機の一例として、普通型コンバイン（ｎｏｒｍａｌ　ｔｙｐｅ　ｃｏｍｂｉｎｅ）を取り上げて説明する。このコンバインは、全稈投入型コンバイン（ｗｈｏｌｅ　ｃｕｌｍ　ｃｈａｒｇｉｎｇ　ｔｙｐｅ　ｃｏｍｂｉｎｅ）とも称される。
　なお、本明細書では、特に断りがない限り、「前」（図１に示す矢印Ｆの方向）は車体前後方向（走行方向）における前方を意味し、「後」（図１に示す矢印Ｂの方向）は車体前後方向（走行方向）における後方を意味する。また、左右方向または横方向は、車体前後方向に直交する車体横断方向（車体幅方向）を意味する。「上」（図１に示す矢印Ｕの方向）及び「下」（図１に示す矢印Ｄの方向）は、車体の鉛直方向（垂直方向）での位置関係であり、地上高さにおける関係を示す。
〔全体構成〕
　図１に示すように、このコンバインでは、クローラ式の走行装置１１に機体１０が支持される。機体１０は、運転部１２、脱穀装置１３、穀粒タンク１４、収穫部Ｈ、搬送装置１６、排出装置１８、自車位置検出モジュール８０を備える。
　コンバインは、走行装置１１によって自走可能に構成される。この走行装置１１は、左右一対のクローラ機構から構成された操舵走行装置であり、走行制御部３５（後述の図５参照）によって制御される。左のクローラ機構のクローラ速度と右のクローラ機構のクローラ速度とは独立して調整可能であり、この速度差の調整により機体１０の走行方向での向きが変更される。運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１の上側に備えられ、機体１０の上部を構成している。運転部１２は、コンバインを運転する運転者やコンバインの作業を監視する監視者が搭乗可能である。通常、運転者と監視者とは兼務される。なお、運転者と監視者とが別人の場合、監視者は、コンバインの機外からコンバインの作業を監視していても良い。
　収穫部Ｈは、コンバインの前部に備えられている。そして、搬送装置１６は、収穫部Ｈの後側部分に接続されている。また、収穫部Ｈは、切断機構１５及びリール１７を有している。切断機構１５は、圃場の植立穀稈（作物に相当）を刈り取る。また、リール１７は、回転駆動しながら収穫対象の植立穀稈を掻き込む。この構成により、収穫部Ｈは、圃場の穀物（作物の一種）を収穫する。そして、コンバインは、収穫部Ｈによって圃場の穀物を収穫しながら走行装置１１によって走行する作業走行が可能である。
　切断機構１５により刈り取られた刈取穀稈の全稈は、搬送装置１６によって脱穀装置１３へ搬送される。脱穀装置１３において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、排出装置１８によって機外に排出される。
　排出装置１８は、穀粒タンク１４の後下部に連結されている。排出装置１８は、一端が穀粒タンク１４の下部に接続される縦搬送部と横搬送部とを備える。横搬送部は一端が縦搬送部の上部と連結され、他端に排出部１９が設けられる。穀粒タンク１４に貯留された穀粒は、排出部１９から運搬車（図示せず）等に排出される。排出装置１８は、排出状態（突出する態様）と収納状態（収納される態様）との間で変位可能である。作業走行時には、排出装置１８は収納位置に保持されて、機体１０の上部領域に収納される（収納状態）。また、穀粒の排出時には、排出装置１８は、排出部１９が機体１０の側方に突出する態様（排出状態）に変位し、穀粒が排出される。また、自車位置検出モジュール８０は、運転部１２の前上部に取り付けられている。
　排出部１９の前部または側部には、機体１０が作業走行を行う前方領域を撮像するカメラ２１（撮像装置に相当）が設けられる。例えば、撮像範囲が水平方向に１９０°、垂直方向に６０°となる仕様のカメラ２１が設けられることにより、圃場における機体１０の前方を、上方から十分に撮像することが可能となる。カメラ２１は、排出装置１８が収納状態である時に機体１０の前方を向くように、排出部１９に設けられれば良く、カメラ２１は、排出部１９の前方に突出する角部に、ステー（図示せず）等を介して設けられても良い。
　運転部１２には、通信端末２が配置される。本実施形態において、通信端末２は、運転部１２に固定されている。しかしながら、本発明はこれに限定されず、通信端末２は、運転部１２に対して着脱可能に構成されていても良い。また、通信端末２はコンバインの機外に持ち出されても良い。
〔自動走行〕
　図２に示すように、このコンバインは、圃場において設定された走行経路に沿って自動走行する。このためには、自車位置が必要である。自車位置検出モジュール８０には、衛星航法モジュール８１と慣性航法モジュール８２とが含まれている。衛星航法モジュール８１は、人工衛星ＧＳからのＧＮＳＳ（ｇｌｏｂａｌ　ｎａｖｉｇａｔｉｏｎ　ｓａｔｅｌｌｉｔｅ　ｓｙｓｔｅｍ）信号（ＧＰＳ信号を含む）を受信して、自車位置を算出するための測位データを出力する。慣性航法モジュール８２は、ジャイロ加速度センサ及び磁気方位センサを組み込んでおり、瞬時の走行方向を示す位置ベクトルを出力する。慣性航法モジュール８２は、衛星航法モジュール８１による自車位置算出を補完するために用いられる。慣性航法モジュール８２は、衛星航法モジュール８１とは別の場所に配置してもよい。
　圃場の周囲を適宜周回することにより形成された圃場の周囲を旋回領域として、未作業領域ＳＰの作業走行が行われる。作業走行が終了した領域は既作業領域ＳＣとなる。
〔圃場の異常〕
　図３に示すような、圃場の異常６がある場合、圃場に異常がある領域を作業走行すると適切な作業を行うことができない場合がある。例えば、図４に示すように、圃場の異常６として、異物７（障害物・人・動物等）の存在や、植立穀稈３の倒伏９等がある。異物７は、植立穀稈３が複数列に並んで形成される条の間に埋もれている、作業走行の障害となる障害物等である。
　図３，図４に示すように、異物７が存在する領域を走行した場合、収穫部Ｈや機体１０が異物７と接触し、収穫部Ｈや機体１０が破損・故障したり、適切に収穫作業ができなかったりする場合がある。また、植立穀稈３の倒伏９が存在する領域を作業走行した場合、収穫部Ｈは植立穀稈３を十分に掻き込んで引き起こすことができず、倒伏９が存在しない場合に比べて刈り跡が長くなり、倒伏９が存在する場合としない場合とで、刈り跡がそろわなくなる。
〔圃場の撮影〕
　次に、図２～図４を用いて、圃場の異常６を検出する構成を説明する。
　上記のような圃場の異常６を検知し、圃場の異常６の種類（内容）を判別するために、カメラ２１は、機体１０の前方の圃場を撮像する。カメラ２１の撮像範囲は、機体１０または収穫部Ｈの前方であり、植立穀稈３を上方から見下ろす範囲である。撮像した画像は、複数の条に並ぶ植立穀稈３の穂先と、条間とを含んで撮像される。画像の幅は、少なくとも機体１０または収穫部Ｈの幅であり、作業走行により収穫部Ｈが通過する領域を含む。画像の長さは、一方の端部が収穫部Ｈから収穫部Ｈの所定の距離（例えば１ｍ）前方までの範囲となり、他方の端部は収穫部Ｈの５ｍ～６ｍ前方の範囲となる。なお、画像は、収穫部Ｈが通過する領域に加えて、その横側方の未作業領域ＳＰの一部を含むことが好ましい。
〔制御装置〕
　本実施形態の収穫機は、圃場の異常６の検知、および圃場の異常６の種類の判別の少なくとも一方を行い、さらに異常６に応じた対応処置である異常時制御を行うこともできる。これらの検知・判別・制御は、収穫機に搭載された図５に示す制御装置２５によって行われる。
　図５に示すように、制御装置２５は、検知部２６と、判定部２７と、制御部２９とを備える。制御装置２５は、ＣＰＵやＥＣＵ等のプロセッサを含むハードウェアで構成され、複数の機能ブロックに分散されても良い。また、制御装置２５の機能の一部をソフトウェアで実現することもできる。この場合、ソフトウェアは図示しない記憶部に記憶され、制御装置２５または他のプロセッサにより実行される。
　図３～図５に示すように、検知部２６は、カメラ２１が撮像した画像を取得し、画像解析を行うことによって、圃場に異常６が存在することを検知する。検知部２６は、圃場に異常６が存在することを検知した結果を制御部２９に送信する。
　上述のように、画像は、植立穀稈３を上方から撮像するため、条の間に埋もれている障害物等であっても容易に撮像し、検知することができる。特に、排出装置１８の排出部１９にカメラ２１を設けることにより、カメラ２１は機体１０の上部で、かつ収穫部Ｈに近い機体１０の前部に配置されることになる。そのため、カメラ２１は、収穫部Ｈに近い機体１０の前方領域を真上に近い角度から撮像することができる。その結果、カメラ２１は、条の間に埋もれている障害物等を、より容易に撮像することが可能となる。
　検知部２６は異常６の有無を検知することができるが、異常６の種類を判別することは困難である。そのため、判定部２７は、カメラ２１が撮像した画像を取得し、異常６の種類を判定する。例えば、判定部２７は、取得した画像をニューラルネットワーク３０に入力し、ニューラルネットワーク３０にて、異常６の種類を判定させる。判定部２７は通信部２８を備え、通信部２８によりネットワーク等を介してニューラルネットワーク３０に画像を送信し、判定結果を受信する。ニューラルネットワーク３０は、所定の教師データが入力されることにより機械学習されており、機械学習により生成された学習済みデータに基づいて、入力された画像から異常６の種類を判定する。機械学習は、例えば深層学習により行うことができる。判定部２７は、圃場の異常６の種類の判定結果を制御部２９に送信する。なお、ニューラルネットワーク３０は、ネットワーク上に設けられても良いが、制御装置２５に設けられても良い。
　制御装置２５は、異常６の種類の判定結果に応じた対応処置として、異常６に応じた制御である異常時制御を行う構成とすることが可能である。この場合、制御部２９は異常時制御を行う。例えば、判定部２７が機体１０の前方１．５ｍ以上６ｍ以下の位置で異常６の種類を判定した場合、制御部２９は機体１０の停止を含む様々な対応を制御することができる。
　判定部２７で判定された異常６の種類が異物７の存在である場合、制御部２９は、走行制御部３５を制御して、走行装置１１を介して機体１０を停止または減速させる。機体１０を停止させることにより、収穫部Ｈや機体１０が異物７と接触することが回避でき、収穫部Ｈや機体１０の破損や故障が回避できる。特に、収穫部Ｈの上方における機体１０の前側の領域の高い位置にカメラ２１が設けられることにより、収穫部Ｈより前側、または収穫部Ｈに近い領域の上方から、作業走行の前方の圃場を条間が見えやすい状態で撮像した画像が用いられることにより、条間に埋もれた異物７であっても容易に発見できる。機体１０を減速させることにより、手動走行に切り替えて異物７を回避する走行を行う等の対応が容易となり、また、機体１０が異物７に到達するまでに、異物７が存在しなくなる猶予を与えることができる場合もある。
　判定部２７で判定された異常６の種類が植立穀稈３の倒伏９である場合、制御部２９は、走行制御部３５を制御して、走行装置１１を介して機体１０を停止または減速させる。植立穀稈３が倒伏している場合、そのままの速度で作業走行を行うと、倒伏した植立穀稈３が十分に引き起こされていない状態で植立穀稈３を刈り取ることとなり、植立穀稈３が倒伏している場合としていない場合とで刈り跡がそろわなくなる。そのため、植立穀稈３が倒伏している場合、植立穀稈３を十分に引き起こすために走行速度を減速させる必要がある。植立穀稈３の倒伏９である場合に制御部２９が機体１０を減速させることにより、植立穀稈３を十分に引き起こすことができ、刈り跡をそろわせることができる。同様に、機体１０を停止させることにより、その後適切な速度で作業走行を行うように制御して、刈り跡をそろわせることができる。
　このように、カメラ２１を機体１０の前側の、少なくとも収穫部Ｈより高いできるだけ高い位置に設けることにより、植立穀稈３を上方、できるだけ真上に近い位置から見下ろすように、作業走行が行われる領域を撮像することにより、圃場の異常６を精度良く検知することができる。また、収穫部Ｈより前側、収穫部Ｈの真上、あるいは収穫部Ｈより後側であってもできるだけ収穫部Ｈに近い機体１０の前よりの位置にカメラ２１が設けられることにより、収穫部Ｈが邪魔せずに、収穫部Ｈの前方が撮像されるため、圃場をより真上に近い位置から撮像でき、圃場の異常６を精度良く検知することができる。また、植立穀稈３を上方から見下ろすように圃場が撮像されるため、条間に埋もれた異常６を容易に検出することができる。
　さらに、圃場の異常６の種類が判別されることにより、異常６の種類に応じた適切な対応処置である異常時制御が行われることにより、作業走行を継続して適切に行うことができる。
〔第１実施形態の別実施形態〕
（１）カメラ２１が設けられる位置は、排出装置１８に限らず、機体１０の前部の領域であっても良い。この場合、運転部１２より前側に設けられることが好ましい。つまり、カメラ２１は、収穫部Ｈより十分に高い位置で、機体１０のできるだけ前側で、収穫部Ｈの作業走行方向の前方の未作業領域ＳＰを、上方から撮像できる位置に設けられれば良い。例えば、機体１０からステーを前方に突出させ、ステーにカメラ２１が設けられても良い。これにより、圃場を上方から見下ろすように撮像することができ、異常６の発見が容易となる。また、カメラ２１は、可動式であっても良く、作業状況や圃場状況に応じて、撮像範囲を変更できる構成であっても良い。
（２）排出装置１８から穀粒を排出する際に排出状況を確認するための排出用カメラ（図示せず）が設けられている場合は、カメラ２１としては、排出用カメラ（図示せず）が流用されても良い。この場合、カメラ２１（排出用カメラ）は、穀粒の排出時には排出部１９の周辺を撮像し、作業走行時には、収穫部Ｈの前方の未作業領域ＳＰを撮像するように、撮像範囲が変更される。
（３）圃場の異常６として、雑草８の存在を含めることができる。ここで、自脱型のコンバインでは、一般的に、搬送装置１６に、収穫された刈取穀稈の長さを検出するセンサ（図示せず）が設けられる。また、搬送装置１６には、検出された刈取穀稈の長さに応じて、脱穀装置１３において刈取穀稈が脱穀処理される際の扱ぎ深さを調整する調整部３６が設けられる。調整部３６を備えることにより、脱穀装置１３は、刈取穀稈の長さを考慮して、適切な脱穀処理を行うことができる。
　このような自脱型のコンバインが、植立穀稈３より長い雑草８が存在する領域を作業走行した場合、搬送装置１６の調整部３６は、雑草８の長さに合わせて扱ぎ深さを調整する。その結果、脱穀の対象となる植立穀稈３が浅扱ぎになってしまい、適切に脱穀処理ができない場合がある。
　そこで、本実施形態に係る収穫機では、判定部２７で判定された異常６の種類が雑草８の存在である場合、制御部２９は、調整部３６を制御して扱ぎ深さの調整を行わないようにする。扱ぎ深さは搬送される植立穀稈３の長さに応じて調整される。雑草８が搬送される場合、扱ぎ深さが雑草８の長さに応じて調整される。その結果、脱穀の対象である植立穀稈３が浅扱ぎとなり、脱穀装置１３にて適切な脱穀処理が行われなくなる。そのため、制御部２９は、異常６が雑草８の存在であると判定された場合、扱ぎ深さの調整を中止させて、雑草８が存在しない時に植立穀稈３の長さに応じて調整された扱ぎ深さが維持されるように制御する。これにより、適切に脱穀処理が行われる状態が維持される。
（４）判定部２７は、異物７として、人または人を含む動物を区別して判定しても良い。この場合、判定部２７が人または動物が機体１０の進行方向に存在することを判定すると、制御部２９は、報知部３７に警報を発生させ、その後機体１０を停止させる。人または動物がある程度離れた位置に存在している場合、人または動物は警報により退避する場合がある。警報を発しても人または動物が進行方向に残っている場合、機体１０と人または動物との距離が所定の距離以内に近づいた場合、または警報を発生させてから所定の時間経過した場合等に、制御部２９は機体１０を停止させる。なお、人の存在が判定された場合は、制御部２９は直ちに機体１０を停止させても良い。以上により、機体１０と人または動物とが接触することを回避することができる。
（５）判定部２７は、異物７として、水口の存在を判定しても良い、水口は、圃場に水を引き込む取水口である。水口は植立穀稈３に埋もれている場合が多く、通常のセンサでは発見が困難である。上記各実施形態におけるカメラ２１は、圃場を上から撮像するため、植立穀稈３に埋もれた水口を発見しやすい。判定部２７が水口の存在を判定すると、制御部２９は、報知部３７に警報を発生させたり、走行制御部３５を制御して、機体１０を停止させたり、水口を迂回させたりすることができる。水口は圃場の外周領域に設けられるため、特に、圃場の周囲刈りの際に水口の周辺を作業走行することが多い。そのため、異物７が水口である場合、自動走行のみならず、手動走行の際にも異常時制御が行われることが好ましい。手動走行の際に判定部２７が水口の存在を判定すると、制御部２９は、報知部３７に警報を発生させ、作業者は水口を確認しながら、手動走行により水口を迂回して作業走行が行う。以上により、水口が存在する場合であっても、適切に作業走行を行うことが可能となる。
（６）上記各実施形態では、制御装置２５は検知部２６と判定部２７とを備えたが、判定部２７により異常６の種類を判定することにより、異常６が存在することを検知することになるので、必ずしも検知部２６を備えなくても良い。また、制御装置２５が検知部２６と判定部２７との両方を備える場合、検知部２６で異常６を検知したことを契機として、判定部２７が検知した異常６の種類を判定する構成としても良い。また、異常６の種類を判定する必要がない場合は、制御装置２５は、少なくとも検知部２６を備える構成とすることもできる。さらに、検知部２６と判定部２７とを分けて設けることなく、判定部２７を設けず、検知部２６に通信部２８が備えられて、検知部２６によって、異常６の種類を判定する構成としても良い。
（７）上記各実施形態では、自車位置検出モジュール８０として、衛星航法モジュール８１と慣性航法モジュール８２との組み合わせたものが用いられていたが、衛星航法モジュール８１だけもよい。また、自車位置や車体方位を、カメラによる撮像画像に基づいて算出する方法が採用されてもよい。
（８）本発明に係る収穫機は、普通型コンバインだけでなく、自脱型コンバインにも適用可能である。また、本発明は、トウモロコシ収穫機、ジャガイモ収穫機、ニンジン収穫機、サトウキビ収穫機等の種々の収穫機にも適用できる。
（９）さらに、上記収穫機に関連するシステム、プログラム、記録媒体及び方法も、本発明の範囲に含まれる。例えば、機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御するように構成された収穫機の異常制御システム、異常制御方法及び異常制御プログラムや、異常制御プログラムが記録されたコンピュータ読み取り可能記録媒体も、本発明の範囲に含まれる。
（１０）なお上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
［第２実施形態］
　第２実施形態では、本発明の農作業機の一例としてコンバインが示されている。以下、機体１０１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図６及び図７に符号（Ｆ）で示す方向が機体前側、図６及び図７に符号（Ｂ）で示す方向が機体後側である。図６に符号（Ｕ）で示す方向が機体上側、図６に符号（Ｄ）で示す方向が機体下側である。図６に符号（Ｌ）で示す方向が機体左側、図６に符号（Ｒ）で示す方向が機体右側である。機体１０１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。
〔コンバインの基本構成〕
　図６及び図７に示されるように、農作業機の一形態である普通型のコンバインは、機体１０１、左右一対のクローラ式の走行装置１１１、搭乗部１１２、脱穀装置１１３、穀粒タンク１１４、収穫装置１１５、搬送装置１１６、穀粒排出装置１１８を備えている。
　走行装置１１１は、コンバインの下部に備えられている。コンバインは、走行装置１１１によって自走可能である。また、搭乗部１１２、脱穀装置１１３、穀粒タンク１１４は、走行装置１１１よりも上側に備えられ、これらは機体１０１の上部として構成されている。コンバインの搭乗者やコンバインの作業を監視する監視者が、搭乗部１１２に搭乗可能である。通常、搭乗者と監視者とは兼務される。なお、搭乗者と監視者とが別人の場合、監視者は、コンバインの機外からコンバインの作業を監視していても良い。搭乗部１１２の下方に駆動用のエンジン（不図示）が備えられている。穀粒排出装置１１８は、穀粒タンク１１４の後下部に連結されている。
　収穫装置１１５は機体１０１の前部に支持されている。搬送装置１１６は収穫装置１１５よりも後側に隣接して設けられている。収穫装置１１５は圃場における作物を収穫する。作物は、例えば稲等の植立穀稈であるが、大豆やトウモロコシ等であっても良い。この構成により、収穫装置１１５は、圃場の作物を収穫する。そして、コンバインは、収穫装置１１５によって圃場の作物を収穫しながら走行装置１１１によって走行する作業走行が可能である。
　収穫装置１１５によって収穫された作物（例えば刈取穀稈）は、搬送装置１１６によって脱穀装置１１３へ搬送される。収穫された作物は脱穀装置１１３によって脱穀処理される。脱穀処理により得られた収穫物としての穀粒は、穀粒タンク１１４に貯留される。穀粒タンク１１４に貯留された穀粒は、必要に応じて、穀粒排出装置１１８によって機外に排出される。穀粒排出装置１１８は機体後部の縦軸芯回りに揺動可能に構成されている。即ち、穀粒排出装置１１８の遊端部が機体１０１よりも機体横外側へ張り出して作物を排出可能な排出状態と、穀粒排出装置１１８の遊端部が機体１０１の機体横幅の範囲内に位置する収納状態と、に切換可能なように穀粒排出装置１１８は構成されている。穀粒排出装置１１８が収納状態である場合、穀粒排出装置１１８の遊端部は搭乗部１１２よりも前側に位置するとともに収穫装置１１５の上方に位置する。
　穀粒排出装置１１８のうち、遊端部に位置する穀粒排出口の側部に撮像装置１２１が設けられている。また、詳細は後述するが、搭乗部１１２の前部に測距センサ１２２が設けられ、測距センサ１２２は、機体１０１の前方に存在する圃場の障害対象と機体１０１との離間距離を計測可能に構成されている。
　撮像装置１２１は、可視光を撮像可能なカラーカメラであって、例えばＣＣＤカメラやＣＭＯＳカメラである。穀粒排出装置１１８が収納状態の場合、撮像装置１２１は、コンバインの前進方向の前方を、当該穀粒排出口の箇所から前下方の向きで撮像可能に構成されている。このとき、撮像装置１２１は搭乗部１１２よりも前側に位置し、撮像装置１２１の前後方向が前下がりに傾斜する状態で穀粒排出装置１１８の遊端部に支持される。これにより、例えば撮像装置１２１が搭乗部１１２の天井部に支持される構成と比較して、撮像装置１２１は、収穫装置１１５の前端領域における作物の収穫状態を近い視点から高画質で撮像できる。また、撮像装置１２１は、進行方向前方の障害対象等を上から見下ろす視点で撮像できる。このため、撮像装置１２１の前後方向における撮像視野は、例えば１５メートルや２５メートルである。このように、撮像装置１２１は、収穫装置１１５の前方の未収穫の作物を見下ろすように、機体１０１の前部で、かつ、収穫装置１１５よりも高い位置に設けられている。
　撮像装置１２１によって取得された撮像画像は、画像データ化され、コンバインの制御系に送られる。撮像装置１２１は、収穫作業時に圃場を撮像するが、圃場には種々の物体が撮像対象として存在している。コンバインの制御系は、撮像装置１２１から送られてきた画像データから特定の物体を障害対象として識別する機能を有する。そのような障害対象として、図６及び図７では、符号Ｚ０で示された正常な植立穀稈群、符号Ｚ１で示された雑草群、符号Ｚ２で示された倒伏穀稈群、符号Ｚ３で示された人物、符号Ｚ４で示された石、が模式的に示されている。
　搭乗部１１２の天井部には、衛星測位モジュール１８０が設けられている。衛星測位モジュール１８０は、人工衛星ＧＳからのＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）の信号（ＧＰＳ信号を含む）を受信して、自車位置を取得する。なお、衛星測位モジュール１８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール１８０に組み込まれている。もちろん、慣性航法ユニットは、コンバインにおいて衛星測位モジュール１８０と別の箇所に配置されても良い。
〔制御ユニットの構成〕
　この実施形態のコンバインは自動走行と手動走行との両方で走行可能である。自動走行とは、圃場において予め設定された走行経路に沿って自動的に作業走行を行うものである。図８に、圃場における未作業領域と既収穫領域とが示され（以下、それぞれ未収穫領域ＳＰ、既収穫領域ＳＣと称する）、未収穫領域ＳＰと既収穫領域ＳＣとが圃場の内側領域である。圃場の内側領域よりも外側の領域が圃場の畦際領域である。図８においてコンバインは、圃場の内側領域を直進し、圃場の畦際領域で１８０度旋回を行う。一般的に走行経路は、圃場の内側領域における直進経路と、圃場の畦際領域における旋回経路と、が交互に繰り返される経路である。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードと、のいずれかを選択する走行モードスイッチ（非図示）が設けられている。走行モードスイッチの操作によって、手動走行から自動走行への移行、あるいは自動走行から手動走行への移行が可能である。走行モードスイッチは、例えば搭乗部１１２内に設けられても良いし、後述する端末ＣＴ等に設けられても良い。
　なお、自動走行では、撮像装置１２１による機体前方の撮像と、撮像装置１２１によって撮像された撮像画像に基づく認識部１３１の画像認識処理と、が行われる。このため、自動走行において穀粒排出装置１１８は収納状態である必要がある。即ち、穀粒排出装置１１８が収納状態の場合に自動走行が行われる。自動走行時に穀粒排出装置１１８が収納状態でなくなると、例えば後述する警告制御部１３６や報知制御部１３７を介して警報が発せられる。
　図９に示される制御ユニット１３０は、コンバインの制御系の中核要素であり、複数のＥＣＵの集合体として示されている。制御ユニット１３０に、認識部１３１と、パターン決定部１３２と、走行制御部１３５と、警告制御部１３６と、報知制御部１３７と、が備えられている。また、衛星測位モジュール１８０からの測位データ、及び、撮像装置１２１からの画像データは、配線網を通じて制御ユニット１３０に入力される。
　認識部１３１に、深層学習を用いて学習可能なニューラルネットワークが構築されている。認識部１３１には、撮像装置１２１によって継時的に遂次取得された撮像画像の画像データが入力される。ニューラルネットワークは深層学習によって非線形特性を有する入出力関係を同定できることで知られている。認識部１３１は、この画像データにおける障害対象が存在する存在領域を推定し、存在領域に基づく認識出力データを、認識結果として出力する。
　認識部１３１による認識出力データの生成の流れが、図１０に示されている。認識部１３１には、撮像装置１２１からＲＧＢ画像データの画素値が入力値として入力される。図１０の例では、障害対象は倒伏穀稈と雑草と人物と石である。したがって、認識結果としての認識出力データには、倒伏穀稈が存在する倒伏穀稈領域と、雑草が存在する雑草領域と、人物が存在する人物領域と、石が存在する石領域と、が含まれる。因みに石は、植立した作物の間に埋もれている場合が考えられるが、撮像装置１２１は、上から見下ろす視点で石を撮像できる。
　図１０では、雑草領域は符号Ｆ１を付与された矩形の枠で示され、倒伏穀稈領域は符号Ｆ２を付与された矩形の枠で示され、人物領域は符号Ｆ３を付与された矩形の枠で示され、石領域は符号Ｆ４を付与された矩形の枠で示されている。即ち、認識部１３１は、障害対象の種類を、石等の異物の存在であるか、人の存在であるか、雑草の存在であるか、作物の倒伏であるかを判別可能に構成されている。このように、認識部１３１は、撮像装置１２１によって撮像された撮像画像に基づいて進行方向前方の障害対象の存在を検知可能に構成されている。加えて認識部１３１は、深層学習を用いて学習されたニューラルネットワークを利用することによって障害対象の種類を識別可能に構成されている。撮像装置１２１は、所定時間間隔、例えば０．１秒間隔や０．５秒間隔で撮像画像を取得し、その画像データを認識部１３１に入力するので、認識部１３１も、同じ時間間隔で、認識出力データを出力する。
　図９に示されるパターン決定部１３２は、認識部１３１によって識別された障害対象の種類に基づいて自動走行制御の制御パターンを決定する。制御パターンは、例えば、図１１に示されるような、障害対象の種類に対応したルックアップテーブルとしてＲＯＭ等に格納され、障害対象の種類に対応した制御パターンがパターン決定部１３２よって選択される。
　図９に示される走行制御部１３５は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、走行装置１１１に走行制御信号を与える。手動操舵モードが選択されている場合、搭乗者による操作に基づいて、走行制御部１３５が制御信号を生成し、走行装置１１１を制御する。自動操舵モードが選択されている場合、制御ユニット１３０の自動走行制御モジュールによって与えられる自動走行指令と、衛星測位モジュール１８０からの測位データと、に基づいて、走行制御部１３５は、操舵や車速に関する制御を走行装置１１１に対して行う。
　図９に示される警告制御部１３６は、図６及び図７に示された機体１０１の前方の進路等に位置する動物や人に対して機体１０１の作業走行の状態や種々の警告を報知するためのモジュールであって、ホーン１４１に対する出力制御を可能に構成されている。ホーン１４１は機体１０１の任意の箇所に設けられている。報知制御部１３７は、例えばスマートフォンやタブレットコンピュータ等の端末ＣＴに対して、パターン決定部１３２が決定した制御パターンを出力可能に構成され、端末ＣＴに当該制御パターンが表示される。端末ＣＴはコンバインの搭乗者や圃場の監視者または管理者が携帯するものであって、端末ＣＴを携帯する者が制御パターンの状態や履歴を端末ＣＴで確認できるように、報知制御部１３７は構成されている。
　本実施形態のコンバインに測距センサ１２２が備えられ、機体１０１と、機体１０１の前方の進路に存在する障害対象と、の離間距離は測距センサ１２２によって測定可能に構成されている。図７に示されるように、本実施形態では測距センサ１２２は搭乗部１１２の前部に設けられているが、測距センサ１２２は、前方の測定を収穫装置１１５によって妨げられない程度の高さに設けられている。また、測距センサ１２２は、例えば収穫装置１１５に設けられても良い。また、測距センサ１２２は、ソナーであっても良いし、レーダー（ミリ波）であっても良いし、ＬＩＤＡＲ、即ち、ＬＩＤＡＲ（Ｌｉｇｈｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒａｎｇｉｎｇ）技術を利用した測距デバイス（例えばレーザースキャナーやレーザーレーダー。以下、ＬＩＤＡＲと略称する。）であっても良い。測距センサ１２２がソナーであればコスト面で有利である。測距センサ１２２がミリ波レーダーであれば、天候に左右され難い測定が可能であって、コスト面で有利である。ミリ波レーダーが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのミリ波レーダーよりも測距範囲を広範囲にすることが可能となる。測距センサ１２２がＬＩＤＡＲであれば離間距離の測定が精度よく行われる。加えて、ＬＩＤＡＲが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのＬＩＤＡＲよりも測距範囲を広範囲にすることが可能となる。
〔障害対象の種類及び制御パターンについて〕
　障害対象の種類及び制御パターンに関する説明が、図９乃至図１２に基づいて以下に記載される。図１１に示されるように、本実施形態では、制御パターンとして複数の制御パターンが例示され、複数の制御パターンに、機体１０１（図６及び図７参照、以下同じ）の減速と、機体１０１の停止と、障害対象に対する警告と、が含まれる。具体的には、制御パターンとして、『停止』、『減速・警告→停止』、『減速・警告』、『減速』が例示される。なお、図１１に示された障害対象の種類は例示であって、図１１に示されたもの以外を排除するものではない。
　図１１に、障害対象の種類と、障害対象の種類に対応した制御パターンと、が示される。障害対象の種類が認識部１３１によって識別されると、パターン決定部１３２は、障害対象の種類に対応した制御パターンを選択する。障害対象の種類が石や柱や倒木片等の場合、『停止』の制御パターンがパターン決定部１３２によって選択される。石や柱や倒木片等は、動物ではなく、自発的に動かないものである。そして、障害対象の種類が自発的に動かないものであることが認識部１３１によって識別された場合、パターン決定部１３２は、図１１のテーブルに基づいて機体１０１の停止に関する制御パターンを決定する。そして、パターン決定部１３２は、機体１０１の停止に関する制御パターンに基づいて走行制御部１３５に対して停止の出力制御を行う。これにより、走行装置１１１が停止する。なお、『停止』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外にも、例えば立木や電柱や畦や稲藁ロール等であっても良い。なお、障害対象の種類が畦である場合、図８に示される旋回経路よりも圃場外側の畦が障害対象から除外されるように構成されて良い。
　障害対象の種類が動物（例えば犬、猿、豚、牛、カラス等、即ち家畜や鳥獣）である場合、進行方向前方の動物を追い払うため、図１１のテーブルに基づいて『減速・警告』の制御パターンがパターン決定部１３２によって選択される。動物は自発的に動くものである。このため、機体１０１が減速しながらホーン１４１から音が発せられることによって、動物は機体１０１の前方の進路から立ち去る場合が多い。このように、障害対象の種類が自発的に動くものであることが認識部１３１によって識別された場合、パターン決定部１３２は、機体１０１の減速と、障害対象に対する警告と、に関する制御パターンを決定する。そして、パターン決定部１３２は、機体１０１の減速と、障害対象に対する警告と、に関する制御パターンに基づいて、走行制御部１３５と警告制御部１３６との夫々に出力制御を行う。これにより、走行装置１１１の速度が減速され、ホーン１４１から音が発せられる。なお、『減速・警告』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。
　障害対象の種類が圃場の人であることが認識部１３１によって識別された場合、図１１のテーブルに基づいて『減速・警告→停止』の制御パターンがパターン決定部１３２によって選択される。機体１０１と圃場の人との離間距離に閾値が予め設定される。『減速・警告→停止』とは、パターン決定部１３２が、この予め設定された当該離間距離の閾値に基づいて、『減速・警告』の制御パターンと、『停止』の制御パターンと、を切換える制御パターンである。機体１０１と圃場の人との離間距離がこの閾値以上（もしくは閾値よりも上）である間は、パターン決定部１３２が『減速・警告』の制御パターンに基づく出力制御を行う。そして、機体１０１と圃場の人との離間距離がこの閾値以下（もしくは閾値未満）であれば、パターン決定部１３２が『停止』の制御パターンに基づく出力制御を行う。なお、機体１０１と圃場の人との離間距離の閾値は、例えば５メートルや１０メートルである。
　他の農機（例えばコンバインやトラクタや管理機や農業用無人航空機等）や車両（例えばトラック）は、圃場内を走行する場合もあるが、圃場内で停車している場合も多く、機体１０１が接近しても自発的に動かない場合も多分に考えられる。このことから、本実施形態では、障害対象の種類が他の農機や車両等である場合、機体１０１が他の農機や車両と接触するのを回避するため、『減速・警告→停止』の制御パターンがパターン決定部１３２によって選択される。なお、『減速・警告→停止』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。
　障害対象の種類が倒伏穀稈や雑草等である場合、図１１のテーブルに基づいて『減速』の制御パターンがパターン決定部１３２によって選択される。つまり、倒伏穀稈や雑草は、収穫装置１１５によってそのまま刈り取られても自動走行に支障がない場合も多い。但し、倒伏穀稈が収穫装置１１５によって刈り取られる場合、倒伏穀稈をしっかりと引き起こして収量ロスを減らすために、作業走行の速度を減速させる必要が生じる場合も考えられる。このため、障害対象の種類が自動走行に大きな支障を及ぼさないことが認識部１３１によって識別された場合、パターン決定部１３２は、自動走行を継続しつつ走行装置１１１を減速させる制御パターンを決定する。なお、『減速』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。
　このように、パターン決定部１３２は、複数の制御パターンから、障害対象の種類に応じて制御パターンを決定するとともに制御パターンに基づく出力制御を可能なように構成されている。換言すると、認識部１３１によって検知された圃場の異常に応じて出力制御を可能なように、パターン決定部１３２は構成されている。
　図１２に、制御パターンの決定に関するフローチャートが示される。このフローチャートは、障害対象の存在が認識部１３１によって識別された場合に、パターン決定部１３２における内部処理の概略である。換言すると、パターン決定部１３２は、認識部１３１によって検知された圃場の異常に応じて、このフローチャートに基づく異常時制御を実行する。このため、パターン決定部１３２の内部処理はフローチャートに限定されず、出力結果の同一性を損なわない範囲内で改変可能である。まず、認識部１３１によって出力された認識出力データに基づいて、複数の制御パターンの中から少なくとも一つの制御パターンが選択される（ステップ＃０１）。『停止』の制御パターンがパターン決定部１３２によって選択された場合（ステップ＃０１：停止）、走行制御部１３５に対する停止の出力制御がステップ＃０６で行われ、走行装置１１１が走行制御部１３５によって停止される。
　ステップ＃０１で『減速・警告→停止』または『減速・警告』の制御パターンがパターン決定部１３２によって選択された場合、ステップ＃０２の処理で『減速・警告』の後『停止』する制御パターン、即ち『減速・警告→停止』の制御パターンであるかが判定される。ステップ＃０２の処理で『減速・警告→停止』の制御パターンであることが判定されると、ステップ＃０３の処理に進む。『減速・警告』の制御パターンがパターン決定部１３２によって選択された場合、ステップ＃０２からステップ＃０４へ処理が進む。
　認識部１３１によって出力された認識出力データの中に人物領域が含まれると、『減速・警告→停止』の制御パターンがパターン決定部１３２によって選択される。このため、ステップ＃０３の処理では、機体１０１と人との離間距離が予め設定された距離以上（もしくは予め設定された距離よりも上）であるかどうかが判定される。機体１０１と人との離間距離は測距センサ１２２によって測定される。機体１０１と人との離間距離が予め設定された距離以上（もしくは予め設定された距離よりも上）であれば（ステップ＃０３：Ｙｅｓ）、ステップ＃０４へ進み、『減速・警告』の制御パターンに基づく処理がステップ＃０４とステップ＃０５とで実行される。
　ステップ＃０４では、パターン決定部１３２が、『減速・警告』の制御パターンに基づく出力制御を走行制御部１３５に対して行う。そして走行制御部１３５は、車速を減速させる制御を走行装置１１１に対して行う。ステップ＃０５では、パターン決定部１３２が、『減速・警告』の制御パターンに基づく出力制御を警告制御部１３６に対して行う。そして警告制御部１３６は、ホーン１４１が音を発するようにホーン１４１に対する制御を行う。
　機体１０１と人との離間距離が予め設定された距離以下（もしくは距離未満）であれば（ステップ＃０３：Ｎｏ）、ステップ＃０６へ進み、『停止』の制御パターンに基づく処理がステップ＃０６で実行される。ステップ＃０６では、パターン決定部１３２が、『停止』の制御パターンに基づく出力制御を走行制御部１３５に対して行う。そして走行制御部１３５は、走行装置１１１に対して停止制御を行う。このように、パターン決定部１３２は、機体１０１と人との離間距離が予め設定された距離以下（もしくは距離未満）となった場合に、機体１０１の停止に関する制御パターンを決定する。
　『減速』の制御パターンがパターン決定部１３２によって選択された場合（ステップ＃０１：減速）、ステップ＃０７の処理が行われる。ステップ＃０７では、パターン決定部１３２が、『減速』の制御パターンに基づく出力制御を走行制御部１３５に対して行う。そして走行制御部１３５は、車速を減速させる制御を走行装置１１１に対して行う。
　ステップ＃０５またはステップ＃０６またはステップ＃０７の処理が終了すると、パターン決定部１３２が報知制御部１３７に対して出力を行い、報知制御部１３７を介して端末ＣＴに制御パターンの状態が送信される（ステップ＃０８）。これにより、端末ＣＴに制御パターンの現状や制御パターンの履歴が表示され、端末ＣＴを携帯する圃場の監視者や管理者が、制御パターンの変化に基づく機体１０１の状態変化を把握できる。
〔第２実施形態の別実施形態〕
　本発明は、上述の実施形態に例示された構成に限定されるものではなく、以下、本発明の代表的な別実施形態を例示する。
（１）上述した実施形態では、撮像装置１２１は機体１０１の前進方向前方を撮像するように搭乗部１１２よりも前側に設けられているが、この実施形態に限定されない。例えば、撮像装置１２１は機体１０１の後進方向を撮像可能なように、機体１０１の後端部に設けられても良い。また、撮像装置１２１は、搭乗部１１２よりも前側と、機体１０１の後端部と、の両方に設けられても良い。即ち、撮像装置１２１は、圃場において機体１０１の前進と機体１０１の後進との一方または両方の進行方向前方を撮像可能な構成であれば良い。
（２）上述した実施形態では、認識部１３１に、深層学習を用いて学習可能なニューラルネットワークが構築されているが、認識部１３１にニューラルネットワークが構築されなくても良い。この場合、ニューラルネットワークは他のコンピュータや端末ＣＴに構築され、認識部１３１と、他のコンピュータや端末ＣＴと、が通信をすることによってニューラルネットワークにおける入出力が行われるものであっても良い。即ち、認識部１３１は、深層学習を用いて学習されたニューラルネットワークを利用することによって障害対象の種類を識別可能に構成されると良い。
（３）上述した実施形態では、障害対象の種類が他の農機や車両である場合、『減速・警告→停止』の制御パターンがパターン決定部１３２によって選択されるが、この実施形態に限定されない。認識部１３１によって識別される他の農機や車両は、自発的に動かない種類の障害対象として識別されても良く、『停止』の制御パターンがパターン決定部１３２によって選択されても良い。
（４）上述した実施形態において、上述した実施形態において、障害対象の種類が動物である場合、『減速・警告』の制御パターンがパターン決定部１３２によって選択されるが、『減速・警告』の制御パターンは『警告』のみであっても良い。つまり、『警告』の制御パターンがパターン決定部１３２によって選択されると、パターン決定部１３２は、走行制御部１３５に出力制御を行わずに、障害対象に対する警告に関する制御パターンに基づいて、警告制御部１３６に出力制御を行う構成であっても良い。これにより、走行装置１１１の速度が減速されずに、ホーン１４１から音が発せられる。
（５）上述した実施形態では、警告制御部１３６はホーン１４１に対する出力制御を可能に構成されているが、この実施形態に限定されない。例えば、警告制御部１３６の出力制御は、例えばブザー、ランプ、サーチライト、スピーカ、ディスプレイ等に対するものであっても良い。また、警告制御部１３６は、超音波を用いて鳥獣等を撃退するものであっても良い。この場合、警告制御部１３６は、機体１０１が鳥獣等に接近するほど超音波を強く出力するように出力制御を行うものであっても良い。
（６）上述した実施形態において、障害対象の種類が動物である場合、『減速・警告』の制御パターンがパターン決定部１３２によって選択されるが、『減速・警告→停止』の制御パターンがパターン決定部１３２によって選択される構成であっても良い。『減速・警告→停止』の制御パターンの場合、パターン決定部１３２が、機体１０１と障害対象との離間距離の閾値に基づいて『減速・警告』の制御パターンと『停止』の制御パターンと、を切換えるが、この閾値が動物の場合と人の場合とで異なっていても良い。例えば、障害対象が人の場合には閾値が５メートルや１０メートルに設定され、障害対象が動物の場合には閾値が２～３メートルに設定されても良い。
（７）警告制御部１３６と報知制御部１３７とは一体的に構成されても良い。また、パターン決定部１３２と走行制御部１３５と警告制御部１３６と報知制御部１３７とは一体的に構成されても良い。
（８）上述した実施形態において、障害対象の種類が石や柱や倒木片や稲藁ロール等の場合、『停止』の制御パターンがパターン決定部１３２によって選択されるが、この実施形態に限定されない。例えば、パターン決定部１３２は、『停止』の制御パターンに代えて、機体１０１が石や柱や倒木片や稲藁ロール等との接触を回避するように迂回する制御パターンを選択する構成であっても良い。つまり、障害対象の種類が自発的に動かないものであることが認識部１３１によって識別された場合、パターン決定部１３２は、機体１０１の迂回に関する制御パターンを決定する構成であっても良い。
（９）上述した実施形態において、図１２に示されるように、『減速』の制御パターンがパターン決定部１３２によって選択された場合、ステップ＃０７の処理に基づいて減速処理が行われるが、この実施形態に限定されない。例えば、障害対象の種類が倒伏穀稈や雑草である場合には、障害対象ではない非対象物として認識される構成であっても良い。この場合、図１２に示されるフローチャートの処理が行われず、自動走行がそのまま継続される構成であっても良い。
　また、農作業機が自脱型コンバインである場合、障害対象の種類が雑草であることが認識部１３１によって識別された場合には、脱穀装置１１３における扱ぎ深さが調整される構成であっても良い。つまり、雑草が穂先よりも高い位置にある状態で雑草が穂先であると誤認されると、脱穀装置１１３における扱ぎ深さが浅くなる虞がある。このような不都合を回避するため、認識部１３１が雑草と穂先とを区別して、脱穀装置１１３における扱ぎ深さが調整される構成であれば好適である。
（１０）上述した実施形態において、機体１０１と障害対象との離間距離を測定可能な測距センサ１２２が備えられているが、測距センサ１２２が備えられない構成であっても良い。この場合、障害対象の種類が動物や人であることが認識部１３１によって識別されると、撮像装置１２１に撮像される撮像画像における動物や人の位置に基づいて、パターン決定部１３２は、機体１０１の停止に関する制御パターンを決定する構成であっても良い。
（１１）本発明に係る農作業機は、普通型のコンバインに限らず自脱型のコンバインであっても良い。また、本発明に係る農作業機は、コンバインに限らずその他の収穫機であっても良い。さらに、本発明に係る農作業機は、収穫機に限らず、田植機、播種機、管理機、トラクタ等のその他の農作業機であっても良い。
（１２）さらに、上記農作業機に関連するシステム、プログラム、記録媒体及び方法も、本発明の範囲に含まれる。例えば、農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行するように構成された農作業機の制御システム、制御方法及び制御プログラムや、制御プログラムが記録されたコンピュータ読み取り可能記録媒体も、本発明の範囲に含まれる。
　（１３）なお上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
［第１実施形態］
　　３　　植立穀稈（作物）
　　６　　異常
　　７　　異物
　　８　　雑草
　　９　　倒伏
　１０　　機体
　１１　　走行装置
　１２　　運転部
　１３　　脱穀装置
　１４　　穀粒タンク
　１６　　搬送装置
　１７　　リール
　１８　　排出装置
　１９　　排出部
　２１　　カメラ（撮像装置）
　２５　　制御装置
　２６　　検知部
　２７　　判定部
　２９　　制御部
　３０　　ニューラルネットワーク
　３６　　調整部
　３７　　報知部
　　Ｈ　　収穫部
　ＳＰ　　未作業領域
［第２実施形態］
　１０１　　：機体
　１２１　：撮像装置
　１２２　：測距センサ
　１３１　：認識部
　１３２　：パターン決定部
 

Claims (27)

  1. 　自動走行しながら圃場の作物を収穫する作業走行を行う収穫機であって、
    　前記作業走行を行う走行装置と、
    　前記走行装置に支持される機体と、
    　前記機体の前部に支持されて前記圃場の作物を収穫する収穫部と、
    　前記収穫部の前方の未作業領域の作物を上方から見下ろすように、前記機体の前部で、かつ、前記収穫部よりも高い位置に設けられる撮像装置と、
    　前記撮像装置が撮像した画像から圃場の異常を検知する検知部と、
    　検知した前記圃場の異常に応じた制御である異常時制御を行う制御部と、を備える収穫機。
  2. 　前記画像を、深層学習を用いて機械学習されたニューラルネットワークに入力することにより、前記圃場の異常が異物の存在であるか、雑草の存在であるか、又は作物の倒伏であるかが判別される請求項１に記載の収穫機。
  3. 　前記圃場の異常が前記異物の存在であると判別された場合、前記制御部は、前記異常時制御として、前記機体を減速又は停止させる請求項２に記載の収穫機。
  4. 　前記異物は、植立した作物の間に埋もれている障害物である請求項３に記載の収穫機。
  5. 　前記圃場の異常が前記作物の倒伏であると判別された場合、前記制御部は、前記異常時制御として、前記機体を減速させる請求項２～４のいずれか一項に記載の収穫機。
  6. 　前記機体は、
    　収穫された作物を脱穀する脱穀装置と、
    　前記収穫部から前記脱穀装置に、収穫された作物を搬送する搬送装置と、
    　前記搬送装置に設けられて、前記脱穀装置に搬送される作物の扱ぎ深さを調整する調整部と、を有し、
    　前記圃場の異常が前記雑草の存在であると判別された場合、前記制御部は、前記異常時制御として、前記調整部に前記扱ぎ深さの調整を中止させる請求項２～５のいずれか一項に記載の収穫機。
  7. 　前記機体は、前記機体の前部に運転部を有し、
    　前記撮像装置は、前記運転部よりも前側に設けられる請求項１～６のいずれか一項に記載の収穫機。
  8. 　前記機体は、
    　収穫された作物を脱穀する脱穀装置と、
    　前記収穫部から前記脱穀装置に、収穫された作物を搬送する搬送装置と、
    　脱穀された作物を貯留する穀粒タンクと、
    　前記穀粒タンクの下部に連結された縦搬送部、および、前記縦搬送部の上端部に連結された横搬送部を有し、前記横搬送部の先端部に設けられた排出部から前記穀粒タンクに貯留された作物を排出可能な排出装置と、を有し、
    　前記撮像装置は、前記横搬送部に設けられる請求項１～６のいずれか一項に記載の収穫機。
  9. 　前記排出装置は、当該排出装置が収納位置に収納される態様と、前記貯留された作物を排出する際の態様であって前記排出部が前記機体から突出する態様と、の間で変位可能であり、
    　前記排出装置が前記収納位置に収納されている場合のみ、前記自動走行が行われる請求項８に記載の収穫機。
  10. 　前記自動走行時に、前記排出装置が前記収納位置から離れると警報を報知する報知部を備える請求項９に記載の収穫機。
  11. 　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御システムであって、
    　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知部と、
    　前記異常の種類を判別する判定部と、
    　判別された異常の種類に応じて異常時制御を行う制御部と、を備えた収穫機の異常制御システム。
  12. 　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御プログラムであって、
    　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知機能と、
    　前記異常の種類を判別する判定機能と、
    　判別された異常の種類に応じて異常時制御を行う制御機能と、をコンピュータに実現させる収穫機の異常制御プログラム。
  13. 　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する異常制御プログラムが記録されたコンピュータ読み取り可能記録媒体であって、
    　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知する検知機能と、
    　前記異常の種類を判別する判定機能と、
    　判別された異常の種類に応じて異常時制御を行う制御機能と、をコンピュータに実現させる異常制御プログラムが記録されたコンピュータ読み取り可能記録媒体。
  14. 　機体の前部に収穫部を支持した収穫機が自動走行しながら圃場の作物を収穫する作業走行を行う際、に検知した圃場の異常を制御する収穫機の異常制御方法であって、
    　前記収穫部の前方の未作業領域の作物を上方から撮像する撮像装置、が撮像した画像から圃場の異常を検知するステップと、
    　前記異常の種類を判別するステップと、
    　判別された異常の種類に応じて異常時制御を行うステップと、を備えた収穫機の異常制御方法。
  15. 　圃場において機体の前進及び後進のうち一方又は両方の進行方向前方を撮像可能な撮像装置と、
    　前記撮像装置によって撮像された撮像画像に基づいて、圃場の障害対象の存在を検知可能であるとともに、前記障害対象の種類を識別可能な認識部と、
    　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するとともに、決定した前記制御パターンに基づく出力制御を実行するパターン決定部と、を備える農作業機。
  16. 　前記認識部は、深層学習を用いて学習されたニューラルネットワークを利用することによって前記障害対象の種類を識別可能に構成されている請求項１５に記載の農作業機。
  17. 　前記複数の制御パターンは、前記機体の減速と、前記機体の停止と、前記障害対象に対する警告と、を含む請求項１５又は１６に記載の農作業機。
  18. 　前記障害対象の種類が自発的に動かないものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の停止に関する前記制御パターンを決定する請求項１７に記載の農作業機。
  19. 　前記障害対象の種類が自発的に動くものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の減速と、前記障害対象に対する警告と、に関する前記制御パターンを決定する請求項１７又は１８に記載の農作業機。
  20. 　前記機体と前記障害対象との離間距離を測定可能な測距センサが備えられ、
    　前記パターン決定部は、前記離間距離が予め設定された距離以下となった場合に、前記機体の停止に関する前記制御パターンを決定する請求項１９に記載の農作業機。
  21. 　前記測距センサはソナーである請求項２０に記載の農作業機。
  22. 　前記測距センサはＬＩＤＡＲである請求項２１に記載の農作業機。
  23. 　前記測距センサはレーザースキャナーである請求項２２に記載の農作業機。
  24. 　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行する農作業機の制御システムであって、
    　前記撮像画像に基づいて、圃場の障害対象の存在を検知するとともに、前記障害対象の種類を識別する認識部と、
    　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定し、決定した制御パターンに基づいて前記出力制御を実行するパターン決定部と、を備える農作業機の制御システム。
  25. 　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行するプログラムであって、
    　前記撮像画像に基づいて、圃場の障害対象の存在を検知する機能と、
    　前記撮像画像に基づいて、前記障害対象の種類を識別する機能と、
    　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定する機能と、
    　前記制御パターンに基づいて前記出力制御を実行する機能と、をコンピュータに実現させる制御プログラム。
  26. 　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行するプログラムが記録されたコンピュータ読み取り可能記録媒体であって、
    　前記撮像画像に基づいて、圃場の障害対象の存在を検知する機能と、
    　前記撮像画像に基づいて、前記障害対象の種類を識別する機能と、
    　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定する機能と、
    　前記制御パターンに基づいて前記出力制御を実行する機能と、をコンピュータに実現させる制御プログラムが記録されたコンピュータ読み取り可能記録媒体。
  27. 　農作業機が圃場を走行する際に機体の前進と前記機体の後進との一方又は両方の進行方向前方を撮像可能な撮像装置、によって撮像された撮像画像に基づいて、圃場の障害対象に関する出力制御を実行する農作業機の制御方法であって、
    　前記撮像画像に基づいて、圃場の障害対象の存在を検知するステップと、
    　前記撮像画像に基づいて、前記障害対象の種類を識別するステップと、
    　複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するステップと、
    　前記制御パターンに基づいて前記出力制御を実行するステップと、を備える農作業機の制御方法。
     
PCT/JP2020/017734 2019-04-25 2020-04-24 収穫機等の農作業機 WO2020218528A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20796043.6A EP3959955A4 (en) 2019-04-25 2020-04-24 AGRICULTURAL MACHINE SUCH AS A HARVESTER
US17/605,907 US20220210971A1 (en) 2019-04-25 2020-04-24 Agricultural Work Machine Such as Harvester
CN202080031060.3A CN113727597B (zh) 2019-04-25 2020-04-24 收割机等农业机械

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-083821 2019-04-25
JP2019083819A JP7149897B2 (ja) 2019-04-25 2019-04-25 収穫機
JP2019-083819 2019-04-25
JP2019083821A JP2020178619A (ja) 2019-04-25 2019-04-25 農作業機

Publications (1)

Publication Number Publication Date
WO2020218528A1 true WO2020218528A1 (ja) 2020-10-29

Family

ID=72942199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017734 WO2020218528A1 (ja) 2019-04-25 2020-04-24 収穫機等の農作業機

Country Status (4)

Country Link
US (1) US20220210971A1 (ja)
EP (1) EP3959955A4 (ja)
CN (1) CN113727597B (ja)
WO (1) WO2020218528A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586538B (zh) * 2022-10-17 2023-06-09 南通大学 基于激光雷达的半喂入联合收割机穗头喂入深度控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0976850A (ja) * 1995-09-12 1997-03-25 Yanmar Agricult Equip Co Ltd 作業用走行車両における危険防止装置
JPH10178815A (ja) * 1996-12-25 1998-07-07 Iseki & Co Ltd コンバイン等の操向旋回制御装置
JPH11155340A (ja) 1997-11-25 1999-06-15 Yanmar Agricult Equip Co Ltd 汎用コンバイン
JP2018186728A (ja) * 2017-04-28 2018-11-29 井関農機株式会社 コンバイン
JP2019004771A (ja) * 2017-06-23 2019-01-17 株式会社クボタ コンバイン

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DD148139A3 (de) * 1979-05-30 1981-05-13 Lothar Naether Vorrichtung zum fuehren einer erntemaschine entlang der pflanzen
DE102015116574A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
KR102394967B1 (ko) * 2016-03-29 2022-05-04 얀마 파워 테크놀로지 가부시키가이샤 콤바인
CN110582198B (zh) * 2017-06-23 2022-08-23 株式会社久保田 收割机
DE102017122710A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0976850A (ja) * 1995-09-12 1997-03-25 Yanmar Agricult Equip Co Ltd 作業用走行車両における危険防止装置
JPH10178815A (ja) * 1996-12-25 1998-07-07 Iseki & Co Ltd コンバイン等の操向旋回制御装置
JPH11155340A (ja) 1997-11-25 1999-06-15 Yanmar Agricult Equip Co Ltd 汎用コンバイン
JP2018186728A (ja) * 2017-04-28 2018-11-29 井関農機株式会社 コンバイン
JP2019004771A (ja) * 2017-06-23 2019-01-17 株式会社クボタ コンバイン

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3959955A4

Also Published As

Publication number Publication date
US20220210971A1 (en) 2022-07-07
CN113727597B (zh) 2023-06-06
EP3959955A4 (en) 2023-05-10
EP3959955A1 (en) 2022-03-02
CN113727597A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
JP7034866B2 (ja) 収穫機
JP6958508B2 (ja) 収穫作業システム
US20220230444A1 (en) Obstacle Detection System, Agricultural Work Vehicle, Obstacle Detection Program, Recording Medium on Which Obstacle Detection Program is Recorded, and Obstacle Detection Method
JP7381402B2 (ja) 自動走行システム
WO2020218464A1 (ja) 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法
JP7433362B2 (ja) 走行経路生成システム
JP2019062793A (ja) コンバインの制御システム
WO2020218528A1 (ja) 収穫機等の農作業機
JP2020178619A (ja) 農作業機
JP7149897B2 (ja) 収穫機
JP7246641B2 (ja) 農作業機
US20220212602A1 (en) Harvester, System, Program, Recording Medium, and Method
US11212953B2 (en) Vehicle attachment carrier loading guidance
CN113766826A (zh) 农用作业机、自动行驶***、程序、记录有程序的记录介质以及方法
JP7482838B2 (ja) 作業支援システム
WO2022123889A1 (ja) 作業車、作物状態検出システム、作物状態検出方法、作物状態検出プログラム、及び作物状態検出プログラムが記録されている記録媒体
WO2020262416A1 (ja) 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法
JP7174487B2 (ja) 農作業機
JP2024084486A (ja) 作業車
JP2024082938A (ja) 車両制御システム及び作業車
JP2023160358A (ja) 飛行体の制御方法、制御プログラム、及び記録媒体
JP2023040743A (ja) 収穫機
JP2020202761A (ja) 収穫機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20796043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020796043

Country of ref document: EP

Effective date: 20211125