WO2021006322A1 - 作業車両用の自動走行システム - Google Patents
作業車両用の自動走行システム Download PDFInfo
- Publication number
- WO2021006322A1 WO2021006322A1 PCT/JP2020/026932 JP2020026932W WO2021006322A1 WO 2021006322 A1 WO2021006322 A1 WO 2021006322A1 JP 2020026932 W JP2020026932 W JP 2020026932W WO 2021006322 A1 WO2021006322 A1 WO 2021006322A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- obstacle
- information
- unit
- control unit
- tractor
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 238000000926 separation method Methods 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims description 109
- 238000012545 processing Methods 0.000 description 96
- 238000000034 method Methods 0.000 description 66
- 230000008569 process Effects 0.000 description 56
- 230000005540 biological transmission Effects 0.000 description 32
- 230000010354 integration Effects 0.000 description 29
- 239000000428 dust Substances 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000003971 tillage Methods 0.000 description 16
- 238000010295 mobile communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 244000025254 Cannabis sativa Species 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 102100039642 Rho-related GTP-binding protein RhoN Human genes 0.000 description 6
- 108050007497 Rho-related GTP-binding protein RhoN Proteins 0.000 description 6
- 230000003028 elevating effect Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000002706 hydrostatic effect Effects 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 102100039643 Rho-related GTP-binding protein Rho6 Human genes 0.000 description 2
- 101710199571 Rho-related GTP-binding protein Rho6 Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000009347 mechanical transmission Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/001—Steering by means of optical assistance, e.g. television cameras
Definitions
- the present invention relates to an automatic traveling system for a work vehicle that enables automatic traveling of the work vehicle.
- a plurality of obstacle detection sensors that detect an obstacle existing around the work vehicle and acquire the relative position of the obstacle
- a plurality of cameras that acquire an image of the surroundings of the work vehicle
- a warning area that sets a bird's-eye view image acquisition unit that acquires a bird's-eye view image of the surroundings of the work vehicle based on a plurality of images acquired by the camera of the vehicle and a warning area that needs to warn the driver of the existence of an obstacle. It is configured to monitor the surroundings of the work vehicle with a setting unit and a warning unit that warns the driver of the presence of obstacles when the relative position of the obstacle is within the warning area on the bird's-eye view image.
- Some are equipped with peripheral monitoring devices (see, for example, Patent Document 1).
- a radar device having low object discrimination accuracy is adopted as an obstacle detection sensor. Therefore, when tall grass grows in the above-mentioned warning area, or when dust or dust rises as floating matter in the warning area, the tall grass or floating matter is an obstacle.
- the detection sensor may erroneously detect as an obstacle. When such a false detection occurs, the warning unit warns the driver that an obstacle exists in the warning area even though there is no obstacle that hinders the running of the work vehicle. become.
- peripheral monitoring device When such a peripheral monitoring device is provided in a work vehicle capable of automatically traveling, tall grass grows in the warning area, or dust or dust soars as floating matter in the warning area. In such a case, the peripheral monitoring device erroneously detects them as obstacles, so that the work vehicle during automatic traveling performs a collision avoidance operation such as unnecessary traveling stop.
- a main subject of the present invention is for a work vehicle capable of detecting an obstacle with high accuracy so that the work vehicle can avoid a collision with an obstacle without performing an unnecessary collision avoidance operation.
- the point is to provide an automatic driving system.
- the first characteristic configuration of the present invention is in an automatic traveling system for a work vehicle. It has an automatic running control unit that automatically runs a work vehicle equipped with an obstacle detection unit that detects obstacles.
- the obstacle detection unit includes an imaging unit that images a set range in a predetermined direction from the work vehicle, and an active sensor that measures a set range in the same predetermined direction as the image pickup unit from the work vehicle. Ori, When the obstacle detection unit detects the obstacle from the information of the imaging unit and acquires the separation distance from the obstacle from the information of the active sensor, the automatic traveling control unit The point is to execute the first collision avoidance control for avoiding the collision between the work vehicle and the obstacle based on the separation distance from the obstacle acquired from the information of the active sensor.
- obstacles can be detected with high accuracy, and collisions with obstacles can be avoided without the work vehicle performing unnecessary collision avoidance operations.
- FIG. 1 is a diagram showing a schematic configuration of an automatic traveling system for a work vehicle.
- FIG. 2 is a plan view of a tractor showing an imaging range of each camera.
- FIG. 3 is a side view of the tractor showing the measurement range of each rider sensor and sonar.
- FIG. 4 is a plan view of the tractor showing the measurement range of each rider sensor and sonar.
- FIG. 5 is a plan view showing an example of a target route for automatic traveling.
- FIG. 6 is a block diagram showing a schematic configuration of an automatic traveling system for a work vehicle.
- FIG. 7 is a block diagram showing a schematic configuration of an obstacle detection unit for a work vehicle.
- FIG. 8 is a diagram showing an obstacle detection range and a non-detection range in the distance image of the front rider sensor.
- FIG. 9 is a diagram showing an obstacle detection range and a non-detection range in a working device descending state in a distance image of the rear rider sensor.
- FIG. 10 is a diagram showing an obstacle detection range and a non-detection range in a working device ascending state in a distance image of the rear rider sensor.
- FIG. 11 is a flowchart showing a processing procedure of the image processing apparatus in image processing.
- FIG. 12 is a plan view showing the positional relationship between the mounting position of each camera, the vehicle body coordinate origin, and the distance calculation reference point.
- FIG. 13 is a flowchart showing a processing procedure of the information integration processing unit in the detection state determination control.
- FIG. 14 is a diagram showing an image of the front camera in a state where no obstacle is detected.
- FIG. 15 is a diagram showing an image of the front camera in the obstacle detection state.
- FIG. 16 is a diagram showing an image of the front camera in the obstacle detection state.
- FIG. 17 is a diagram showing a distance image of the front rider sensor in a state where no obstacle is detected.
- FIG. 18 is a diagram showing a distance image of the front rider sensor in the obstacle detection state.
- FIG. 19 is a diagram showing a distance image of the front rider sensor in the obstacle detection state.
- FIG. 20 is a diagram showing a distance image of the front rider sensor in a state where no obstacle is detected by the measurement obstruction.
- FIG. 21 is a diagram showing a distance image of the front rider sensor in a state where no obstacle is detected by the measurement obstruction.
- FIG. 22 is a flowchart showing a processing procedure of the automatic driving control unit in the first collision avoidance control.
- FIG. 23 is a stain adhesion determination. It is a flowchart which shows the processing procedure of the automatic driving control
- the automatic traveling system for a work vehicle according to the present invention includes a passenger work vehicle other than a tractor, for example, a passenger grass mowing machine, a passenger rice transplanter, a combine, a transport vehicle, a snowplow, a wheel loader, and an unmanned mowing machine. It can be applied to unmanned work vehicles such as.
- the tractor 1 exemplified in the present embodiment is connected to the rear portion via a three-point link mechanism 2 so that the rotary tillage device 3 which is an example of the working device can be raised and lowered and rolled. Has been done.
- the tractor 1 is configured to have rotary tillage specifications.
- the tractor 1 can automatically travel in the field A shown in FIG. 5, which is an example of the work site.
- various working devices such as a plow, a disc halo, a cultivator, a subsoiler, a sowing device, a spraying device, and a mowing device can be connected to the rear part of the tractor 1.
- the automatic traveling system includes an automatic traveling unit 4 mounted on the tractor 1 and a mobile communication terminal 5 which is an example of a wireless communication device set to communicate wirelessly with the automatic traveling unit 4. It is included.
- the mobile communication terminal 5 includes a multi-touch type display device (for example, a liquid crystal panel) 50 that enables various information displays and input operations related to automatic driving.
- a tablet-type personal computer, a smartphone, or the like can be adopted as the mobile communication terminal 5.
- wireless LAN Local Area Network
- Wi-Fi registered trademark
- Bluetooth registered trademark
- the tractor 1 includes driveable and steerable left and right front wheels 10, driveable left and right rear wheels 11, a cabin 13 forming a boarding-type driving unit 12, and a common rail.
- An electronically controlled diesel engine (hereinafter referred to as an engine) 14 having a system, a bonnet 15 that covers the engine 14, a transmission unit 16 that shifts the power from the engine 14, and a full-hydraulic power that steers the left and right front wheels 10.
- Vehicle state detection including drive unit 20, electro-hydraulic control type rolling unit 21 that drives the rotary tiller 3 in the roll direction, various sensors and switches that detect various setting states and operating states of the tractor 1.
- the device 22 and an in-vehicle control unit 23 having various control units are provided.
- An electronically controlled gasoline engine or the like having an electronic governor may be adopted as the engine 14.
- the power steering unit 17 may adopt an electric type having an electric motor for steering.
- the driver unit 12 includes a steering wheel 25 for manual steering, a seat 26 for passengers, and a multi-touch liquid crystal capable of displaying various information and input operations.
- a monitor 27 is provided.
- the driving unit 12 is provided with operating levers such as an accelerator lever and a speed change lever, and operating pedals such as an accelerator pedal and a clutch pedal.
- the transmission unit 16 includes an electronically controlled continuously variable transmission that shifts the power from the engine 14, and an electron that switches the power after shifting by the continuously variable transmission between forward and reverse.
- a hydraulically controlled forward / backward switching device, etc. are included.
- I-HMT Integrated Hydro-static Mechanical Transmission
- HST Hydro Static Transmission
- the forward / backward switching device includes a hydraulic clutch for interrupting forward power, a hydraulic clutch for interrupting reverse power, and an electromagnetic valve for controlling the flow of oil with respect to them.
- the continuously variable transmission includes an HMT (Hydraulic Mechanical Transmission), a hydrostatic continuously variable transmission, or a belt-type continuously variable transmission, which is an example of a hydraulic mechanical continuously variable transmission.
- HMT Hydro Mechanical Transmission
- the transmission unit 16 includes an electro-hydraulic control type stepped transmission having a plurality of hydraulic clutches for shifting and a plurality of solenoid valves for controlling the flow of oil with respect to the continuously variable transmission instead of the continuously variable transmission. It may be.
- the brake unit 18 operates the left and right brakes that individually brake the left and right rear wheels 11 and the left and right brakes in conjunction with the depression operation of the left and right brake pedals provided in the driving unit 12.
- the vehicle state detection device 22 is a general term for various sensors and switches provided in each part of the tractor 1. As shown in FIG. 7, the vehicle state detection device 22 includes a vehicle speed sensor 22A that detects the vehicle speed of the tractor 1, a reverser sensor 22B that detects the operation position of the reverser lever for forward / backward switching, and a steering angle of the front wheels 10. The steering angle sensor 22C, which detects the above, is included. Although not shown, the vehicle state detection device 22 includes a rotation sensor that detects the output rotation speed of the engine 14, an accelerator sensor that detects the operation position of the accelerator lever, and a speed change that detects the operation position of the shift lever. Sensors, etc. are included.
- the in-vehicle control unit 23 controls the engine control unit 23A that controls the engine 14, the vehicle speed control unit 23B that controls the vehicle speed of the tractor 1 and the forward / backward switching, and the steering.
- Steering control unit 23C work device control unit 23D that controls work devices such as rotary tillage device 3, display control unit 23E that controls display and notification to the liquid crystal monitor 27, etc.
- automatic driving control unit that controls automatic driving
- the 23F and the non-volatile vehicle-mounted storage unit 23G for storing the target route P (see FIG. 5) for automatic driving generated according to the traveling area divided in the field are included.
- Each control unit 23A to 23F is constructed by an electronic control unit in which a microcontroller or the like is integrated, various control programs, or the like.
- the control units 23A to 23F are connected to each other so as to be able to communicate with each other via a CAN (Control Area Area Network).
- CAN Control Area Area Network
- a communication standard other than CAN or a next-generation communication standard for example, in-vehicle Ethernet or CAN-FD (CAN with FLexible Data rate) may be adopted.
- the engine control unit 23A executes engine speed maintenance control for maintaining the engine speed at the speed corresponding to the operation position of the accelerator lever based on the detection information from the accelerator sensor and the detection information from the rotation sensor. To do.
- the vehicle speed control unit 23B is a continuously variable transmission device so that the vehicle speed of the tractor 1 is changed to a speed according to the operation position of the speed change lever based on the detection information from the speed change sensor and the detection information from the vehicle speed sensor 22A.
- Vehicle speed control for controlling the operation, forward / backward switching control for switching the transmission state of the forward / backward switching device based on the detection information from the reverser sensor 22B, and the like are executed.
- the vehicle speed control includes a deceleration stop process in which the continuously variable transmission is decelerated to a zero speed state to stop the running of the tractor 1 when the speed change lever is operated to the zero speed position.
- the work device control unit 23D is provided with a work clutch control that controls the operation of the work clutch unit 19 based on the operation of the PTO switch, an operation of the elevating switch, a set value of the height setting dial, and the like. Elevating control for controlling the operation, rolling control for controlling the operation of the rolling unit 21 based on the set value of the roll angle setting dial, and the like are executed.
- the PTO switch, the elevating switch, the height setting dial, and the roll angle setting dial are included in the vehicle condition detection device 22.
- the tractor 1 is provided with a positioning unit 30 that measures the current position, the current direction, and the like of the tractor 1.
- the positioning unit 30 includes a satellite navigation device 31 that measures the current position and current orientation of the tractor 1 using GNSS (Global Navigation Satellite System), which is an example of a satellite positioning system, and a three-axis gyroscope and three. It includes an inertial measurement unit (IMU: Initial Measurement Unit) 32 that has an acceleration sensor in the direction and measures the posture and orientation of the tractor 1.
- Positioning methods using GNSS include DGNSS (Differential GNSS: relative positioning method) and RTK-GNSS (Real Time Kinetic GNSS: interference positioning method).
- RTK-GNSS suitable for positioning of a moving body is adopted. Therefore, as shown in FIG. 1, a reference station 6 that enables positioning by RTK-GNSS is installed at a known position around the field.
- the tractor 1 and the reference station 6 are respectively the GNSS antennas 33 and 60 that receive the radio waves transmitted from the positioning satellite 7 (see FIG. 1), and the tractor 1 and the reference station 6.
- Communication modules 34, 61, and the like that enable wireless communication of each information including positioning information with and from the antenna are provided.
- the satellite navigation device 31 of the positioning unit 30 receives the positioning information obtained by the GNSS antenna 33 on the tractor side receiving the radio waves from the positioning satellite 7, and the GNSS antenna 60 on the base station side receives the radio waves from the positioning satellite 7.
- the current position and current orientation of the tractor 1 can be measured with high accuracy based on the positioning information obtained by receiving the radio wave.
- the positioning unit 30 has the satellite navigation device 31 and the inertial measurement unit 32, so that the current position, the current direction, and the attitude angle (yaw angle, roll angle, pitch angle) of the tractor 1 can be measured with high accuracy. Can be done.
- the inertial measurement unit 32 of the positioning unit 30, the GNSS antenna 33, and the communication module 34 are included in the antenna unit 35 shown in FIG.
- the antenna unit 35 is arranged at the center of the upper left and right on the front side of the cabin 13.
- the mounting position of the GNSS antenna 33 on the tractor 1 is the positioning target position when measuring the current position of the tractor 1 using the GNSS.
- the mobile communication terminal 5 is provided with an electronic control unit in which a microcontroller and the like are integrated, a terminal control unit 51 having various control programs, and the like.
- the terminal control unit 51 is generated by a display control unit 51A that controls display and notification to the display device 50 and the like, a target route generation unit 51B that generates a target route P for automatic driving, and a target route generation unit 51B.
- a non-volatile terminal storage unit 51C for storing the target path P and the like is included.
- the terminal storage unit 51C stores vehicle body information such as the turning radius and working width of the tractor 1 and field information obtained from the positioning information described above as various information used to generate the target path P. There is.
- a plurality of shape specifying points in the field A acquired by using GNSS when the tractor 1 is run along the outer peripheral edge of the field A.
- shape-specific coordinates Four corner points Ap1 to Ap4 (see FIG. 5) and those corner points Ap1 to Ap4 are connected to specify the shape and size of the field A.
- Line AL (see FIG. 5), etc. are included.
- the tractor 1 and the mobile communication terminal 5 have communication modules 28 and 52 that enable wireless communication of each information including positioning information between the vehicle-mounted control unit 23 and the terminal control unit 3B. It is equipped.
- the communication module 28 of the tractor 1 functions as a converter that converts communication information into both directions of CAN and Wi-Fi.
- the terminal control unit 3B can acquire various information about the tractor 1 including the current position and the current direction of the tractor 1 by wireless communication with the vehicle-mounted control unit 23.
- the display device 3A of the mobile communication terminal 5 can display various information including the current position and the current direction of the tractor 1 with respect to the target route P.
- the target route generation unit 51B generates the target route P based on the turning radius and working width of the tractor 1 included in the vehicle body information, the shape and size of the field A included in the field information, and the like. For example, as shown in FIG. 5, in the rectangular field A, the start point p1 and the end point p2 of the automatic running are set, and the working running direction of the tractor 1 is set to be along the short side of the field A. If so, the target route generation unit 51B first sets the field A as a margin region adjacent to the outer peripheral edge of the field A based on the above-mentioned four corner points Ap1 to Ap4 and the rectangular shape specifying line AL. It is divided into A1 and a traveling area A2 located inside the margin area A1.
- the target route generation unit 51B is arranged in parallel in the traveling region A2 at a predetermined interval according to the work width in the direction along the long side of the field A based on the turning radius and the work width of the tractor 1.
- a plurality of turning paths P2 arranged on the outer edge portion on each long side in the traveling region A2 and connecting the plurality of parallel paths P1 in the traveling order of the tractor 1 are generated.
- the traveling area A2 is divided into a pair of non-working areas A2a set on the outer edge portion on each long side in the traveling area A2 and a working area A2b set between the pair of non-working areas A2a.
- Each parallel path P1 is divided into a non-work path P1a included in a pair of non-work areas A2a and a work path P1b included in the work area A2b.
- the target route generation unit 51B can generate a target route P suitable for automatically traveling the tractor 1 in the field A shown in FIG.
- the margin area A1 prevents the rotary tiller 3 and the like from coming into contact with other objects such as ridges adjacent to the field A when the tractor 1 automatically travels on the outer peripheral portion of the traveling area A2. In order to prevent this, it is an area secured between the outer peripheral edge of the field A and the traveling area A2.
- Each non-working area A2a is a ridge turning area for the tractor 1 to swivel from the current working path P1b to the next working path P1b at the ridge of the field A.
- each non-working path P1a and each turning path P2 are paths in which the tractor 1 automatically travels without performing tilling work, and in each of the above-mentioned working paths P1b, the tractor 1 performs tilling work. It is a route that automatically travels while performing.
- the start point p3 of each work path P1b is the work start point where the tractor 1 starts the tilling work
- the end point p4 of each work path P1b is the work stop point where the tractor 1 stops the tilling work.
- Each non-working path P1a is a work of the tractor 1 at a work stop point p4 before the tractor 1 turns on the turning path P2 and a work start point p3 after the tractor 1 turns on the turning path P2.
- connection point p5 and p6 are the connection points p5 and p6 between each parallel path P1 and each turning path P2
- the connection point p5 on the terminal side in each parallel path P1 is the turning start point of the tractor 1, and the connection on the starting end side in each parallel path P1.
- the point p6 is the turning end point of the tractor 1.
- the target route P shown in FIG. 5 is merely an example, and the target route generation unit 51B has different vehicle body information depending on the model and work type of the tractor 1, and different shapes of the field A depending on the field A. It is possible to generate various target routes P suitable for them based on field information such as the size and size.
- the target route P is stored in the terminal storage unit 51C in a state associated with vehicle body information, field information, and the like, and can be displayed on the display device 50 of the mobile communication terminal 5.
- the target path P includes a target vehicle speed of the tractor 1 on each parallel path P1, a target vehicle speed of the tractor 1 on each turning path P2b, a front wheel steering angle on each parallel path P1, a front wheel steering angle on each turning path P2b, and the like. include.
- the terminal control unit 51 transmits field information, a target route P, etc. stored in the terminal storage unit 51C to the vehicle-mounted control unit 23 in response to a transmission request command from the vehicle-mounted control unit 23.
- the vehicle-mounted control unit 23 stores the received field information, the target route P, and the like in the vehicle-mounted storage unit 23G.
- the terminal control unit 51 transmits all of the target route P from the terminal storage unit 51C to the vehicle-mounted control unit 23 at once before the tractor 1 starts automatic traveling. It may be.
- the terminal control unit 51 divides the target route P into a plurality of divided route information for each predetermined distance, and each time the traveling distance of the tractor 1 reaches the predetermined distance from the stage before the tractor 1 starts automatic traveling. , A predetermined number of division route information according to the traveling order of the tractor 1 may be sequentially transmitted from the terminal storage unit 51C to the vehicle-mounted control unit 23.
- the automatic traveling control unit 23F can monitor various setting states in the tractor 1 and operating states of each unit.
- the automatic driving control unit 23F is carried in a state where a user such as a passenger or an administrator performs a manual operation to satisfy various automatic driving start conditions and the driving mode of the tractor 1 is switched to the automatic driving mode.
- the positioning unit 30 automatically travels the tractor 1 according to the target route P while acquiring the current position and current orientation of the tractor 1. Start automatic driving control.
- the automatic driving control unit 23F is on board the driving unit 12, for example, when the user operates the display device 50 of the mobile communication terminal 5 to instruct the end of the automatic driving during the execution of the automatic driving control.
- a manual operating tool such as the steering wheel 25 or the accelerator pedal is operated by the user
- the automatic driving control is terminated and the driving mode is switched from the automatic driving mode to the manual driving mode.
- the automatic driving control can be restarted by operating the display device 50 of the mobile communication terminal 5 to command the start of automatic driving.
- the automatic driving control by the automatic driving control unit 23F includes automatic driving control processing for the engine that transmits a control command for automatic driving related to the engine 14 to the engine control unit 23A, and control for automatic driving related to switching the vehicle speed and forward / backward movement of the tractor 1.
- the work automatic control process for transmitting the control command for work to the work device control unit 23D, and the like are included.
- the automatic driving control unit 23F issues an engine speed change command to the engine control unit 23A, which instructs the engine speed to be changed based on the set speed included in the target path P. Send.
- the engine control unit 23A executes engine speed change control that automatically changes the engine speed in response to various control commands regarding the engine 14 transmitted from the automatic travel control unit 23F.
- the automatic driving control unit 23F is included in the shift operation command for instructing the shift operation of the continuously variable transmission based on the target vehicle speed included in the target path P, and the target path P.
- a forward / backward switching command for instructing a forward / backward switching operation of the forward / backward switching device based on the traveling direction of the tractor 1 and the like are transmitted to the vehicle speed control unit 23B.
- the vehicle speed control unit 23B automatically controls the operation of the continuously variable transmission according to various control commands related to the continuously variable transmission, the forward / backward switching device, etc. transmitted from the automatic driving control unit 23F, and the vehicle speed control unit.
- the vehicle speed control includes, for example, an automatic deceleration stop process in which the continuously variable transmission is decelerated to a zero speed state to stop the running of the tractor 1 when the target vehicle speed included in the target path P is zero speed. It is included.
- the automatic driving control unit 23F transmits a steering command for instructing steering of the left and right front wheels 10 to the steering control unit 23C based on the front wheel steering angle and the like included in the target path P. ..
- the steering control unit 23C sets the automatic steering control for controlling the operation of the power steering unit 17 to steer the left and right front wheels 10 and the left and right front wheels 10 in response to the steering command transmitted from the automatic driving control unit 23F.
- the brake unit 18 is operated to operate the brake inside the turning, and automatic brake turning control is executed.
- the automatic travel control unit 23F gives a work start command for instructing the rotary tillage device 3 to switch to the work state based on the work start point p3 included in the target route P, and the target route. Based on the work stop point p4 included in P, a work stop command for instructing the switching of the rotary tillage device 3 to the non-work state is transmitted to the work device control unit 23D.
- the work device control unit 23D controls the operation of the work clutch unit 19 and the elevating drive unit 20 in response to various control commands related to the rotary tillage device 3 transmitted from the automatic traveling control unit 23F, and controls the rotary tillage device 3.
- Automatic work start control that lowers to the work height and operates, automatic work stop control that stops the rotary tillage device 3 and raises it to the non-work height, and the like are executed.
- the above-mentioned automatic traveling unit 4 includes a power steering unit 17, a brake unit 18, a work clutch unit 19, an elevating drive unit 20, a rolling unit 21, a vehicle state detection device 22, an in-vehicle control unit 23, a positioning unit 30, and the like. , Communication modules 28, 34, and the like are included. Then, when these operate properly, the tractor 1 can be automatically driven accurately according to the target route P, and the rotary tillage device 3 can properly perform tillage.
- the tractor 1 is provided with an obstacle detection unit 80 that monitors the surroundings of the tractor 1 and detects obstacles existing around the tractor 1.
- the obstacles detected by the obstacle detection unit 80 include a person such as a worker working in the field A, another work vehicle, and an existing utility pole or tree in the field A.
- the obstacle detection unit 80 includes an imaging unit 80A that images the surroundings of the tractor 1 and an active sensor unit that measures the distance to a measurement object existing around the tractor 1.
- the 80B and the information integration processing unit 80C that integrates and processes the information from the image pickup unit 80A and the measurement information from the active sensor unit 80B are included.
- a left camera (an example of an imaging unit) 84 set in the imaging range and an image processing device 85 for processing images from the cameras 81 to 84 are included.
- the active sensor unit 80B includes a front rider sensor (an example of an active sensor) 86 in which the first measurement range Rm1 in front of the cabin 13 is set as the measurement range.
- Each of the lidar sensors 86 and 87 uses a laser beam (for example, a pulsed near-infrared laser beam) which is an example of the measurement light to perform measurement in the first measurement range Rm1 or the second measurement range Rm2. , 87A, and lidar control units 86B, 87B that generate a distance image based on the measurement information from the measurement units 86A, 87A.
- the sonar 88 includes a right ultrasonic sensor 88A, a left ultrasonic sensor 88B, and a single sonar control unit 88C.
- the information integration processing unit 80C, the image processing device 85, the rider control units 86B and 87B, and the sonar control unit 88C are constructed by an electronic control unit in which a microcontroller and the like are integrated, various control programs, and the like.
- the information integration processing unit 80C, the image processing device 85, the rider control units 86B and 87B, and the sonar control unit 88C are connected to the vehicle-mounted control unit 23 via CAN so as to be able to communicate with each other.
- the front camera 81 and the rear camera 82 are arranged on the left and right center lines of the tractor 1.
- the front camera 81 is arranged at the center of the upper left and right of the front end side of the cabin 13 in a front-down posture in which the front side of the tractor 1 is viewed from the diagonally upper side.
- a predetermined range on the front side of the vehicle body with the left and right center lines of the tractor 1 as the axis of symmetry is set as the first imaging range Ri1.
- the rear camera 82 is arranged at the center of the upper left and right on the rear end side of the cabin 13 in a rear-down posture in which the rear side of the tractor 1 is viewed from the diagonally upper side.
- a predetermined range on the rear side of the vehicle body with the left and right center lines of the tractor 1 as the axis of symmetry is set in the second imaging range Ri2.
- the right camera 83 is arranged at the center of the upper part on the right end side of the cabin 13 in a downward-sloping posture looking down on the right side of the tractor 1 from the diagonally upper side.
- a predetermined range on the right side of the vehicle body is set to the third imaging range Ri3.
- the left camera 84 is arranged at the center of the upper part on the left end side of the cabin 13 in a downward-sloping posture looking down on the left side of the tractor 1 from an obliquely upper side.
- a predetermined range on the left side of the vehicle body is set to the fourth imaging range Ri4.
- each measuring unit 86A, 87A measures the distance to the AF point based on the round-trip time until the irradiated laser beam reaches the AF point and returns. TOF (Time Of Flight) ), The distance from each measuring unit 86A, 87A to each AF point (an example of a measurement object) in the first measurement range Rm1 or the second measurement range Rm2 is measured. Each of the measuring units 86A and 87A scans the laser beam vertically and horizontally at high speed over the entire first measurement range Rm1 or the second measurement range Rm2, and sequentially measures the distance to the AF point for each scanning angle (coordinate).
- Each of the measuring units 86A and 87A has the intensity of the reflected light from each AF point obtained when the laser beam is scanned vertically and horizontally at high speed over the entire first measurement range Rm1 or the second measurement range Rm2 (hereinafter, reflection intensity). ) Is measured sequentially.
- the measuring units 86A and 87A repeatedly measure the distance to each AF point in the first measuring range Rm1 or the second measuring range Rm2, each reflection intensity, and the like in real time.
- Each rider control unit 86B, 87B generates a distance image from measurement information such as the distance to each AF point measured by each measurement unit 86A, 87A and the scanning angle (coordinates) for each AF point, and also generates an obstacle.
- the distance measurement point cloud estimated to be estimated is extracted, and the measurement information regarding the extracted distance measurement point group is transmitted to the information integration processing unit 80C as the measurement information regarding the obstacle candidate.
- Each rider control unit 86B, 87B determines whether or not the distance value of each distance measuring point measured by each measuring unit 86A, 87A conforms to the invalid condition, and sets the distance value conforming to the invalid condition as an invalid value. It is transmitted to the integrated processing unit 80C. Specifically, each rider control unit 86B, 87B has a feature of dirt on the sensor surface of each rider sensor 86, 87 that exists at a close distance from each rider sensor 86, 87. The distance value of the AF point is invalid. As a result, the distance value of the distance measuring point regarding the dirt on the sensor surface is prevented from being used as the information regarding the obstacle in the information integration processing unit 80C.
- Each rider control unit 86B, 87B utilizes the characteristic of suspended matter such as dust or fog that the reflection intensity is very weak while being present at a short distance of each rider sensor 86, 87, and the distance measuring point having the characteristic.
- the distance value of is invalid.
- the distance value of the distance measuring point regarding the floating object is prevented from being used as the information regarding the obstacle in the information integration processing unit 80C.
- the front rider sensor 86 and the rear rider sensor 87 are arranged on the left and right center lines of the tractor 1 like the front camera 81 and the rear camera 82.
- the front rider sensor 86 is arranged at the center of the upper left and right of the front end side of the cabin 13 in a front-down posture in which the front side of the tractor 1 is viewed from the diagonally upper side.
- a predetermined range on the front side of the vehicle body with the left and right center lines of the tractor 1 as the axis of symmetry is set in the first measurement range Rm1 by the measurement unit 86A.
- the rear rider sensor 87 is arranged at the center of the upper left and right on the rear end side of the cabin 13 in a rearward lowering posture in which the rear side of the tractor 1 is viewed from the diagonally upper side.
- a predetermined range on the rear side of the vehicle body with the left and right center lines of the tractor 1 as the axis of symmetry is set in the second measurement range Rm2 by the measurement unit 87A.
- the front rider sensor 86 and the rear rider sensor 87 when the forward / backward switching device of the speed change unit 16 is switched to the forward transmission state and the tractor 1 is traveling forward, the front rider sensor 86 is activated in conjunction with the switching. , The rear rider sensor 87 is stopped. Further, when the tractor 1 is traveling backward when the forward / backward switching device of the speed change unit 16 is switched to the reverse transmission state, the front rider sensor 86 is stopped and the rear rider sensor 87 is in the operating state in conjunction with the switching. become.
- the sonar control unit 88C has a third measurement range Rm3 or a fourth based on the transmission and reception of ultrasonic waves by the left and right ultrasonic sensors 88A and 88B. The presence or absence of the object to be measured in the measurement range Rm4 is determined.
- the sonar control unit 88C uses a TOF (Time Of Flight) method to measure the distance to the AF point based on the round-trip time until the transmitted ultrasonic wave reaches the AF point and returns to each ultrasonic sensor 88A, The distance from 88B to the measurement target is measured, and the measured distance to the measurement target and the direction of the measurement target are transmitted to the information integration processing unit 80C as measurement information regarding the obstacle candidate.
- TOF Time Of Flight
- the right ultrasonic sensor 88A is attached to the right side getting on and off step arranged between the right front wheel 10 and the right rear wheel 11 in a right outward posture of the vehicle body.
- a predetermined range on the right outer side of the vehicle body is set to the third measurement range Rm3.
- the left ultrasonic sensor 88B is attached to the left side getting on / off step 24 arranged between the left front wheel 10 and the left side rear wheel 11 in a posture facing left outward of the vehicle body.
- a predetermined range on the left outer side of the vehicle body is set to the fourth measurement range Rm4.
- each rider control unit 86B, 87B performs a cutting process and a masking process based on vehicle body information and the like on the measurement ranges Rm1 and Rm2 of the measurement units 86A and 87A. Therefore, the first detection range Rd1 and the second detection range Rd2 for detecting the above-mentioned obstacle candidate are set.
- the rider control units 86B and 87B acquire the maximum left-right width of the vehicle body including the rotary tillage device 3 (the left-right width of the rotary tillage device 3 in the present embodiment) by communicating with the vehicle-mounted control unit 23.
- the detection target width Wd of the obstacle candidate is set. Then, in the first measurement range Rm1 and the second measurement range Rm2, the left and right ranges outside the detection target width Wd are set as the first non-detection range Rnd1 by the cut process and excluded from the respective detection ranges Rd1 and Rd2.
- the rider control units 86B and 87B include a range in which the front end side of the tractor 1 enters the first measurement range Rm1 and a range in which the rear end side of the rotary tiller 3 enters the second measurement range Rm2.
- the range to which a predetermined safety band is added is set to the second non-detection range Rnd2 by the masking process, and is excluded from the respective detection ranges Rd1 and Rd2.
- the detection target range of the obstacle candidate by the rider sensors 86 and 87 is limited to the first detection range Rd1 and the second detection range Rd2.
- the detection load is increased by detecting obstacle candidates that are out of the detection target width Wd and are not likely to collide with the tractor 1, or the first measurement range Rm1 or It is possible to avoid the possibility of erroneously detecting the front end side of the tractor 1 and the rear end side of the tractor 1 such as the rotary tiller 3 which are in the second measurement range Rm2 as obstacle candidates.
- the second non-detection range Rnd2 shown in FIG. 8 is an example of a non-detection range suitable for the front side of the vehicle body where the left and right front wheels 10 and the bonnet 15 are present.
- the second non-detection range Rnd2 shown in FIG. 9 is an example of a non-detection range suitable for a working state in which the rotary tillage device 3 is lowered to the working height on the rear side of the vehicle body.
- the second non-detection range Rnd2 shown in FIG. 10 is an example of a non-detection range suitable for a non-working state in which the rotary tillage device 3 is raised to the evacuation height on the rear side of the vehicle body.
- the second non-detection range Rnd2 on the rear side of the vehicle body is appropriately switched in conjunction with the raising and lowering of the rotary tillage device 3.
- Information on the first detection range Rd1, the second detection range Rd2, the first non-detection range Rnd1, and the second non-detection range Rnd2 is included in the above-mentioned distance image, and the information integration processing unit is included with the above-mentioned distance image. It is transmitted to 80C.
- the detection ranges Rd1 and Rd2 of the rider sensors 86 and 87 have a stop control range Rsc and a deceleration control range Rdc based on the collision determination process in which the collision prediction time becomes the set time (for example, 3 seconds). And the notification control range Rnc.
- the stop control range Rsc is set in the range from the rider sensors 86 and 87 to the determination reference position of the collision determination process.
- the deceleration control range Rdc is set in the range from the determination reference position to the deceleration start position.
- the notification control range Rnc is set in the range from the deceleration start position to the measurement limit position of the rider sensors 86 and 87.
- Each determination reference position is set at a position where a constant separation distance L (for example, 2000 mm) is set in the front-rear direction of the vehicle body from the front end or the rear end of the vehicle body including the rotary tillage device 3.
- the image processing device 85 performs image processing on the images sequentially transmitted from the cameras 81 to 84.
- the image processing device 85 is subjected to learning processing for recognizing a person such as a worker working in the field A, another work vehicle, and an existing utility pole or tree in the field A as an obstacle. ing.
- the image processing device 85 first synthesizes the images from all the cameras 81 to 84 with respect to the images sequentially transmitted from the cameras 81 to 84, and generates an all-around image (for example, a surround view) of the tractor 1.
- Peripheral image generation processing is performed (step # 1), and the generated omnidirectional image and images from the cameras 81 to 84 are transmitted to the display control unit 23E on the tractor side and the display control unit 51A on the mobile communication terminal side.
- Perform processing step # 2.
- the omnidirectional image generated by the omnidirectional image generation unit 86A, the image of the traveling direction of the tractor 1, and the like can be displayed on the liquid crystal monitor 27 of the tractor 1, the display device 50 of the mobile communication terminal 5, and the like. Then, by this display, the user can visually recognize the situation around the tractor 1 and the situation in the traveling direction.
- the image processing device 85 travels the tractor 1 in the imaging range Ri1 to Ri4 of any of the cameras 81 to 84 based on the images sequentially transmitted from the cameras 81 to 84 (see FIGS. 14 to 16).
- An obstacle determination process for determining whether or not there is an obstacle O that affects the above is performed (step # 3).
- the coordinate calculation process for obtaining the coordinates of the obstacle O (coordinates x and y shown in FIG. 15) on the image in which the obstacle O exists is performed (step # 4), and the obtained obstacle is obtained.
- a coordinate conversion process is performed to convert the coordinates of the object O into coordinates based on the vehicle body coordinate origin based on the mounting positions and mounting angles of the cameras 81 to 84 (step # 5).
- a distance calculation process is performed to obtain the linear distance between the converted coordinates and the preset distance calculation reference point as the distance from the distance calculation reference point to the obstacle O (step # 6), and the converted coordinates are used.
- the obstacle information transmission process is performed to transmit the obtained distance to the obstacle O as information about the obstacle O to the information integration processing unit 80C (step # 7). After that, the process returns to step # 1.
- the undetected transmission process of transmitting the fact that the obstacle O has not been detected to the information integration processing unit 80C is performed (step # 8), and then the process returns to step # 1.
- the image processing device 85 transmits information about the obstacle to the information integration processing unit 80C.
- the integrated processing unit 80C can grasp that the obstacle exists in the imaging range Ri1 to Ri4 of each of the cameras 81 to 84, and the position of the obstacle. And the distance to the obstacle can be obtained.
- the image processing device 85 transmits the undetected obstacle to the information integration processing unit 80C, so that the information is integrated.
- the processing unit 80C can grasp that there is no obstacle in any of the imaging ranges Ri1 to Ri4 of the cameras 81 to 84.
- the vehicle body coordinate origin in the above coordinate conversion process and the distance calculation reference point in the distance calculation process are set according to the mounting positions of the cameras 81 to 84.
- the vehicle body coordinate origin O1 and the distance calculation reference point Rp1 are set for the front camera 81 according to the mounting position thereof.
- the vehicle body coordinate origin O2 and the distance calculation reference point Rp2 are set according to the mounting position.
- the vehicle body coordinate origin O3 and the distance calculation reference point Rp3 are set according to the mounting position.
- the vehicle body coordinate origin O4 and the distance calculation reference point Rp4 are set according to the mounting position.
- the image processing device 85 obtains the coordinates of the obstacle on the image of the front camera 81 in which the obstacle exists (coordinates).
- the obtained coordinates of the obstacle are converted into coordinates (x, y) based on the vehicle body coordinate origin O1 shown in FIG. 12 based on the mounting position and mounting angle of the front camera 81 (coordinate conversion).
- the linear distance between the converted coordinates (x, y) and the distance calculation reference point Rp1 is obtained as the distance La from the distance calculation reference point Rp1 to the obstacle O (distance calculation processing).
- the image processing device 85 determines the presence or absence of an obstacle at an ultra-high speed of several tens of frames per second (for example, 30 frames) for images sequentially transmitted from each camera 81 to 84. ..
- the image processing device 85 performs obstacle discrimination processing for each of the cameras 81 to 84 in a time division manner.
- the image processing device 85 changes the processing target cycle per unit time for each of the cameras 81 to 84 in the time division method according to the traveling direction and the vehicle speed of the tractor 1.
- the image processing device 85 can quickly and sequentially perform obstacle discrimination processing for images from cameras 81 to 84 having a large processing load. Further, the image processing device 85 accelerates the processing target cycle per unit time for each of the cameras 81 to 84 whose imaging range is the traveling direction of the tractor 1 according to the traveling direction of the tractor 1, and sets the traveling direction of the tractor 1. It is possible to delay the processing target cycle per unit time for each camera 81 to 84 that is not included in the imaging range. Therefore, it is possible to focus on determining the presence or absence of obstacles in the traveling direction of the tractor 1 without increasing the processing load.
- the image processing device 85 accelerates the processing target cycle per unit time for each of the cameras 81 to 84 whose imaging range is the traveling direction of the tractor 1 as the vehicle speed of the tractor 1 increases, and also accelerates the traveling direction of the tractor 1. It is possible to delay the processing target cycle per unit time for each of the cameras 81 to 84 whose imaging range is not set to. Therefore, as the vehicle speed of the tractor 1 increases, the presence or absence of obstacles in the traveling direction of the tractor 1 can be determined more intensively without increasing the processing load. As a result, it becomes easier to avoid collisions with obstacles.
- the image processing device 85 acquires the vehicle speed of the tractor 1 detected by the vehicle speed sensor 22A via the vehicle speed control unit 23B.
- the image processing device 85 determines the traveling direction of the tractor 1 based on the operation position of the reverser lever obtained via the vehicle speed control unit 23B and the steering angle of the front wheels 10 obtained via the steering control unit 23C. To do.
- the information integration processing unit 80C is based on the information from the imaging unit 80A, which has low distance measurement accuracy but high object discrimination accuracy, and the measurement information from the active sensor unit 80B, which has low object discrimination accuracy but high distance measurement accuracy. Then, the detection state determination control for determining the detection state of the obstacle by the image pickup unit 80A and the active sensor unit 80B is executed.
- the control operation of the information integration processing unit 80C in the detection state determination control will be described with reference to the flowchart shown in FIG. 13 and FIGS. 14 to 21.
- the obstacle detection state by the front camera 81 of the image pickup unit 80A and the front rider sensor 86 of the active sensor unit 80B is determined. Only the control operation of the information integration processing unit 80C will be described.
- the obstacle detection state by the rear camera 82 and the rear rider sensor 87, the obstacle detection accuracy by the right camera 83 and the right ultrasonic sensor 88A, and the obstacle by the left camera 84 and the left ultrasonic sensor 88B are examples of the obstacle detection state by the rear camera 82 and the rear rider sensor 87, the obstacle detection accuracy by the right camera 83 and the right ultrasonic sensor 88A, and the obstacle by the left camera 84 and the left ultrasonic sensor 88B.
- the information integration processing unit 80C performs the first determination process of determining whether or not the obstacle O is detected from the image of the front camera 81 based on the information from the image pickup unit 80A (step # 11, FIGS. 14 to 16). reference).
- FIG. 14 illustrates a state in which the obstacle O is not detected from the image of the front camera 81.
- FIG. 15 illustrates a state in which an obstacle (person) O is detected from the image of the front camera 81.
- FIG. 16 illustrates a state in which an obstacle (person) O in a state of being mixed with crops or grass is detected from the image of the front camera 81.
- the information integration processing unit 80C performs a second determination process for determining whether or not the distance image of the front rider sensor 86 includes an obstacle candidate Occ based on the measurement information from the active sensor unit 80B (step # 12). ).
- the information integration processing unit 80C detects an obstacle O (see FIG. 15) from the image of the front camera 81 in the first determination process, and the distance image of the front rider sensor 86 in the second determination process of step # 2.
- the obstacle candidate Occ see FIG. 18
- the third determination process for determining whether or not the position of the obstacle O described above and the position of the obstacle candidate Occ match is performed. (Step # 13).
- the information integration processing unit 80C determines that the obstacle O (obstacle candidate Occ) is detected by the front camera 81 and the front rider sensor 86. , The proper state certification process for certifying that the same obstacle O (obstacle candidate Occ) is properly detected on both sides is performed (step # 14), and the obstacle detected from the image of the front camera 81 is performed. Appropriate information output processing is performed to output appropriate obstacle detection information by applying the distance information of the obstacle candidate Occ measured by the front rider sensor 86 to the object O (step # 15).
- the information integration processing unit 80C corresponds to the position of the obstacle O in the image of the front camera 81 in the distance information of the obstacle candidate Occ.
- the fourth determination process for determining whether or not the measured value at the position to be used is valid is performed (step # 16).
- the information integration processing unit 80C determines that the detection state of the obstacle O (obstacle candidate Occ) by the front camera 81 and the front rider sensor 86 is the front camera 81. Obstacle O is properly detected from the image of, and the measurement by the front rider sensor 86 is performed properly. However, as shown in FIG. 19, most of the obstacles (people) are surrounding crops and grass. The quasi-appropriate state certification process for certifying that the obstacle cannot be identified as an obstacle candidate Occ from the distance image of the front rider sensor 86 is performed (step # 17). .. Then, the information integration processing unit 80C sets the obstacle O (see FIG.
- a semi-appropriate information output process is performed to output obstacle detection information to which the distance information measured by the front rider sensor 86 is applied to the measurement object (person) Om surrounded by the square frame (step # 18).
- the distance information of the measurement target Om located around the obstacle O is output.
- the information integration processing unit 80C determines that the detection state of the obstacle O (obstacle candidate Occ) by the front camera 81 and the front rider sensor 86 is the front camera 81.
- the obstacle O is properly detected from the image, in the distance image of the front rider sensor 86, for example, at the measurement target position corresponding to the position of the obstacle O shown by the front camera 81 as shown in FIG. Due to the generation of suspended matter such as dust and fog, or the adhesion of dirt on the sensor surface of the front rider sensor 86, the measured value for the measurement target Om corresponding to the position of the obstacle O indicated by the front camera 81 becomes invalid.
- the independent detection state certification process for certifying that the front camera 81 is in the independent detection state is performed (step # 19).
- the information integration processing unit 80C applies the obstacle detection information obtained by applying the distance information to the obstacle O calculated from the image of the front camera 81 to the obstacle O (see FIG. 16) detected from the image of the front camera 81.
- the camera information output process to be output is performed (step # 20).
- the automatic driving control unit 23F executes collision avoidance control for avoiding a collision with an obstacle based on obstacle detection information from the information integration processing unit 80C. Specifically, when the automatic driving control unit 23F acquires the obstacle detection information by the appropriate information output processing or the quasi-appropriate information output processing from the information integration processing unit 80C, the automatic driving control unit 23F performs the first collision avoidance control as the collision avoidance control. Execute. When the automatic driving control unit 23F acquires obstacle detection information by camera information output processing from the information integration processing unit 80C, the second collision avoidance rate is higher than that of the first collision avoidance control as collision avoidance control. Take control.
- the automatic driving control unit 23F determines whether or not the obstacle is located in the notification control range Rnc of the first detection range Rd1 shown in FIG. 4 based on the distance to the obstacle included in the obstacle detection information.
- the distance to the obstacle output by the appropriate information output processing becomes the distance information of the obstacle candidate Occ measured by the front rider sensor 86.
- the distance to the obstacle output by the semi-appropriate information output processing is the distance information of the measurement target Om located around the obstacle O measured by the front rider sensor 86.
- the tractor determines that the obstacle is located in the notification control range Rnc.
- the first notification that commands the display control unit 23E of the vehicle-mounted control unit 23 and the display control unit 51A of the terminal control unit 51 to notify the display device 50 of the liquid crystal monitor 27 or the mobile communication terminal 5 of 1.
- Command processing is performed (step # 24). As a result, it is possible to notify the user such as the passenger of the driving unit 12 or the manager outside the vehicle that the obstacle is located in the notification control range Rnc of the first detection range Rd1 with respect to the tractor 1.
- the tractor determines that the obstacle is located in the deceleration control range Rdc.
- the second notification that commands the display control unit 23E of the vehicle-mounted control unit 23 and the display control unit 51A of the terminal control unit 51 to notify the display device 50 of the liquid crystal monitor 27 or the mobile communication terminal 5 of 1. Command processing is performed (step # 25).
- the automatic driving control unit 23F performs a deceleration command process for instructing the vehicle speed control unit 23B to reduce the vehicle speed of the tractor 1 as an obstacle located in the deceleration control range Rdc approaches the tractor 1 (step). # 26).
- the tractor determines that the obstacle is located in the stop control range Rsc.
- a third notification that commands the display control unit 23E of the vehicle-mounted control unit 23 and the display control unit 51A of the terminal control unit 51 to notify the display device 50 of the liquid crystal monitor 27 or the mobile communication terminal 5 of 1. Command processing is performed (step # 27).
- the automatic driving control unit 23F performs a deceleration stop command process for instructing the vehicle speed control unit 23B to decelerate and stop the tractor 1 while the obstacle is located in the stop control range Rsc (step # 28). ).
- the tractor 1 can be decelerated and stopped while the obstacle is located in the stop control range Rsc, and thus the possibility that the tractor 1 collides with the obstacle can be avoided. ..
- the automatic driving control unit 23F will use the above-mentioned determination standard of the first detection range Rd1 as compared with the case of the first collision avoidance control described above.
- the deceleration control range Rdc and the deceleration control range Rdc and the distance from the position to the boundary between the deceleration control range Rdc and the stop control range Rsc and the distance from the determination reference position to the boundary between the notification control range Rnc and the deceleration control range Rdc become long.
- the second collision avoidance control is a collision avoidance control for avoiding a collision with an obstacle at an earlier timing than the first collision avoidance control.
- the automatic traveling control unit 23F avoids a collision with an obstacle based on the measurement information from the imaging unit 80A whose distance measurement accuracy is lower than the measurement information from the active sensor unit 80B. , Avoids a collision with an obstacle in a state where the collision avoidance rate is higher than that of the first collision avoidance control. As a result, it is possible to satisfactorily avoid collision with an obstacle based on the measurement information from the image pickup unit 80A having low distance measurement accuracy.
- the automatic running control of the automatic running control unit 23F includes a dirt adhesion determination process for stopping the automatic running of the tractor 1 when dirt is detected on the sensor surfaces of the rider sensors 86 and 87.
- step # 31 is the ratio of the invalid value due to the measurement obstruction such as dirt included in the measurement information from the rider sensor 86 to 50% or more of the measurement range Rm1 of the front rider sensor 86?
- An eighth determination process for determining whether or not to perform is performed (step # 31).
- the automatic driving control unit 23F sets the vehicle speed of the tractor 1 when the ratio of the invalid value in the eighth determination process is 50% or more (when the predetermined condition for determining the dirt adhesion set in advance is satisfied). ,
- the super-deceleration command process for commanding the vehicle speed control unit 23B to reduce the ultra-low speed to the ultra-low speed capable of maintaining the ultra-low speed running state of the tractor 1 is performed (step # 32).
- the automatic driving control unit 23F issues a vehicle speed maintenance command to the vehicle speed control unit 23B to maintain the vehicle speed of the tractor 1 at the current vehicle speed when the ratio of the invalid value is not 50% or more in the eighth determination process.
- the vehicle speed maintenance command processing is performed (step # 33).
- the automatic travel control unit 23F After performing the ultra-deceleration command process, the automatic travel control unit 23F performs the ninth determination process of determining whether or not the ultra-low speed travel state of the tractor 1 has been continued for a predetermined time (step # 34). Then, the automatic traveling control unit 23F performs the above-mentioned eighth determination process (step # 35) until the ultra-low speed traveling state is continued for a predetermined time, and the ratio of the invalid value in the eighth determination process is If it drops to less than 50%, it is determined that the sensor surface of the front rider sensor 86 is not dirty, but that floating objects such as dust and fog are just flying around the front rider sensor 86. Then, the vehicle speed return command process for instructing the vehicle speed control unit 23B to return the vehicle speed of the tractor 1 to the original vehicle speed before being lowered to the ultra-low speed is performed (step # 36), and then the step Return to # 31.
- the automatic running control unit 23F determines that the sensor surface of the front rider sensor 86 is dirty, and immediately stops running to stop the tractor 1.
- a running stop command process for commanding a command to the vehicle speed control unit 23B is performed (step # 37).
- the obstacle detection unit 80 detects an obstacle from the information of each of the cameras 81 to 84, and also When the separation distance from the obstacle is acquired from the information of the front and rear rider sensors 86, 87 or the sonar 88, the automatic driving control unit 23F acquires the distance from the front and rear rider sensors 86, 87 or the sonar 88. Based on the distance from the obstacle, the first collision avoidance control is executed to avoid the collision between the tractor 1 and the obstacle.
- the obstacle detection unit 80 can accurately detect a person, a tree, or the like existing in the work area as an obstacle from the information of the cameras 81 to 84 having high object discrimination accuracy. Further, the obstacle detection unit 80 can acquire the distance from the detected obstacle such as a person or a tree with high accuracy from the information of the front and rear rider sensors 86, 87 or the sonar 88 having high distance measurement accuracy. .. As a result, the obstacle detection unit 80 is in the proper detection state described above. Then, the automatic driving control unit 23F sets the tractor 1 on the obstacles based on the distance from the obstacles such as a person or a tree with high accuracy acquired from the information of the front and rear rider sensors 86 and 87 or the sonar 88. The risk of collision can be accurately avoided.
- the obstacle can be detected accurately, and the collision with the obstacle can be accurately avoided without the tractor 1 performing an unnecessary collision avoidance operation.
- the obstacle detection unit 80 detects an obstacle from the information of each camera 81 to 84
- the distance from the obstacle is acquired from the front and rear rider sensors 86, 87 or the sonar 88. If this is not possible (the above-mentioned independent detection state), the automatic travel control unit 23F has a collision avoidance rate higher than that of the first collision avoidance control based on the distance from the obstacle acquired from the information of each camera 81 to 84. Perform high second collision avoidance control.
- the automatic traveling control unit 23F may have measurement obstacles such as dirt adhering to the sensor surface of the rider sensors 86, 87, for example, and dust, dust, etc. around the rider sensors 86, 87. Even if the distance from the obstacle cannot be obtained from the information of the rider sensors 86, 87 due to the measurement obstruction flying up, the obstacle to be obtained from the information of each camera 81 to 84. It is possible to avoid the possibility that the tractor 1 collides with an obstacle based on the distance from the object.
- the control unit 23F preferably avoids the possibility that the tractor 1 collides with an obstacle while compensating for the decrease in the distance measurement accuracy. can do.
- the obstacle detection unit 80 detects the obstacle from the information of the cameras 81 to 84, while the distance from the obstacle is acquired from the information of the rider sensors 86, 87 or the sonar 88.
- the automatic traveling control unit 23F is in contact with the area around the obstacle acquired by the obstacle detection unit 80.
- the first collision avoidance control is executed based on the separation distance.
- the automatic travel control unit 23F determines the distance to each rider sensor 86 due to, for example, that the obstacle detected from the information of each camera 81 to 84 is mixed with the surrounding grass or the like. , 87 or Sonar 88 cannot measure and is measuring the distance to the object to be measured, such as grass, located around the obstacle, which is approximately equal to the distance from the obstacle. Based on the distance from the object to be measured around the obstacle, it is possible to avoid the possibility that the tractor 1 collides with the obstacle. As a result, the possibility that the tractor 1 collides with an obstacle can be avoided with relatively high accuracy.
- the automatic driving control unit 23F has a predetermined condition (the ratio of the invalid value caused by the measurement obstruction such as dirt) to the sensor surface of each rider sensor 86, 87 or the like.
- a predetermined condition the ratio of the invalid value caused by the measurement obstruction such as dirt
- the ultra-low speed traveling state in which the vehicle speed of the tractor 1 is reduced to the ultra-low speed state is continued for a predetermined time.
- the automatic traveling control unit 23F returns the vehicle speed of the tractor 1 from the ultra-low speed state to the original vehicle speed, and also, the predetermined time If the adhesion rate continues to satisfy the predetermined condition until the elapse of, the automatic running of the tractor 1 is stopped.
- the automatic running of the tractor 1 is not stopped when the adhesion rate of the measurement obstruction to the sensor surface of each rider sensor 86, 87 or sonar 88 satisfies the predetermined condition, but the adhesion rate satisfies the predetermined condition.
- the measurement obstruction satisfying the predetermined condition is an deposit such as dirt on the sensor surface, or around each rider sensor 86, 87 or sonar 88. It is possible to determine whether it is a floating substance such as soaring dust or dust, and it is possible to control the traveling of the tractor 1 according to the determination result.
- the sticking rate is higher than that in the case of simply running in the low speed running state. It is possible to lengthen the predetermined time after satisfying the predetermined condition, that is, the time for determining whether or not the deposit is present. As a result, it is possible to suppress the occurrence of the inconvenience of stopping the tractor 1 when the measurement obstructor satisfying the predetermined conditions is a floating substance such as dust or dust.
- the work vehicle can be changed in various ways.
- the work vehicle may be configured as a semi-crawler specification in which left and right crawlers are provided instead of the left and right rear wheels 11.
- the work vehicle may be configured to have a full crawler specification in which left and right crawlers are provided instead of the left and right front wheels 10 and the left and right rear wheels 11.
- the work vehicle may be configured to have an electric specification provided with an electric motor instead of the engine 14.
- the work vehicle may be configured in a hybrid specification including an engine 14 and an electric motor for traveling.
- radar sensors may be adopted instead of the rider sensors 86 and 87 and the sonar 88. Further, a rider sensor may be adopted for all the active sensors 86 to 88.
- the active sensors 86 to 88 may be configured to measure the distance to the obstacle when the image processing device 85 detects an obstacle in the measurement ranges Rm1 to Rm4. According to this configuration, the active sensors 86 to 88 do not need to constantly perform measurements in their measurement ranges Rm1 to Rm4, and when an obstacle is detected by the image processing device 85 in those measurement ranges Rm1 to Rm4. Since the distance to the obstacle is measured only in the case, the accuracy of the distance measurement for the obstacle can be improved while reducing the load required for the distance measurement.
- a stereo camera or the like may be adopted for the imaging units 81 to 84. Further, as the imaging units 81 to 84, in addition to the above-mentioned front camera 81, rear camera 82, right camera 83, and left camera 84, a front camera having a different angle of view from the front camera 81 may be provided.
- the first characteristic configuration of the present invention is in an automatic traveling system for a work vehicle. It has an automatic running control unit that automatically runs a work vehicle equipped with an obstacle detection unit that detects obstacles.
- the obstacle detection unit includes an imaging unit that images a set range in a predetermined direction from the work vehicle, and an active sensor that measures a set range in the same predetermined direction as the image pickup unit from the work vehicle. Ori, When the obstacle detection unit detects the obstacle from the information of the imaging unit and acquires the separation distance from the obstacle from the information of the active sensor, the automatic traveling control unit The point is to execute the first collision avoidance control for avoiding the collision between the work vehicle and the obstacle based on the separation distance from the obstacle acquired from the information of the active sensor.
- the obstacle detection unit can accurately detect a person or a tree existing in the work area as an obstacle from the information of the imaging unit having high object discrimination accuracy. Further, the obstacle detection unit can acquire the distance between the detected obstacles such as a person and a tree from the information of the active sensor having high distance measurement accuracy with high accuracy. Then, the automatic driving control unit accurately avoids the possibility that the work vehicle collides with the obstacles such as people and trees with high accuracy acquired from the information of the active sensor based on the separation distance. Can be done.
- the second characteristic configuration of the present invention is When the obstacle detection unit detects the obstacle from the information of the imaging unit, but cannot acquire the separation distance from the obstacle from the information of the active sensor, the automatic traveling The point is that the control unit executes the second collision avoidance control having a higher collision avoidance rate than the first collision avoidance control based on the separation distance from the obstacle acquired from the information of the imaging unit.
- the automatic driving control unit is caused by, for example, adhesion of measurement obstructions such as dirt on the sensor surface of the active sensor, and measurement obstructions such as dust and dirt flying around the active sensor. Then, even if the separation distance from the obstacle cannot be acquired from the information of the active sensor, the work vehicle collides with the obstacle based on the separation distance from the obstacle acquired from the information of the imaging unit. It is possible to avoid the risk of this.
- the automatic traveling control unit is more than the first collision avoidance control.
- the second collision avoidance control having a high collision avoidance rate, it is possible to suitably avoid the possibility that the work vehicle collides with an obstacle while compensating for the decrease in the distance measurement accuracy.
- the collision avoidance rate can be increased by taking measures such as increasing the distance from the obstacle at which the work vehicle starts decelerating or stopping, or lowering the vehicle speed at the time of collision avoidance. it can.
- the third characteristic configuration of the present invention is While the obstacle detection unit detects the obstacle from the information of the imaging unit, the distance from the obstacle cannot be acquired from the information of the active sensor, and the obstacle cannot be obtained.
- the automatic traveling control unit executes the first collision avoidance control based on the separation distance from the vicinity of the obstacle acquired by the active sensor. ..
- the active sensor measures the distance to the obstacle, for example, because the obstacle detected from the information of the imaging unit is mixed with the surrounding grass or the like. If the distance to the measurement object such as grass located around the obstacle cannot be measured, the measurement object around the obstacle is approximately equal to the distance from the obstacle. It is possible to avoid the possibility that the work vehicle collides with an obstacle based on the separation distance of. As a result, the risk of the work vehicle colliding with an obstacle can be avoided with relatively high accuracy.
- the fourth characteristic configuration of the present invention is When the adhesion rate of the measurement obstructor to the active sensor satisfies a predetermined condition, the automatic traveling control unit continues an ultra-low speed traveling state in which the vehicle speed of the work vehicle is reduced to an ultra-low speed state for a predetermined time, and determines. If the adhesion rate does not satisfy the predetermined condition before the lapse of time, the vehicle speed of the work vehicle is returned from the ultra-low speed state to the original vehicle speed, while the predetermined time elapses. When the adhesion rate continues to satisfy the predetermined condition, the automatic traveling of the work vehicle is stopped.
- the automatic running of the work vehicle is not stopped when the adhesion rate of the measurement obstruction to the active sensor satisfies the predetermined condition, but the state where the adhesion rate satisfies the predetermined condition continues for a predetermined time.
- the measurement obstruction satisfying the predetermined conditions is an adhering substance such as dirt on the active sensor or a floating substance such as dust or dust flying around the active sensor. It is possible to control the traveling of the work vehicle according to the determination result.
- the adhesion rate is higher than that in the case of simply running in the low speed running state. It is possible to lengthen the predetermined time after satisfying the predetermined condition, that is, the time for determining whether or not the deposit is present. This makes it possible to suppress the occurrence of the inconvenience of stopping the work vehicle when the measurement obstructor satisfying the predetermined conditions is a floating substance such as dust or dust.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Soil Sciences (AREA)
- Environmental Sciences (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
作業車両(1)用の自動走行システムは、障害物を検出する障害物検出ユニット(80)が備えられた作業車両を自動走行させる自動走行制御部(23F)を有し、障害物検出ユニット(80)には撮像部(81~84)とアクティブセンサ(86~88)とが含まれており、障害物検出ユニット(80)が、撮像部(81~84)の情報から障害物を検出し、かつ、当該障害物との離隔距離をアクティブセンサ(86~88)の情報から取得している場合は、自動走行制御部(23F)が、アクティブセンサ(86~88)の情報から取得した障害物との離隔距離に基づいて、作業車両と障害物との衝突を回避する第1衝突回避制御を実行する。
Description
本発明は、作業車両の自動走行を可能にする作業車両用の自動走行システムに関する。
作業車両においては、作業車両の周囲に存在する障害物を検知して当該障害物の相対位置を取得する複数の障害物検知センサと、作業車両の周囲の画像を取得する複数のカメラと、複数のカメラによって取得される複数の画像に基づいて作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、障害物の存在を運転者に対して警告する必要のある警告領域を設定する警告領域設定部と、俯瞰画像上において障害物の相対位置が警告領域内に位置する場合に障害物の存在を運転者に警告する警告部と、を備えて作業車両の周辺を監視するように構成された周辺監視装置が装備されたものがある(例えば特許文献1参照)。
前述した特許文献1に記載の周辺監視装置においては、障害物検知センサとして物体判別精度の低いレーダ装置が採用されている。そのため、前述した警告領域にて背の高い草が生えている場合や、警告領域にて埃や粉塵などが浮遊物として舞い上がった場合などにおいては、その背の高い草や浮遊物などを障害物検知センサが障害物として誤検出することがある。このような誤検出が生じると、作業車両の走行に支障を来たす障害物が存在していないにもかかわらず、警告部が、警告領域内に障害物が存在することを運転者に警告することになる。
そして、このような周辺監視装置を自動走行可能な作業車両に備えた場合には、警告領域にて背の高い草が生えている場合や、警告領域にて埃や粉塵などが浮遊物として舞い上がった場合には、周辺監視装置が、それらを障害物として誤検出することに起因して、自動走行中の作業車両が不必要な走行停止などの衝突回避動作を行うことになる。
この実情に鑑み、本発明の主たる課題は、障害物を精度良く検出できるようにして、作業車両が不必要な衝突回避動作を行うことなく障害物との衝突を回避させることができる作業車両用の自動走行システムを提供する点にある。
本発明の第1特徴構成は、作業車両用の自動走行システムにおいて、
障害物を検出する障害物検出ユニットが備えられた作業車両を自動走行させる自動走行制御部を有し、
前記障害物検出ユニットには、前記作業車両から所定方向の設定範囲を撮像する撮像部と、前記作業車両から前記撮像部と同じ所定方向の設定範囲を測定対象とするアクティブセンサとが含まれており、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出し、かつ、当該障害物との離隔距離を前記アクティブセンサの情報から取得している場合は、前記自動走行制御部が、前記アクティブセンサの情報から取得した前記障害物との離隔距離に基づいて、前記作業車両と前記障害物との衝突を回避する第1衝突回避制御を実行する点にある。
障害物を検出する障害物検出ユニットが備えられた作業車両を自動走行させる自動走行制御部を有し、
前記障害物検出ユニットには、前記作業車両から所定方向の設定範囲を撮像する撮像部と、前記作業車両から前記撮像部と同じ所定方向の設定範囲を測定対象とするアクティブセンサとが含まれており、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出し、かつ、当該障害物との離隔距離を前記アクティブセンサの情報から取得している場合は、前記自動走行制御部が、前記アクティブセンサの情報から取得した前記障害物との離隔距離に基づいて、前記作業車両と前記障害物との衝突を回避する第1衝突回避制御を実行する点にある。
本構成によれば、障害物を精度良く検出できるようにして、作業車両が不必要な衝突回避動作を行うことなく障害物との衝突を回避させることができる。
以下、本発明を実施するための形態の一例として、本発明に係る作業車両用の自動走行システムを、作業車両の一例であるトラクタに適用した実施形態を図面に基づいて説明する。尚、本発明に係る作業車両用の自動走行システムは、トラクタ以外の、例えば乗用草刈機、乗用田植機、コンバイン、運搬車、除雪車、ホイールローダ、などの乗用作業車両、及び、無人草刈機などの無人作業車両に適用することができる。
図1~4に示すように、本実施形態に例示されたトラクタ1は、その後部に3点リンク機構2を介して、作業装置の一例であるロータリ耕耘装置3が昇降可能かつローリング可能に連結されている。これにより、このトラクタ1はロータリ耕耘仕様に構成されている。トラクタ1は、作業車両用の自動走行システムを使用することにより、作業地の一例である図5に示す圃場Aなどにおいて自動走行することができる。尚、トラクタ1の後部には、ロータリ耕耘装置3に代えて、プラウ、ディスクハロー、カルチベータ、サブソイラ、播種装置、散布装置、草刈装置、などの各種の作業装置を連結することができる。
図6に示すように、自動走行システムには、トラクタ1に搭載された自動走行ユニット4と、自動走行ユニット4と無線通信可能に通信設定された無線通信機器の一例である携帯通信端末5とが含まれている。携帯通信端末5には、自動走行に関する各種の情報表示や入力操作などを可能にするマルチタッチ式の表示デバイス(例えば液晶パネル)50などが含まれている。尚、携帯通信端末5には、タブレット型のパーソナルコンピュータやスマートフォンなどを採用することができる。又、無線通信には、Wi-Fi(登録商標)などの無線LAN(Local Area Network)やBluetooth(登録商標)などの近距離無線通信などを採用することができる。
図1~3、図6に示すように、トラクタ1には、駆動可能で操舵可能な左右の前輪10、駆動可能な左右の後輪11、搭乗式の運転部12を形成するキャビン13、コモンレールシステムを有する電子制御式のディーゼルエンジン(以下、エンジンと称する)14、エンジン14などを覆うボンネット15、エンジン14からの動力を変速する変速ユニット16、左右の前輪10を操舵する全油圧式のパワーステアリングユニット17、左右の後輪11を制動するブレーキユニット18、ロータリ耕耘装置3への伝動を断続する電子油圧制御式の作業クラッチユニット19、ロータリ耕耘装置3を昇降駆動する電子油圧制御式の昇降駆動ユニット20、ロータリ耕耘装置3をロール方向に駆動する電子油圧制御式のローリングユニット21、トラクタ1における各種の設定状態や各部の動作状態などを検出する各種のセンサやスイッチなどを含む車両状態検出機器22、及び、各種の制御部を有する車載制御ユニット23、などが備えられている。尚、エンジン14には、電子ガバナを有する電子制御式のガソリンエンジンなどを採用してもよい。又、パワーステアリングユニット17には、操舵用の電動モータを有する電動式を採用してもよい。
図1、図3に示すように、運転部12には、手動操舵用のステアリングホイール25と、搭乗者用の座席26と、各種の情報表示や入力操作などを可能にするマルチタッチ式の液晶モニタ27とが備えられている。図示は省略するが、運転部12には、アクセルレバーや変速レバーなどの操作レバー類、及び、アクセルペダルやクラッチペダルなどの操作ペダル類、などが備えられている。
図示は省略するが、変速ユニット16には、エンジン14からの動力を変速する電子制御式の無段変速装置、及び、無段変速装置による変速後の動力を前進用と後進用とに切り換える電子油圧制御式の前後進切換装置、などが含まれている。無段変速装置には、静油圧式無段変速装置(HST:Hydro Static Transmission)よりも伝動効率が高い油圧機械式無段変速装置の一例であるI-HMT(Integrated Hydro-static Mechanical Transmission)が採用されている。前後進切換装置には、前進動力断続用の油圧クラッチと、後進動力断続用の油圧クラッチと、それらに対するオイルの流れを制御する電磁バルブとが含まれている。尚、無段変速装置には、I-HMTの代わりに、油圧機械式無段変速装置の一例であるHMT(Hydraulic Mechanical Transmission)、静油圧式無段変速装置、又は、ベルト式無段変速装置、などを採用してもよい。又、変速ユニット16には、無段変速装置の代わりに、複数の変速用の油圧クラッチとそれらに対するオイルの流れを制御する複数の電磁バルブとを有する電子油圧制御式の有段変速装置が含まれていてもよい。
図示は省略するが、ブレーキユニット18には、左右の後輪11を個別に制動する左右のブレーキ、運転部12に備えられた左右のブレーキペダルの踏み込み操作に連動して左右のブレーキを作動させるフットブレーキ系、運転部12に備えられたパーキングレバーの操作に連動して左右のブレーキを作動させるパーキングブレーキ系、及び、左右の前輪10の設定角度以上の操舵に連動して旋回内側のブレーキを作動させる旋回ブレーキ系、などが含まれている。
車両状態検出機器22は、トラクタ1の各部に備えられた各種のセンサやスイッチなどの総称である。図7に示すように、車両状態検出機器22には、トラクタ1の車速を検出する車速センサ22A、前後進切り換え用のリバーサレバーの操作位置を検出するリバーサセンサ22B、及び、前輪10の操舵角を検出する舵角センサ22C、が含まれている。又、図示は省略するが、車両状態検出機器22には、エンジン14の出力回転数を検出する回転センサ、アクセルレバーの操作位置を検出するアクセルセンサ、及び、変速レバーの操作位置を検出する変速センサ、などが含まれている。
図6~7に示すように、車載制御ユニット23には、エンジン14に関する制御を行うエンジン制御部23A、トラクタ1の車速や前後進の切り換えに関する制御を行う車速制御部23B、ステアリングに関する制御を行うステアリング制御部23C、ロータリ耕耘装置3などの作業装置に関する制御を行う作業装置制御部23D、液晶モニタ27などに対する表示や報知に関する制御を行う表示制御部23E、自動走行に関する制御を行う自動走行制御部23F、及び、圃場内に区分けされた走行領域に応じて生成された自動走行用の目標経路P(図5参照)などを記憶する不揮発性の車載記憶部23G、などが含まれている。各制御部23A~23Fは、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。各制御部23A~23Fは、CAN(Controller Area Network)を介して相互通信可能に接続されている。尚、各制御部23A~23Fの相互通信には、CAN以外の通信規格や次世代通信規格である、例えば、車載EthernetやCAN-FD(CAN with FLexible Data rate)などを採用してもよい。
エンジン制御部23Aは、アクセルセンサからの検出情報と回転センサからの検出情報とに基づいて、エンジン回転数をアクセルレバーの操作位置に応じた回転数に維持するエンジン回転数維持制御、などを実行する。
車速制御部23Bは、変速センサからの検出情報と車速センサ22Aからの検出情報などに基づいて、トラクタ1の車速が変速レバーの操作位置に応じた速度に変更されるように無段変速装置の作動を制御する車速制御、及び、リバーサセンサ22Bからの検出情報に基づいて前後進切換装置の伝動状態を切り換える前後進切り換え制御、などを実行する。車速制御には、変速レバーが零速位置に操作された場合に、無段変速装置を零速状態まで減速制御してトラクタ1の走行を停止させる減速停止処理が含まれている。
作業装置制御部23Dには、PTOスイッチの操作などに基づいて作業クラッチユニット19の作動を制御する作業クラッチ制御、昇降スイッチの操作や高さ設定ダイヤルの設定値などに基づいて昇降駆動ユニット20の作動を制御する昇降制御、及び、ロール角設定ダイヤルの設定値などに基づいてローリングユニット21の作動を制御するローリング制御、などを実行する。PTOスイッチ、昇降スイッチ、高さ設定ダイヤル、及び、ロール角設定ダイヤルは、車両状態検出機器22に含まれている。
図6に示すように、トラクタ1には、トラクタ1の現在位置や現在方位などを測定する測位ユニット30が備えられている。測位ユニット30には、衛星測位システムの一例であるGNSS(Global Navigation Satellite System)を利用してトラクタ1の現在位置と現在方位とを測定する衛星航法装置31、及び、3軸のジャイロスコープ及び3方向の加速度センサなどを有してトラクタ1の姿勢や方位などを測定する慣性計測装置(IMU:Inertial Measurement Unit)32、などが含まれている。GNSSを利用した測位方法には、DGNSS(Differential GNSS:相対測位方式)やRTK-GNSS(Real Time Kinematic GNSS:干渉測位方式)などがある。本実施形態においては、移動体の測位に適したRTK-GNSSが採用されている。そのため、図1に示すように、圃場周辺の既知位置には、RTK-GNSSによる測位を可能にする基準局6が設置されている。
図1、図6に示すように、トラクタ1と基準局6とのそれぞれには、測位衛星7(図1参照)から送信された電波を受信するGNSSアンテナ33,60、及び、トラクタ1と基準局6との間における測位情報を含む各情報の無線通信を可能にする通信モジュール34,61、などが備えられている。これにより、測位ユニット30の衛星航法装置31は、トラクタ側のGNSSアンテナ33が測位衛星7からの電波を受信して得た測位情報と、基地局側のGNSSアンテナ60が測位衛星7からの電波を受信して得た測位情報とに基づいて、トラクタ1の現在位置及び現在方位を高い精度で測定することができる。又、測位ユニット30は、衛星航法装置31と慣性計測装置32とを有することにより、トラクタ1の現在位置、現在方位、姿勢角(ヨー角、ロール角、ピッチ角)を高精度に測定することができる。
このトラクタ1において、測位ユニット30の慣性計測装置32、GNSSアンテナ33、及び、通信モジュール34は、図1に示すアンテナユニット35に含まれている。アンテナユニット35は、キャビン13の前面側における上部の左右中央箇所に配置されている。そして、トラクタ1におけるGNSSアンテナ33の取り付け位置が、GNSSを利用してトラクタ1の現在位置などを測定するときの測位対象位置となっている。
図6に示すように、携帯通信端末5には、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどを有する端末制御ユニット51などが備えられている。端末制御ユニット51には、表示デバイス50などに対する表示や報知に関する制御を行う表示制御部51A、自動走行用の目標経路Pを生成する目標経路生成部51B、及び、目標経路生成部51Bが生成した目標経路Pなどを記憶する不揮発性の端末記憶部51C、などが含まれている。端末記憶部51Cには、目標経路Pの生成に使用する各種の情報として、トラクタ1の旋回半径や作業幅などの車体情報、及び、前述した測位情報から得られる圃場情報、などが記憶されている。圃場情報には、圃場Aの形状や大きさなどを特定する上において、トラクタ1を圃場Aの外周縁に沿って走行させたときにGNSSを利用して取得した圃場Aにおける複数の形状特定地点(形状特定座標)となる4つの角部地点Ap1~Ap4(図5参照)、及び、それらの角部地点Ap1~Ap4を繋いで圃場Aの形状や大きさなどを特定する矩形状の形状特定線AL(図5参照)、などが含まれている。
図6に示すように、トラクタ1及び携帯通信端末5には、車載制御ユニット23と端末制御部3Bとの間における測位情報などを含む各情報の無線通信を可能にする通信モジュール28,52が備えられている。トラクタ1の通信モジュール28は、携帯通信端末5との無線通信にWi-Fiが採用される場合には、通信情報をCANとWi-Fiとの双方向に変換する変換器として機能する。端末制御部3Bは、車載制御ユニット23との無線通信にてトラクタ1の現在位置や現在方位などを含むトラクタ1に関する各種の情報を取得することができる。これにより、携帯通信端末5の表示デバイス3Aにて、目標経路Pに対するトラクタ1の現在位置や現在方位などを含む各種の情報を表示させることができる。
目標経路生成部51Bは、車体情報に含まれたトラクタ1の旋回半径や作業幅、及び、圃場情報に含まれた圃場Aの形状や大きさ、などに基づいて目標経路Pを生成する。例えば、図5に示すように、矩形状の圃場Aにおいて、自動走行の開始地点p1と終了地点p2とが設定され、トラクタ1の作業走行方向が圃場Aの短辺に沿う方向に設定されている場合は、目標経路生成部51Bは、先ず、圃場Aを、前述した4つの角部地点Ap1~Ap4と矩形状の形状特定線ALとに基づいて、圃場Aの外周縁に隣接するマージン領域A1と、マージン領域A1の内側に位置する走行領域A2とに区分けする。次に、目標経路生成部51Bは、トラクタ1の旋回半径や作業幅などに基づいて、走行領域A2に、圃場Aの長辺に沿う方向に作業幅に応じた所定間隔をあけて並列に配置される複数の並列経路P1を生成するとともに、走行領域A2における各長辺側の外縁部に配置されて複数の並列経路P1をトラクタ1の走行順に接続する複数の旋回経路P2を生成する。そして、走行領域A2を、走行領域A2における各長辺側の外縁部に設定される一対の非作業領域A2aと、一対の非作業領域A2aの間に設定される作業領域A2bとに区分けするとともに、各並列経路P1を、一対の非作業領域A2aに含まれる非作業経路P1aと、作業領域A2bに含まれる作業経路P1bとに区分けする。これにより、目標経路生成部51Bは、図5に示す圃場Aにおいてトラクタ1を自動走行させるのに適した目標経路Pを生成することができる。
図5に示す圃場Aにおいて、マージン領域A1は、トラクタ1が走行領域A2の外周部を自動走行するときに、ロータリ耕耘装置3などが圃場Aに隣接する畦などの他物に接触することを防止するために、圃場Aの外周縁と走行領域A2との間に確保された領域である。各非作業領域A2aは、トラクタ1が圃場Aの畦際において現在の作業経路P1bから次の作業経路P1bに旋回移動するための畦際旋回領域である。
図5に示す目標経路Pにおいて、各非作業経路P1aと各旋回経路P2は、トラクタ1が耕耘作業を行わずに自動走行する経路であり、前述した各作業経路P1bは、トラクタ1が耕耘作業を行いながら自動走行する経路である。各作業経路P1bの始端地点p3は、トラクタ1が耕耘作業を開始する作業開始地点であり、各作業経路P1bの終端地点p4は、トラクタ1が耕耘作業を停止する作業停止地点である。各非作業経路P1aは、トラクタ1が旋回経路P2にて旋回走行する前の作業停止地点p4と、トラクタ1が旋回経路P2にて旋回走行した後の作業開始地点p3とを、トラクタ1の作業走行方向で揃えるための位置合せ経路である。各並列経路P1と各旋回経路P2との各接続地点p5,p6のうち、各並列経路P1における終端側の接続地点p5はトラクタ1の旋回開始地点であり、各並列経路P1における始端側の接続地点p6はトラクタ1の旋回終了地点である。
尚、図5に示す目標経路Pはあくまでも一例であり、目標経路生成部51Bは、トラクタ1の機種や作業の種類などに応じて異なる車体情報、及び、圃場Aに応じて異なる圃場Aの形状や大きさなどの圃場情報、などに基づいて、それらに適した種々の目標経路Pを生成することができる。
目標経路Pは、車体情報や圃場情報などに関連付けされた状態で端末記憶部51Cに記憶されており、携帯通信端末5の表示デバイス50にて表示することができる。目標経路Pには、各並列経路P1におけるトラクタ1の目標車速、各旋回経路P2bにおけるトラクタ1の目標車速、各並列経路P1における前輪操舵角、及び、各旋回経路P2bにおける前輪操舵角、などが含まれている。
端末制御ユニット51は、車載制御ユニット23からの送信要求指令に応じて、端末記憶部51Cに記憶されている圃場情報や目標経路Pなどを車載制御ユニット23に送信する。車載制御ユニット23は、受信した圃場情報や目標経路Pなどを車載記憶部23Gに記憶する。目標経路Pの送信に関しては、例えば、端末制御ユニット51が、トラクタ1が自動走行を開始する前の段階において、目標経路Pの全てを端末記憶部51Cから車載制御ユニット23に一挙に送信するようにしてもよい。又、端末制御ユニット51が、目標経路Pを所定距離ごとの複数の分割経路情報に分割して、トラクタ1が自動走行を開始する前の段階からトラクタ1の走行距離が所定距離に達するごとに、トラクタ1の走行順位に応じた所定数の分割経路情報を端末記憶部51Cから車載制御ユニット23に逐次送信するようにしてもよい。
車載制御ユニット23において、自動走行制御部23Fには、車両状態検出機器22に含まれた各種のセンサやスイッチなどからの検出情報が、車速制御部23Bやステアリング制御部23Cなどを介して入力されている。これにより、自動走行制御部23Fは、トラクタ1における各種の設定状態や各部の動作状態などを監視することができる。
自動走行制御部23Fは、搭乗者や管理者などのユーザにより、各種の自動走行開始条件を満たすための手動操作が行われてトラクタ1の走行モードが自動走行モードに切り換えられた状態において、携帯通信端末5の表示デバイス50が操作されて自動走行の開始が指令された場合に、測位ユニット30にてトラクタ1の現在位置や現在方位などを取得しながら目標経路Pに従ってトラクタ1を自動走行させる自動走行制御を開始する。
自動走行制御部23Fは、自動走行制御の実行中に、例えば、ユーザにより携帯通信端末5の表示デバイス50が操作されて自動走行の終了が指令された場合や、運転部12に搭乗しているユーザによってステアリングホイール25やアクセルペダルなどの手動操作具が操作された場合は、自動走行制御を終了するとともに走行モードを自動走行モードから手動走行モードに切り換える。このように自動走行制御が終了された後に自動走行制御を再開させる場合は、先ず、ユーザが運転部12に乗り込んで、トラクタ1の走行モードを自動走行モードから手動走行モードに切り換える。次に、各種の自動走行開始条件を満たすための手動操作を行ってから、トラクタ1の走行モードを手動走行モードから自動走行モードに切り換える。そして、この状態において、携帯通信端末5の表示デバイス50を操作して自動走行の開始を指令することで、自動走行制御を再開させることができる。
自動走行制御部23Fによる自動走行制御には、エンジン14に関する自動走行用の制御指令をエンジン制御部23Aに送信するエンジン用自動制御処理、トラクタ1の車速や前後進の切り換えに関する自動走行用の制御指令を車速制御部23Bに送信する車速用自動制御処理、ステアリングに関する自動走行用の制御指令をステアリング制御部23Cに送信するステアリング用自動制御処理、及び、ロータリ耕耘装置3などの作業装置に関する自動走行用の制御指令を作業装置制御部23Dに送信する作業用自動制御処理、などが含まれている。
自動走行制御部23Fは、エンジン用自動制御処理においては、目標経路Pに含まれた設定回転数などに基づいてエンジン回転数の変更を指示するエンジン回転数変更指令、などをエンジン制御部23Aに送信する。エンジン制御部23Aは、自動走行制御部23Fから送信されたエンジン14に関する各種の制御指令に応じてエンジン回転数を自動で変更するエンジン回転数変更制御、などを実行する。
自動走行制御部23Fは、車速用自動制御処理においては、目標経路Pに含まれた目標車速に基づいて無段変速装置の変速操作を指示する変速操作指令、及び、目標経路Pに含まれたトラクタ1の進行方向などに基づいて前後進切換装置の前後進切り換え操作を指示する前後進切り換え指令、などを車速制御部23Bに送信する。車速制御部23Bは、自動走行制御部23Fから送信された無段変速装置や前後進切換装置などに関する各種の制御指令に応じて、無段変速装置の作動を自動で制御する自動車速制御、及び、前後進切換装置の作動を自動で制御する自動前後進切り換え制御、などを実行する。自動車速制御には、例えば、目標経路Pに含まれた目標車速が零速である場合に、無段変速装置を零速状態まで減速制御してトラクタ1の走行を停止させる自動減速停止処理などが含まれている。
自動走行制御部23Fは、ステアリング用自動制御処理においては、目標経路Pに含まれた前輪操舵角などに基づいて左右の前輪10の操舵を指示する操舵指令、などをステアリング制御部23Cに送信する。ステアリング制御部23Cは、自動走行制御部23Fから送信された操舵指令に応じて、パワーステアリングユニット17の作動を制御して左右の前輪10を操舵する自動操舵制御、及び、左右の前輪10が設定角度以上に操舵された場合に、ブレーキユニット18を作動させて旋回内側のブレーキを作動させる自動ブレーキ旋回制御、などを実行する。
自動走行制御部23Fは、作業用自動制御処理においては、目標経路Pに含まれた作業開始地点p3に基づいてロータリ耕耘装置3の作業状態への切り換えを指示する作業開始指令、及び、目標経路Pに含まれた作業停止地点p4に基づいてロータリ耕耘装置3の非作業状態への切り換えを指示する作業停止指令、などを作業装置制御部23Dに送信する。作業装置制御部23Dは、自動走行制御部23Fから送信されたロータリ耕耘装置3に関する各種の制御指令に応じて、作業クラッチユニット19と昇降駆動ユニット20の作動を制御して、ロータリ耕耘装置3を作業高さまで下降させて作動させる自動作業開始制御、及び、ロータリ耕耘装置3を停止させて非作業高さまで上昇させる自動作業停止制御、などを実行する。
つまり、前述した自動走行ユニット4には、パワーステアリングユニット17、ブレーキユニット18、作業クラッチユニット19、昇降駆動ユニット20、ローリングユニット21、車両状態検出機器22、車載制御ユニット23、測位ユニット30、及び、通信モジュール28,34、などが含まれている。そして、これらが適正に作動することにより、トラクタ1を目標経路Pに従って精度よく自動走行させることができるとともに、ロータリ耕耘装置3による耕耘を適正に行うことができる。
図6~7に示すように、トラクタ1には、トラクタ1の周囲を監視して、その周囲に存在する障害物を検出する障害物検出ユニット80が備えられている。障害物検出ユニット80が検出する障害物には、圃場Aにて作業する作業者などの人物や他の作業車両、及び、圃場Aに既存の電柱や樹木などが含まれている。
図1~4、図7に示すように、障害物検出ユニット80には、トラクタ1の周囲を撮像する撮像ユニット80A、トラクタ1の周囲に存在する測定対象物までの距離を測定するアクティブセンサユニット80B、及び、撮像ユニット80Aからの情報とアクティブセンサユニット80Bからの測定情報とを統合して処理する情報統合処理部80C、が含まれている。
撮像ユニット80Aには、キャビン13から前方の第1撮像範囲Ri1が撮像範囲に設定された前カメラ(撮像部の一例)81、キャビン13から後方の第2撮像範囲Ri2が撮像範囲に設定された後カメラ(撮像部の一例)82、キャビン13から右方の第3撮像範囲Ri3が撮像範囲に設定された右カメラ(撮像部の一例)83、キャビン13から左方の第4撮像範囲Ri4が撮像範囲に設定された左カメラ(撮像部の一例)84、及び、各カメラ81~84からの画像を処理する画像処理装置85、が含まれている。
図1、図3~4、図7に示すように、アクティブセンサユニット80Bには、キャビン13から前方の第1測定範囲Rm1が測定範囲に設定された前ライダーセンサ(アクティブセンサの一例)86、キャビン13から後方の第2測定範囲Rm2が測定範囲に設定された後ライダーセンサ(アクティブセンサの一例)87、及び、キャビン13から右方の第3測定範囲Rm3とキャビン13から左方の第4測定範囲Rm4とが測定範囲に設定されたソナー(アクティブセンサの一例)88、が含まれている。各ライダーセンサ86,87は、測定光の一例であるレーザ光(例えばパルス状の近赤外レーザ光)を使用して第1測定範囲Rm1又は第2測定範囲Rm2での測定を行う測定部86A,87Aと、測定部86A,87Aからの測定情報に基づいて距離画像の生成などを行うライダー制御部86B,87Bと、が含まれている。ソナー88には、右超音波センサ88Aと左超音波センサ88Bと単一のソナー制御部88Cとが含まれている。
情報統合処理部80C、画像処理装置85、各ライダー制御部86B,87B、及び、ソナー制御部88Cは、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。情報統合処理部80C、画像処理装置85、各ライダー制御部86B,87B、及び、ソナー制御部88Cは、車載制御ユニット23にCANを介して相互通信可能に接続されている。
前カメラ81及び後カメラ82は、トラクタ1の左右中心線上に配置されている。前カメラ81は、キャビン13の前端側における上部の左右中央箇所に、トラクタ1の前方側を斜め上方側から見下ろす前下がり姿勢で配置されている。これにより、前カメラ81は、トラクタ1の左右中心線を対称軸とする車体前方側の所定範囲が第1撮像範囲Ri1に設定されている。後カメラ82は、キャビン13の後端側における上部の左右中央箇所に、トラクタ1の後方側を斜め上方側から見下ろす後下がり姿勢で配置されている。これにより、後カメラ82は、トラクタ1の左右中心線を対称軸とする車体後方側の所定範囲が第2撮像範囲Ri2に設定されている。右カメラ83は、キャビン13の右端側における上部の前後中央箇所に、トラクタ1の右方側を斜め上方側から見下ろす右下がり姿勢で配置されている。これにより、右カメラ83は、車体右方側の所定範囲が第3撮像範囲Ri3に設定されている。左カメラ84は、キャビン13の左端側における上部の前後中央箇所に、トラクタ1の左方側を斜め上方側から見下ろす左下がり姿勢で配置されている。これにより、左カメラ84は、車体左方側の所定範囲が第4撮像範囲Ri4に設定されている。
各ライダーセンサ86,87において、各測定部86A,87Aは、照射したレーザ光が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、各測定部86A,87Aから第1測定範囲Rm1又は第2測定範囲Rm2の各測距点(測定対象物の一例)までの距離を測定する。各測定部86A,87Aは、第1測定範囲Rm1又は第2測定範囲Rm2の全体にわたって、レーザ光を高速で縦横に走査して、走査角(座標)ごとの測距点までの距離を順次測定することで、第1測定範囲Rm1又は第2測定範囲Rm2において3次元の測定を行う。各測定部86A,87Aは、第1測定範囲Rm1又は第2測定範囲Rm2の全体にわたってレーザ光を高速で縦横に走査したときに得られる各測距点からの反射光の強度(以下、反射強度と称する)を順次測定する。各測定部86A,87Aは、第1測定範囲Rm1又は第2測定範囲Rm2の各測距点までの距離や各反射強度などをリアルタイムで繰り返し測定する。各ライダー制御部86B,87Bは、各測定部86A,87Aが測定した各測距点までの距離や各測距点に対する走査角(座標)などの測定情報から、距離画像を生成するとともに障害物と推定される測距点群を抽出し、抽出した測距点群に関する測定情報を、障害物候補に関する測定情報として情報統合処理部80Cに送信する。
各ライダー制御部86B,87Bは、各測定部86A,87Aが測定した各測距点の距離値が無効条件に適合するか否かを判定し、無効条件に適合する距離値を無効値として情報統合処理部80Cに送信する。具体的には、各ライダー制御部86B,87Bは、各ライダーセンサ86,87からの至近距離に存在するという各ライダーセンサ86,87におけるセンサ表面の汚れの特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、センサ表面の汚れに関する測距点の距離値が、情報統合処理部80Cにおいて障害物に関する情報として使用されることを防止している。各ライダー制御部86B,87Bは、各ライダーセンサ86,87の近距離に存在しながら反射強度が非常に弱いという埃や霧などの浮遊物の特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、浮遊物に関する測距点の距離値が、情報統合処理部80Cにおいて障害物に関する情報として使用されることを防止している。
図1、図3~4に示すように、前ライダーセンサ86及び後ライダーセンサ87は、前カメラ81及び後カメラ82と同様にトラクタ1の左右中心線上に配置されている。前ライダーセンサ86は、キャビン13の前端側における上部の左右中央箇所に、トラクタ1の前方側を斜め上方側から見下ろす前下がり姿勢で配置されている。これにより、前ライダーセンサ86は、トラクタ1の左右中心線を対称軸とする車体前方側の所定範囲が測定部86Aによる第1測定範囲Rm1に設定されている。後ライダーセンサ87は、キャビン13の後端側における上部の左右中央箇所に、トラクタ1の後方側を斜め上方側から見下ろす後下がり姿勢で配置されている。これにより、後ライダーセンサ87は、トラクタ1の左右中心線を対称軸とする車体後方側の所定範囲が測定部87Aによる第2測定範囲Rm2に設定されている。
前ライダーセンサ86及び後ライダーセンサ87は、変速ユニット16の前後進切換装置が前進伝動状態に切り換えられたトラクタ1の前進走行時には、その切り換えに連動して、前ライダーセンサ86が作動状態になり、後ライダーセンサ87が作動停止状態になる。又、変速ユニット16の前後進切換装置が後進伝動状態に切り換えられたトラクタ1の後進走行時には、その切り換えに連動して、前ライダーセンサ86が作動停止状態になり、後ライダーセンサ87が作動状態になる。
図1、図3~4、図7に示すように、ソナー88において、ソナー制御部88Cは、左右の超音波センサ88A,88Bによる超音波の送受信に基づいて、第3測定範囲Rm3又は第4測定範囲Rm4における測定対象物の存否を判定する。ソナー制御部88Cは、発信した超音波が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、各超音波センサ88A,88Bから測定対象物までの距離を測定し、測定した測定対象物までの距離と測定対象物の方向とを、障害物候補に関する測定情報として情報統合処理部80Cに送信する。
図示は省略するが、右超音波センサ88Aは、右側の前輪10と右側の後輪11との間に配置された右側の乗降ステップに車体右外向き姿勢で取り付けられている。これにより、右超音波センサ88Aは、車体右外側の所定範囲が第3測定範囲Rm3に設定されている。図1~3に示すように、左超音波センサ88Bは、左側の前輪10と左側の後輪11との間に配置された左側の乗降ステップ24に車体左外向き姿勢で取り付けられている。これにより、左超音波センサ88Bは、車体左外側の所定範囲が第4測定範囲Rm4に設定されている。
図4、図8~10に示すように、各ライダー制御部86B,87Bは、各測定部86A,87Aの測定範囲Rm1,Rm2に対して車体情報などに基づくカット処理とマスキング処理とを施すことにより、前述した障害物候補を検出対象とする第1検出範囲Rd1と第2検出範囲Rd2とを設定している。各ライダー制御部86B,87Bは、カット処理においては、車載制御ユニット23との通信によってロータリ耕耘装置3を含む車体の最大左右幅(本実施形態ではロータリ耕耘装置3の左右幅)を取得し、この車体の最大左右幅に所定の安全帯域を加えることで障害物候補の検出対象幅Wdを設定している。そして、第1測定範囲Rm1及び第2測定範囲Rm2において、検出対象幅Wdから外れる左右の範囲をカット処理による第1非検出範囲Rnd1に設定して各検出範囲Rd1,Rd2から除外する。各ライダー制御部86B,87Bは、マスキング処理においては、第1測定範囲Rm1に対してトラクタ1の前端側が入り込む範囲、及び、第2測定範囲Rm2に対してロータリ耕耘装置3の後端側が入り込む範囲に所定の安全帯域を加えた範囲をマスキング処理による第2非検出範囲Rnd2に設定して各検出範囲Rd1,Rd2から除外する。これにより、各ライダーセンサ86,87による障害物候補の検出対象範囲が第1検出範囲Rd1と第2検出範囲Rd2とに制限されている。そして、この制限により、各ライダーセンサ86,87が、検出対象幅Wdから外れていてトラクタ1と衝突する虞のない障害物候補を検出することによる検出負荷の増大や、第1測定範囲Rm1又は第2測定範囲Rm2に入り込んでいるトラクタ1の前端側やロータリ耕耘装置3などのトラクタ1の後端側を障害物候補として誤検出する虞を回避している。
尚、図8に示す第2非検出範囲Rnd2は、左右の前輪10やボンネット15が存在する車体の前部側に適した非検出範囲の一例である。図9に示す第2非検出範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を作業高さまで下降させた作業状態に適した非検出範囲の一例である。図10に示す第2非検出範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を退避高さまで上昇させた非作業状態に適した非検出範囲の一例である。車体後部側の第2非検出範囲Rnd2は、ロータリ耕耘装置3の昇降に連動して適正に切り換わる。
第1検出範囲Rd1、第2検出範囲Rd2、第1非検出範囲Rnd1、及び、第2非検出範囲Rnd2に関する情報は、前述した距離画像に含まれており、前述した距離画像とともに情報統合処理部80Cに送信されている。
図4に示すように、各ライダーセンサ86,87の検出範囲Rd1,Rd2は、衝突予測時間が設定時間(例えば3秒)になる衝突判定処理に基づいて、停止制御範囲Rscと減速制御範囲Rdcと報知制御範囲Rncとに区画されている。停止制御範囲Rscは、各ライダーセンサ86,87から衝突判定処理の判定基準位置までの範囲に設定されている。減速制御範囲Rdcは、判定基準位置から減速開始位置までの範囲に設定されている。報知制御範囲Rncは、減速開始位置からライダーセンサ86,87の測定限界位置までの範囲に設定されている。各判定基準位置は、ロータリ耕耘装置3を含む車体の前端又は後端から車体前後方向に一定の離隔距離L(例えば2000mm)を置いた位置に設定されている。
画像処理装置85は、各カメラ81~84から順次送信される画像に対して画像処理を行う。尚、画像処理装置85には、圃場Aにて作業する作業者などの人物や他の作業車両、及び、圃場Aに既存の電柱や樹木などを障害物として認識するための学習処理が施されている。
以下、図11に示すフローチャートに基づいて、画像処理における画像処理装置85の処理手順について説明する。
画像処理装置85は、各カメラ81~84から順次送信される画像に対して、先ず、全カメラ81~84からの画像を合成してトラクタ1の全周囲画像(例えばサラウンドビュー)を生成する全周囲画像生成処理を行い(ステップ#1)、生成した全周囲画像や各カメラ81~84からの画像を、トラクタ側の表示制御部23Eや携帯通信端末側の表示制御部51Aに送信する画像送信処理を行う(ステップ#2)。これにより、全周囲画像生成部86Aが生成した全周囲画像やトラクタ1の走行方向の画像などを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50などにおいて表示することができる。そして、この表示により、トラクタ1の周囲の状況や走行方向の状況をユーザに視認させることができる。
次に、画像処理装置85は、各カメラ81~84から順次送信される画像(図14~16参照)に基づいて、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4においてトラクタ1の走行に影響を及ぼす障害物Oが存在するか否かを判別する障害物判別処理を行う(ステップ#3)。障害物Oが存在する場合は、障害物Oが存在する画像上での障害物Oの座標(図15に示す座標x、y)を求める座標算出処理を行い(ステップ#4)、求めた障害物Oの座標を、各カメラ81~84の搭載位置や搭載角度などに基づいて、車体座標原点を基準にした座標に変換する座標変換処理を行う(ステップ#5)。そして、その変換後の座標と予め設定した距離算出基準点とにわたる直線距離を、距離算出基準点から障害物Oまでの距離として求める距離算出処理を行い(ステップ#6)、変換後の座標と求めた障害物Oまでの距離とを障害物Oに関する情報として情報統合処理部80Cに送信する障害物情報送信処理を行う(ステップ#7)。その後、ステップ#1に戻る。一方、障害物Oが存在しない場合は、障害物Oが未検出であることを情報統合処理部80Cに送信する未検出送信処理を行い(ステップ#8)、その後、ステップ#1に戻る。
このように、各カメラ81~84の撮像範囲Ri1~Ri4のいずれかに障害物が存在する場合は、画像処理装置85が、障害物に関する情報を情報統合処理部80Cに送信することから、情報統合処理部80Cは、その障害物に関する情報を受け取ることにより、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4に障害物が存在することを把握することができるとともに、その障害物の位置及び障害物までの距離を取得することができる。又、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しない場合は、画像処理装置85が、障害物の未検出を情報統合処理部80Cに送信することから、情報統合処理部80Cは、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しないことを把握することができる。
上記の座標変換処理における車体座標原点、及び、距離算出処理における距離算出基準点は、各カメラ81~84の搭載位置に応じて設定されている。具体的には、図12に示すように、前カメラ81に対しては、その搭載位置に応じて車体座標原点O1と距離算出基準点Rp1とが設定されている。後カメラ82に対しては、その搭載位置に応じて車体座標原点O2と距離算出基準点Rp2とが設定されている。右カメラ83に対しては、その搭載位置に応じて車体座標原点O3と距離算出基準点Rp3とが設定されている。左カメラ84に対しては、その搭載位置に応じて車体座標原点O4と距離算出基準点Rp4とが設定されている。
これにより、画像処理装置85は、例えば、前カメラ81の第1撮像範囲Ri1において障害物が存在する場合は、障害物が存在する前カメラ81の画像上での障害物の座標を求め(座標算出処理)、求めた障害物の座標を、前カメラ81の搭載位置や搭載角度などに基づいて、図12に示す車体座標原点O1を基準にした座標(x、y)に変換し(座標変換処理)、変換後の座標(x、y)と距離算出基準点Rp1とにわたる直線距離を、距離算出基準点Rp1から障害物Oまでの距離Laとして求める(距離算出処理)。
尚、前述した車体座標原点O1~O4と距離算出基準点Rp1~Rp4と各カメラ81~84の搭載位置との関係は種々の設定変更が可能である。
画像処理装置85は、前述した障害物判別処理においては、各カメラ81~84から順次送信される画像に対して、毎秒数十コマ(例えば30コマ)の超高速で障害物の存否を判別する。画像処理装置85は、各カメラ81~84に対する障害物判別処理を時分割方式で行う。画像処理装置85は、時分割方式における各カメラ81~84に対する単位時間あたりの処理対象周期を、トラクタ1の走行方向と車速に応じて変更する。
これにより、画像処理装置85は、処理負荷の大きい各カメラ81~84からの画像に対する障害物判別処理を順次滞りなく速やかに行える。又、画像処理装置85は、トラクタ1の走行方向に応じて、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることが可能になる。よって、処理負荷を大きくすることなく、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができる。更に、画像処理装置85は、トラクタ1の車速が速くなるほど、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、かつ、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることが可能になる。よって、処理負荷を大きくすることなく、トラクタ1の車速が速くなるほど、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができる。その結果、障害物に対する衝突回避が行い易くなる。
尚、図7に示すように、画像処理装置85は、車速制御部23Bを介して、車速センサ22Aが検出するトラクタ1の車速を取得する。画像処理装置85は、車速制御部23Bを経由して得られるリバーサレバーの操作位置と、ステアリング制御部23Cを経由して得られる前輪10の操舵角とに基づいて、トラクタ1の走行方向を判別する。
情報統合処理部80Cは、測距精度は低いが物体の判別精度が高い撮像ユニット80Aからの情報と、物体の判別精度は低いが測距精度が高いアクティブセンサユニット80Bからの測定情報とに基づいて、撮像ユニット80A及びアクティブセンサユニット80Bによる障害物の検出状態を判定する検出状態判定制御を実行する。
以下、図13に示すフローチャート及び図14~21に基づいて、検出状態判定制御における情報統合処理部80Cの制御作動について説明する。尚、ここでは、撮像ユニット80Aからの情報とアクティブセンサユニット80Bからの測定情報とに基づいて、撮像ユニット80Aの前カメラ81及びアクティブセンサユニット80Bの前ライダーセンサ86による障害物の検出状態を判定する場合での情報統合処理部80Cの制御作動についてのみ説明する。そして、これ以外の、後カメラ82及び後ライダーセンサ87による障害物の検出状態、右カメラ83及び右超音波センサ88Aによる障害物の検出精度、及び、左カメラ84及び左超音波センサ88Bによる障害物の検出精度、を判定する場合における情報統合処理部80Cの制御作動も、前カメラ81及び前ライダーセンサ86による障害物の検出精度を判定する場合と同様であることから、これらの場合における情報統合処理部80Cの制御作動について説明は省略する。
情報統合処理部80Cは、撮像ユニット80Aからの情報に基づいて前カメラ81の画像から障害物Oが検出されているか否かを判定する第1判定処理を行う(ステップ#11、図14~16参照)。尚、図14には、前カメラ81の画像から障害物Oが検出されていない状態が例示されている。図15には、前カメラ81の画像から障害物(人物)Oが検出されている状態が例示されている。図16には、前カメラ81の画像から作物や草などに紛れた状態の障害物(人物)Oが検出されている状態が例示されている。
情報統合処理部80Cは、アクティブセンサユニット80Bからの測定情報に基づいて前ライダーセンサ86の距離画像に障害物候補Ocが含まれているか否かを判定する第2判定処理を行う(ステップ#12)。
情報統合処理部80Cは、第1判定処理にて前カメラ81の画像から障害物O(図15参照)が検出され、かつ、ステップ#2の第2判定処理にて前ライダーセンサ86の距離画像に障害物候補Oc(図18参照)が含まれている場合には、前述した障害物Oの位置と障害物候補Ocの位置とが一致しているか否かを判定する第3判定処理を行う(ステップ#13)。
情報統合処理部80Cは、障害物Oの位置と障害物候補Ocの位置とが一致している場合は、前カメラ81及び前ライダーセンサ86による障害物O(障害物候補Oc)の検出状態が、双方で同じ障害物O(障害物候補Oc)を適正に検出している適正検出状態であると認定する適正状態認定処理を行い(ステップ#14)、前カメラ81の画像から検出された障害物Oに前ライダーセンサ86が測定した障害物候補Ocの距離情報を適用した適正な障害物検出情報を出力する適正情報出力処理を行う(ステップ#15)。
情報統合処理部80Cは、障害物Oの位置と障害物候補Ocの位置とが一致していない場合は、障害物候補Ocの距離情報において、前カメラ81の画像における障害物Oの位置に対応する位置の測定値が有効か否かを判定する第4判定処理を行う(ステップ#16)。
情報統合処理部80Cは、第4判定処理にて前述した測定値が有効である場合は、前カメラ81及び前ライダーセンサ86による障害物O(障害物候補Oc)の検出状態が、前カメラ81の画像からは障害物Oが適正に検出され、かつ、前ライダーセンサ86による測定は適正に行われているが、例えば図19に示すように障害物(人物)の殆どが周囲の作物や草などに紛れていて、前ライダーセンサ86の距離画像からはその障害物を障害物候補Ocとして特定することができない準適正検出状態であると認定する準適正状態認定処理を行う(ステップ#17)。そして、情報統合処理部80Cは、前カメラ81の画像から検出された障害物O(図16参照)に、前カメラ81が示す障害物Oの位置に相当する測定対象物Om(図19にて四角の枠で囲まれた測定対象物(人物)Om)に対して前ライダーセンサ86が測定した距離情報を適用した障害物検出情報を出力する準適正情報出力処理を行う(ステップ#18)。これにより、準適正情報出力処理では、障害物Oの周辺に位置する測定対象物Omの距離情報を出力している。
情報統合処理部80Cは、第4判定処理にて前述した測定値が有効でない場合は、前カメラ81及び前ライダーセンサ86による障害物O(障害物候補Oc)の検出状態が、前カメラ81の画像からは障害物Oを適正に検出しているが、前ライダーセンサ86の距離画像においては、例えば図20に示すような前カメラ81が示す障害物Oの位置に相当する測定対象位置での埃や霧などの浮遊物の発生、又は、前ライダーセンサ86のセンサ表面での汚れの付着により、前カメラ81が示す障害物Oの位置に相当する測定対象物Omに対する測定値が無効になっていることから、前カメラ81による単独検出状態であると認定する単独検出状態認定処理を行う(ステップ#19)。そして、情報統合処理部80Cは、前カメラ81の画像から検出された障害物O(図16参照)に、前カメラ81の画像から算出した障害物Oに対する距離情報を適用した障害物検出情報を出力するカメラ情報出力処理を行う(ステップ#20)。
自動走行制御部23Fは、情報統合処理部80Cからの障害物検出情報に基づいて障害物との衝突を回避する衝突回避制御を実行する。具体的には、自動走行制御部23Fは、情報統合処理部80Cからの適正情報出力処理又は準適正情報出力処理による障害物検出情報を取得した場合は、衝突回避制御として第1衝突回避制御を実行する。自動走行制御部23Fは、情報統合処理部80Cからのカメラ情報出力処理による障害物検出情報を取得した場合は、衝突回避制御として、第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行する。
以下、図22に示すフローチャートに基づいて、第1衝突回避制御における自動走行制御部23Fの制御作動について説明する。尚、ここでは、前ライダーセンサ86の第1検出範囲Rd1に障害物が位置する場合を例示して説明する。
自動走行制御部23Fは、障害物検出情報に含まれた障害物との距離に基づいて、障害物が、図4に示す第1検出範囲Rd1のうちの報知制御範囲Rncに位置しているか否かを判定する第5判定処理と、減速制御範囲Rdcに位置しているか否かを判定する第6判定処理と、停止制御範囲Rscに位置しているか否かを判定する第7判定処理とを行う(ステップ#21~23)。ここで、障害物検出情報に含められた障害物との距離について、適正情報出力処理にて出力される障害物との距離は、前ライダーセンサ86が測定した障害物候補Ocの距離情報となっている。これに対し、準適正情報出力処理にて出力される障害物との距離は、前ライダーセンサ86が測定した障害物Oの周辺に位置する測定対象物Omの距離情報となっている。
自動走行制御部23Fは、第5判定処理にて第1検出範囲Rd1の報知制御範囲Rncに障害物が位置することを検知した場合は、報知制御範囲Rncに障害物が位置することを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50にて報知させるための報知指令を、車載制御ユニット23の表示制御部23Eと端末制御ユニット51の表示制御部51Aとに指令する第1報知指令処理を行う(ステップ#24)。これにより、トラクタ1に対する第1検出範囲Rd1の報知制御範囲Rncに障害物が位置することを、運転部12の搭乗者や車外の管理者などのユーザに知らせることができる。
自動走行制御部23Fは、第6判定処理にて第1検出範囲Rd1の減速制御範囲Rdcに障害物が位置することを検知した場合は、減速制御範囲Rdcに障害物が位置することを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50にて報知させるための報知指令を、車載制御ユニット23の表示制御部23Eと端末制御ユニット51の表示制御部51Aとに指令する第2報知指令処理を行う(ステップ#25)。又、自動走行制御部23Fは、減速制御範囲Rdcに位置する障害物がトラクタ1に近づくほどトラクタ1の車速を低下させるための減速指令を車速制御部23Bに指令する減速指令処理を行う(ステップ#26)。これにより、トラクタ1に対する第1検出範囲Rd1の減速制御範囲Rdcに障害物が位置することを、運転部12の搭乗者や車外の管理者などのユーザに知らせることができる。又、車速制御部23Bの制御作動により、トラクタ1が障害物に近づくに連れてトラクタ1の車速を適正に低下させることができる。
自動走行制御部23Fは、第7判定処理にて第1検出範囲Rd1の停止制御範囲Rscに障害物が位置することを検知した場合は、停止制御範囲Rscに障害物が位置することを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50にて報知させるための報知指令を、車載制御ユニット23の表示制御部23Eと端末制御ユニット51の表示制御部51Aとに指令する第3報知指令処理を行う(ステップ#27)。又、自動走行制御部23Fは、障害物が停止制御範囲Rscに位置する間にトラクタ1を減速停止させるための減速停止指令を車速制御部23Bに指令する減速停止指令処理を行う(ステップ#28)。これにより、トラクタ1に対する第1検出範囲Rd1の停止制御範囲Rscに障害物が位置することを、運転部12の搭乗者や車外の管理者などのユーザに知らせることができる。又、車速制御部23Bの制御作動により、障害物が停止制御範囲Rscに位置する間においてトラクタ1を減速停止させることができ、よって、トラクタ1が障害物に衝突する虞を回避することができる。
次に、第2衝突回避制御における自動走行制御部23Fの制御作動について説明すると、自動走行制御部23Fは、前述した第1衝突回避制御の場合よりも、前述した第1検出範囲Rd1の判定基準位置から減速制御範囲Rdcと停止制御範囲Rscとの境界までの距離、及び、判定基準位置から報知制御範囲Rncと減速制御範囲Rdcとの境界までの距離が長くなるように、減速制御範囲Rdc及び停止制御範囲Rscの前後長さを長くした状態で、第1衝突回避制御におけるステップ#21~28の制御処理と同じ制御処理を行う。これにより、第2衝突回避制御は、第1衝突回避制御よりも早いタイミングで障害物との衝突を回避するための衝突回避制御となっている。
これにより、自動走行制御部23Fは、アクティブセンサユニット80Bからの測定情報よりも測距精度が低い撮像ユニット80Aからの測定情報に基づいて障害物との衝突を回避する第2衝突回避制御においては、第1衝突回避制御よりも衝突回避率を高めた状態で障害物との衝突を回避する。その結果、測距精度が低い撮像ユニット80Aからの測定情報に基づく障害物との衝突回避を良好に行うことができる。
自動走行制御部23Fの自動走行制御には、各ライダーセンサ86,87のセンサ表面に汚れの付着を検知した場合に、トラクタ1の自動走行を停止させる汚れ付着判定処理が含まれている。
以下、図23に示すフローチャートに基づいて、汚れ(測定阻害物)付着判定処理における自動走行制御部23Fの制御作動について説明する。尚、ここでも、前ライダーセンサ86の場合を例示して説明する。
自動走行制御部23Fは、前ライダーセンサ86の測定範囲Rm1に対してライダーセンサ86からの測定情報に含まれている、汚れなどの測定阻害物に起因した無効値の占める割合が50%以上か否かを判定する第8判定処理を行う(ステップ#31)。
自動走行制御部23Fは、第8判定処理にて無効値の占める割合が50%以上である場合(事前に設定された汚れ付着判定用の所定条件を満たした場合)は、トラクタ1の車速を、トラクタ1の超低速走行状態を維持することが可能な超低速まで低下させるための超減速指令を車速制御部23Bに指令する超減速指令処理を行う(ステップ#32)。
自動走行制御部23Fは、第8判定処理にて無効値の占める割合が50%以上でない場合は、トラクタ1の車速を、現在の車速に維持するための車速維持指令を車速制御部23Bに指令する車速維持指令処理を行う(ステップ#33)。
自動走行制御部23Fは、超減速指令処理を行った後、トラクタ1の超低速走行状態が所定時間継続されたか否かを判定する第9判定処理を行う(ステップ#34)。そして、自動走行制御部23Fは、超低速走行状態が所定時間継続されるまでの間において前述した第8判定処理を行い(ステップ#35)、この第8判定処理にて無効値の占める割合が50%未満に低下した場合は、前ライダーセンサ86のセンサ表面に汚れが付着しているのではなく、前ライダーセンサ86の周辺にて埃や霧などの浮遊物が舞っていただけであると判定して、トラクタ1の車速を、超低速まで低下させる前の元の車速に復帰させるための車速復帰指令を車速制御部23Bに指令する車速復帰指令処理を行い(ステップ#36)、その後、ステップ#31に戻る。
自動走行制御部23Fは、超低速走行状態が所定時間継続された場合は、前ライダーセンサ86のセンサ表面に汚れが付着していると判定して、直ちにトラクタ1を走行停止させるための走行停止指令を車速制御部23Bに指令する走行停止指令処理を行う(ステップ#37)。
以上の構成により、自動走行制御部23Fの自動走行制御にてトラクタ1が自動走行している場合において、障害物検出ユニット80が、各カメラ81~84の情報から障害物を検出し、かつ、その障害物との離隔距離を前後のライダーセンサ86,87又はソナー88の情報から取得している場合は、自動走行制御部23Fが、前後のライダーセンサ86,87又はソナー88の情報から取得した障害物との離隔距離に基づいて、第1衝突回避制御を実行してトラクタ1と障害物との衝突を回避する。
つまり、障害物検出ユニット80は、物体判別精度の高い各カメラ81~84の情報から、作業地に存在する人物や樹木などを障害物として精度よく検出することができる。又、障害物検出ユニット80は、その検出した人物や樹木などの障害物との離隔距離を測距精度の高い前後のライダーセンサ86,87又はソナー88の情報から高い精度で取得することができる。これにより、障害物検出ユニット80は前述した適正検出状態となる。そして、自動走行制御部23Fは、前後のライダーセンサ86,87又はソナー88の情報から取得した精度の高い人物や樹木などの障害物との離隔距離に基づいて、それらの障害物にトラクタ1が衝突する虞を精度よく回避することができる。
その結果、障害物を精度良く検出することができる上に、トラクタ1が不必要な衝突回避動作を行うことなく障害物との衝突を精度よく回避させることができる。
又、障害物検出ユニット80が、各カメラ81~84の情報から障害物を検出しているのに対し、その障害物との離隔距離を前後のライダーセンサ86,87又はソナー88から取得することができない場合(前述した単独検出状態)は、自動走行制御部23Fが、各カメラ81~84の情報から取得した障害物との離隔距離に基づいて、第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行する。
これにより、自動走行制御部23Fは、例えば各ライダーセンサ86,87などのセンサ表面に汚れなどの測定阻害物が付着することや、各ライダーセンサ86,87などの周辺にて埃や塵埃などの測定阻害物が舞い上がることに起因して、障害物との離隔距離を各ライダーセンサ86,87などの情報から取得することができない場合であっても、各カメラ81~84の情報から取得する障害物との離隔距離に基づいて、トラクタ1が障害物に衝突する虞を回避することができる。
又、各カメラ81~84の情報から取得する障害物との離隔距離は、各ライダーセンサ86,87又はソナー88の情報から取得する障害物との離隔距離よりも精度が低いことから、自動走行制御部23Fは、第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行することで、測距精度の低下を補いながら、トラクタ1が障害物に衝突する虞を好適に回避することができる。
更に、障害物検出ユニット80が、各カメラ81~84の情報から障害物を検出しているのに対し、各ライダーセンサ86,87又はソナー88の情報からは障害物との離隔距離を取得することができずに、障害物周辺との離隔距離を取得している場合(前述した準適正検出状態)は、自動走行制御部23Fが、障害物検出ユニット80が取得した前記障害物周辺との離隔距離に基づいて第1衝突回避制御を実行する。
これにより、自動走行制御部23Fは、例えば各カメラ81~84の情報から検出した障害物が周辺の草などに紛れていることなどに起因して、その障害物との距離を各ライダーセンサ86,87又はソナー88が測定することができずに、その障害物の周辺に位置する草などの測定対象物との距離を測定している場合には、その障害物との離隔距離に略等しい障害物周辺の測定対象物との離隔距離に基づいて、トラクタ1が障害物に衝突する虞を回避することができる。その結果、トラクタ1が障害物に衝突する虞を比較的高い精度で回避することができる。
その上、自動走行制御部23Fは、各ライダーセンサ86,87などのセンサ表面に対する汚れなどの測定阻害物の付着率(汚れなどの測定阻害物に起因した無効値の占める割合)が所定条件(50%以上)を満たした場合に、前記トラクタ1の車速を超低速状態まで低下させた超低速走行状態を所定時間継続する。そして、自動走行制御部23Fは、所定時間が経過するまでの間に付着率が所定条件を満たさなくなった場合は、トラクタ1の車速を超低速状態から元の車速に復帰させ、又、所定時間が経過するまでの間、付着率が所定条件を満たし続けた場合は、トラクタ1の自動走行を停止させる。
これにより、単に、各ライダーセンサ86,87又はソナー88のセンサ表面に対する測定阻害物の付着率が所定条件を満たした場合にトラクタ1の自動走行を停止させるのではなく、付着率が所定条件を満たした状態が所定時間継続される条件を付加することで、所定条件を満たしている測定阻害物が、センサ表面に対する汚れなどの付着物か、各ライダーセンサ86,87又はソナー88の周辺にて舞い上がっている埃や塵埃などの浮遊物かを判定することができ、その判定結果に応じてトラクタ1の走行を制御することができる。
しかも、付着率が所定条件を満たしてから所定時間が経過するまでの間は、トラクタ1を超低速走行状態で走行させることから、単に低速走行状態で走行させる場合に比較して、付着率が所定条件を満たしてからの所定時間、つまり、付着物か否かの判定時間を長くすることができる。これにより、所定条件を満たしている測定阻害物が埃や塵埃などの浮遊物である場合に、トラクタ1が停止する不都合の発生を抑制することができる。
又、トラクタ1を超低速走行状態で走行させることで、付着物か否かの判定中にトラクタ1が障害物に衝突する不都合の発生を抑制することができる。
〔別実施形態〕
本発明の別実施形態について説明する。尚、以下に説明する各別実施形態の構成は、それぞれ単独で適用することに限らず、他の別実施形態の構成と組み合わせて適用することも可能である。
本発明の別実施形態について説明する。尚、以下に説明する各別実施形態の構成は、それぞれ単独で適用することに限らず、他の別実施形態の構成と組み合わせて適用することも可能である。
(1)作業車両の構成は種々の変更が可能である。例えば、作業車両は、左右の後輪11に代えて左右のクローラを備えるセミクローラ仕様に構成されていてもよい。例えば、作業車両は、左右の前輪10及び左右の後輪11に代えて左右のクローラを備えるフルクローラ仕様に構成されていてもよい。例えば、作業車両は、エンジン14の代わりに電動モータを備える電動仕様に構成されていてもよい。例えば、作業車両は、エンジン14と走行用の電動モータとを備えるハイブリッド仕様に構成されていてもよい。
(2)アクティブセンサ86~88として、ライダーセンサ86,87やソナー88に代
えて、レーダーセンサを採用してもよい。又、全てのアクティブセンサ86~88にライダーセンサを採用してもよい。
えて、レーダーセンサを採用してもよい。又、全てのアクティブセンサ86~88にライダーセンサを採用してもよい。
(3)アクティブセンサ86~88は、それらの測定範囲Rm1~Rm4において画像処理装置85にて障害物が検出された場合に、障害物までの距離を測定するように構成されていてもよい。この構成によると、アクティブセンサ86~88は、それらの測定範囲Rm1~Rm4での測定を常時行う必要がなく、それらの測定範囲Rm1~Rm4において画像処理装置85にて障害物が検知された場合にのみ、障害物までの距離を測定することから、測距に要する負荷の軽減を図りながら、障害物に対する測距の精度を高くすることができる。
(4)撮像部81~84には、ステレオカメラなどを採用してもよい。又、撮像部81~84として、前述した前カメラ81、後カメラ82、右カメラ83、左カメラ84に加えて、前カメラ81と画角の異なる前カメラを備えるようにしてもよい。
[発明の付記]
本発明の第1特徴構成は、作業車両用の自動走行システムにおいて、
障害物を検出する障害物検出ユニットが備えられた作業車両を自動走行させる自動走行制御部を有し、
前記障害物検出ユニットには、前記作業車両から所定方向の設定範囲を撮像する撮像部と、前記作業車両から前記撮像部と同じ所定方向の設定範囲を測定対象とするアクティブセンサとが含まれており、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出し、かつ、当該障害物との離隔距離を前記アクティブセンサの情報から取得している場合は、前記自動走行制御部が、前記アクティブセンサの情報から取得した前記障害物との離隔距離に基づいて、前記作業車両と前記障害物との衝突を回避する第1衝突回避制御を実行する点にある。
本発明の第1特徴構成は、作業車両用の自動走行システムにおいて、
障害物を検出する障害物検出ユニットが備えられた作業車両を自動走行させる自動走行制御部を有し、
前記障害物検出ユニットには、前記作業車両から所定方向の設定範囲を撮像する撮像部と、前記作業車両から前記撮像部と同じ所定方向の設定範囲を測定対象とするアクティブセンサとが含まれており、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出し、かつ、当該障害物との離隔距離を前記アクティブセンサの情報から取得している場合は、前記自動走行制御部が、前記アクティブセンサの情報から取得した前記障害物との離隔距離に基づいて、前記作業車両と前記障害物との衝突を回避する第1衝突回避制御を実行する点にある。
本構成によれば、障害物検出ユニットは、物体判別精度の高い撮像部の情報から、作業地に存在する人物や樹木などを障害物として精度よく検出することができる。又、障害物検出ユニットは、その検出した人物や樹木などの障害物との離隔距離を測距精度の高いアクティブセンサの情報から高い精度で取得することができる。そして、自動走行制御部は、アクティブセンサの情報から取得した精度の高い人物や樹木などの障害物との離隔距離に基づいて、それらの障害物に作業車両が衝突する虞を精度よく回避することができる。
その結果、障害物を精度良く検出することができ、作業車両が不必要な衝突回避動作を行うことなく障害物との衝突を回避させることができる作業車両用の自動走行システムを提供することができる。
本発明の第2特徴構成は、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、当該障害物との離隔距離を前記アクティブセンサの情報から取得することができない場合は、前記自動走行制御部が、前記撮像部の情報から取得した前記障害物との離隔距離に基づいて、前記第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行する点にある。
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、当該障害物との離隔距離を前記アクティブセンサの情報から取得することができない場合は、前記自動走行制御部が、前記撮像部の情報から取得した前記障害物との離隔距離に基づいて、前記第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行する点にある。
本構成によれば、自動走行制御部は、例えばアクティブセンサのセンサ表面に汚れなどの測定阻害物が付着することや、アクティブセンサの周辺にて埃や塵埃などの測定阻害物が舞い上がることに起因して、障害物との離隔距離をアクティブセンサの情報から取得することができない場合であっても、撮像部の情報から取得する障害物との離隔距離に基づいて、作業車両が障害物に衝突する虞を回避することができる。
又、撮像部の情報から取得する障害物との離隔距離は、アクティブセンサの情報から取得する障害物との離隔距離よりも精度が低いことから、自動走行制御部は、第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行することで、測距精度の低下を補いながら、作業車両が障害物に衝突する虞を好適に回避することができる。
尚、衝突回避率は、例えば、作業車両が減速又は停止を開始する障害物との離隔距離を長くする、あるいは、衝突回避時の車速を低くする、などの手立てを講じることで高くすることができる。
本発明の第3特徴構成は、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、前記アクティブセンサの情報からは前記障害物との離隔距離を取得することができずに、前記障害物周辺との離隔距離を取得している場合は、前記自動走行制御部が、前記アクティブセンサが取得した前記障害物周辺との離隔距離に基づいて前記第1衝突回避制御を実行する点にある。
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、前記アクティブセンサの情報からは前記障害物との離隔距離を取得することができずに、前記障害物周辺との離隔距離を取得している場合は、前記自動走行制御部が、前記アクティブセンサが取得した前記障害物周辺との離隔距離に基づいて前記第1衝突回避制御を実行する点にある。
本構成によれば、自動走行制御部は、例えば撮像部の情報から検出した障害物が周辺の草などに紛れていることなどに起因して、その障害物との距離をアクティブセンサが測定することができずに、その障害物の周辺に位置する草などの測定対象物との距離を測定している場合には、その障害物との離隔距離に略等しい障害物周辺の測定対象物との離隔距離に基づいて、作業車両が障害物に衝突する虞を回避することができる。これにより、作業車両が障害物に衝突する虞を比較的高い精度で回避することができる。
本発明の第4特徴構成は、
前記自動走行制御部は、前記アクティブセンサに対する測定阻害物の付着率が所定条件を満たした場合に、前記作業車両の車速を超低速状態まで低下させた超低速走行状態を所定時間継続し、所定時間が経過するまでの間に前記付着率が前記所定条件を満たさなくなった場合は、前記作業車両の車速を超低速状態から元の車速に復帰させ、一方、所定時間が経過するまでの間、前記付着率が前記所定条件を満たし続けた場合は、前記作業車両の自動走行を停止させる点にある。
前記自動走行制御部は、前記アクティブセンサに対する測定阻害物の付着率が所定条件を満たした場合に、前記作業車両の車速を超低速状態まで低下させた超低速走行状態を所定時間継続し、所定時間が経過するまでの間に前記付着率が前記所定条件を満たさなくなった場合は、前記作業車両の車速を超低速状態から元の車速に復帰させ、一方、所定時間が経過するまでの間、前記付着率が前記所定条件を満たし続けた場合は、前記作業車両の自動走行を停止させる点にある。
本構成によれば、単に、アクティブセンサに対する測定阻害物の付着率が所定条件を満たした場合に作業車両の自動走行を停止させるのではなく、付着率が所定条件を満たした状態が所定時間継続される条件を付加することで、所定条件を満たしている測定阻害物が、アクティブセンサに対する汚れなどの付着物か、アクティブセンサの周辺にて舞い上がっている埃や塵埃などの浮遊物かを判定することができ、その判定結果に応じて、作業車両の走行を制御することができる。
しかも、付着率が所定条件を満たしてから所定時間が経過するまでの間は、作業車両を超低速走行状態で走行させることから、単に低速走行状態で走行させる場合に比較して、付着率が所定条件を満たしてからの所定時間、つまり、付着物か否かの判定時間を長くすることができる。これにより、所定条件を満たしている測定阻害物が埃や塵埃などの浮遊物である場合に、作業車両が停止する不都合の発生を抑制することができる。
又、作業車両を超低速走行状態で走行させることで、付着物か否かの判定中に作業車両が障害物に衝突する不都合の発生を抑制することができる。
Claims (4)
- 障害物を検出する障害物検出ユニットが備えられた作業車両を自動走行させる自動走行制御部を有し、
前記障害物検出ユニットには、前記作業車両から所定方向の設定範囲を撮像する撮像部と、前記作業車両から前記撮像部と同じ所定方向の設定範囲を測定対象とするアクティブセンサとが含まれており、
前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出し、かつ、当該障害物との離隔距離を前記アクティブセンサの情報から取得している場合は、前記自動走行制御部が、前記アクティブセンサの情報から取得した前記障害物との離隔距離に基づいて、前記作業車両と前記障害物との衝突を回避する第1衝突回避制御を実行する作業車両用の自動走行システム。 - 前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、当該障害物との離隔距離を前記アクティブセンサの情報から取得することができない場合は、前記自動走行制御部が、前記撮像部の情報から取得した前記障害物との離隔距離に基づいて、前記第1衝突回避制御よりも衝突回避率の高い第2衝突回避制御を実行する請求項1に記載の作業車両用の自動走行システム。
- 前記障害物検出ユニットが、前記撮像部の情報から前記障害物を検出しているのに対し、前記アクティブセンサの情報からは前記障害物との離隔距離を取得することができずに、前記障害物周辺との離隔距離を取得している場合は、前記自動走行制御部が、前記アクティブセンサが取得した前記障害物周辺との離隔距離に基づいて前記第1衝突回避制御を実行する請求項1又2に記載の作業車両用の自動走行システム。
- 前記自動走行制御部は、前記アクティブセンサに対する測定阻害物の付着率が所定条件を満たした場合に、前記作業車両の車速を超低速状態まで低下させた超低速走行状態を所定時間継続し、所定時間が経過するまでの間に前記付着率が前記所定条件を満たさなくなった場合は、前記作業車両の車速を超低速状態から元の車速に復帰させ、一方、所定時間が経過するまでの間、前記付着率が前記所定条件を満たし続けた場合は、前記作業車両の自動走行を停止させる請求項1~3のいずれか一項に記載の作業車両用の自動走行システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/625,810 US20230221728A1 (en) | 2019-07-10 | 2020-07-09 | Automatic Travel System for Work Vehicle |
KR1020217035910A KR20220031542A (ko) | 2019-07-10 | 2020-07-09 | 작업 차량용 자동 주행 시스템 |
EP20837622.8A EP3997973A4 (en) | 2019-07-10 | 2020-07-09 | AUTOMATIC TRAVEL SYSTEM FOR WORK VEHICLE |
CN202080049400.5A CN114080578A (zh) | 2019-07-10 | 2020-07-09 | 作业车辆用的自动行驶*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019128308A JP7349277B2 (ja) | 2019-07-10 | 2019-07-10 | 作業車両用の自動走行システム |
JP2019-128308 | 2019-07-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021006322A1 true WO2021006322A1 (ja) | 2021-01-14 |
Family
ID=74114530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/026932 WO2021006322A1 (ja) | 2019-07-10 | 2020-07-09 | 作業車両用の自動走行システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230221728A1 (ja) |
EP (1) | EP3997973A4 (ja) |
JP (1) | JP7349277B2 (ja) |
KR (1) | KR20220031542A (ja) |
CN (1) | CN114080578A (ja) |
WO (1) | WO2021006322A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10795351B2 (en) * | 2016-07-19 | 2020-10-06 | Raven Industries, Inc. | System and method for autonomous control of agricultural machinery and equipment |
JP7179116B2 (ja) * | 2021-04-14 | 2022-11-28 | 日立建機株式会社 | 運搬車両及び運搬システム |
US20230102940A1 (en) * | 2021-09-30 | 2023-03-30 | Zimeno, Inc. Dba Monarch Tractor | Obstruction avoidance |
WO2023119996A1 (ja) * | 2021-12-24 | 2023-06-29 | 株式会社クボタ | 障害物検出システム、農業機械および障害物検出方法 |
GB202214262D0 (en) * | 2022-09-29 | 2022-11-16 | Agco Int Gmbh | Defining alert zones for agricultural vehicle |
KR102572851B1 (ko) * | 2023-04-04 | 2023-08-31 | 주식회사 클로봇 | 목적지까지 이동하는 이동 로봇 장치 및 그의 동작 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100066587A1 (en) * | 2006-07-14 | 2010-03-18 | Brian Masao Yamauchi | Method and System for Controlling a Remote Vehicle |
JP2010097360A (ja) * | 2008-10-15 | 2010-04-30 | Ihi Corp | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 |
US20120083982A1 (en) * | 2010-10-05 | 2012-04-05 | Zachary Thomas Bonefas | System and method for governing a speed of an autonomous vehicle |
WO2012169361A1 (ja) | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
JP2015094994A (ja) * | 2013-11-08 | 2015-05-18 | 日立建機株式会社 | 鉱山用運搬車両 |
JP2016028311A (ja) * | 2014-07-10 | 2016-02-25 | 株式会社リコー | ロボット、プログラム、及び記憶媒体 |
JP2018120421A (ja) * | 2017-01-25 | 2018-08-02 | シャープ株式会社 | 走行装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4352034B2 (ja) | 2005-09-13 | 2009-10-28 | 株式会社東芝 | 物***置検出装置、地図作成装置、自律移動装置、物***置検出方法および物***置検出プログラム |
JP6385745B2 (ja) | 2014-07-22 | 2018-09-05 | 日立建機株式会社 | 鉱山用作業車両 |
JP2017156177A (ja) | 2016-02-29 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 障害物検出装置および障害物検出方法 |
US11449059B2 (en) * | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10794992B2 (en) * | 2017-07-18 | 2020-10-06 | Veoneer Us, Inc. | Apparatus and method for detecting and correcting for blockage of an automotive radar sensor |
US11163309B2 (en) * | 2017-11-30 | 2021-11-02 | Direct Current Capital LLC | Method for autonomous navigation |
-
2019
- 2019-07-10 JP JP2019128308A patent/JP7349277B2/ja active Active
-
2020
- 2020-07-09 CN CN202080049400.5A patent/CN114080578A/zh active Pending
- 2020-07-09 US US17/625,810 patent/US20230221728A1/en active Pending
- 2020-07-09 KR KR1020217035910A patent/KR20220031542A/ko active Search and Examination
- 2020-07-09 WO PCT/JP2020/026932 patent/WO2021006322A1/ja unknown
- 2020-07-09 EP EP20837622.8A patent/EP3997973A4/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100066587A1 (en) * | 2006-07-14 | 2010-03-18 | Brian Masao Yamauchi | Method and System for Controlling a Remote Vehicle |
JP2010097360A (ja) * | 2008-10-15 | 2010-04-30 | Ihi Corp | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 |
US20120083982A1 (en) * | 2010-10-05 | 2012-04-05 | Zachary Thomas Bonefas | System and method for governing a speed of an autonomous vehicle |
WO2012169361A1 (ja) | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
JP2015094994A (ja) * | 2013-11-08 | 2015-05-18 | 日立建機株式会社 | 鉱山用運搬車両 |
JP2016028311A (ja) * | 2014-07-10 | 2016-02-25 | 株式会社リコー | ロボット、プログラム、及び記憶媒体 |
JP2018120421A (ja) * | 2017-01-25 | 2018-08-02 | シャープ株式会社 | 走行装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230221728A1 (en) | 2023-07-13 |
CN114080578A (zh) | 2022-02-22 |
EP3997973A4 (en) | 2023-07-05 |
KR20220031542A (ko) | 2022-03-11 |
JP2021015340A (ja) | 2021-02-12 |
JP7349277B2 (ja) | 2023-09-22 |
EP3997973A1 (en) | 2022-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7044694B2 (ja) | 作業車両用の障害物検知システム | |
WO2021006322A1 (ja) | 作業車両用の自動走行システム | |
JP7356829B2 (ja) | 自動走行システム | |
JP7402608B2 (ja) | 作業車両用の衝突回避システム | |
WO2021025108A1 (ja) | 作業車両用の自動走行システム | |
WO2021075315A1 (ja) | 障害物検知システム | |
US20210018617A1 (en) | Obstacle Detection System for Work Vehicle | |
JP2019175059A (ja) | 作業車両の走行制御システム | |
WO2019187938A1 (ja) | 作業車両の走行制御システム | |
WO2021010297A1 (ja) | 自動走行システム | |
JP2022188155A (ja) | 作業車両用の自動走行システム | |
JP7059221B2 (ja) | 作業車両用の制御システム | |
JP7317165B2 (ja) | 作業車両用の障害物検知システム | |
WO2021085053A1 (ja) | 作業支援システム | |
JP2019175318A (ja) | 作業車両の走行制御システム | |
JP2022028333A (ja) | 作業車両用の自動走行ユニット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20837622 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020837622 Country of ref document: EP Effective date: 20220210 |