WO2022118771A1 - 自動走行システム、自動走行方法、及び自動走行プログラム - Google Patents

自動走行システム、自動走行方法、及び自動走行プログラム Download PDF

Info

Publication number
WO2022118771A1
WO2022118771A1 PCT/JP2021/043530 JP2021043530W WO2022118771A1 WO 2022118771 A1 WO2022118771 A1 WO 2022118771A1 JP 2021043530 W JP2021043530 W JP 2021043530W WO 2022118771 A1 WO2022118771 A1 WO 2022118771A1
Authority
WO
WIPO (PCT)
Prior art keywords
work vehicle
running
processing unit
automatic
travel
Prior art date
Application number
PCT/JP2021/043530
Other languages
English (en)
French (fr)
Inventor
卓也 岩瀬
Original Assignee
ヤンマーホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマーホールディングス株式会社 filed Critical ヤンマーホールディングス株式会社
Priority to US18/039,716 priority Critical patent/US20240103527A1/en
Priority to CN202180078686.4A priority patent/CN116583804A/zh
Priority to KR1020237015012A priority patent/KR20230116774A/ko
Priority to EP21900524.6A priority patent/EP4256926A1/en
Publication of WO2022118771A1 publication Critical patent/WO2022118771A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/15Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/20Land use
    • G05D2107/21Farming, e.g. fields, pastures or barns
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals

Definitions

  • the present invention relates to an automatic driving system for automatically driving a work vehicle, an automatic driving method, and an automatic driving program.
  • the work vehicle has a function to stop the automatic driving when an obstacle is detected while the vehicle is automatically traveling along the preset traveling route in the field.
  • a normal mode in which the operator of the work vehicle stops the automatic running of the work vehicle when the work vehicle detects an obstacle
  • a release mode in which the work vehicle continues to run even if the work vehicle detects an obstacle.
  • An object of the present invention is to provide an automatic driving system, an automatic driving method, and an automatic driving program capable of preventing a decrease in work efficiency while ensuring the safety of a work vehicle.
  • the automatic driving system includes an acquisition processing unit, a detection processing unit, a reception processing unit, and a traveling processing unit.
  • the acquisition processing unit acquires an captured image from an image pickup unit installed in a work vehicle.
  • the detection processing unit detects an obstacle based on the captured image acquired by the acquisition processing unit.
  • the reception processing unit receives a travel stop instruction for stopping the automatic traveling of the work vehicle or a travel continuation instruction for continuing the automatic traveling.
  • the travel processing unit stops the automatic travel of the work vehicle when the reception processing unit receives the travel stop instruction, and the automatic travel of the work vehicle when the reception processing unit receives the travel continuation instruction. To continue.
  • one or a plurality of processors acquire an image captured from an image pickup unit installed in a work vehicle, detect an obstacle based on the acquired image, and the above-mentioned. When an obstacle is detected, it receives a running stop instruction to stop the automatic running of the work vehicle or a running continuation instruction to continue the automatic running, and when the running stop instruction is received, the automatic running of the work vehicle is received. Is a method of stopping the automatic running of the work vehicle and continuing the automatic running of the work vehicle when the running continuation instruction is received.
  • the automatic driving program acquires an image captured from an image pickup unit installed in a work vehicle, detects an obstacle based on the acquired image, and when the obstacle is detected. In addition, it receives a running stop instruction for stopping the automatic running of the work vehicle or a running continuation instruction for continuing the automatic running, and when the running stop instruction is received, the automatic running of the work vehicle is stopped and the running is continued. It is a program for causing one or more processors to continue the automatic running of the work vehicle when an instruction is received.
  • an automatic driving system capable of preventing a decrease in work efficiency while ensuring the safety of a work vehicle.
  • FIG. 1 is a block diagram showing a configuration of an automated driving system according to an embodiment of the present invention.
  • FIG. 2 is an external view showing an example of a work vehicle according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a traveling path of a work vehicle according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing the positions of cameras installed in the work vehicle according to the embodiment of the present invention.
  • FIG. 5A is a diagram showing an example of a camera layout setting screen displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 5B is a diagram showing an example of a camera layout setting screen displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 5A is a diagram showing an example of a camera layout setting screen displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 5B is a diagram showing an example of a camera layout setting screen displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 6A is a diagram showing an example of a camera image displayed on an operation terminal according to an embodiment of the present invention.
  • FIG. 6B is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 7A is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 7B is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 8A is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 8B is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 8A is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 8B is a diagram showing an example of a camera image displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of a travel selection screen displayed on the operation terminal according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing an example of a procedure of automatic driving processing executed by the automatic driving system according to the embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of a travel selection screen displayed on the operation terminal according to the embodiment of the present invention.
  • the automatic traveling system 1 includes a work vehicle 10 and an operation terminal 20.
  • the work vehicle 10 and the operation terminal 20 can communicate with each other via the communication network N1.
  • the work vehicle 10 and the operation terminal 20 can communicate via a mobile phone line network, a packet line network, or a wireless LAN.
  • the work vehicle 10 is a tractor
  • the work vehicle 10 may be a rice transplanter, a combine harvester, a construction machine, a snowplow, or the like.
  • the work vehicle 10 is a so-called robot tractor having a configuration capable of automatically traveling (autonomous traveling) along a preset travel path R in a field F (see FIG. 3).
  • the work vehicle 10 can automatically travel along the travel path R generated in advance with respect to the field F based on the position information of the current position of the work vehicle 10 calculated by the positioning device 17. ..
  • the work vehicle 10 reciprocates in parallel from the work start position S to the work end position G in the work area of the field F shown in FIG.
  • the outer peripheral side of the field F is, for example, a headland area, and the work vehicle 10 makes a turning run.
  • the travel route R is not limited to the route shown in FIG. 3, and is appropriately set according to the work content.
  • the work vehicle 10 includes a vehicle control device 11, a storage unit 12, a traveling device 13, a working machine 14, a camera 15, a communication unit 16, a positioning device 17, a detection processing device 19, and the like. Be prepared.
  • the vehicle control device 11 is electrically connected to a storage unit 12, a traveling device 13, a working machine 14, a positioning device 17, a detection processing device 19, and the like.
  • the vehicle control device 11 and the positioning device 17 may be capable of wireless communication.
  • the camera 15 is electrically connected to the detection processing device 19.
  • the storage unit 12 is a non-volatile storage unit such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that stores various types of information.
  • the storage unit 12 stores a control program such as an automatic driving program for causing the vehicle control device 11 to execute the automatic driving process (see FIG. 10) described later.
  • the automatic traveling program is non-temporarily recorded on a computer-readable recording medium such as a CD or DVD, is read by a predetermined reading device (not shown), and is stored in the storage unit 12.
  • the automatic traveling program may be downloaded from the server (not shown) to the work vehicle 10 via the communication network N1 and stored in the storage unit 12.
  • the storage unit 12 stores data of the traveling route R generated by the operation terminal 20, determination data for determining an obstacle, and the like.
  • the determination data is data for determining a human being, which is an example of an obstacle, and is, for example, data showing human characteristics, data showing an image (sample image) showing a part or the whole of a human, and the like.
  • the determination data may be stored in the detection processing device 19.
  • the storage unit 12 may store work information (turning mode, work order, etc.).
  • the obstacle of the present invention is an object that hinders the running of the work vehicle 10, and is, for example, a human being, an animal, a device (another work vehicle, or the like).
  • the traveling device 13 is a driving unit for traveling the work vehicle 10. As shown in FIG. 2, the traveling device 13 includes an engine 131, front wheels 132, rear wheels 133, a transmission 134, a front axle 135, a rear axle 136, a handle 137, and the like. The front wheels 132 and the rear wheels 133 are provided on the left and right sides of the work vehicle 10, respectively. Further, the traveling device 13 is not limited to the wheel type provided with the front wheels 132 and the rear wheels 133, and may be a crawler type provided with crawlers provided on the left and right sides of the work vehicle 10.
  • the engine 131 is a drive source such as a diesel engine or a gasoline engine that is driven by using fuel supplied to a fuel tank (not shown).
  • the traveling device 13 may include an electric motor as a drive source together with the engine 131 or in place of the engine 131.
  • a generator (not shown) is connected to the engine 131, and electric power is supplied from the generator to electric parts such as a vehicle control device 11 provided on the work vehicle 10 and a battery.
  • the battery is charged by the electric power supplied from the generator.
  • the electric parts such as the vehicle control device 11 and the positioning device 17 provided in the work vehicle 10 can be driven by the electric power supplied from the battery even after the engine 131 is stopped.
  • the driving force of the engine 131 is transmitted to the front wheels 132 via the transmission 134 and the front axle 135, and is transmitted to the rear wheels 133 via the transmission 134 and the rear axle 136. Further, the driving force of the engine 131 is also transmitted to the working machine 14 via the PTO shaft (not shown).
  • the traveling device 13 performs the traveling operation according to the command of the vehicle control device 11.
  • the working machine 14 is, for example, a mower, a tiller, a plow, a fertilizer applicator, a sowing machine, or the like, and can be attached to and detached from the working vehicle 10. As a result, the work vehicle 10 can perform various operations using each of the work machines 14. In the present embodiment, the case where the working machine 14 is a mower will be described as an example.
  • the work machine 14 is mounted at an offset to the left or right side with respect to the work vehicle 10.
  • the work vehicle 10 is offset to one of the left and right sides, and a directly mounted work machine 14 is attached to the work vehicle 10 to run in the field to perform mowing work and the like.
  • the work machine 14 is not limited to the directly mounted work machine (see FIG. 2) fixed to the work vehicle 10, and may be a tow type work machine towed by the work vehicle 10.
  • the camera 15 is a digital camera that captures an image of a subject and outputs it as digital image data.
  • the camera 15 continuously captures a subject at a predetermined frame rate, generates a frame image having a predetermined resolution, and sequentially transmits the frame image to the detection processing device 19.
  • the camera 15 is an example of the imaging unit of the present invention.
  • a camera 15F (hereinafter, also referred to as “camera 1”) is installed at the front of the work vehicle 10, and a camera 15B (hereinafter, also referred to as “camera 2”) is installed at the rear of the work vehicle 10.
  • a camera 15R (hereinafter also referred to as “camera 3”) is installed on the right side of the work vehicle 10, and a camera 15L (hereinafter also referred to as “camera 4”) is installed on the left side of the work vehicle 10.
  • the camera 15C (hereinafter, also referred to as “camera 5”) is installed on the right front side of the working machine 14.
  • the camera 15 may be installed on the work vehicle 10 with, for example, double-sided tape.
  • each camera 15 is set with a predetermined imaging range (detection area) in which imaging is possible.
  • the camera 15F captures the detection area K1 in front of the work vehicle 10
  • the camera 15B captures the detection area K2 behind the work vehicle 10
  • the camera 15R captures the detection area K3 on the right side of the work vehicle 10.
  • the camera 15L captures the detection area K4 on the left side of the work vehicle 10
  • the camera 15C captures the detection area K5 on the right front side of the work machine 14.
  • Each camera 15 captures each detection area at a predetermined frame rate, and sequentially transmits the captured images to the detection processing device 19.
  • the detection processing device 19 transmits the captured image and the detection result (determination result) described later to the vehicle control device 11 and the operation terminal 20.
  • the detection processing device 19 can communicate with the camera 15 by electrically connecting the camera 15 to the work vehicle 10.
  • the detection processing device 19 acquires the number of cameras 15 and the identification information (device information) of each camera 15. Further, the detection processing device 19 outputs the acquired number information and identification information of the cameras 15 to the vehicle control device 11, and the vehicle control device 11 outputs the number information and identification information to the operation terminal 20.
  • the operator can add a camera 15 or change the installation position.
  • the steering wheel 137 is an operation unit operated by an operator or a vehicle control device 11.
  • the angle of the front wheels 132 is changed by a hydraulic power steering mechanism (not shown) or the like in response to the operation of the steering wheel 137 by the vehicle control device 11, and the traveling direction of the work vehicle 10 is changed.
  • the traveling device 13 includes a shift lever (not shown), an accelerator, a brake, and the like operated by the vehicle control device 11. Then, in the traveling device 13, the gear of the transmission 134 is switched to a forward gear, a back gear, or the like in response to the operation of the shift lever by the vehicle control device 11, and the traveling mode of the work vehicle 10 is switched to forward or reverse. .. Further, the vehicle control device 11 operates the accelerator to control the rotation speed of the engine 131. Further, the vehicle control device 11 operates the brake and uses an electromagnetic brake to brake the rotation of the front wheels 132 and the rear wheels 133.
  • the positioning device 17 is a communication device including a positioning control unit 171, a storage unit 172, a communication unit 173, a positioning antenna 174, and the like.
  • the positioning device 17 is provided above the cabin 18 on which the operator is boarded. Further, the installation location of the positioning device 17 is not limited to the cabin 18.
  • the positioning control unit 171, the storage unit 172, the communication unit 173, and the positioning antenna 174 of the positioning device 17 may be dispersedly arranged at different positions in the work vehicle 10.
  • the battery is connected to the positioning device 17, and the positioning device 17 can operate even when the engine 131 is stopped. Further, as the positioning device 17, for example, a mobile phone terminal, a smartphone, a tablet terminal, or the like may be substituted.
  • the positioning control unit 171 is a computer system including one or more processors and a storage memory such as a non-volatile memory and a RAM.
  • the storage unit 172 is a program for causing the positioning control unit 171 to execute the positioning process, and a non-volatile memory for storing data such as positioning information and movement information.
  • the program is non-temporarily recorded on a computer-readable recording medium such as a CD or DVD, is read by a predetermined reading device (not shown), and is stored in the storage unit 172.
  • the program may be downloaded from the server (not shown) to the positioning device 17 via the communication network N1 and stored in the storage unit 172.
  • the communication unit 173 connects the positioning device 17 to the communication network N1 by wire or wirelessly, and executes data communication according to a predetermined communication protocol with an external device such as a base station server via the communication network N1. Communication interface.
  • the positioning antenna 174 is an antenna that receives radio waves (GNSS signals) transmitted from satellites.
  • GNSS signals radio waves
  • the positioning control unit 171 calculates the current position of the work vehicle 10 based on the GNSS signal received from the satellite by the positioning antenna 174. For example, when the work vehicle 10 automatically travels in the field F and the positioning antenna 174 receives radio waves (transmission time, orbit information, etc.) transmitted from each of the plurality of satellites, the positioning control unit 171 performs positioning. The distance between the antenna 174 and each satellite is calculated, and the current position (latitude and longitude) of the work vehicle 10 is calculated based on the calculated distance.
  • the positioning control unit 171 calculates the current position of the work vehicle 10 by using the correction information corresponding to the base station (reference station) close to the work vehicle 10, and the real-time kinematic method (RTK-GPS positioning method (RTK method)). )) Positioning may be performed. In this way, the work vehicle 10 automatically travels by using the positioning information by the RTK method.
  • RTK-GPS positioning method RTK method
  • the vehicle control device 11 and the detection processing device 19 have control devices such as a CPU, ROM, and RAM.
  • the CPU is a processor that executes various arithmetic processes.
  • the ROM is a non-volatile storage unit in which control programs such as a BIOS and an OS for causing the CPU to execute various arithmetic processes are stored in advance.
  • the RAM is a volatile or non-volatile storage unit that stores various types of information, and is used as a temporary storage memory (working area) for various processes executed by the CPU. Then, the vehicle control device 11 and the detection processing device 19 control the work vehicle 10 by executing various control programs stored in advance in the ROM or the storage unit 12 on the CPU.
  • the detection processing device 19 acquires a captured image from the camera 15 and determines whether or not an obstacle (for example, a human) is included in the detection area based on the captured image.
  • the detection processing apparatus 19 includes various processing units such as an acquisition processing unit 111 and a detection processing unit 112.
  • the detection processing device 19 functions as the various processing units by executing various processing according to the automatic traveling program on the CPU. Further, a part or all of the processing unit may be composed of an electronic circuit.
  • the automatic traveling program may be a program for making a plurality of processors function as the processing unit.
  • the acquisition processing unit 111 acquires captured images from one or more cameras 15. For example, the acquisition processing unit 111 sequentially captures captured images of the detection areas K1 to K5 from each of the five cameras 15F, 15B, 15R, 15L, and 15C installed in the work vehicle 10 and the work machine 14. Get for each frame. The acquisition processing unit 111 stores the acquired image in the storage unit 12 together with the acquisition time.
  • the acquisition processing unit 111 outputs the acquired image data of the captured image to the operation terminal 20.
  • the acquisition processing unit 111 is an example of the acquisition processing unit of the present invention.
  • the detection processing unit 112 detects an obstacle (for example, a human) in the captured image acquired by the acquisition processing unit 111. Specifically, the detection processing unit 112 determines whether or not a human is included in the detection area based on the captured image. For example, the detection processing unit 112 analyzes the captured image and collates it with the determination data stored in the storage unit 12 or the detection processing device 19 to determine the presence or absence of a human being in the detection area. Further, the detection processing unit 112 executes a determination process for each of the captured images acquired by the acquisition processing unit 111 in order.
  • an obstacle for example, a human
  • the detection processing unit 112 executes the determination process for the captured image of the camera 15F, then executes the determination process for the captured image of the camera 15B, and then executes the determination process for the captured image of the camera 15R. Next, the determination process is executed for the captured image of the camera 15L, and then the determination process is executed for the captured image of the camera 15C.
  • the detection processing unit 112 transmits the detection result (determination result) to the operation terminal 20.
  • the detection processing unit 112 is an example of the detection processing unit of the present invention.
  • the vehicle control device 11 includes various processing units such as a traveling processing unit 113.
  • the vehicle control device 11 functions as the various processing units by executing various processes according to the automatic traveling program on the CPU. Further, a part or all of the processing unit may be composed of an electronic circuit.
  • the automatic traveling program may be a program for making a plurality of processors function as the processing unit.
  • the travel processing unit 113 controls the travel of the work vehicle 10. Specifically, the travel processing unit 113 starts the automatic travel of the work vehicle 10 when the work start instruction is acquired from the operation terminal 20. For example, when the operator presses the work start button on the operation screen of the operation terminal 20, the operation terminal 20 outputs a work start instruction to the work vehicle 10. When the travel processing unit 113 acquires the work start instruction from the operation terminal 20, the travel processing unit 113 starts the automatic travel of the work vehicle 10. As a result, the work vehicle 10 starts automatic traveling according to the travel path R, and starts the work by the work machine 14. The travel path R on which the work vehicle 10 travels is generated by, for example, the operation terminal 20. The work vehicle 10 acquires a travel route R from the operation terminal 20 and automatically travels in the field F according to the travel route R.
  • the traveling processing unit 113 stops the automatic traveling of the work vehicle 10 when the traveling stop instruction is acquired from the operation terminal 20. For example, when the operator presses the travel stop button on the operation screen of the operation terminal 20, the operation terminal 20 outputs a travel stop instruction to the work vehicle 10. Further, for example, when the detection processing unit 112 detects a human being and the operator does not give either a running stop instruction or a running continuation instruction on the operation screen of the operation terminal 20 for a predetermined time, the operation terminal 20 gives a running stop instruction. Is output to the work vehicle 10. When the travel processing unit 113 acquires a travel stop instruction from the operation terminal 20, the travel processing unit 113 stops the automatic travel of the work vehicle 10. As a result, the work vehicle 10 stops the automatic traveling and the work by the work machine 14 is stopped. Specific examples of the running stop instruction and the running continuation instruction will be described later.
  • the travel processing unit 113 when the travel processing unit 113 acquires the travel restart instruction from the operation terminal 20, the travel processing unit 113 restarts the automatic travel of the work vehicle 10. For example, when the operator presses the travel restart button on the operation screen of the operation terminal 20 after the detection processing unit 112 detects a human and the work vehicle 10 stops traveling, the operation terminal 20 outputs a travel restart instruction to the work vehicle 10. do.
  • the travel processing unit 113 acquires the travel restart instruction from the operation terminal 20
  • the travel processing unit 113 restarts the automatic travel of the work vehicle 10.
  • the work vehicle 10 resumes automatic traveling according to the traveling route R again.
  • the travel processing unit 113 is an example of the travel processing unit of the present invention.
  • the operation terminal 20 is an information processing device including an operation control unit 21, a storage unit 22, an operation display unit 23, a communication unit 24, and the like.
  • the operation terminal 20 may be composed of a mobile terminal such as a tablet terminal or a smartphone.
  • the communication unit 24 connects the operation terminal 20 to the communication network N1 by wire or wirelessly, and data communication according to a predetermined communication protocol with one or more external devices such as a work vehicle 10 via the communication network N1. Is a communication interface for executing.
  • the operation display unit 23 is a user interface including a display unit such as a liquid crystal display or an organic EL display that displays various information, and an operation unit such as a touch panel, a mouse, or a keyboard that accepts operations.
  • a display unit such as a liquid crystal display or an organic EL display that displays various information
  • an operation unit such as a touch panel, a mouse, or a keyboard that accepts operations.
  • the operator can operate the operation unit to register various information (work vehicle information, field information, work information, etc., which will be described later). Further, the operator can operate the operation unit to give a work start instruction, a running stop instruction, a running restart instruction, and the like to the work vehicle 10. Further, the operator can grasp the traveling state of the working vehicle 10 that automatically travels in the field F according to the traveling route R from the traveling locus displayed on the operation terminal 20 at a place away from the working vehicle 10. ..
  • the storage unit 22 is a non-volatile storage unit such as an HDD or SSD that stores various types of information.
  • the storage unit 22 stores a control program such as an automatic driving program for causing the operation control unit 21 to execute the automatic driving process (see FIG. 10) described later.
  • the automatic traveling program is non-temporarily recorded on a computer-readable recording medium such as a CD or DVD, is read by a predetermined reading device (not shown), and is stored in the storage unit 22.
  • the automatic traveling program may be downloaded from the server (not shown) to the operation terminal 20 via the communication network N1 and stored in the storage unit 22.
  • the operation control unit 21 has control devices such as a CPU, ROM, and RAM.
  • the CPU is a processor that executes various arithmetic processes.
  • the ROM is a non-volatile storage unit in which control programs such as a BIOS and an OS for causing the CPU to execute various arithmetic processes are stored in advance.
  • the RAM is a volatile or non-volatile storage unit that stores various types of information, and is used as a temporary storage memory (working area) for various processes executed by the CPU. Then, the operation control unit 21 controls the operation terminal 20 by executing various control programs stored in advance in the ROM or the storage unit 22 on the CPU.
  • the operation control unit 21 includes a vehicle setting processing unit 211, a field setting processing unit 212, a work setting processing unit 213, a route generation processing unit 214, an output processing unit 215, a display processing unit 216, and a reception processing unit. Includes various processing units such as 217.
  • the operation control unit 21 functions as the various processing units by executing various processes according to the control program on the CPU. Further, a part or all of the processing unit may be composed of an electronic circuit.
  • the control program may be a program for causing a plurality of processors to function as the processing unit.
  • the vehicle setting processing unit 211 sets information about the work vehicle 10 (hereinafter referred to as work vehicle information).
  • the vehicle setting processing unit 211 refers to the model of the work vehicle 10, the position where the positioning antenna 174 is attached in the work vehicle 10, the type of the work machine 14, the size and shape of the work machine 14, and the work vehicle 10 of the work machine 14.
  • Information such as the position, the working vehicle speed and engine rotation speed of the work vehicle 10, the turning vehicle speed and engine rotation speed of the work vehicle 10 is set by the operator performing an operation registered in the operation terminal 20. ..
  • the field setting processing unit 212 sets information about the field F (hereinafter referred to as field information).
  • the field setting processing unit 212 registers information such as the position and shape of the field F, the work start position S for starting the work, the work end position G for ending the work (see FIG. 3), the work direction, and the like on the operation terminal 20.
  • the information is set by performing the operation.
  • the work direction means a direction in which the work vehicle 10 is driven while working with the work machine 14 in the work area which is the area excluding the non-work area such as the headland and the non-cultivated land from the field F.
  • the operator gets on the work vehicle 10 and operates so as to make one round around the outer circumference of the field F, and records the transition of the position information of the positioning antenna 174 at that time. By doing so, it can be acquired automatically. Further, the position and shape of the field F are based on a polygon obtained by the operator operating the operation terminal 20 and designating a plurality of points on the map while the map is displayed on the operation terminal 20. You can also get it.
  • the region specified by the position and shape of the acquired field F is a region (traveling region) in which the work vehicle 10 can travel.
  • the work setting processing unit 213 sets information (hereinafter referred to as work information) regarding how the work is concretely performed. As work information, the work setting processing unit 213 skips, which is the presence or absence of cooperative work between the work vehicle 10 (unmanned tractor) and the manned work vehicle 10, and the number of work routes to be skipped when the work vehicle 10 turns on the headland. The number, the width of the headland, the width of the non-cultivated land, etc. can be set.
  • the route generation processing unit 214 generates a travel route R, which is a route for automatically traveling the work vehicle 10, based on the setting information.
  • the travel route R is, for example, a work route from the work start position S to the work end position G (see FIG. 3).
  • the travel route R shown in FIG. 3 is a route for reciprocating the work vehicle 10 in parallel in the work area of the field F.
  • the route generation processing unit 214 generates and stores the travel route R of the work vehicle 10 based on the setting information set by the vehicle setting processing unit 211, the field setting processing unit 212, and the work setting processing unit 213. Can be done.
  • the route generation processing unit 214 generates a travel route R (see FIG. 3) based on the work start position S and the work end position G registered in the field setting.
  • the travel route R is not limited to the route shown in FIG.
  • the work vehicle 10 travels while the data of the travel path R generated in the operation terminal 20 is transferred to the work vehicle 10 and stored in the storage unit 12, and the current position of the work vehicle 10 is detected by the positioning antenna 174. It is configured to be able to travel autonomously along the route R.
  • the current position of the work vehicle 10 usually coincides with the position of the positioning antenna 174.
  • the work vehicle 10 travels in a substantially rectangular field F as shown in FIG.
  • the work vehicle 10 is configured to be able to automatically travel when the current position is located inside the field F, and cannot automatically travel when the current position is located outside the field F (public road, etc.). It is configured in. Further, the work vehicle 10 is configured to be able to automatically travel, for example, when the current position coincides with the work start position S.
  • the traveling processing unit 113 starts automatic traveling. Then, the work by the working machine 14 (see FIG. 2) is started. That is, the operation control unit 21 permits the automatic traveling of the work vehicle 10 on condition that the current position coincides with the work start position S.
  • the conditions for permitting the automatic traveling of the work vehicle 10 are not limited to the above conditions.
  • the output processing unit 215 outputs the information of the traveling route R generated by the route generation processing unit 214 to the work vehicle 10. Further, the output processing unit 215 can instruct the work vehicle 10 to start and stop automatic traveling by transmitting a control signal to the work vehicle 10 via the communication unit 24. This makes it possible to automatically drive the work vehicle 10.
  • the travel processing unit 113 automatically travels the work vehicle 10 from the work start position S to the work end position G based on the travel route R acquired from the operation terminal 20. Further, when the work vehicle 10 finishes the work, the travel processing unit 113 may automatically travel from the work end position G to the entrance of the field F.
  • the operation control unit 21 can receive the state (position, traveling speed, etc.) of the work vehicle 10 from the work vehicle 10 and display it on the operation display unit 23.
  • the display processing unit 216 causes the operation display unit 23 to display various information.
  • the display processing unit 216 arranges an operation screen for registering work vehicle information, field information, work information, etc., and a layout of an image display field L1 for displaying images captured by each of a plurality of cameras 15 installed in the work vehicle 10.
  • a setting screen D1 (see FIG. 5) to be set, a running state screen D2 (see FIGS. 6 to 8) for displaying the captured image, a running stop instruction for stopping the running of the work vehicle 10, or a running continuation instruction for continuing the running.
  • the operation display unit 23 displays the travel selection screen D3 (see FIG. 9) or the like to be selected.
  • the reception processing unit 217 receives various operations from the operator. For example, the reception processing unit 217 receives an operation for setting the layout of the image display field L1 from the operator (an example of the setting operation of the present invention). Further, the reception processing unit 217 receives a work start instruction from the operator to cause the work vehicle 10 to start the work. In addition, the reception processing unit 217 receives a travel stop instruction from the operator to stop the traveling of the work vehicle 10 that is automatically traveling. Further, when the work vehicle 10 detects a human being, the reception processing unit 217 receives a travel stop instruction or a travel continuation instruction of the work vehicle 10 from the operator.
  • reception processing unit 217 receives a travel resumption instruction from the operator to resume the travel of the work vehicle 10 that has stopped traveling.
  • the output processing unit 215 outputs each of the instructions to the work vehicle 10.
  • the reception processing unit 217 is an example of the reception processing unit of the present invention.
  • the travel processing unit 113 of the work vehicle 10 acquires the work start instruction from the operation terminal 20, the travel processing unit 113 of the work vehicle 10 starts the travel and work of the work vehicle 10. Further, when the travel processing unit 113 acquires the travel stop instruction from the operation terminal 20, the travel processing unit 113 stops the travel and work of the work vehicle 10. Further, when the travel processing unit 113 acquires the travel continuation instruction from the operation terminal 20, the travel processing unit 113 continues the travel and work of the work vehicle 10. Further, when the travel processing unit 113 acquires the travel restart instruction from the operation terminal 20, the travel processing unit 113 restarts the travel and work of the work vehicle 10.
  • the display processing unit 216 acquires from the work vehicle 10.
  • the setting screen D1 for setting the layout of the image display field L1 is displayed on the operation display unit 23.
  • the display processing unit 216 has a camera 15F (camera 1), a camera 15B (camera 2), a camera 15R (camera 3), a camera 15L (camera 4), and a camera 15C (camera 5), respectively.
  • the five image display fields L1 for displaying the captured images of the above are displayed side by side in any order. Further, for example, as shown in FIG. 5B, the display processing unit 216 may arrange the five image display columns L1 at positions corresponding to the installation layout of the camera 15 in the work vehicle 10. Further, the operator can change the layout of the image display field L1 on the setting screen D1. For example, the operator can arrange each image display field L1 at a desired position on the setting screen D1 by a drag-and-drop operation or the like.
  • the display processing unit 216 preferably displays an image (camera placement image Pc) capable of identifying the placement position of each camera 15 with respect to the work vehicle 10. As a result, the operator can easily grasp the correspondence between the arrangement position of each camera 15 and the layout of each image display field L1.
  • the display processing unit 216 may omit the camera arrangement image Pc on the setting screen D1.
  • the display processing unit 216 arranges and displays a plurality of captured images P1 according to the setting operation on the setting screen D1. For example, when the layout of the image display field L1 shown in FIG. 5A is set, the display processing unit 216 displays each camera on the traveling state screen D2 displaying the automatic traveling state of the work vehicle 10, as shown in FIG. 6A.
  • the camera image display field A1 for displaying the captured image of 15 is displayed.
  • the current state of the work vehicle 10 being automatically driven is displayed in real time on the running state screen D2.
  • the operator can grasp the current running state and working state of the work vehicle 10 on the running state screen D2.
  • the display processing unit 216 causes the camera image display field A1 to display each image display field L1 according to the layout set on the setting screen D1.
  • FIG. 6B shows an example of the traveling state screen D2 in which the captured image P1 is displayed in each image display column L1.
  • the captured image P1 displayed in each image display field L1 is updated in real time.
  • the display processing unit 216 displays each image display field L1 shown in FIG. 7A.
  • FIG. 7B shows an example of the traveling state screen D2 in which the captured image P1 is displayed in each image display column L1.
  • the operation terminal 20 executes the following processing.
  • the detection processing unit 112 of the work vehicle 10 detects a human in the captured image acquired from the camera 15L (camera 4)
  • the detection processing unit 112 uses the determination result indicating that the human has been detected and the captured image.
  • the identification information of the corresponding camera 15L (camera 4) is output to the operation terminal 20.
  • the acquisition processing unit 111 outputs the image data of the captured image acquired from each camera 15 to the operation terminal 20.
  • the display processing unit 216 of the operation terminal 20 acquires the image data from the work vehicle 10, it causes the captured image P1 to be displayed in each image display column L1. Further, when the display processing unit 216 acquires the determination result and the identification information from the work vehicle 10, the display processing unit 216 enlarges the image display column L1 and the captured image P1 corresponding to the camera 15L (camera 4) as shown in FIG. 8A. To display. As a result, the image of the human being detected as an obstacle is enlarged and displayed.
  • the display processing unit 216 may emphasize and display the image display field L1 corresponding to the camera 15L (camera 4) among the plurality of image display fields L1. For example, as shown in FIG. 8B, the display processing unit 216 displays the frame of the image display field L1 corresponding to the camera 15L (camera 4) with a thick line. Further, the display processing unit 216 may display, light, or blink the image display field L1 corresponding to the camera 15L (camera 4) in color. Further, the display processing unit 216 may display only the image display field L1 corresponding to the camera 15L (camera 4) in the camera image display field A1 and hide the image display field L1 corresponding to the other camera 15. good.
  • the display processing unit 216 acquires a determination result indicating that a human has been detected from the work vehicle 10
  • the display processing unit 216 selects a travel stop instruction for stopping the travel of the work vehicle 10 or a travel continuation instruction for continuing the travel.
  • FIG. 9 shows an example of the travel selection screen D3.
  • the display processing unit 216 displays a message indicating that an obstacle has been detected, a message for selecting whether to stop or continue running, a running stop button B1 for stopping running, and a running stop button B1 on the running selection screen D3.
  • the running continuation button B2 to be continued is displayed.
  • the reception processing unit 217 accepts the travel stop instruction.
  • the output processing unit 215 outputs the travel stop instruction to the work vehicle 10.
  • the travel processing unit 113 of the work vehicle 10 acquires the travel stop instruction from the operation terminal 20, the travel processing unit 113 of the work vehicle 10 stops the travel and work of the work vehicle 10.
  • the reception processing unit 217 receives the running continuation instruction.
  • the output processing unit 215 outputs the travel continuation instruction to the work vehicle 10.
  • the travel processing unit 113 of the work vehicle 10 acquires the travel continuation instruction from the operation terminal 20
  • the travel processing unit 113 does not stop the travel and work of the work vehicle 10 and continues the travel and work.
  • the output processing unit 215 may not output the travel continuation instruction to the work vehicle 10.
  • the traveling processing unit 113 does not perform the processing of stopping the traveling of the work vehicle 10, and as a result, the traveling and the work are continued.
  • the output processing unit 215 outputs the travel stop instruction to the work vehicle 10. Specifically, when the reception processing unit 217 does not receive either the travel stop instruction or the travel continuation instruction, the travel processing unit 113 stops the automatic travel of the work vehicle 10.
  • the output processing unit 215 outputs the traveling stop instruction to the work vehicle 10.
  • the traveling processing unit 113 stops the automatic traveling of the work vehicle 10. That is, if the work vehicle 10 does not receive an instruction from the operator when an obstacle is detected, the work vehicle 10 stops traveling and work.
  • the predetermined time may be a predetermined fixed time, or may be a time according to the size of the obstacle when the obstacle is detected. For example, when the size of the obstacle in the captured image is large, the distance between the work vehicle 10 and the obstacle is shorter than in the case where the size of the obstacle in the captured image is small. Therefore, the operation control unit 21 sets the predetermined time shorter as the size of the obstacle in the captured image is larger. Further, the operation control unit 21 sets the predetermined time longer as the size of the obstacle in the captured image is smaller. As a result, when the distance between the work vehicle 10 and the obstacle is short, the reception time of the travel stop instruction and the travel continuation instruction is shortened, and the distance between the work vehicle 10 and the obstacle is reduced. If it is long, the reception time of the running stop instruction and the running continuation instruction can be lengthened.
  • the travel processing unit 113 may decelerate the work vehicle 10 during the predetermined time.
  • the operation control unit 21 may notify the operator of information indicating that the work vehicle 10 has detected an obstacle. For example, the operation control unit 21 may output a voice (warning sound) when the work vehicle 10 detects an obstacle.
  • the reception processing unit 217 receives the travel resumption instruction, and the output processing unit 215 causes the work vehicle 10 to travel. Output a restart instruction.
  • the travel processing unit 113 of the work vehicle 10 acquires the travel restart instruction from the operation terminal 20, the travel processing unit 113 of the work vehicle 10 resumes the travel and work of the work vehicle 10.
  • the operation terminal 20 may be able to access the website (agricultural support site) of the agricultural support service provided by the server (not shown) via the communication network N1.
  • the operation terminal 20 can function as an operation terminal of the server by executing the browser program by the operation control unit 21.
  • the server includes each of the above-mentioned processing units and executes each process.
  • each function of the vehicle control device 11 and the detection processing device 19 described above may be included in the operation control unit 21 of the operation terminal 20. That is, for example, the operation control unit 21 may acquire image data of the captured image from each camera 15 of the work vehicle 10 and execute a process of detecting an obstacle. Further, each function of the detection processing device 19 (acquisition processing unit 111 and detection processing unit 112) may be included in the vehicle control device 11.
  • the present invention is an invention of an automatic driving method in which the vehicle control device 11, the detection processing device 19, and the operation control unit 21 execute a part or all of the automatic driving process, or a part of the automatic driving method, or a part of the automatic driving method.
  • the whole may be regarded as an invention of an automatic driving program for causing the vehicle control device 11, the detection processing device 19, and the operation control unit 21 to execute the whole.
  • the automatic driving process may be executed by one or a plurality of processors.
  • step S1 the vehicle control device 11 causes the work vehicle 10 to start work.
  • the operation control unit 21 outputs the work start instruction to the work vehicle 10.
  • the vehicle control device 11 starts the automatic running of the work vehicle 10.
  • the work vehicle 10 starts automatic traveling according to the travel path R, and starts the work by the work machine 14.
  • step S2 the detection processing device 19 acquires a captured image from each camera 15 installed in the work vehicle 10.
  • the detection processing device 19 continuously acquires captured images (frame images) from each of the five cameras 15F, 15B, 15R, 15L, and 15C at a predetermined frame rate.
  • step S3 the detection processing device 19 detects an obstacle (for example, a human) in the acquired image. Specifically, the detection processing device 19 determines whether or not a human is included in the detection area based on the captured image. When the detection processing device 19 detects a human (S3: Yes), the processing proceeds to step S4. On the other hand, when the detection processing device 19 does not detect a human (S3: No), the processing proceeds to step S31.
  • an obstacle for example, a human
  • step S31 the vehicle control device 11 determines whether or not the work vehicle 10 has completed the work.
  • the process ends.
  • the process returns to step S2.
  • the detection processing device 19 does not detect a person, the detection processing device 19 travels and performs the work while acquiring the captured image until the predetermined work is completed.
  • the detection processing device 19 sets the image data of the captured image, the identification information of the camera 15 corresponding to the captured image, and the determination result indicating whether or not the captured image includes a human being in the operation terminal 20. Output to.
  • the operation control unit 21 acquires the image data from the detection processing device 19 of the work vehicle 10, the operation control unit 21 displays the captured image P1 in each image display column L1 (see FIG. 6B).
  • step S4 the operation control unit 21 enlarges and displays the captured image including the person. For example, when a human being is detected in the captured image corresponding to the camera 15L (camera 4), the operation control unit 21 enlarges the image display field L1 corresponding to the camera 15L (camera 4) as shown in FIG. 8A. The captured image P1 is enlarged and displayed. As a result, the image of the human being detected as an obstacle is enlarged and displayed.
  • step S5 the operation control unit 21 causes the operation display unit 23 to display a travel selection screen D3 for selecting a travel stop instruction for stopping the travel of the work vehicle 10 or a travel continuation instruction for continuing the travel (see FIG. 9). ).
  • step S6 the operation control unit 21 determines whether or not the travel stop instruction has been received from the operator on the travel selection screen D3. For example, when the operator presses the travel stop button B1 on the travel selection screen D3 shown in FIG. 9, the operation control unit 21 accepts the travel stop instruction (S6: Yes), and the process proceeds to step S9. On the other hand, when the operator does not press the travel stop button B1 on the travel selection screen D3 shown in FIG. 9 (S6: No), the process proceeds to step S7.
  • step S7 the operation control unit 21 determines whether or not the travel continuation instruction has been received from the operator on the travel selection screen D3. For example, when the operator presses the travel continuation button B2 on the travel selection screen D3 shown in FIG. 9, the operation control unit 21 accepts the travel continuation instruction (S7: Yes), and the process proceeds to step S71. On the other hand, when the operator does not press the travel continuation button B2 on the travel selection screen D3 shown in FIG. 9 (S7: No), the process proceeds to step S8.
  • step S71 the operation control unit 21 does not stop the running and working of the work vehicle 10, but continues the running and working. After that, the process returns to step S2.
  • step S8 the operation control unit 21 determines whether or not a predetermined time has elapsed. Specifically, in the operation control unit 21, after the operation control unit 21 displays the travel selection screen D3 or the detection processing device 19 detects a human, the travel stop instruction and the travel continuation instruction are given. It is determined whether or not the predetermined time has elapsed without accepting any of them. When the predetermined time has elapsed without accepting either the running stop instruction or the running continuation instruction (S8: Yes), the process proceeds to step S9. If the predetermined time does not elapse (S8: No), the process returns to step S6.
  • step S9 the operation control unit 21 outputs the travel stop instruction to the work vehicle 10, and the vehicle control device 11 stops the travel and work of the work vehicle 10.
  • step S10 the operation control unit 21 determines whether or not the travel restart instruction has been received from the operator.
  • the process returns to step S2.
  • the operation control unit 21 does not receive the travel restart instruction from the operator (S10: No)
  • the process ends.
  • the vehicle control device 11, the detection processing device 19, and the operation control unit 21 repeatedly execute the processes of steps S1 to S10 until the work vehicle 10 finishes the work.
  • the automatic traveling system 1 acquires the captured image P1 from the camera 15 installed in the work vehicle 10 and detects obstacles based on the captured image P1. Further, the automatic traveling system 1 receives a traveling stop instruction for stopping the automatic traveling of the work vehicle 10 or a traveling continuation instruction for continuing the automatic traveling when the obstacle is detected. Then, the automatic traveling system 1 stops the automatic traveling of the work vehicle 10 when the traveling stop instruction is received, and continues the automatic traveling of the working vehicle 10 when the traveling continuation instruction is received. Thereby, when the work vehicle 10 detects an obstacle during the automatic traveling, the operator can select whether to stop the automatic traveling or to continue the automatic traveling.
  • the operator gives an instruction to continue the automatic running, so that the work vehicle 10 continues the automatic running without stopping, so that it is possible to prevent a decrease in work efficiency. can.
  • the operator can stop the automatic traveling and remove the obstacle to ensure safety. Then, the operator can restart the automatic traveling when the safety of the work vehicle 10 is ensured. Therefore, it is possible to prevent a decrease in work efficiency while ensuring the safety of the work vehicle 10.
  • the automatic traveling system 1 Stops automatic driving. As a result, it is possible to avoid a situation in which the work vehicle 10 continues automatic traveling and comes into contact with an obstacle without the operator noticing it.
  • the present invention is not limited to the above-described embodiment, and may be the following embodiment.
  • the traveling processing unit 113 stops the automatic traveling of the work vehicle 10.
  • the reception processing unit 217 instructs the vehicle to stop traveling until the distance between the work vehicle 10 and the obstacle reaches a predetermined distance.
  • the traveling processing unit 113 may stop the automatic traveling of the work vehicle 10.
  • the operation control unit 21 may calculate the change in the distance between the work vehicle 10 and the obstacle based on the continuous frame image acquired from the work vehicle 10. For example, as shown in FIG. 11, the operation control unit 21 can calculate the distance based on the size of the frame W1 surrounding the human in the captured image P1.
  • the predetermined distance may be a predetermined constant distance, or may be a distance according to the size of the obstacle when the obstacle is detected. For example, when the size of the obstacle in the captured image is large, the distance between the work vehicle 10 and the obstacle is shorter than in the case where the size of the obstacle in the captured image is small. Therefore, the operation control unit 21 sets the predetermined distance shorter as the size of the obstacle in the captured image is larger. Further, the operation control unit 21 sets the predetermined distance longer as the size of the obstacle in the captured image is smaller. As a result, when the distance between the work vehicle 10 and the obstacle is short, the reception time of the travel stop instruction and the travel continuation instruction is shortened, and the distance between the work vehicle 10 and the obstacle is reduced. If it is long, the reception time of the running stop instruction and the running continuation instruction can be lengthened.
  • the travel processing unit 113 may decelerate the work vehicle 10 during the predetermined distance.
  • the detection processing unit 112 detects a specific person and the operator gives an instruction to continue traveling, and then the detection processing unit 112 detects the same person again, the work vehicle 10 May continue automatic driving without acquiring an operator's driving continuation instruction.
  • the detection processing unit 112 detects a specific person and the operator gives an instruction to continue traveling, and then the detection processing unit 112 detects the same person again, the work vehicle 10 May continue automatic driving without acquiring an operator's driving continuation instruction.
  • every time the same obstacle that does not interfere with automatic driving is detected, it is not necessary to request the operator to perform a selection operation of a running stop instruction or a running continuation instruction, so that convenience can be improved. ..
  • obstacles are detected and determined based on the image taken by the camera, but as another embodiment, the camera and Lidar (obstacle detection sensor) may be used in combination. .. Specifically, the obstacle may be detected by Lidar, and the obstacle may be determined by the camera.
  • the obstacle detection sensor may be a sensor using ultrasonic waves or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

取得処理部(111)は、作業車両(10)に設置されるカメラ(15)から撮像画像(P1)を取得する。検出処理部(112)は、取得処理部(111)により取得される撮像画像(P1)に基づいて障害物を検出する。受付処理部(217)は、検出処理部(112)により障害物が検出された場合に、作業車両(10)の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。走行処理部(113)は、受付処理部(217)が前記走行停止指示を受け付けた場合に作業車両(10)の自動走行を停止させ、受付処理部(217)が前記走行継続指示を受け付けた場合に作業車両(10)の自動走行を継続させる。

Description

自動走行システム、自動走行方法、及び自動走行プログラム
 本発明は、作業車両を自動走行させる自動走行システム、自動走行方法、及び自動走行プログラムに関する。
 作業車両は、圃場において予め設定された走行経路に沿って自動走行している途中に障害物を検出した場合に、自動走行を停止する機能を備えている。従来、作業車両のオペレータが、作業車両が障害物を検出した場合に作業車両の自動走行を停止させる通常モードと、作業車両が障害物を検出しても作業車両の走行を継続させる解除モードとを切り替えることが可能な技術が知られている(例えば特許文献1参照)。
特開2018-113938号公報
 しかし、前記従来の技術では、前記解除モードが設定されている場合には作業車両が障害物を検出したとしても自動走行が継続されるため、作業車両が障害物に接触する危険性がある。このように、作業車両が障害物を検出した場合に自動走行を一律に停止させるシステムでは作業効率が低下する一方、作業車両が障害物を検出しても自動走行を継続可能とするシステムでは作業車両の安全性が低下する問題が生じる。
 本発明の目的は、作業車両の安全性を確保しつつ、作業効率の低下を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することにある。
 本発明に係る自動走行システムは、取得処理部と検出処理部と受付処理部と走行処理部とを備える。前記取得処理部は、作業車両に設置される撮像部から撮像画像を取得する。前記検出処理部は、前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する。前記受付処理部は、前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。前記走行処理部は、前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる。
 本発明に係る自動走行方法は、一又は複数のプロセッサーが、作業車両に設置される撮像部から撮像画像を取得することと、取得する前記撮像画像に基づいて障害物を検出することと、前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、を実行する方法である。
 本発明に係る自動走行プログラムは、作業車両に設置される撮像部から撮像画像を取得することと、取得する前記撮像画像に基づいて障害物を検出することと、前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、を一又は複数のプロセッサーに実行させるためのプログラムである。
 本発明によれば、作業車両の安全性を確保しつつ、作業効率の低下を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することができる。
図1は、本発明の実施形態に係る自動走行システムの構成を示すブロック図である。 図2は、本発明の実施形態に係る作業車両の一例を示す外観図である。 図3は、本発明の実施形態に係る作業車両の走行経路の一例を示す図である。 図4は、本発明の実施形態に係る作業車両に設置されるカメラの位置を示す図である。 図5Aは、本発明の実施形態に係る操作端末に表示されるカメラレイアウトの設定画面の一例を示す図である。 図5Bは、本発明の実施形態に係る操作端末に表示されるカメラレイアウトの設定画面の一例を示す図である。 図6Aは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図6Bは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図7Aは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図7Bは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図8Aは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図8Bは、本発明の実施形態に係る操作端末に表示されるカメラ画像の一例を示す図である。 図9は、本発明の実施形態に係る操作端末に表示される走行選択画面の一例を示す図である。 図10は、本発明の実施形態に係る自動走行システムによって実行される自動走行処理の手順の一例を示すフローチャートである。 図11は、本発明の実施形態に係る操作端末に表示される走行選択画面の一例を示す図である。
 以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
 図1に示されるように、本発明の実施形態に係る自動走行システム1は、作業車両10と操作端末20とを含んでいる。作業車両10及び操作端末20は、通信網N1を介して通信可能である。例えば、作業車両10及び操作端末20は、携帯電話回線網、パケット回線網、又は無線LANを介して通信可能である。
 本実施形態では、作業車両10がトラクタである場合を例に挙げて説明する。なお、他の実施形態として、作業車両10は、田植機、コンバイン、建設機械、又は除雪車などであってもよい。作業車両10は、圃場F(図3参照)内を予め設定された走行経路Rに沿って自動走行(自律走行)可能な構成を備える、所謂ロボットトラクタである。例えば、作業車両10は、測位装置17により算出される作業車両10の現在位置の位置情報に基づいて、圃場Fに対して予め生成された走行経路Rに沿って自動走行することが可能である。
 例えば、作業車両10は、図3に示す圃場Fの作業領域において、作業開始位置Sから作業終了位置Gに向けて平行に往復走行する。圃場Fの外周側は例えば枕地領域であり、作業車両10は旋回走行する。走行経路Rは、図3に示す経路に限定されず、作業内容に応じて適宜設定される。
[作業車両10]
 図1及び図2に示すように、作業車両10は、車両制御装置11、記憶部12、走行装置13、作業機14、カメラ15、通信部16、測位装置17、及び検出処理装置19などを備える。車両制御装置11は、記憶部12、走行装置13、作業機14、測位装置17、及び検出処理装置19などに電気的に接続されている。なお、車両制御装置11及び測位装置17は、無線通信可能であってもよい。また、カメラ15は、検出処理装置19に電気的に接続されている。
 記憶部12は、各種の情報を記憶するHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶部である。記憶部12には、車両制御装置11に後述の自動走行処理(図10参照)を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部12に記憶される。なお、前記自動走行プログラムは、サーバー(不図示)から通信網N1を介して作業車両10にダウンロードされて記憶部12に記憶されてもよい。また、記憶部12には、操作端末20において生成される走行経路Rのデータ、障害物を判定するための判定用データなどが記憶される。前記判定用データは、障害物の一例である人間を判定するためのデータであって、例えば、人間の特徴を示すデータ、人間の部位又は全体を示す画像(サンプル画像)のデータなどである。前記判定用データは、検出処理装置19に記憶されてもよい。また、記憶部12には、作業情報(旋回態様、作業順序など)が記憶されてもよい。なお、本発明の障害物は、作業車両10の走行を妨げる物体であり、例えば人間、動物、機器(他の作業車両など)などである。
 走行装置13は、作業車両10を走行させる駆動部である。図2に示すように、走行装置13は、エンジン131、前輪132、後輪133、トランスミッション134、フロントアクスル135、リアアクスル136、ハンドル137などを備える。なお、前輪132及び後輪133は、作業車両10の左右にそれぞれ設けられている。また、走行装置13は、前輪132及び後輪133を備えるホイールタイプに限らず、作業車両10の左右に設けられるクローラを備えるクローラタイプであってもよい。
 エンジン131は、不図示の燃料タンクに補給される燃料を用いて駆動するディーゼルエンジン又はガソリンエンジンなどの駆動源である。走行装置13は、エンジン131とともに、又はエンジン131に代えて、電気モーターを駆動源として備えてもよい。なお、エンジン131には、不図示の発電機が接続されており、当該発電機から作業車両10に設けられた車両制御装置11等の電気部品及びバッテリー等に電力が供給される。なお、前記バッテリーは、前記発電機から供給される電力によって充電される。そして、作業車両10に設けられている車両制御装置11及び測位装置17等の電気部品は、エンジン131の停止後も前記バッテリーから供給される電力により駆動可能である。
 エンジン131の駆動力は、トランスミッション134及びフロントアクスル135を介して前輪132に伝達され、トランスミッション134及びリアアクスル136を介して後輪133に伝達される。また、エンジン131の駆動力は、PTO軸(不図示)を介して作業機14にも伝達される。作業車両10が自動走行を行う場合、走行装置13は、車両制御装置11の命令に従って走行動作を行う。
 作業機14は、例えば草刈機、耕耘機、プラウ、施肥機、又は播種機などであって、作業車両10に着脱可能である。これにより、作業車両10は、作業機14各々を用いて各種の作業を行うことが可能である。本実施形態では、作業機14は草刈機である場合を例に挙げて説明する。
 例えば、作業機14は、作業車両10に対して左右一方側にオフセットして装着される。例えば、作業車両10は、左右一方側にオフセットして直装型の作業機14を装着して圃場内を走行することにより草刈作業などを行う。なお、作業機14は、作業車両10に固定される直装型の作業機(図2参照)に限定されず、作業車両10に牽引される牽引型の作業機であってもよい。
 カメラ15は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ15は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、検出処理装置19に送信する。カメラ15は、本発明の撮像部の一例である。
 本実施形態では、5個のカメラ15が、作業車両10の異なる場所に設置されている。具体的には、図4に示すように、作業車両10の前部にカメラ15F(以下「カメラ1」ともいう。)が設置され、作業車両10の後部にカメラ15B(以下「カメラ2」ともいう。)が設置され、作業車両10の右側部にカメラ15R(以下「カメラ3」ともいう。)が設置され、作業車両10の左側部にカメラ15L(以下「カメラ4」ともいう。)が設置され、作業機14の右前部にカメラ15C(以下「カメラ5」ともいう。)が設置されている。なお、カメラ15は、例えば両面テープなどにより作業車両10に設置されてもよい。
 また、各カメラ15には、撮像可能な所定の撮像範囲(検出エリア)が設定されている。例えばカメラ15Fは作業車両10の前方の検出エリアK1を撮像し、カメラ15Bは作業車両10の後方の検出エリアK2を撮像し、カメラ15Rは作業車両10の右側方の検出エリアK3を撮像し、カメラ15Lは作業車両10の左側方の検出エリアK4を撮像し、カメラ15Cは作業機14の右側前方の検出エリアK5を撮像する。各カメラ15は、各検出エリアを所定のフレームレートで撮像し、撮像画像を逐次、検出処理装置19に送信する。検出処理装置19は、前記撮像画像及び後述する検出結果(判定結果)を車両制御装置11及び操作端末20に送信する。
 なお、検出処理装置19は、カメラ15が作業車両10に電気的に接続されることによりカメラ15と通信可能になる。検出処理装置19は、カメラ15と通信可能になると、カメラ15の個数と、各カメラ15の識別情報(機器情報)とを取得する。また、検出処理装置19は、取得したカメラ15の個数情報及び識別情報を車両制御装置11に出力し、車両制御装置11は当該個数情報及び識別情報を操作端末20に出力する。オペレータは、カメラ15を追加したり、設置位置を変更したりすることができる。
 ハンドル137は、オペレータ又は車両制御装置11によって操作される操作部である。例えば走行装置13では、車両制御装置11によるハンドル137の操作に応じて、不図示の油圧式パワーステアリング機構などによって前輪132の角度が変更され、作業車両10の進行方向が変更される。
 また、走行装置13は、ハンドル137の他に、車両制御装置11によって操作される不図示のシフトレバー、アクセル、ブレーキ等を備える。そして、走行装置13では、車両制御装置11による前記シフトレバーの操作に応じて、トランスミッション134のギアが前進ギア又はバックギアなどに切り替えられ、作業車両10の走行態様が前進又は後進などに切り替えられる。また、車両制御装置11は、前記アクセルを操作してエンジン131の回転数を制御する。また、車両制御装置11は、前記ブレーキを操作して電磁ブレーキを用いて前輪132及び後輪133の回転を制動する。
 測位装置17は、測位制御部171、記憶部172、通信部173、及び測位用アンテナ174などを備える通信機器である。例えば、測位装置17は、図2に示すように、オペレータが搭乗するキャビン18の上部に設けられている。また、測位装置17の設置場所はキャビン18に限らない。さらに、測位装置17の測位制御部171、記憶部172、通信部173、及び測位用アンテナ174は、作業車両10において異なる位置に分散して配置されていてもよい。なお、前述したように測位装置17には前記バッテリーが接続されており、当該測位装置17は、エンジン131の停止中も稼働可能である。また、測位装置17として、例えば携帯電話端末、スマートフォン、又はタブレット端末などが代用されてもよい。
 測位制御部171は、一又は複数のプロセッサーと、不揮発性メモリ及びRAMなどの記憶メモリとを備えるコンピュータシステムである。記憶部172は、測位制御部171に測位処理を実行させるためのプログラム、及び測位情報、移動情報などのデータを記憶する不揮発性メモリなどである。例えば、前記プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部172に記憶される。なお、前記プログラムは、サーバー(不図示)から通信網N1を介して測位装置17にダウンロードされて記憶部172に記憶されてもよい。
 通信部173は、測位装置17を有線又は無線で通信網N1に接続し、通信網N1を介して基地局サーバーなどの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
 測位用アンテナ174は、衛星から発信される電波(GNSS信号)を受信するアンテナである。
 測位制御部171は、測位用アンテナ174が衛星から受信するGNSS信号に基づいて作業車両10の現在位置を算出する。例えば、作業車両10が圃場F内を自動走行する場合に、測位用アンテナ174が複数の衛星のそれぞれから発信される電波(発信時刻、軌道情報など)を受信すると、測位制御部171は、測位用アンテナ174と各衛星との距離を算出し、算出した距離に基づいて作業車両10の現在位置(緯度及び経度)を算出する。また、測位制御部171は、作業車両10に近い基地局(基準局)に対応する補正情報を利用して作業車両10の現在位置を算出する、リアルタイムキネマティック方式(RTK-GPS測位方式(RTK方式))による測位を行ってもよい。このように、作業車両10は、RTK方式による測位情報を利用して自動走行を行う。
 車両制御装置11及び検出処理装置19は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、車両制御装置11及び検出処理装置19は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより作業車両10を制御する。
 検出処理装置19は、カメラ15から撮像画像を取得し、当該撮像画像に基づいて検出エリアに障害物(例えば人間)が含まれるか否かを判定する。具体的には、図1に示すように、検出処理装置19は、取得処理部111、検出処理部112などの各種の処理部を含む。検出処理装置19は、CPUで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
 取得処理部111は、一又は複数のカメラ15から撮像画像を取得する。例えば、取得処理部111は、作業車両10及び作業機14に設置された5個のカメラ15F,15B,15R,15L,15Cのそれぞれから検出エリアK1~K5のぞれぞれの撮像画像を順にフレームごとに取得する。取得処理部111は、取得した前記撮像画像を撮像時刻とともに記憶部12に記憶する。
 また、取得処理部111は、取得した前記撮像画像の画像データを操作端末20に出力する。取得処理部111は、本発明の取得処理部の一例である。
 検出処理部112は、取得処理部111により取得される前記撮像画像において障害物(例えば人間)を検出する。具体的には、検出処理部112は、前記撮像画像に基づいて検出エリアに人間が含まれるか否かを判定する。例えば、検出処理部112は、前記撮像画像を画像解析して、記憶部12又は検出処理装置19に記憶された前記判定用データと照合することにより、検出エリアにおける人間の有無を判定する。また、検出処理部112は、取得処理部111が順に取得する前記撮像画像ごとに判定処理を実行する。例えば、検出処理部112は、カメラ15Fの撮像画像について前記判定処理を実行し、次にカメラ15Bの撮像画像について前記判定処理を実行し、次にカメラ15Rの撮像画像について前記判定処理を実行し、次にカメラ15Lの撮像画像について前記判定処理を実行し、次にカメラ15Cの撮像画像について前記判定処理を実行する。検出処理部112は、検出結果(判定結果)を操作端末20に送信する。検出処理部112は、本発明の検出処理部の一例である。
 図1に示すように、車両制御装置11は、走行処理部113などの各種の処理部を含む。なお、車両制御装置11は、前記CPUで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
 走行処理部113は、作業車両10の走行を制御する。具体的には、走行処理部113は、操作端末20から作業開始指示を取得すると作業車両10の自動走行を開始させる。例えば、操作端末20の操作画面においてオペレータが作業開始ボタンを押下すると、操作端末20は作業開始指示を作業車両10に出力する。走行処理部113は、操作端末20から作業開始指示を取得すると、作業車両10の自動走行を開始させる。これにより、作業車両10は、走行経路Rに従って自動走行を開始し、作業機14による作業を開始する。なお、作業車両10が走行する走行経路Rは、例えば操作端末20により生成される。作業車両10は、操作端末20から走行経路Rを取得して、走行経路Rに従って圃場F内を自動走行する。
 また、走行処理部113は、操作端末20から走行停止指示を取得すると作業車両10の自動走行を停止させる。例えば、操作端末20の操作画面においてオペレータが走行停止ボタンを押下すると、操作端末20は走行停止指示を作業車両10に出力する。また例えば、検出処理部112が人間を検出した場合において、操作端末20の操作画面においてオペレータが走行停止指示及び走行継続指示のいずれかを所定時間行わなかった場合に、操作端末20は走行停止指示を作業車両10に出力する。走行処理部113は、操作端末20から走行停止指示を取得すると、作業車両10の自動走行を停止させる。これにより、作業車両10は、自動走行を停止し、作業機14による作業を停止する。走行停止指示及び走行継続指示の具体例については後述する。
 また、走行処理部113は、操作端末20から走行再開指示を取得すると作業車両10の自動走行を再開させる。例えば、検出処理部112が人間を検出して作業車両10が走行を停止した後に操作端末20の操作画面においてオペレータが走行再開ボタンを押下すると、操作端末20は走行再開指示を作業車両10に出力する。走行処理部113は、操作端末20から走行再開指示を取得すると、作業車両10の自動走行を再開させる。これにより、作業車両10は、再び、走行経路Rに従って自動走行を再開する。走行処理部113は、本発明の走行処理部の一例である。
[操作端末20]
 図1に示すように、操作端末20は、操作制御部21、記憶部22、操作表示部23、及び通信部24などを備える情報処理装置である。操作端末20は、タブレット端末、スマートフォンなどの携帯端末で構成されてもよい。
 通信部24は、操作端末20を有線又は無線で通信網N1に接続し、通信網N1を介して一又は複数の作業車両10などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
 操作表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような表示部と、操作を受け付けるタッチパネル、マウス、又はキーボードのような操作部とを備えるユーザーインターフェースである。オペレータは、前記表示部に表示される操作画面において、前記操作部を操作して各種情報(後述の作業車両情報、圃場情報、作業情報など)を登録する操作を行うことが可能である。また、オペレータは、前記操作部を操作して作業車両10に対する作業開始指示、走行停止指示、走行再開指示などを行うことが可能である。さらに、オペレータは、作業車両10から離れた場所において、操作端末20に表示される走行軌跡により、圃場F内を走行経路Rに従って自動走行する作業車両10の走行状態を把握することが可能である。
 記憶部22は、各種の情報を記憶するHDD又はSSDなどの不揮発性の記憶部である。記憶部22には、操作制御部21に後述の自動走行処理(図10参照)を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部22に記憶される。なお、前記自動走行プログラムは、サーバー(不図示)から通信網N1を介して操作端末20にダウンロードされて記憶部22に記憶されてもよい。
 操作制御部21は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、操作制御部21は、前記ROM又は記憶部22に予め記憶された各種の制御プログラムを前記CPUで実行することにより操作端末20を制御する。
 図1に示すように、操作制御部21は、車両設定処理部211、圃場設定処理部212、作業設定処理部213、経路生成処理部214、出力処理部215、表示処理部216、受付処理部217などの各種の処理部を含む。なお、操作制御部21は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
 車両設定処理部211は、作業車両10に関する情報(以下、作業車両情報という。)を設定する。車両設定処理部211は、作業車両10の機種、作業車両10において測位用アンテナ174が取り付けられている位置、作業機14の種類、作業機14のサイズ及び形状、作業機14の作業車両10に対する位置、作業車両10の作業中の車速及びエンジン回転数、作業車両10の旋回中の車速及びエンジン回転数等の情報について、オペレータが操作端末20において登録する操作を行うことにより当該情報を設定する。
 圃場設定処理部212は、圃場Fに関する情報(以下、圃場情報という。)を設定する。圃場設定処理部212は、圃場Fの位置及び形状、作業を開始する作業開始位置S及び作業を終了する作業終了位置G(図3参照)、作業方向等の情報について、操作端末20において登録する操作を行うことにより当該情報を設定する。
 なお、作業方向とは、圃場Fから枕地、非耕作地等の非作業領域を除いた領域である作業領域において、作業機14で作業を行いながら作業車両10を走行させる方向を意味する。
 圃場Fの位置及び形状の情報は、例えばオペレータが作業車両10に搭乗して圃場Fの外周に沿って一回り周回するように運転し、そのときの測位用アンテナ174の位置情報の推移を記録することで、自動的に取得することができる。また、圃場Fの位置及び形状は、操作端末20に地図を表示させた状態でオペレータが操作端末20を操作して当該地図上の複数の点を指定することで得られた多角形に基づいて取得することもできる。取得された圃場Fの位置及び形状により特定される領域は、作業車両10を走行させることが可能な領域(走行領域)である。
 作業設定処理部213は、作業を具体的にどのように行うかに関する情報(以下、作業情報という。)を設定する。作業設定処理部213は、作業情報として、作業車両10(無人トラクタ)と有人の作業車両10の協調作業の有無、作業車両10が枕地において旋回する場合にスキップする作業経路の数であるスキップ数、枕地の幅、及び非耕作地の幅等を設定可能に構成されている。
 経路生成処理部214は、前記設定情報に基づいて、作業車両10を自動走行させる経路である走行経路Rを生成する。走行経路Rは、例えば作業開始位置Sから作業終了位置Gまでの作業経路である(図3参照)。図3に示す走行経路Rは、圃場Fの作業領域において作業車両10を平行に往復走行させる経路である。経路生成処理部214は、車両設定処理部211、圃場設定処理部212及び作業設定処理部213で設定された前記各設定情報に基づいて、作業車両10の走行経路Rを生成して記憶することができる。
 具体的には、経路生成処理部214は、圃場設定で登録した作業開始位置S及び作業終了位置Gに基づいて走行経路R(図3参照)を生成する。走行経路Rは、図3に示す経路に限定されない。
 作業車両10は、操作端末20において生成された走行経路Rのデータが作業車両10に転送され、記憶部12に記憶されるとともに、測位用アンテナ174により作業車両10の現在位置を検出しつつ走行経路Rに沿って自律的に走行可能に構成されている。なお、作業車両10の現在位置は、通常は測位用アンテナ174の位置と一致している。
 本実施形態に係る作業車両10は、図3に示すような略長方形状の圃場Fを走行する。作業車両10は、現在位置が圃場F内に位置している場合に自動走行できるように構成されており、現在位置が圃場F外(公道等)に位置している場合には自動走行できないように構成されている。また、作業車両10は、例えば現在位置が作業開始位置Sと一致している場合に、自動走行できるように構成されている。
 作業車両10は、現在位置が作業開始位置Sと一致している場合に、オペレータにより操作画面において作業開始ボタンが押されて作業開始指示が与えられると、走行処理部113によって、自動走行を開始し、作業機14(図2参照)による作業を開始する。すなわち、操作制御部21は、現在位置が作業開始位置Sと一致していることを条件に作業車両10の自動走行を許可する。なお、作業車両10の自動走行を許可する条件は、前記条件に限定されない。
 出力処理部215は、経路生成処理部214が生成した走行経路Rの情報を作業車両10に出力する。また、出力処理部215は、通信部24を介して制御信号を作業車両10に送信することにより、作業車両10に対して自動走行の開始及び停止等を指示することができる。これにより、作業車両10を自動走行させることが可能となる。
 例えば、走行処理部113は、操作端末20から取得する走行経路Rに基づいて、作業車両10を作業開始位置Sから作業終了位置Gまで自動走行させる。また、走行処理部113は、作業車両10が作業を終了すると、作業終了位置Gから圃場Fの入口まで自動走行させてもよい。作業車両10が自動走行している場合、操作制御部21は、作業車両10の状態(位置、走行速度等)を作業車両10から受信して操作表示部23に表示させることができる。
 表示処理部216は、各種情報を操作表示部23に表示させる。例えば、表示処理部216は、作業車両情報、圃場情報、作業情報などを登録する操作画面、作業車両10に設置された複数のカメラ15のそれぞれの撮像画像を表示する画像表示欄L1のレイアウトを設定する設定画面D1(図5参照)、前記撮像画像を表示する走行状態画面D2(図6~図8参照)、作業車両10の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面D3(図9参照)などを操作表示部23に表示させる。
 受付処理部217は、オペレータから各種操作を受け付ける。例えば、受付処理部217は、オペレータから画像表示欄L1のレイアウトを設定する操作(本発明の設定操作の一例)を受け付ける。また、受付処理部217は、オペレータから作業車両10に作業を開始させる作業開始指示を受け付ける。また、受付処理部217は、オペレータから自動走行中の作業車両10の走行を停止させる走行停止指示を受け付ける。また、受付処理部217は、作業車両10が人間を検出した場合に、オペレータから作業車両10の走行停止指示又は走行継続指示を受け付ける。また、受付処理部217は、オペレータから走行を停止した作業車両10の走行を再開させる走行再開指示を受け付ける。受付処理部217が前記各指示を受け付けると、出力処理部215は、前記各指示を作業車両10に出力する。受付処理部217は、本発明の受付処理部の一例である。
 作業車両10の走行処理部113は、操作端末20から作業開始指示を取得すると、作業車両10の走行及び作業を開始させる。また、走行処理部113は、操作端末20から走行停止指示を取得すると、作業車両10の走行及び作業を停止させる。また、走行処理部113は、操作端末20から走行継続指示を取得すると、作業車両10の走行及び作業を継続させる。また、走行処理部113は、操作端末20から走行再開指示を取得すると、作業車両10の走行及び作業を再開させる。
 ここで、具体例について説明する。例えば、図4に示すように5個のカメラ15F,15B,15R,15L,15C(カメラ1~5)が作業車両10に設置されている場合に、表示処理部216は、作業車両10から取得するカメラ15の個数及び識別情報を取得すると、画像表示欄L1のレイアウトを設定する設定画面D1を操作表示部23に表示させる。例えば図5Aに示すように、表示処理部216は、カメラ15F(カメラ1)、カメラ15B(カメラ2)、カメラ15R(カメラ3)、カメラ15L(カメラ4)、カメラ15C(カメラ5)のそれぞれの撮像画像を表示する5個の画像表示欄L1を任意の順に並べて表示させる。また例えば図5Bに示すように、表示処理部216は、前記5個の画像表示欄L1を作業車両10におけるカメラ15の設置レイアウトに対応する位置に配列してもよい。また、オペレータは、設定画面D1において、画像表示欄L1のレイアウトを変更することができる。例えば、オペレータは、設定画面D1において、各画像表示欄L1をドラッグアンドドロップ操作などにより所望の位置に配置することができる。
 また、表示処理部216は、設定画面D1の左側に示すように、作業車両10に対する各カメラ15の配置位置を識別可能な画像(カメラ配置画像Pc)を表示することが望ましい。これにより、オペレータは、各カメラ15の配置位置と各画像表示欄L1のレイアウトとの対応関係を容易に把握することができる。なお、表示処理部216は、設定画面D1において、カメラ配置画像Pcを省略してもよい。
 表示処理部216は、設定画面D1における前記設定操作に応じて複数の撮像画像P1を配置して表示させる。例えば、図5Aに示す画像表示欄L1のレイアウトが設定されると、表示処理部216は、図6Aに示すように、作業車両10の自動走行の状態を表示する走行状態画面D2に、各カメラ15の撮像画像を表示するカメラ画像表示欄A1を表示させる。走行状態画面D2には、自動走行中の作業車両10の現在の状態がリアルタイムに表示される。オペレータは、走行状態画面D2において、作業車両10の現在の走行状況及び作業状況を把握することができる。表示処理部216は、カメラ画像表示欄A1に、設定画面D1で設定されたレイアウトに応じて各画像表示欄L1を表示させる。図6Bには、各画像表示欄L1に撮像画像P1が表示された走行状態画面D2の一例を示している。各画像表示欄L1に表示される撮像画像P1は、リアルタイムに更新される。
 画像表示欄L1が図5Bに示すレイアウトに設定された場合には、表示処理部216は、図7Aに示す各画像表示欄L1を表示させる。図7Bには、各画像表示欄L1に撮像画像P1が表示された走行状態画面D2の一例を示している。
 ここで、5個のカメラ15の撮像画像のうち少なくともいずれかの撮像画像において障害物(ここでは人間)が検出された場合には、操作端末20は以下の処理を実行する。例えば、作業車両10の検出処理部112がカメラ15L(カメラ4)から取得した撮像画像において人間を検出した場合に、検出処理部112は、人間を検出したことを示す判定結果と当該撮像画像に対応するカメラ15L(カメラ4)の識別情報とを操作端末20に出力する。また、取得処理部111は、各カメラ15から取得した前記撮像画像の画像データを操作端末20に出力する。
 操作端末20の表示処理部216は、作業車両10から前記画像データを取得すると、各画像表示欄L1に撮像画像P1を表示させる。また、表示処理部216は、作業車両10から前記判定結果及び前記識別情報を取得すると、図8Aに示すように、カメラ15L(カメラ4)に対応する画像表示欄L1及び撮像画像P1を拡大して表示させる。これにより、障害物として検出された人間の画像が拡大表示される。
 他の実施形態として、表示処理部216は、複数の画像表示欄L1のうちカメラ15L(カメラ4)に対応する画像表示欄L1を強調して表示させてもよい。例えば図8Bに示すように、表示処理部216は、カメラ15L(カメラ4)に対応する画像表示欄L1の枠を太線で表示させる。また、表示処理部216は、カメラ15L(カメラ4)に対応する画像表示欄L1をカラー表示、点灯、又は点滅させてもよい。また、表示処理部216は、カメラ画像表示欄A1に、カメラ15L(カメラ4)に対応する画像表示欄L1のみ表示させて、他のカメラ15に対応する画像表示欄L1を非表示にしてもよい。
 また、表示処理部216は、作業車両10から人間を検出したことを示す判定結果を取得すると、作業車両10の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面D3を操作表示部23に表示させる。図9には、走行選択画面D3の一例を示している。表示処理部216は、走行選択画面D3に、障害物を検出したことを示すメッセージと、走行を停止するか又は継続するかを選択させるメッセージと、走行を停止させる走行停止ボタンB1と、走行を継続させる走行継続ボタンB2とを表示させる。オペレータが走行選択画面D3において走行停止ボタンB1を押下すると、受付処理部217は、走行停止指示を受け付ける。受付処理部217が前記走行停止指示を受け付けると、出力処理部215は作業車両10に前記走行停止指示を出力する。作業車両10の走行処理部113は、操作端末20から前記走行停止指示を取得すると、作業車両10の走行及び作業を停止させる。
 これに対して、オペレータが走行選択画面D3において走行継続ボタンB2を押下すると、受付処理部217は、走行継続指示を受け付ける。受付処理部217が前記走行継続指示を受け付けると、出力処理部215は作業車両10に前記走行継続指示を出力する。作業車両10の走行処理部113は、操作端末20から前記走行継続指示を取得すると、作業車両10の走行及び作業を停止させず、走行及び作業を継続する。なお、受付処理部217が前記走行継続指示を受け付けた場合に、出力処理部215は作業車両10に前記走行継続指示を出力しない構成であってもよい。これにより、走行処理部113は、作業車両10の走行を停止させる処理を行わないため、結果的に走行及び作業を継続する。
 ここで、オペレータが走行選択画面D3において走行停止ボタンB1及び走行継続ボタンB2のいずれも押下しないことが考えられる。例えば、オペレータが、障害物が検出されたこと又は走行選択画面D3が表示されたことに気が付かないことが考えられる。この場合には、作業車両10と障害物とが接触する危険性を回避するために、出力処理部215は、作業車両10に前記走行停止指示を出力する。具体的には、受付処理部217が前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部113は、作業車両10の自動走行を停止させる。例えば、表示処理部216が走行選択画面D3を表示させてから、又は、検出処理部112が人間を検出してから、所定時間経過するまでの間にオペレータが走行停止ボタンB1及び走行継続ボタンB2のいずれも押下しない場合に、出力処理部215は、作業車両10に前記走行停止指示を出力する。
 このように、検出処理部112により障害物(人間)が検出された場合において、受付処理部217が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部113は、作業車両10の自動走行を停止させる。すなわち、作業車両10は、障害物を検出した場合にオペレータから指示を受け付けなかった場合には、走行及び作業を停止する。
 ここで、前記所定時間は、予め設定された一定の時間であってもよいし、障害物を検出したときの障害物の大きさに応じた時間であってもよい。例えば、前記撮像画像において前記障害物の大きさが大きい場合には、前記撮像画像における前記障害物の大きさが小さい場合と比較して、作業車両10と前記障害物との間の距離が近くなるため、操作制御部21は、前記撮像画像における前記障害物の大きさが大きい程、前記所定時間を短く設定する。また、操作制御部21は、前記撮像画像における前記障害物の大きさが小さい程、前記所定時間を長く設定する。これにより、作業車両10と前記障害物との間の距離が近い場合には、前記走行停止指示及び前記走行継続指示の受付時間を短くし、作業車両10と前記障害物との間の距離が長い場合には、前記走行停止指示及び前記走行継続指示の受付時間を長くすることができる。なお、走行処理部113は、前記所定時間の間は、作業車両10を減速走行させてもよい。
 なお、操作制御部21は、作業車両10が障害物を検出したことを示す情報をオペレータに報知してもよい。例えば、操作制御部21は、作業車両10が障害物を検出したときに音声(警告音)を出力してもよい。
 作業車両10が前記走行停止指示により停止した後に、オペレータが操作端末20において前記走行再開指示を行うと、受付処理部217が前記走行再開指示を受け付け、出力処理部215が作業車両10に前記走行再開指示を出力する。作業車両10の走行処理部113は、操作端末20から前記走行再開指示を取得すると、作業車両10の走行及び作業を再開させる。
 なお、操作端末20は、サーバー(不図示)が提供する農業支援サービスのウェブサイト(農業支援サイト)に通信網N1を介してアクセス可能であってもよい。この場合、操作端末20は、操作制御部21によってブラウザプログラムが実行されることにより、前記サーバーの操作用端末として機能することが可能である。そして、前記サーバーは、上述の各処理部を備え、各処理を実行する。
 他の実施形態として、上述した車両制御装置11及び検出処理装置19の各機能は、操作端末20の操作制御部21に含まれてもよい。すなわち、例えば操作制御部21は、作業車両10の各カメラ15から撮像画像の画像データを取得して、障害物を検出する処理を実行してもよい。また、検出処理装置19の各機能(取得処理部111及び検出処理部112)は、車両制御装置11に含まれてもよい。
[自動走行処理]
 以下、図10を参照しつつ、車両制御装置11、検出処理装置19、及び操作制御部21によって実行される前記自動走行処理の一例について説明する。例えば、前記自動走行処理は、作業車両10が自動走行を開始した場合に車両制御装置11、検出処理装置19、及び操作制御部21によって開始される。
 なお、本願発明は、車両制御装置11、検出処理装置19、及び操作制御部21が前記自動走行処理の一部又は全部を実行する自動走行方法の発明、又は、当該自動走行方法の一部又は全部を車両制御装置11、検出処理装置19、及び操作制御部21に実行させるための自動走行プログラムの発明として捉えてもよい。また、前記自動走行処理は、一又は複数のプロセッサーが実行してもよい。
 ステップS1において、車両制御装置11は、作業車両10に作業を開始させる。例えば、操作端末20の操作画面においてオペレータが作業開始ボタンを押下すると、操作制御部21は、作業開始指示を作業車両10に出力する。車両制御装置11は、操作端末20から作業開始指示が取得すると、作業車両10の自動走行を開始させる。これにより、作業車両10は、走行経路Rに従って自動走行を開始し、作業機14による作業を開始する。
 次にステップS2において、検出処理装置19は、作業車両10に設置された各カメラ15から撮像画像を取得する。例えば、検出処理装置19は、5個のカメラ15F,15B,15R,15L,15Cのそれぞれから所定のフレームレートで連続して撮像画像(フレーム画像)を取得する。
 次にステップS3において、検出処理装置19は、取得した前記撮像画像において障害物(例えば人間)を検出する。具体的には、検出処理装置19は、前記撮像画像に基づいて検出エリアに人間が含まれるか否かを判定する。検出処理装置19が人間を検出した場合(S3:Yes)、処理はステップS4に移行する。一方、検出処理装置19が人間を検出しない場合(S3:No)、処理はステップS31に移行する。
 ステップS31では、車両制御装置11は、作業車両10が作業を終了したか否かを判定する。作業車両10が作業を終了した場合(S31:Yes)、処理は終了する。一方、作業車両10が作業を終了していない場合(S31:No)処理はステップS2に戻る。このように、検出処理装置19は、人物を検出しない場合には所定の作業が終了するまで撮像画像を取得しながら走行及び作業を行う。
 また、検出処理装置19は、取得した撮像画像の画像データと、当該撮像画像に対応するカメラ15の識別情報と、前記撮像画像に人間が含まれるか否かを示す判定結果とを操作端末20に出力する。操作制御部21は、作業車両10の検出処理装置19から前記画像データを取得すると、各画像表示欄L1に撮像画像P1を表示させる(図6B参照)。
 ステップS4では、操作制御部21は、人物を含む撮像画像を拡大して表示させる。例えばカメラ15L(カメラ4)に対応する撮像画像において人間が検出された場合に、操作制御部21は、図8Aに示すように、カメラ15L(カメラ4)に対応する画像表示欄L1を拡大して撮像画像P1を拡大して表示させる。これにより、障害物として検出された人間の画像が拡大表示される。
 次にステップS5において、操作制御部21は、作業車両10の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面D3を操作表示部23に表示させる(図9参照)。
 次にステップS6において、操作制御部21は、走行選択画面D3おいてオペレータから前記走行停止指示を受け付けたか否かを判定する。例えば図9に示す走行選択画面D3においてオペレータが走行停止ボタンB1を押下すると、操作制御部21は走行停止指示を受け付け(S6:Yes)、処理はステップS9に移行する。一方、図9に示す走行選択画面D3においてオペレータが走行停止ボタンB1を押下しない場合(S6:No)、処理はステップS7に移行する。
 次にステップS7において、操作制御部21は、走行選択画面D3おいてオペレータから前記走行継続指示を受け付けたか否かを判定する。例えば図9に示す走行選択画面D3においてオペレータが走行継続ボタンB2を押下すると、操作制御部21は走行継続指示を受け付け(S7:Yes)、処理はステップS71に移行する。一方、図9に示す走行選択画面D3においてオペレータが走行継続ボタンB2を押下しない場合(S7:No)、処理はステップS8に移行する。
 ステップS71では、操作制御部21は、作業車両10の走行及び作業を停止させず、走行及び作業を継続させる。その後、処理はステップS2に戻る。
 ステップS8では、操作制御部21は、所定時間が経過したか否かを判定する。具体的には、操作制御部21は、操作制御部21が走行選択画面D3を表示させてから、又は、検出処理装置19が人間を検出してから、前記走行停止指示及び前記走行継続指示のいずれも受け付けることなく前記所定時間が経過したか否かを判定する。前記走行停止指示及び前記走行継続指示のいずれも受け付けることなく前記所定時間が経過した場合(S8:Yes)、処理はステップS9に移行する。前記所定時間が経過しない場合(S8:No)、処理はステップS6に戻る。
 ステップS9では、操作制御部21が作業車両10に前記走行停止指示を出力し、車両制御装置11が作業車両10の走行及び作業を停止させる。
 ステップS10において、操作制御部21は、オペレータから走行再開指示を受け付けたか否かを判定する。操作制御部21は、オペレータから前記走行再開指示を受け付けると(S10:Yes)、処理はステップS2に戻る。一方、操作制御部21がオペレータから前記走行再開指示を受け付けない場合(S10:No)、処理は終了する。車両制御装置11、検出処理装置19、及び操作制御部21は、作業車両10が作業を終了するまでステップS1~S10の処理を繰り返し実行する。
 以上説明したように、本実施形態に係る自動走行システム1は、作業車両10に設置されるカメラ15から撮像画像P1を取得し、撮像画像P1に基づいて障害物を検出する。また、自動走行システム1は、前記障害物が検出された場合に、作業車両10の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。そして、自動走行システム1は、前記走行停止指示を受け付けた場合に作業車両10の自動走行を停止させ、前記走行継続指示を受け付けた場合に作業車両10の自動走行を継続させる。これにより、作業車両10が自動走行中に障害物を検出した場合に、オペレータは自動走行を停止させるか又は自動走行を継続させるかを選択することができる。例えば障害物が自動走行を妨げるものでない場合には、オペレータが自動走行を継続させる指示を行うことにより、作業車両10は停止することなく自動走行を継続するため、作業効率の低下を防ぐことができる。また、例えば障害物が自動走行を妨げるものである場合には、オペレータが自動走行を停止させて前記障害物を取り除くなどして安全性を確保することができる。そして、オペレータは作業車両10の安全性を確保した場合に自動走行を再開させることができる。よって、作業車両10の安全性を確保しつつ、作業効率の低下を防ぐことが可能となる。
 また、作業車両10が自動走行中に障害物を検出した場合において、オペレータが所定時間内に自動走行を停止させる操作及び自動走行を継続させる操作のいずれも行わない場合には、自動走行システム1は、自動走行を停止させる。これにより、オペレータが気が付かないうちに作業車両10が自動走行を継続して障害物に接触する事態を回避することができる。
 本発明は上述の実施形態に限定されず、以下の実施形態であってもよい。
 上述の実施形態では、検出処理部112により障害物(人間)が検出された場合において、受付処理部217が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部113は、作業車両10の自動走行を停止させている。他の実施形態として、検出処理部112により障害物が検出された場合において、受付処理部217が、作業車両10と障害物との間の距離が所定距離になるまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部113は、作業車両10の自動走行を停止させてもよい。
 操作制御部21は、作業車両10から取得する連続するフレーム画像に基づいて作業車両10と障害物との間の距離の変化を算出してもよい。例えば図11に示すように、操作制御部21は、撮像画像P1における人間を囲む枠W1の大きさに基づいて前記距離を算出することができる。
 ここで、前記所定距離は、予め設定された一定の距離であってもよいし、障害物を検出したときの障害物の大きさに応じた距離であってもよい。例えば、前記撮像画像において前記障害物の大きさが大きい場合には、前記撮像画像における前記障害物の大きさが小さい場合と比較して、作業車両10と前記障害物との間の距離が近くなるため、操作制御部21は、前記撮像画像における前記障害物の大きさが大きい程、前記所定距離を短く設定する。また、操作制御部21は、前記撮像画像における前記障害物の大きさが小さい程、前記所定距離を長く設定する。これにより、作業車両10と前記障害物との間の距離が近い場合には、前記走行停止指示及び前記走行継続指示の受付時間を短くし、作業車両10と前記障害物との間の距離が長い場合には、前記走行停止指示及び前記走行継続指示の受付時間を長くすることができる。なお、走行処理部113は、前記所定距離の間は、作業車両10を減速走行させてもよい。
 他の実施形態として、例えば検出処理部112が特定の人物を検出して、オペレータが走行継続指示を行った場合において、その後に検出処理部112が同一人物を再び検出した場合に、作業車両10は、オペレータの走行継続指示を取得することなく自動走行を継続してもよい。これにより、例えば自動走行を妨げることのない同一の障害物が検出される度に、オペレータに走行停止指示又は走行継続指示の選択操作を要求する必要がなくなるため、利便性を向上させることができる。
 また、本実施形態では、カメラによって撮影された画像を基に障害物の検出および判定を行ったが、他の実施形態としては、カメラとLidar(障害物検出センサ)とを併用させても良い。具体的には、Lidarによって障害物の検出を行い、カメラによって障害物の判定を行うこととしても良い。前記障害物検出センサは、超音波などを利用したセンサであってもよい。

Claims (10)

  1.  作業車両に設置される撮像部から撮像画像を取得することと、
     取得する前記撮像画像に基づいて障害物を検出することと、
     前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
     前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
     を実行する自動走行方法。
  2.  前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記作業車両の自動走行を停止させる、
     請求項1に記載の自動走行方法。
  3.  前記障害物が検出された場合において、所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記作業車両の自動走行を停止させる、
     請求項2に記載の自動走行方法。
  4.  前記所定時間は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い時間に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い時間に設定される、
     請求項3に記載の自動走行方法。
  5.  前記障害物が検出された場合において、前記作業車両と前記障害物との間の距離が所定距離になるまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記作業車両の自動走行を停止させる、
     請求項2に記載の自動走行方法。
  6.  前記所定距離は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い距離に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い距離に設定される、
     請求項5に記載の自動走行方法。
  7.  前記撮像部は、前記作業車両の異なる場所に複数設置されており、
     取得される複数の前記撮像部に対応する複数の前記撮像画像を操作端末に並べて表示させ、
     複数の前記撮像画像のうち前記障害物が検出された前記撮像画像を強調して表示させる、
     請求項1~6のいずれかに記載の自動走行方法。
  8.  さらに、前記操作端末に表示される複数の前記撮像画像のレイアウトを設定する設定操作を受け付け、
     前記操作端末において、前記設定操作に応じて複数の前記撮像画像を配置して表示させる、
     請求項7に記載の自動走行方法。
  9.  作業車両に設置される撮像部から撮像画像を取得する取得処理部と、
     前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する検出処理部と、
     前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける受付処理部と、
     前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる走行処理部と、
     を備える自動走行システム。
  10.  作業車両に設置される撮像部から撮像画像を取得することと、
     取得する前記撮像画像に基づいて障害物を検出することと、
     前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
     前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
     を一又は複数のプロセッサーに実行させるための自動走行プログラム。
PCT/JP2021/043530 2020-12-02 2021-11-29 自動走行システム、自動走行方法、及び自動走行プログラム WO2022118771A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/039,716 US20240103527A1 (en) 2020-12-02 2021-11-29 Automatic traveling system, automatic traveling method, and automatic traveling program
CN202180078686.4A CN116583804A (zh) 2020-12-02 2021-11-29 自动行驶***、自动行驶方法以及自动行驶程序
KR1020237015012A KR20230116774A (ko) 2020-12-02 2021-11-29 자동 주행 시스템, 자동 주행 방법, 및 자동 주행 프로그램
EP21900524.6A EP4256926A1 (en) 2020-12-02 2021-11-29 Automatic traveling system, automatic traveling method, and automatic traveling program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-200358 2020-12-02
JP2020200358A JP2022088099A (ja) 2020-12-02 2020-12-02 自動走行システム、自動走行方法、及び自動走行プログラム

Publications (1)

Publication Number Publication Date
WO2022118771A1 true WO2022118771A1 (ja) 2022-06-09

Family

ID=81854133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043530 WO2022118771A1 (ja) 2020-12-02 2021-11-29 自動走行システム、自動走行方法、及び自動走行プログラム

Country Status (6)

Country Link
US (1) US20240103527A1 (ja)
EP (1) EP4256926A1 (ja)
JP (1) JP2022088099A (ja)
KR (1) KR20230116774A (ja)
CN (1) CN116583804A (ja)
WO (1) WO2022118771A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116860A (ja) * 2007-10-19 2009-05-28 Yamaha Motor Powered Products Co Ltd 車両
WO2015147149A1 (ja) * 2014-03-28 2015-10-01 ヤンマー株式会社 自律走行作業車両
WO2016143174A1 (ja) * 2015-03-11 2016-09-15 株式会社クボタ 作業車両および作業車両を自動走行させる走行制御装置
US20170118915A1 (en) * 2015-11-03 2017-05-04 Claas Selbstfahrende Erntemaschinen Gmbh Surroundings detection device for agricultural work machines
JP2018113938A (ja) 2017-01-20 2018-07-26 株式会社クボタ 走行制御装置
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019129760A (ja) * 2018-01-31 2019-08-08 井関農機株式会社 コンバイン
JP2020018255A (ja) * 2018-08-02 2020-02-06 井関農機株式会社 収穫作業システム
JP2020103146A (ja) * 2018-12-27 2020-07-09 井関農機株式会社 移植機
JP2020123013A (ja) * 2019-01-29 2020-08-13 ヤンマーパワーテクノロジー株式会社 自律走行制御システム
JP2020171318A (ja) * 2020-07-16 2020-10-22 株式会社クボタ 自動走行作業車
JP2020178659A (ja) * 2019-04-26 2020-11-05 国立大学法人京都大学 収穫機

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116860A (ja) * 2007-10-19 2009-05-28 Yamaha Motor Powered Products Co Ltd 車両
WO2015147149A1 (ja) * 2014-03-28 2015-10-01 ヤンマー株式会社 自律走行作業車両
WO2016143174A1 (ja) * 2015-03-11 2016-09-15 株式会社クボタ 作業車両および作業車両を自動走行させる走行制御装置
US20170118915A1 (en) * 2015-11-03 2017-05-04 Claas Selbstfahrende Erntemaschinen Gmbh Surroundings detection device for agricultural work machines
JP2018113938A (ja) 2017-01-20 2018-07-26 株式会社クボタ 走行制御装置
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019129760A (ja) * 2018-01-31 2019-08-08 井関農機株式会社 コンバイン
JP2020018255A (ja) * 2018-08-02 2020-02-06 井関農機株式会社 収穫作業システム
JP2020103146A (ja) * 2018-12-27 2020-07-09 井関農機株式会社 移植機
JP2020123013A (ja) * 2019-01-29 2020-08-13 ヤンマーパワーテクノロジー株式会社 自律走行制御システム
JP2020178659A (ja) * 2019-04-26 2020-11-05 国立大学法人京都大学 収穫機
JP2020171318A (ja) * 2020-07-16 2020-10-22 株式会社クボタ 自動走行作業車

Also Published As

Publication number Publication date
CN116583804A (zh) 2023-08-11
JP2022088099A (ja) 2022-06-14
KR20230116774A (ko) 2023-08-04
US20240103527A1 (en) 2024-03-28
EP4256926A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
WO2022118773A1 (ja) 自動走行システム、自動走行方法、及び自動走行プログラム
WO2022118771A1 (ja) 自動走行システム、自動走行方法、及び自動走行プログラム
WO2022102365A1 (ja) 自律走行システム、自律走行方法、及び自律走行プログラム
WO2022118772A1 (ja) 自動走行システム、自動走行方法、及び自動走行プログラム
JP2023118253A (ja) 圃場登録方法、圃場登録システム、及び圃場登録プログラム
JP7492469B2 (ja) 自動走行方法、自動走行システム、及び自動走行プログラム
WO2022130945A1 (ja) 自動走行システム、自動走行方法、及び自動走行プログラム
US20240096137A1 (en) Display method, display terminal, and display program
US20240004384A1 (en) Autonomous travel method, autonomous travel system, and autonomous travel program
US20240028037A1 (en) Autonomous travel method, autonomous travel system, and autonomous travel program
US20240040948A1 (en) Setting method, automatic run method, setting system, and setting program
JP2022061394A (ja) 自律走行システム、自律走行方法、及び自律走行プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900524

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180078686.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18039716

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021900524

Country of ref document: EP

Effective date: 20230703