JP7183121B2 - 作業車 - Google Patents

作業車 Download PDF

Info

Publication number
JP7183121B2
JP7183121B2 JP2019117488A JP2019117488A JP7183121B2 JP 7183121 B2 JP7183121 B2 JP 7183121B2 JP 2019117488 A JP2019117488 A JP 2019117488A JP 2019117488 A JP2019117488 A JP 2019117488A JP 7183121 B2 JP7183121 B2 JP 7183121B2
Authority
JP
Japan
Prior art keywords
image
detection
travel
obstacle
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019117488A
Other languages
English (en)
Other versions
JP2021003014A (ja
Inventor
隆志 中林
俊樹 渡邉
俊介 江戸
隼輔 宮下
憲一 石見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2019117488A priority Critical patent/JP7183121B2/ja
Priority to CN202080040074.1A priority patent/CN113874874A/zh
Priority to EP20833468.0A priority patent/EP3991533A4/en
Priority to PCT/JP2020/019933 priority patent/WO2020261824A1/ja
Priority to US17/603,452 priority patent/US20220207882A1/en
Publication of JP2021003014A publication Critical patent/JP2021003014A/ja
Application granted granted Critical
Publication of JP7183121B2 publication Critical patent/JP7183121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)
  • Traffic Control Systems (AREA)
  • Combines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

機体周囲が撮像された画像を用いて障害物の検知を行う作業車に関する。
走行しながら作業を行う作業車は、作業走行中に機体の周囲を複数のカメラで撮影し、撮影された機体の周囲の撮像画像を用いて、機体の周囲に存在する障害物を検知する場合がある。障害物の検知は、ＣＰＵやＥＣＵ等が撮像画像を解析することにより行われる。
特開２０１９－４９９１８号公報
複数のカメラを用いて撮影された機体の周囲の撮像画像はデータ量が非常に大きくなる。そのため、このようなデータ量の大きな撮像画像を高精度に解析するためには、高いプロセッサの処理能力が必要となる。しかしながら、作業車に搭載されるプロセッサには処理能力に限界があり、機体の周囲の撮像画像を短時間に、かつ、高精度に解析することが困難である。
本発明は、機体の周囲の撮像画像を用いて、短時間に、かつ、高精度に障害物の検知を行うことを目的とする。
上記目的を達成するために、本発明の一実施形態に係る作業車は、作業走行を行う作業車であって、機体の周囲を撮影する複数の撮像装置と、複数の前記撮像装置が撮影した周辺画像を合成して、前記機体の周囲全周の周囲画像を生成する画像処理部と、前記周囲画像が表示される表示装置と、作業走行の進行方向を検出する方向検出部と、前記方向検出部が検出した進行方向前方を撮影する前記撮像装置が撮影する１つの前記周辺画像、または、進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像および進行方向前方を撮影する前記撮像装置と隣接して配置される１または複数の前記撮像装置が撮影する前記周辺画像を検知用画像として取得する画像選別部と、前記画像選別部が取得した前記検知用画像を解析して障害物を検知する検知部とを備える。
機体の周囲の障害物が、撮像装置により撮影された画像を画像解析することで検知される場合がある。また、複数のカメラで機体の周囲を分割して撮影し、撮影された複数の周辺画像を合成して周囲画像を生成し、機体の周囲の状況が１枚の画像として表示される場合がある。このような周囲画像を用いて画像解析することにより、機体の周囲の障害物を検知することも可能であるが、解析装置の性能の限界もあり、データ量が大きくなりがちな周囲画像を用いて障害物の検知を高精度に行うことは困難である。これに対して上記のような構成では、周囲画像の生成に用いられる周辺画像のうち、障害物の検知に必要な進行方向前方を撮影する撮像装置が撮影する周辺画像を検知用画像として選択的に用いて画像解析を行うことができる。そのため、効率的に検知用画像を最適化することで、必要最低限のデータ量の検知用画像を用いて障害物の検知が行われ、データ量が抑制されて、短時間で、かつ容易に障害物の検知を高精度に行うことができる。
また、検知用画像のデータ量を抑制しながら、効率的に最適な範囲の検知画像を選択することができ、より精度良く障害物の検知を行うことができる。
また、運転者や作業者は、機体の周囲の状況を容易に認知することができる。
また、あらかじめ設定された動作を順に行うように前記作業走行を自動走行制御する自動走行制御部を備えても良い。
このような構成により、自動走行においても、短時間で、かつ容易に障害物の検知を高精度に行うことができる。
また、前記自動走行制御部は、前記検知部が前記障害物を検知した場合に、あらかじめ設定された次の前記動作を変更することが好ましい。
このような構成により、作業車が障害物に衝突する等の事態を回避して、適切な作業走行を継続することができる。
また、前記画像選別部は、次の前記動作が開始される所定時間前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得しても良い。
このような構成により、動作の移行前にあらかじめ、次の動作の進行方向に存在する障害物が検知され、障害物があるにもかかわらず動作の移行が行われることが抑制され、作業車が障害物に衝突する等の事態を回避することができる。
また、前記画像選別部は、次の前記動作が開始される位置より所定の距離だけ手前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得しても良い。
このような構成により、動作の移行前にあらかじめ障害物の存在が判明し、障害物があるにもかかわらず動作の移行が行われることが抑制され、作業車が障害物に衝突する等の事態を回避することができる。
また、前記自動走行制御部は、前記検知部が前記障害物を検知すると、前記作業走行の停止または前記動作の移行の停止を行うことが好ましい。
このような構成により、確実に作業車が障害物に衝突等することを回避することができる。そして、障害物の存在がなくなってから、作業走行を再開し、あるいは動作の移行を行うことができるため、適切な作業走行を継続することができる。
また、前記検知部は、機械学習されたニューラルネットワークを用いて前記障害物の検知を行っても良い。
このような構成により、より効率的、かつ高精度に障害物の検知を行うことができる。
普通型コンバインの機体の右側面図である。 普通型コンバインの機体の平面図である。 普通型コンバインの機体の左側面図である。 コンバインの制御系を示す機能ブロック図である。 周囲画像を例示する図である。 検知用画像において障害物を検知する例を説明する図である。
本発明の作業車の一例である普通型コンバイン（以下、単にコンバインとも称す）について、図面に基づき説明する。なお、以下の説明においては、図１に示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とし、図１の紙面の手前方向を「左」、奥向き方向を「右」とする。また、図１に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。
〔コンバインの全体構成〕
まず、図１から図３を用いてコンバインの全体構成について説明する。コンバインは、クローラ式の走行装置１１、運転部１２、脱穀装置１３、穀粒タンク１４、収穫部Ｈ、搬送装置１６、穀粒排出装置１８、衛星測位モジュール８０を備える。搬送装置１６、脱穀装置１３および収穫部Ｈは作業装置の一例である。
走行装置１１は、機体１０の下部に備えられている。コンバインは、走行装置１１によって自走可能に構成される。
また、運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１の上側に備えられる。運転部１２は、運転座席３１、および、運転座席３１を覆うキャビン３を備える。運転座席３１には、コンバインの作業者や作業を監視する監視者が搭乗可能である。なお、監視者は、コンバインの機外からコンバインの作業を監視していても良い。運転部１２には、表示装置２が配置される。
穀粒排出装置１８は、穀粒タンク１４の上側に設けられる。また、衛星測位モジュール８０は、運転部１２の上面に取り付けられる。
収穫部Ｈは、コンバインにおける前部に備えられる。そして、搬送装置１６は、収穫部Ｈの後方に設けられる。また、収穫部Ｈは、切断機構１５およびリール１７を有する。
切断機構１５により刈り取られた刈取穀稈は、搬送装置１６によって脱穀装置１３へ搬送される。脱穀装置１３において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。収穫部Ｈ、走行装置１１、搬送装置１６および脱穀装置１３は、動力源の一例であるエンジン８により駆動される。
コンバインは、機体１０に、機体の周囲を撮影する複数のカメラ４（撮像装置に相当）を備える。複数のカメラ４は、それぞれ機体１０の周囲における所定の領域の画像（周辺画像）を撮影し、これらの画像が合成されて機体１０の全方向における周囲の画像（周囲画像）が生成される。例えば、カメラ４として、前カメラ４１（撮像装置の一例）、後カメラ４２（撮像装置の一例）、右カメラ４３（撮像装置の一例）、および左カメラ４４（撮像装置の一例）が設けられる。前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４はそれぞれ、機体１０の周辺を撮影して周辺画像を生成し、後述の画像処理部７０（図４参照）へ出力する。なお、本実施形態において周辺画像は、静止画であっても良いし、動画であっても良い。また、カメラ４は４台に限らず、機体１０の全周囲を撮影できるだけの台数が設けられれば良い。
図１から図３に示されるように、前カメラ４１は、運転部１２における前部に設けられる。詳しくは、前カメラ４１は、キャビン３における前上部に設けられている。前カメラ４１は、キャビン３における機体左右方向左側端部付近に位置しており、機体１０における機体左右方向中央部に位置している。前カメラ４１は、前斜め下方向に向けられており、機体１０の前方を撮影する。
後カメラ４２は、穀粒タンク１４の後端部の上部に設けられる。後カメラ４２は、穀粒タンク１４の機体左右方向左側端部付近に位置しており、機体１０における機体左右方向中央部に位置している。後カメラ４２は、後斜め下方向に向けられており、機体１０の後方を撮影する。
右カメラ４３は、キャビン３の右側の側部の上角部に設けられる。右カメラ４３は、キャビン３の後端部に位置しており、機体１０における機体前後方向の中央部付近に位置している。右カメラ４３は、右斜め下方向に向けられており、機体１０の右方を撮影する。
左カメラ４４は、脱穀装置１３の左側の側部の上角部に設けられている。左カメラ４４は、脱穀装置１３の機体前後方向前端部付近に位置しており、機体前後方向の中央部付近に位置している。左カメラ４４の機体前後方向の位置は、右カメラ４３の機体前後方向の位置とほぼ同じである。左カメラ４４は、左斜め下方向に向けられており、機体１０の左方を撮影する。
運転部１２に、表示装置２が設けられる。前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４が撮影した周辺画像に基づいて合成画像が生成され、合成画像は表示装置２で表示される。表示装置２は、運転座席３１の左斜め前に配置される。
〔制御系の構成〕
次に、図１を参照しながら図４を用いて、コンバインの制御系の構成を説明する。この実施形態の制御系は、制御ユニット６を含み、多数のＥＣＵと呼ばれる電子制御ユニット（プロセッサ）と、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。なお、制御ユニット６はこのようなハードウェアで構成されても良いが、一部または全部の構成を、適当な手順が実行されるソフトウェアで構成されても良い。また、このような構成をプロセッサが実行するプログラムにより実現しても良い。この場合、プログラムはコンバインに搭載される任意の記憶装置に格納される。
制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。制御ユニット６は、各種動作機器、センサ群やスイッチ群等と配線網を介して接続される。さらに、制御ユニット６は、コンバインの外部に設けられる各種機器と通信部９を介してデータ通信可能な状態で接続される。
通信部９は、このコンバインの制御系が、遠隔地に設置されているクラウドコンピュータシステム１００や携帯通信端末２００等との間でデータ交換するために用いられる。携帯通信端末２００は、ここでは、作業走行現場における監視者（運転者・作業者も含む）が操作するタブレットコンピュータである。
上述の衛星測位モジュール８０からの測位データ、および、カメラ４からの画像データは、配線網を通じて制御ユニット６に入力される。
制御ユニット６は、入出力インタフェースとして、入力処理部６Ａと出力処理部６Ｂとを備える。入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続される。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサ等を含めることができる。作業系検出センサ群８Ｂには、収穫部Ｈ、脱穀装置１３、穀粒排出装置１８、搬送装置１６における装置状態および穀稈や穀粒の状態を検出するセンサ等を含めることができる。
出力処理部６Ｂには、車両走行機器群７Ａや作業装置機器群７Ｂが接続される。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などを含めることができる。作業装置機器群７Ｂには、収穫部Ｈ、脱穀装置１３、穀粒排出装置１８、搬送装置１６における動力制御機器などを含めることができる。
制御ユニット６には、作業走行制御モジュール６０、画像処理部７０、障害物検出部５、機***置算出部６６が備えられる。
機***置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１の地図座標（または圃場座標）である機***置を算出する。
この実施形態のコンバインは自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。作業走行制御モジュール６０は、走行制御部６１と作業制御部６２とに加えて、自動走行制御部６３および走行経路設定部６４を備える。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が運転部１２に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。
走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、収穫部Ｈ、脱穀装置１３、穀粒排出装置１８、搬送装置１６などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。
手動操舵モードが選択されている場合、運転者による操作に基づいて、走行制御部６１は、制御信号を生成し、車両走行機器群７Ａを制御する。また、運転者による操作に基づいて、作業制御部６２は、制御信号を生成し、作業装置機器群７Ｂを制御する。自動操舵モードが選択されている場合、自動走行制御部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。また、自動走行制御部６３によって与えられる自動走行指令に基づいて、作業制御部６２は、作業装置機器群７Ｂを制御する。
走行経路設定部６４は、制御ユニット６、携帯通信端末２００、クラウドコンピュータシステム１００などのいずれかで作成された自動走行のための走行経路を、走行経路設定部６４に内蔵されメモリ（図示せず）に展開する。メモリ（図示せず）に展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。自動操舵モードが選択されている場合、目標走行経路と、目標走行経路に対応して順に行われる作業装置機器群７Ｂの駆動状態が、自動走行に係る動作としてあらかじめ設定される。
自動走行制御部６３は、より詳しくは、自動操舵指令および車速指令を生成して、走行制御部６１にこれらの指令を与える。自動操舵指令は、走行経路設定部６４によって走行経路と、機***置算出部６６によって算出された自車位置との間の方位ずれおよび位置ずれを解消するように生成される。車速指令は、前もって設定された車速値に基づいて生成される。さらに、自動走行制御部６３は、作業制御部６２に、自車位置や自車の走行状態に応じて、作業装置動作指令を与える。
画像処理部７０は、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４が撮影したそれぞれの周辺画像を取得する。具体的には、画像処理部７０に、機体１０の前方周辺を撮影した前方周辺画像が前カメラ４１から入力され、機体１０の後方周辺を撮影した後方周辺画像が後カメラ４２から入力され、機体１０の右方周辺を撮影した右方周辺画像が右カメラ４３から入力され、機体１０の左方周辺を撮影した左方周辺画像が左カメラ４４から入力される。画像処理部７０は、周辺画像に基づいて機体１０の周囲全周の様子を示す周囲画像を生成し、周囲画像を表示装置２へ出力する。表示装置２は、画像処理部７０が出力した周囲画像を表示する。
画像処理部７０は、記憶部７２と、画像合成部７３とを備える。
記憶部７２は、機体１０の外観形状を示す機体データを記憶する。機体データは、機体１０の平面的な形状を示すデータあっても良いが、機体１０の立体的な形状を示すデータであって、例えば、機体１０の３Ｄモデルを示すデータであっても良い。機体データには、収穫部Ｈの外観形状を示すデータ、穀粒排出装置１８の外観形状を示すデータ、および穀粒タンク１４の外観形状を示すデータが含まれる。
画像合成部７３は、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４から入力された４つの周辺画像と、記憶部７２に記憶された機体データとに基づいて、機体１０と機体１０の周辺とを示す画像である周囲画像を生成し、表示装置２へ出力する。周囲画像には、収穫部Ｈ、穀粒排出装置１８、および穀粒タンク１４が示されることになる。
ここで、図１，図４を参照しながら図５を用いて周囲画像の例を説明する。図５は、コンバインが圃場を前進しながら収穫作業を行っている場合の周囲画像３００を例示する図である。
周囲画像３００は画像合成部７３で生成される。まず、画像合成部７３は、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４から入力された４つの周辺画像から周辺合成画像３０１を生成する。周囲画像３００は、あらかじめ記憶部７２に記憶された機体画像３０２と周辺合成画像３０１とが、画像合成部７３で合成されて生成される。機体画像３０２の周囲の周辺合成画像３０１には、機体１０の右方および後方の既刈り地Ｐと、機体１０の左方および前方の未刈り地Ｓとが示される。
図４に示すように、障害物検出部５は、方向検出部５１と、画像選別部５２と、検知部５３とを備える。
方向検出部５１は、作業走行制御モジュール６０から取得する作業走行の状況、または機***置算出部６６が算出する機***置の変化、あるいはこれらを総合的に判断して、機体１０の進行方向を求める。
画像選別部５２は、方向検出部５１が求めた機体１０（以下、いずれも図１参照）の進行方向を撮影するカメラ４が、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４（いずれも、図１参照）のいずれであるかを判断する。画像選別部５２は、機体１０の進行方向を撮影するカメラ４と判断されたカメラ４が撮影した周辺画像を取得する。例えば、機体１０の進行方向が前進であると判断された場合、画像選別部５２は、前カメラ４１（図１参照）が撮影した前方周辺画像を、検知用画像３０３（以下、いずれも図６参照）として選択的に取得する。取得された検知用画像３０３は、検知部５３に受け渡される。
検知部５３は、画像選別部５２から受け渡された検知用画像３０３を解析して、障害物を検知する。障害物の検知は、種々の画像解析装置や画像解析手法によって行うことができるが、例えば、障害物の検知は、人工知能を用いた画像解析により行うこともできる。具体的には、検知部５３は、機械学習（深層学習）により学習されたニューラルネットワーク等の学習済みデータを用いて障害物を検知することができる。検知部５３は、検知結果として、障害物の有無や、検知できる場合には障害物の位置、種類を作業走行制御モジュール６０に送信する。
ここで、図４を参照しながら図６を用いて、機体１０が前進している場合の検知用画像３０３の例を示しながら障害物の検知についての具体例を説明する。
機体１０が前進している場合であるため、検知用画像３０３は、収穫部Ｈおよび機体１０より前方の圃場の映像が含まれる。圃場に作物以外の異物がある場合、検知部５３は、異物を障害物として検知する。この検知用画像３０３では、人物Ｆ３が障害物として検知される。
このように、本実施形態では、障害物の検知の際に、解析対象となる検知用画像３０３として、複数のカメラ４が撮影した周辺画像の内、機体１０の進行方向に相当する周辺画像が選択的に取得される。一般的に、解析対象となる画像のデータ量が大きくなると、解析装置等の性能に起因して、解析精度や解析速度等の解析能力が低下する。これに対して、本実施形態では、機体１０の進行方向に相当する周辺画像が検知用画像３０３として解析対象となるので、解析装置等への負担が低減される。その結果、解析精度や解析速度等の解析能力が向上し、障害物を、短時間に、より高い確度で検知することができる。また、検知用画像３０３の範囲がしぼられるため、検知用画像３０３の解像度を高めることが容易となり、それによっても障害物の検知精度を向上させることができる。さらに、作業走行の進行方向における周辺画像のみを用いて障害物の検知を行うことにより、作業走行の障害にならない障害物を検知することを抑制しながら、作業走行の障害となる可能性の高い障害物を適切に検知することができる。
さらに、障害物が検知された際には、作業走行制御モジュール６０の自動走行制御部６３は、障害物の検知結果を受信し、検知結果に応じて設定済みの動作を変更する構成とすることもできる。コンバインが自動走行している際には、自動走行制御部６３は、走行経路設定部６４が設定した走行経路を走行しながら、作業装置機器群７Ｂを制御する動作を、あらかじめ設定された順に移行しながら作業走行を行うように制御する。そして、障害物が検知された際に、自動走行制御部６３は、このあらかじめ設定された動作を変更する。例えば、障害物が検知された旨の検知結果を受信すると、自動走行制御部６３は、走行を停止させたり、走行経路を変更したり、作業装置機器群７Ｂを停止させたり、作業装置機器群７Ｂの状態を変化させたりする。
進行方向に、上記のように、障害物が検知された際に自動走行における動作を変更することにより、障害物により適切な作業走行が行われなくなる事態を回避することができる。例えば、作業走行を停止することにより、障害物を排除してから作業走行を開始することができる。これにより、障害物があったとしても、適切な作業走行を継続することができる。
〔別実施形態〕
（１）上述のように、自動走行による作業走行においては、ある動作から次の動作に移行しながら、あらかじめ設定された動作が順に行われる。この際、上記実施形態では、ある動作が行われている際の進行方向前方が撮影された画像に相当する周辺画像（進行方向前方を撮影するカメラ４が撮影した周辺画像）が検知用画像として選択される。動作が移行される際には、移行の前から、次の動作における進行方向前方が撮影される画像に相当する周辺画像が検知用画像として選択されても良い。例えば、動作の移行として、直進走行後に左旋回が行われる場合、直進走行の最終段階において、検知用画像として選択される周辺画像が、前カメラ４１が撮影した前方周辺画像から、左カメラ４４が撮影した左方周辺画像が切り替えられる。切り替えるタイミングは、次の動作が開始される所定時間前でも良いし、次の前記動作が開始される位置より所定の距離だけ手前にコンバインに到達した時でも良い。この際、障害物検出部５は、図４に示すように、方向検出部５１と、画像選別部５２と、検知部５３とに加えて、動作開始時検出部５４を備える。動作開始時検出部５４は、動作が移行するタイミングに対して、所定時間前、あるいは所定の距離だけ手前にコンバインに到達した時を検出し、その旨を画像選別部５２に送信する。そして、画像選別部５２は、次の動作における進行方向前方の周辺画像を検出用画像として選択して取得する。なお、進行方向は、前進走行する場合の機体１０前方に限らず、後進走行の場合は、機体１０の後方が進行方向となる。また、左旋回の場合は機体１０の左方向が進行方向となる。
このように、動作が移行される前に、次の動作における進行方向前方を撮影するカメラ４が撮影する周辺画像を検知用画像として選択し、その検知用画像を用いて障害物を検知する。これにより、動作を移行した際にも、その直前から移行後の進行方向前方に存在する障害物を検知することができる。そのため、動作の移行時においても、作業走行の障害となる障害物を適切に検知することができる。さらに、動作の移行前に次の動作における進行方向前方で障害物が発見された場合、作業走行を停止したり、動作の移行を停止したりすることもできる。これにより、次の動作における進行方向の障害物が存在しなくなってから動作の移行を行うことができ、適切な作業走行を継続することができる。
（２）上記各実施形態において、検知用画像は、進行方向前方が撮影された画像に相当する周辺画像に加えて、進行方向前方が撮影された画像と隣接する画像に相当する周辺画像を検知用画像とすることもできる。例えば、コンバインが前進走行している際に、前カメラ４１が撮影した前方周辺画像と左カメラ４４が撮影した左方周辺画像とが検知用画像として選択され、障害物が検知される。
このような構成により、周辺画像の全てを検知用画像として用いないことにより、高精度に障害物を検知することができると共に、障害物の検知範囲を効率的に広げることができるため、より適切に障害物を検知することができる。
（３）検知部５３は、障害物の検知結果を作業走行制御モジュール６０に送信し、作業走行制御モジュール６０は障害物の有無や位置、種類に応じて動作を変更する場合が説明されたが、上記各実施形態において、障害物を検知ができれば、その後の処理は任意である。例えば、障害物の検知結果に応じて、制御ユニット６は、表示装置２に障害物を示した検知用画像３０３や障害物が存在する旨の情報を表示させたり、携帯通信端末２００にこれらの検知用画像３０３や情報を表示させたり、図示しない報知部に警報を報知させたりしても良い。
これにより、作業者が障害物の存在に気付くことができ、必要に応じて、手動により適切な対応を行うことができる。これにより、作業走行を適切に継続することができる。
（４）上記各実施形態において、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４は常時周辺画像を撮影しており、画像選別部５２は、これらの周辺画像のうちから１または２以上の周辺画像を検知用画像として選択的に取得しても良いが、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４は常時周辺画像を撮影することは要せず、少なくとも画像選別部５２が選択した周辺画像を撮影するカメラ４が撮影を行う構成としても良い。さらに、検知用画像は、周辺画像単位で選択されても良いが、周辺画像または周囲画像において、必要な領域の画像を抽出する構成としても良い。
（５）前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４の配置位置は上記実施形態の配置位置に限らず、前カメラ４１、後カメラ４２、右カメラ４３、および左カメラ４４は、それぞれが機体１０の周囲の少なくとも一部を撮影できれば任意の位置に配置できる。例えば、後カメラ４２は脱穀装置１３の上部の後端部に設けられても良く、右カメラ４３は穀粒タンク１４の上部の右端部前側部分に設けられても良い。また、カメラ４は機体１０に直接設けられる場合に限らず、ステイ等を介してより適切な周辺画像を撮影できる場所に設けることもできる。さらに、カメラ４は４個に限らず、任意の数のカメラを設けることができる。また、周囲画像は、必ずしも機体１０の周囲の全周を網羅する必要はなく、周囲の領域の一部が欠落されていても良い。
（６）異物は、人物Ｆ３以外にも作物の異常であっても良く、作物の異常が障害物の一種として検知されることも可能である。図６に示す検知用画像３０３では、雑草Ｆ１や倒伏した作物Ｆ２が障害物として検知される。
本発明は、普通型コンバインや自脱型コンバインを始めとする農作業車や、その他の作業車に適用することができる。
２ 表示装置
４ カメラ（撮像装置）
１０ 機体
５１ 方向検出部
５２ 画像選別部
５３ 検知部
６３ 自動走行制御部
７０ 画像処理部
３００ 周囲画像
３０３ 検知用画像
Ｆ１ 雑草（障害物）
Ｆ２ 倒伏した作物（障害物）
Ｆ３ 人物（障害物）

Claims (7)

  1. 作業走行を行う作業車であって、
    機体の周囲を撮影する複数の撮像装置と、
    複数の前記撮像装置が撮影した周辺画像を合成して、前記機体の周囲全周の周囲画像を生成する画像処理部と、
    前記周囲画像が表示される表示装置と、
    作業走行の進行方向を検出する方向検出部と、
    前記方向検出部が検出した進行方向前方を撮影する前記撮像装置が撮影する１つの前記周辺画像、または、進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像および進行方向前方を撮影する前記撮像装置と隣接して配置される１または複数の前記撮像装置が撮影する前記周辺画像を検知用画像として取得する画像選別部と、
    前記画像選別部が取得した前記検知用画像を解析して障害物を検知する検知部とを備える作業車。
  2. あらかじめ設定された動作を順に行うように前記作業走行を自動走行制御する自動走行制御部を備える請求項１に記載の作業車。
  3. 前記自動走行制御部は、前記検知部が前記障害物を検知した場合に、あらかじめ設定された次の前記動作を変更する請求項２に記載の作業車。
  4. 前記画像選別部は、次の前記動作が開始される所定時間前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得する請求項２または３に記載の作業車。
  5. 前記画像選別部は、次の前記動作が開始される位置より所定の距離だけ手前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得する請求項２または３に記載の作業車。
  6. 前記自動走行制御部は、前記検知部が前記障害物を検知すると、前記作業走行の停止または前記動作の移行の停止を行う請求項２から５のいずれか一項に記載の作業車。
  7. 前記検知部は、機械学習されたニューラルネットワークを用いて前記障害物の検知を行う請求項１から６のいずれか一項に記載の作業車。
JP2019117488A 2019-06-25 2019-06-25 作業車 Active JP7183121B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019117488A JP7183121B2 (ja) 2019-06-25 2019-06-25 作業車
CN202080040074.1A CN113874874A (zh) 2019-06-25 2020-05-20 作业车辆、障碍物检测方法、以及障碍物检测程序
EP20833468.0A EP3991533A4 (en) 2019-06-25 2020-05-20 WORK VEHICLE, OBSTACLE DETECTION METHOD AND OBSTACLE DETECTION PROGRAM
PCT/JP2020/019933 WO2020261824A1 (ja) 2019-06-25 2020-05-20 作業車、障害物検知方法、および障害物検知プログラム
US17/603,452 US20220207882A1 (en) 2019-06-25 2020-05-20 Working Vehicle, Obstacle Detection Method, and Obstacle Detection Program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019117488A JP7183121B2 (ja) 2019-06-25 2019-06-25 作業車

Publications (2)

Publication Number Publication Date
JP2021003014A JP2021003014A (ja) 2021-01-14
JP7183121B2 true JP7183121B2 (ja) 2022-12-05

Family

ID=74060257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019117488A Active JP7183121B2 (ja) 2019-06-25 2019-06-25 作業車

Country Status (5)

Country Link
US (1) US20220207882A1 (ja)
EP (1) EP3991533A4 (ja)
JP (1) JP7183121B2 (ja)
CN (1) CN113874874A (ja)
WO (1) WO2020261824A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276340A1 (ja) * 2021-06-29 2023-01-05 株式会社クボタ 農業機械のための管理システム
CN116691502B (zh) * 2023-08-01 2023-11-10 北京芯驰半导体科技有限公司 车辆环境的安全检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033469A (ja) 2013-11-01 2014-02-20 Aisin Seiki Co Ltd 車両周辺監視装置
JP2014129093A (ja) 2014-03-11 2014-07-10 Clarion Co Ltd 車両用周辺監視装置
JP2014180046A (ja) 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
US20170316692A1 (en) 2016-05-02 2017-11-02 Cnh Industrial America Llc System For Avoiding Collisions Between Autonomous Vehicles Conducting Agricultural Operations
JP2018014554A (ja) 2016-07-19 2018-01-25 株式会社クボタ 作業車
JP2018085960A (ja) 2016-11-29 2018-06-07 井関農機株式会社 農用作業機
JP2018113937A (ja) 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019004772A (ja) 2017-06-23 2019-01-17 株式会社クボタ 収穫機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878221B2 (ja) 2017-09-12 2021-05-26 日立建機株式会社 作業機械の障害物検知システム
US10788835B2 (en) * 2017-11-13 2020-09-29 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US11277956B2 (en) * 2018-07-26 2022-03-22 Bear Flag Robotics, Inc. Vehicle controllers for agricultural and industrial applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014180046A (ja) 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2014033469A (ja) 2013-11-01 2014-02-20 Aisin Seiki Co Ltd 車両周辺監視装置
JP2014129093A (ja) 2014-03-11 2014-07-10 Clarion Co Ltd 車両用周辺監視装置
US20170316692A1 (en) 2016-05-02 2017-11-02 Cnh Industrial America Llc System For Avoiding Collisions Between Autonomous Vehicles Conducting Agricultural Operations
JP2018014554A (ja) 2016-07-19 2018-01-25 株式会社クボタ 作業車
JP2018085960A (ja) 2016-11-29 2018-06-07 井関農機株式会社 農用作業機
JP2018113937A (ja) 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019004772A (ja) 2017-06-23 2019-01-17 株式会社クボタ 収穫機

Also Published As

Publication number Publication date
EP3991533A4 (en) 2023-10-11
EP3991533A1 (en) 2022-05-04
WO2020261824A1 (ja) 2020-12-30
US20220207882A1 (en) 2022-06-30
CN113874874A (zh) 2021-12-31
JP2021003014A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
EP3991531A1 (en) Obstacle detection system, agricultural work vehicle, obstacle detection program, recording medium on which obstacle detection program is recorded, and obstacle detection method
JP7034866B2 (ja) 収穫機
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN107627957B (zh) 作业车
CN112740895B (zh) 车辆连接引导
KR20210033536A (ko) 수확기, 수확 시스템, 수확 방법, 수확 프로그램 및 기록 매체
JP6854713B2 (ja) コンバイン
JP7381402B2 (ja) 自動走行システム
JP7195543B2 (ja) 収穫機
KR20200053659A (ko) 작업 차량 제어 시스템
JP7183121B2 (ja) 作業車
JP7068781B2 (ja) 収穫機
JP7470843B2 (ja) 自動走行システム及び自動走行方法
WO2020218464A1 (ja) 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法
JP2022103238A (ja) 走行経路生成システム
JP6904539B2 (ja) 収穫機
JP7246641B2 (ja) 農作業機
JP7109300B2 (ja) 収穫機
WO2020262416A1 (ja) 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法
JP2020178619A (ja) 農作業機
WO2020218528A1 (ja) 収穫機等の農作業機
JP7041889B2 (ja) 自脱型コンバイン
JP6765349B2 (ja) 収穫機
JP2024082940A (ja) 作業車
JP2024082938A (ja) 車両制御システム及び作業車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7183121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150