JP2021007313A - 収穫機 - Google Patents

Abstract

【課題】収穫作業に関係する情報を分かり易く示す手段を提供すること。【解決手段】収穫機は、圃場を走行して作物の収穫作業を行う機体Ｗと、撮影画像を生成するカメラと、機体の外観形状を示す機体データを記憶する記憶部と、カメラが生成した撮影画像と、記憶部に記憶された機体データとに基づいて、機体Ｗと機体Ｗの周辺の圃場とを示す画像である第１合成画像を生成する第１合成部と、第１合成部が生成した第１合成画像に、収穫作業に関係する情報を示す情報提示画像（９１ａ〜９１ｍ）を、第１合成画像における当該情報提示画像と関係する位置である関係位置に合成して第２合成画像９０を生成する第２合成部と、第２合成部が生成した第２合成画像を表示する表示部と、を備える。【選択図】図７

Description

本発明は、収穫機に関する。

特許文献１には、コンバインに備えられる表示装置が記載されている。この表示装置の画面部は、機体に備えられたカメラが撮影した撮影画像を表示可能なカメラ画像領域と、このカメラ画像領域を左右から挟み込むように配置される２つの特定状態情報領域とに分けられている。特定状態情報領域には、動力源の回転速度や、機体のモミレベルなど、機体に関する情報が表示される。

特開２０１９−４８６８号公報

特許文献１に記載された表示装置では、カメラが撮影した撮影画像が表示される領域と、機体に関する情報が表示される領域とが分けられている。そのため、表示された情報が何の情報であるか、機体のどの部位に関する情報であるか、一瞥で把握し難い場合がある。

本発明の目的は、収穫作業に関係する情報を分かり易く示す手段を提供することにある。

〔構成１〕
上記目的を達成するための収穫機の特徴構成は、圃場を走行して作物の収穫作業を行う機体と、撮影画像を生成するカメラと、前記機体の外観形状を示す機体データを記憶する記憶部と、前記カメラが生成した前記撮影画像と、前記記憶部に記憶された前記機体データとに基づいて、前記機体と前記機体の周辺の圃場とを示す画像である第１合成画像を生成する第１合成部と、前記第１合成部が生成した第１合成画像に、収穫作業に関係する情報を示す情報提示画像を、第１合成画像における当該情報提示画像と関係する位置である関係位置に合成して第２合成画像を生成する第２合成部と、前記第２合成部が生成した前記第２合成画像を表示する表示部と、を備える点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、収穫作業に関係する情報を示す画像が当該情報と関係する位置に合成され、表示部に表示されるので、収穫作業に関する情報が機体や圃場におけるどの部位・位置に関する情報であるかを分かりやすく示すことができる。これにより、収穫作業の効率や安全性の向上が可能となる。

〔構成２〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は圃場に障害物が存在する状態である旨を注意喚起する画像であり、前記関係位置は当該障害物の位置又はその近傍位置に対応する前記第１合成画像における位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、圃場に障害物が存在する状態である旨を注意喚起する画像が当該障害物の位置又はその近傍位置に合成され、表示部に表示されるので、障害物の存在を分かりやすく示すことができる。これにより、運転者に障害物について認識させ、収穫作業の安全性を向上させることが可能となる。

〔構成３〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は前記機体の状態について注意喚起する画像であり、前記関係位置は前記機体の位置又はその近傍位置に対応する前記第１合成画像における位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、機体の状態について注意喚起する画像が機体の位置又はその近傍位置に合成され、表示部に表示されるので、機体の状態を分かりやすく示すことができる。これにより、運転者に機体の状態、例えば機体の速度、故障の有無、穀粒タンクの収容量などについて認識させ、収穫作業の効率を向上させることが可能となる。

〔構成４〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は収穫物の状態を示す画像であり、前記関係位置は当該収穫物を収穫した位置又はその近傍位置に対応する前記第１合成画像における位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、収穫物の状態について注意喚起する画像が当該収穫物を収穫した位置又はその近傍位置に合成され、表示部に表示されるので、収穫物の状態を分かりやすく示すことができる。これにより、運転者に収穫物の状態、例えば収穫物の品質や収量などについて認識させ、収穫作業の効率を向上させることが可能となる。

〔構成５〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は圃場の一部の領域である部分領域の状態を示す画像であり、前記関係位置は当該部分領域の位置又はその近傍位置に対応する前記第１合成画像における位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、部分領域の状態について注意喚起する画像が当該部分領域の位置又はその近傍位置に合成され、表示部に表示されるので、部分領域の状態を分かりやすく示すことができる。これにより、運転者に圃場の部分領域の状態、例えば既刈り／未刈りの区別、倒伏の有無、生育状態などについて認識させ、収穫作業の効率を向上させることが可能となる。

〔構成６〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は前記部分領域における収穫前の作物の状態を示す画像である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、部分領域の作物の状態について注意喚起する画像が当該部分領域の位置又はその近傍位置に合成され、表示部に表示されるので、部分領域の作物の状態を分かりやすく示すことができる。これにより、運転者に圃場の部分領域の作物の状態、例えば倒伏の有無、生育状態などについて認識させ、収穫作業の効率を向上させることが可能となる。

〔構成７〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は前記機体の目標進路を示す画像であり、前記関係位置は前記第１合成画像における前記目標進路の前方の位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、目標進路を示す画像が当該目標進路の前方の位置に合成され、表示部に表示されるので、目標進路を分かりやすく示すことができる。これにより、運転者に目標進路について認識させ、収穫作業の効率を向上させることが可能となる。

〔構成８〕
本発明に係る収穫機の別の特徴構成は、前記情報提示画像は収穫作業においてイベントが発生した旨を示す画像であり、前記関係位置は当該イベントが発生した位置又はその近傍位置に対応する前記第１合成画像における位置である点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、イベントが発生した旨を示す画像が当該イベントの発生した位置又はその近傍位置に合成され、表示部に表示されるので、イベントが発生した旨を分かりやすく示すことができる。これにより、運転者にイベント、例えば穀粒タンクが満杯になったことや機体の故障が発生したことなどについて認識させ、収穫作業の効率を向上させることが可能となる。

〔構成９〕
本発明に係る収穫機の別の特徴構成は、前記第２合成部が生成した第２合成画像に、圃場における前記関係位置と対応する地点を示す地図を表す画像である地図画像を合成して第３合成画像を生成する第３合成部を備え、前記表示部が前記第３合成部が生成した前記第３合成画像を表示する点にある。

上記の特徴構成によれば、機体と機体の周辺の圃場とを示す画像に、イベントが発止した地点を示す地図が合成され、表示部に表示されるので、イベントが発生した地点を運転者に分かりやすく示すことができる。これにより、例えば、圃場のどの地点で穀粒タンクが満量となったかを運転者に把握させることができる。すなわち上記の特徴構成によれば、運転者に圃場におけるイベントが発生した地点を認識させ、収穫作業の状況を把握させて、収穫作業の効率を向上させることが可能となる。

自脱型コンバインの機体の右側面図である。 自脱型コンバインの機体の平面図である。 自脱型コンバインの機体の左側面図である。 自脱型コンバインの機体の正面図である。 自脱型コンバインの機体の後面図である。 制御構成を示すブロック図である。 合成画像の例を示す図である。 合成画像の例を示す図である。 合成画像の例を示す図である。 制御構成を示すブロック図である。 合成画像の例を示す図である。

本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、矢印Ｆの方向を「機体前側」、矢印Ｂの方向を「機体後側」、矢印Ｌの方向を「機体左側」、矢印Ｒの方向を「機体右側」とする。

図１−５に、収穫機の一例である自脱型コンバインが示されている。この自脱型コンバインの機体Ｗには、機体フレーム６１と、左右一対のクローラ走行装置６２と、が備えられている。機体Ｗの前部には、圃場の植立穀稈を刈り取る刈取部６３が設けられている。

機体Ｗにおいて刈取部６３の後方に、運転部６８と、運転部６８を覆うキャビン６９と、が設けられている。運転部６８は、機体Ｗの前部における右側に位置する。運転部６８の左方に、刈取部６３により収穫された収穫物を搬送する搬送部７０が設けられている。

搬送部７０の後方に、搬送部７０により搬送された収穫物を脱穀処理する脱穀装置７１が設けられている。脱穀装置７１の後部に、排藁を切断処理する排藁処理装置７１ｃが設けられている。

運転部６８の後方且つ脱穀装置７１の右方に、脱穀装置７１により得られた穀粒を貯留する穀粒タンク７２が設けられている。穀粒タンク７２の後方に、穀粒タンク７２に貯留された穀粒を外部に排出する排出装置７３が設けられている。

排出装置７３は、穀粒タンク７２に接続され上下方向に沿って延びる縦搬送部７３ａと、縦搬送部７３ａの上端部に上下揺動可能に連結された横搬送部７３ｂと、を備えている。排出装置７３は、上下方向に延びる旋回軸心周りで旋回可能である。

運転部６８には、運転者が着座する運転座席６８ａが備えられている。キャビン６９には、ルーフ部６９ａと、ルーフ部６９ａを支持するキャビンフレーム６９ｂと、が備えられている。キャビンフレーム６９ｂは、キャビン６９のフロントガラス６９ｃ、ドア６９ｄ、及びサイドガラス６９ｅ等を支持する。

運転座席６８ａよりも下側に、エンジン７５が設けられている。エンジン７５に対して刈取部６３と反対側、すなわちエンジン７５の右方に、ラジエータ７６が設けられている。ラジエータ７６に対して刈取部６３と反対側、すなわちラジエータ７６の右方に、ラジエータ７６に供給される外気の塵埃を除去する防塵ケース７７（防塵部の一例）が設けられている。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの信号を受信して、その信号に基づいて自車位置を検出する衛星測位モジュール７８が設けられている。衛星測位モジュール７８は、運転部６８の前部における左側部分に設けられている。衛星測位モジュール７８は、ルーフ部６９ａよりも上側に設けられている。

刈取部６３は、圃場の植立穀稈を刈取対象と非刈取対象に分ける左右一対のデバイダ６３ａと、植立穀稈を引き起こす引き起こし装置６３ｂと、植立穀稈を切断する刈刃６３ｃと、切断された刈取穀稈を合流させて搬送部７０へ搬送する合流搬送部６３ｄと、を備えている。

搬送部７０は、刈取部６３の合流搬送部６３ｄから刈取穀稈を受け取って脱穀装置７１へ向けて搬送する第１搬送装置７０ａと、第１搬送装置７０ａから刈取穀稈を受け取って脱穀装置７１へ向けて搬送する第２搬送装置７０ｂと、を備えている。第１搬送装置７０ａ及び第２搬送装置７０ｂは、刈取穀稈の株元側の部分を搬送する。第１搬送装置７０ａは、その姿勢を変化させることにより、扱深さを調節可能なように構成されている。

搬送部７０の第２搬送装置７０ｂにより搬送された刈取穀稈を後方に搬送するフィードチェーン７０ｃと、フィードチェーン７０ｃと上下に対向する位置でフィードチェーン７０ｃと共に刈取穀稈を挟持するレール台７０ｄと、が備えられている。脱穀装置７１は、フィードチェーン７０ｃにより搬送される刈取穀稈を脱穀処理する。

〔カメラ〕
自脱型コンバインの機体Ｗに、前カメラ８１（カメラの一例）、後カメラ８２（カメラの一例）、右カメラ８３（カメラの一例）、及び左カメラ８４（カメラの一例）が設けられている。これら４つのカメラは、撮影画像を生成し、機体Ｗが備える画像処理装置３０（後述）へ出力する。本実施形態では、４つのカメラは主として機体Ｗの周辺の圃場、畦、道路等を撮影するが、加えて機体Ｗの一部を撮影してもよい。これに伴い、撮影画像に機体Ｗの一部が示されてもよい。本実施形態において撮影画像、後述する予備合成画像、及び合成画像とは、静止画であってもよいし、静止画を連続的に表示させるものである動画及び映像であってもよい。各カメラの撮影範囲（画角）は、光軸（撮影方向）を水平方向に向けた場合に、光軸を中心として水平方向に１８０°以上（例えば１９５°）、垂直方向に１００°以上（例えば１２０°）である。

〔前カメラの配置〕
図２−４に示されるように、前カメラ８１は、機体Ｗの左右方向の中央部に位置するように、運転部６８における前部に設けられている。詳しくは、前カメラ８１は、運転部６８の前部において脱穀装置７１の側に隣接する状態で設けられている。換言すれば、前カメラ８１は、運転部６８の前部の左側面に配置されている。

前カメラ８１は、ステーを介してキャビンフレーム６９ｂに支持されている。運転部６８が備えるルーフ部６９ａは、サイドガラス６９ｅよりも左に突出する突出部６９ｆを備えている。前カメラ８１は、突出部６９ｆの真下に設けられている。前カメラ８１は、衛星測位モジュール７８よりも下側に設けられている。

前カメラ８１の撮影方向８１ａは、前斜め下方向に向けられており、換言すれば、刈取部６３に向けられている。前カメラ８１は、その撮影領域８１ｂに、刈取部６３の全部及び刈取部６３の周囲の領域（圃場の一部）を含むように設けられている。換言すれば、前カメラ８１の撮影領域８１ｂに、デバイダ６３ａ、引き起こし装置６３ｂ、引き起こし装置６３ｂよりも後側の領域（刈取部６３の後部）、刈取部６３よりも前側の領域、刈取部６３よりも後側の領域、刈取部６３よりも右側の領域、及び刈取部６３よりも左側の領域が含まれている。

〔後カメラの配置〕
図１−３，５に示されるように、後カメラ８２は、機体Ｗの左右方向の中央部に位置するように、脱穀装置７１における後部に設けられている。詳しくは、後カメラ８２は、脱穀装置７１の排藁処理装置７１ｃの上面における右寄りの位置に設けられている。後カメラ８２は、ステーを介して脱穀装置７１に支持されている。後カメラ８２は、衛星測位モジュール７８よりも下側に設けられている。

後カメラ８２の撮影方向８２ａは、後斜め下方向に向けられており、換言すれば、排藁処理装置７１ｃの後方に向けられている。後カメラ８２は、その撮影領域８２ｂに、機体Ｗの後方の領域、すなわち排藁処理装置７１ｃの周囲の領域（圃場の一部）を含むように設けられている。換言すれば、後カメラ８２の撮影領域８２ｂに、排藁処理装置７１ｃよりも後側の領域、排藁処理装置７１ｃよりも右側の領域、及び排藁処理装置７１ｃよりも左側の領域が含まれている。

〔右カメラの配置〕
図１，２，４，５に示されるように、右カメラ８３は、機体Ｗの前後方向の中央部に位置するように、運転部６８における右の側部に設けられている。詳しくは、右カメラ８３は、運転部６８の後部において右側に隣接する状態で設けられている。換言すれば、右カメラ８３は、運転部６８の後部の右側面に配置されている。右カメラ８３は、運転部６８が備える運転座席６８ａよりも後側に設けられている。右カメラ８３は、穀粒タンク７２よりも前側に設けられている。

右カメラ８３は、ステーを介してキャビンフレーム６９ｂに支持されている。運転部６８が備えるルーフ部６９ａは、ドア６９ｄよりも右に突出する突出部６９ｇを備えている。右カメラ８３は、突出部６９ｇの真下に設けられている。右カメラ８３は、防塵ケース７７の上方に設けられている。右カメラ８３は、衛星測位モジュール７８よりも下側に設けられている。

右カメラ８３の撮影方向８３ａは、右斜め下方向に向けられており、換言すれば、運転部６８の右方に向けられている。右カメラ８３は、その撮影領域８３ｂに、運転部６８よりも右側の領域、穀粒タンク７２よりも右側の領域、及び刈取部６３よりも右側の領域を含むように設けられている。

〔左カメラの配置〕
図２−５に示されるように、左カメラ８４は、機体Ｗの前後方向の中央部に位置するように、脱穀装置７１における左の側部に設けられている。詳しくは、左カメラ８４は、脱穀装置７１の前部において左側に隣接する状態で設けられている。換言すれば、左カメラ８４は、脱穀装置７１の前部の左側面に配置されている。左カメラ８４は、ステーを介して脱穀装置７１に支持されている。左カメラ８４は、衛星測位モジュール７８よりも下側に設けられている。

左カメラ８４の撮影方向８４ａは、左斜め下方向に向けられており、換言すれば、脱穀装置７１の左方に向けられている。左カメラ８４は、その撮影領域８４ｂに、脱穀装置７１よりも左側の領域、搬送部７０よりも左側の領域、及び刈取部６３よりも左側の領域を含むように設けられている。

〔画像処理装置〕
以下、図６のブロック図を参照しながら、自脱型コンバインに備えられた画像処理装置３０に係る構成について説明する。

自脱型コンバインの機体Ｗに、画像処理装置３０と表示部４０とが備えられている。画像処理装置３０は、前カメラ８１、後カメラ８２、右カメラ８３、及び左カメラ８４から出力された撮影画像に基づいて第１合成画像及び第２合成画像を生成し、表示部４０へ出力する。表示部４０は、画像処理装置３０が出力した第１合成画像及び第２合成画像のいずれかを、運転者の操作に応じて選択的に表示する。画像処理装置３０は、マイクロコンピュータを備えて構成され、予め設定されているプログラムに従って画像処理を実行する。画像処理装置３０及び表示部４０は、運転部６８に設けられている。

画像処理装置３０に、前カメラ８１、後カメラ８２、右カメラ８３、及び左カメラ８４が接続されている。画像処理装置３０に、前撮影画像が前カメラ８１から入力され、後撮影画像が後カメラ８２から入力され、右撮影画像が右カメラ８３から入力され、左撮影画像が左カメラ８４から入力される。

画像処理装置３０に、視点操作部４１と、機体制御装置４２と、が接続されている。視点操作部４１は、作業者からの視点の変更・指定の操作を受け付けて、操作データを画像処理装置３０へ出力する。視点操作部４１は例えば、ボタン、ボリューム、ジョイスティック等の操作具であってもよいし、表示部４０に設けられたタッチパネル等の入力手段であってもよい。

機体制御装置４２は、自脱型コンバインの機体Ｗの動作状態を示す動作状態データと、収穫物の状態を示す収穫物データと、を画像処理装置３０へ出力する。機体制御装置４２に、操向操作具４３、主変速レバー４４、刈取昇降スイッチ４５、及び排出操作具４７等の操作具と、収量センサ４８と、品質センサ４９と、衛星測位モジュール７８と、が接続されている。機体制御装置４２は、これら操作具、収量センサ４８、品質センサ４９、及び衛星測位モジュール７８からの信号に基づいて動作状態データを生成し、画像処理装置３０へ出力する。

収量センサ４８は、穀粒タンク７２に設けられており、穀粒タンク７２へ投入される穀粒（収穫物の一例）の単位時間あたりの重量を計測し、機体制御装置４２へ出力する。例えば、収量センサ４８は、脱穀装置７１から穀粒タンク７２へ穀粒が投入される投入口に設けられた力センサであり、穀粒タンク７２へ投入された穀粒から受けた力を検出する。品質センサ４９は、穀粒タンク７２に設けられており、穀粒タンク７２へ投入される穀粒の品質（例えば、水分含有量やタンパク量など）を計測し、機体制御装置４２へ出力する。例えば、品質センサ４９は、脱穀装置７１から穀粒タンク７２へ穀粒が投入される投入口の近傍に設けられた工学分析装置であり、穀粒タンク７２へ投入された穀粒の一部を一時的に貯留して、分光法により水分含有量やタンパク量などの品質を測定する。

動作状態データには、機体Ｗの前進、後進、旋回、停止等の動作状態を示すデータ、刈取部６３の作動、停止、作業姿勢、非作業姿勢、揺動位置等の動作状態を示すデータ、排出装置７３の作動、停止、格納姿勢、排出姿勢、旋回位置等の動作状態を示すデータが含まれる。

動作状態データには、機体Ｗの走行速度及び自車位置を示すデータが含まれる。機体制御装置４２は、操向操作具４３及び主変速レバー４４からの信号、衛星測位モジュール７８から入力された自車位置及びその経時変化、及びクローラ走行装置６２に設けられた速度センサ（図示なし）の出力から、走行速度及び自車位置を算出し、動作状態データを生成する。

動作状態データには、穀粒タンク７２の貯留量を示すデータが含まれる。機体制御装置４２は、穀粒タンク７２に設けられた貯留量センサ（図示なし）からの出力に基づいて、穀粒タンク７２の貯留量を検出し、動作状態データを生成する。

動作状態データには、機体Ｗの目標進路を示すデータが含まれる。機体制御装置４２は、あらかじめ設定された作業走行経路と衛星測位モジュール７８から入力された自車位置とに基づいて、目標進路（目標となる進行方向）を決定し、動作状態データを生成する。なお、作業走行経路は、収穫作業の前に運転者から入力されてもよいし、圃場マップに基づいて自動生成されてもよい。

動作状態データには、収穫作業において発生したイベントを示すデータが含まれる。収穫作業において発生したイベントとは、例えば、クローラ走行装置６２、刈取部６３、搬送部７０、脱穀装置７１、穀粒タンク７２、排出装置７３等で発生した異音や動作不良、穀粒タンク７２が満量になったことによる作業停止、排出装置７３からの排出作業の実行などである。機体制御装置４２は、接続された操作具からの信号、機体Ｗに設けられたセンサ、衛星測位モジュール７８から入力された自車位置等に基づいて、イベントの種別、圃場におけるイベントの発生位置、イベントの発生時刻等を示すデータを生成し、動作状態データとして画像処理装置３０へ送信する。

収穫物データには、脱穀装置７１により得られ穀粒タンク７２に貯留された穀粒の状態を示すデータが含まれる。機体制御装置４２は、収量センサ４８から入力された穀粒の収量の測定値と、品質センサ４９から入力された穀粒の品質の測定値と、衛星測位モジュール７８から入力された自車位置と、に基づいて、穀粒を収穫した位置と、その位置での収量及び品質とを関連付けたデータを生成し、収穫物データとして画像処理装置３０へ送信する。例えば、機体制御装置４２は、圃場を矩形の部分領域に区切り、その部分領域で収穫された穀粒の収量及び品質の平均値を当該部分領域の位置と関連付けたデータを生成し、収穫物データとして画像処理装置３０へ送信する。部分領域とは、圃場を仮想的に区切った領域であり、例えば平面視で矩形の領域である。

画像処理装置３０は、視点決定部３１と、記憶部３２と、第１合成部３３と、障害物認識部３４と、圃場分析部３５と、第２合成部３６と、を備えている。

視点決定部３１は、視点操作部４１から出力された操作データ、又は、機体制御装置４２から送信された動作状態データに基づいて、第１合成部３３が生成する第１合成画像の視点となる合成視点を決定し、当該合成視点を示すデータを視点データとして第１合成部３３へ出力する。具体的には、視点決定部３１は、合成視点を、機体Ｗを真上から見る視点、機体Ｗを斜め上から見る視点、機体Ｗを前後又は左右から見る視点へ決定する。「機体Ｗを斜め上方から視る視点」とは、例えば、機体Ｗを前斜め上方から視る視点や、機体Ｗを後ろ斜め上方から視る視点や、機体Ｗを右斜め上方から視る視点や、機体Ｗを左斜め上方から視る視点などである。

記憶部３２は、機体Ｗの外観形状を示す機体データを記憶する。機体データは、機体Ｗの立体的な形状を示すデータであって、例えば、機体Ｗの３Ｄモデルを示すデータである。機体データには、クローラ走行装置６２の外観形状を示すデータ、刈取部６３の外観形状を示すデータ、及び排出装置７３の外観形状を示すデータが含まれる。

また機体データには、作業姿勢の刈取部６３の外観形状を示すデータ、非作業姿勢の刈取部６３の外観形状を示すデータ、格納姿勢の排出装置７３の外観形状を示すデータ、排出姿勢の排出装置７３の外観形状を示すデータが含まれる。機体データは、予め準備され記憶部３２に記憶される。

第１合成部３３は、前カメラ８１、後カメラ８２、右カメラ８３、及び左カメラ８４から入力された４つの撮影画像と、記憶部３２に記憶された機体データとに基づいて、視点決定部３１が決定した視点から視る画像であって、機体Ｗ及びその周辺を示す画像である第１合成画像を生成し、第２合成部３６へ出力する。第１合成画像には、カメラにより撮影された機体Ｗの一部の部位が示されることになる。ただし、視点決定部３１が決定した視点が、これらの機体Ｗにおける部位のいずれかが見えない視点である場合には、その部位は第１合成画像に示されない。

詳しくは、第１合成部３３は、４つのカメラからの撮影画像に対して、視点の変換及び合成の画像処理を行い、視点決定部３１から入力された視点データが示す合成視点からの画像へ変換して、予備合成画像を生成する。予備合成画像は、４つのカメラが撮影して生成した撮影画像を１つの画像へ合成した画像である。画像処理の具体的な手法としては、ホモグラフィ行列を用いた平面射影変換や、三次元空間での投影処理などを用いることができる。

次に第１合成部３３は、記憶部３２から機体データを読み出して、視点データが示す視点から視た機体Ｗの画像（機体画像）を機体データから生成する。このとき第１合成部３３は、機体制御装置４２から受信した動作状態データを参照して、刈取部６３及び排出装置７３の動作状態に応じた機体データを用いて、動作状態に合致する機体画像を生成する。そして第１合成部３３は、先に生成した予備合成画像へ機体画像を合成して、第１合成画像を生成する。

障害物認識部３４は、第１合成部３３が生成した予備合成画像を解析し、障害物（人、動物、農具、畦など）の存在を検知する。障害物認識部３４は、予備合成画像において障害物を検知すると、当該障害物の種別、及び予備合成画像における位置を示す障害物データを生成し、第２合成部３６へ出力する。なお、障害物認識部３４を、前カメラ８１、後カメラ８２、右カメラ８３、及び左カメラ８４から入力された４つの撮影画像を解析して障害物の存在を検知するように構成してもよい。

圃場分析部３５は、第１合成部３３が生成した予備合成画像を解析し、圃場の一部の領域である部分領域の状態を検知する。部分領域とは、先に述べたとおり、圃場を仮想的に区切った領域であり、例えば平面視で矩形の領域である。部分領域の状態とは、その部分領域が作物を既に収穫した領域（既刈り地）であるか未だ収穫を行っていない領域（未刈り地）であるかの別や、その部分領域の作物に倒伏が生じているか否か、その部分領域の作物の生育状態、などである。圃場分析部３５は、予備合成画像を解析して部分領域の状態を検知すると、当該部分領域の状態、及び予備合成画像における位置を示す圃場データを生成し、第２合成部３６へ出力する。なお、圃場分析部３５を、前カメラ８１、後カメラ８２、右カメラ８３、及び左カメラ８４から入力された４つの撮影画像を解析して部分領域の状態を検知するように構成してもよい。

第２合成部３６は、第１合成部３３が生成した第１合成画像に、情報提示画像を、第１合成画像における関係位置に合成して第２合成画像を生成し、表示部４０へ出力する。情報提示画像は、収穫作業に関係する情報を示す画像である。関係位置は、第１合成画像における、当該情報提示画像と関係する位置である。

例えば、情報提示画像は、圃場に障害物が存在する状態である旨を注意喚起する画像である。この場合の関係位置は、当該障害物の位置又はその近傍位置に対応する第１合成画像における位置である。第２合成部３６は、障害物認識部３４から入力された障害物データに基づいて、障害物の種別に応じた情報提示画像を記憶部３２から読み出し、障害物の位置（又はその近傍位置）に対応する第１合成画像における関係位置に情報提示画像を合成し、第２合成画像を生成する。図８に示される第２合成画像９０の例では、機体Ｗの右斜め前方に位置する人（障害物）の近傍位置に対応する関係位置に、円形状の情報提示画像９１ｎと、感嘆符形状の情報提示画像９１ｐと、が示されている。機体Ｗの前方に位置する畦（障害物）対応する関係位置に重ねて、斜線網掛け状の情報提示画像９１ｑが示されている。

例えば、情報提示画像は、機体Ｗの状態について注意喚起する画像である。この場合の関係位置は、機体Ｗの位置又はその近傍位置に対応する第１合成画像における位置である。第２合成部３６は、機体制御装置４２から入力された動作状態データに基づいて、表示する動作状態の種別に応じた情報提示画像を記憶部３２から読み出し、機体Ｗの位置又はその近傍位置に対応する第１合成画像における関係位置であって表示する動作状態の種別に適した関係位置に情報提示画像を合成し、第２合成画像を生成する。図９に示される第２合成画像９０の例では、機体Ｗの穀粒タンク７２に対応する関係位置に、穀粒タンク７２が満量である旨を示す斜線網掛け状の情報提示画像９１ｓが示されている。

例えば、情報提示画像は、圃場の一部の領域である部分領域の状態を示す画像である。この場合の関係位置は、当該部分領域の位置又はその近傍位置に対応する第１合成画像における位置である。第２合成部３６は、圃場分析部３５から入力された圃場データに基づいて、表示する状態（既刈り／未刈りの別、作物の倒伏の有無、作物の生育状態など）の種別に応じた情報提示画像を記憶部３２から読み出し、圃場データが示す部分領域の位置又はその近傍位置に対応する第１合成画像における関係位置に情報提示画像を合成し、第２合成画像を生成する。図７に示される第２合成画像９０の例では、機体Ｗの左方の未刈り地Ｇにおける２箇所の矩形の部分領域に対応する関係位置に、右下がり斜線網掛け状の情報提示画像９１ｋ、９１ｍが示されている。情報提示画像９１ｋは、その部分領域に作物の倒伏が生じていることを示している。情報提示画像９１ｍは、その部分領域に生育不良の作物が存在していることを示している。換言すれば情報提示画像９１ｋ、９１ｍは、部分領域における収穫前の作物の状態を示す画像である。

例えば、情報提示画像は、穀粒（収穫物）の状態を示す画像である。この場合の関係位置は、穀粒を収穫した位置又はその近傍位置に対応する第１合成画像における位置である。第２合成部３６は、機体制御装置４２から入力された収穫物データに基づいて、表示する状態（収量又は品質など）の種別に応じた情報提示画像を記憶部３２から読み出し、収穫物データが示す穀粒の収穫位置又はその近傍位置に対応する第１合成画像における関係位置に情報提示画像を合成し、第２合成画像を生成する。図７に示される第２合成画像９０の例では、機体Ｗの右方の既刈り地Ｈにおける矩形の部分領域に対応する関係位置に、右上がり斜線網掛け状の情報提示画像９１ａ，９１ｂ，９１ｃ，９１ｄ，９１ｅ，９１ｆ，９１ｇ，９１ｈ，９１ｉ，９１ｊが示されている。各情報提示画像の斜線の密度は、その部分領域における収量の多寡を示しており、その部分領域における収量が多いほど斜線の密度が大きくなっている。すなわち、これらの情報提示画像は、穀粒の収量を示す画像である。なお、情報提示画像を穀粒の品質を示す画像とし、部分領域における品質（例えばタンパク量）が多いほど斜線の密度が大きくなるように、第２合成部３６が情報提示画像を第１合成画像に合成してもよい。

例えば、情報提示画像は、機体Ｗの目標進路を示す画像である。この場合の関係位置は、第１合成画像における目標進路の前方の位置である。第２合成部３６は、機体制御装置４２から入力された動作状態データに基づいて、表示する目標進路に応じた情報提示画像を記憶部３２から読み出し、第１合成画像における機体Ｗの目標進路の前方の位置に情報提示画像を合成し、第２合成画像を生成する。図８に示される第２合成画像９０の例では、目標進路は畦の手前でのＵターンであり、目標進路を示すＵ字矢印状の情報提示画像９１ｒが、目標進路の前方の位置である機体Ｗの左前方に示されている。

例えば、情報提示画像は、収穫作業においてイベントが発生した旨を示す画像である。この場合の関係位置は、当該イベントが発生した位置又はその近傍位置に対応する第１合成画像における位置である。第２合成部３６は、機体制御装置４２から入力された動作状態データに基づいて、表示するイベントに応じた情報提示画像を記憶部３２から読み出し、動作状態データが示すイベントが発生した位置に対応する第１合成画像における関係位置に情報提示画像を合成し、第２合成画像を生成する。図９に示される第２合成画像９０の例では、機体Ｗの前方に、三角形状で「ＳＴＯＰ」の文字が付された情報提示画像９１ｔが示されている。情報提示画像９１ｔは、穀粒タンク７２の満量による作業停止が発生したことを示している。

一つの第１合成画像に全ての情報提示画像が合成されてもよいし、一つ又は複数の情報提示画像が合成されてもよい。第２合成部３６により第１合成画像へ合成される情報提示画像の種別が、例えば表示部４０に設けられた操作部（図示なし）が受け付けた運転者による操作に基づいて決定されてもよいし、時間経過に応じて自動的に変更されてもよい。

〔第２合成画像の例〕
自脱型コンバインが圃場にて前進しながら収穫作業を行っているとする。このときに第２合成部３６が生成する第２合成画像の例が、第２合成画像９０として図７、図８、図９に示されている。

このときの機体Ｗの動作状態としては、機体Ｗは前進及び直進状態にあり、刈取部６３は作業姿勢にあって動作しており、排出装置７３は格納姿勢にあって停止している。機体制御装置４２は、上述した機体Ｗの動作状態を示す動作状態データを画像処理装置３０へ出力する。

視点操作部４１が、平面視視点を指定する操作を受け付けたとする。視点操作部４１は、平面視視点を示す操作データを視点決定部３１へ出力する。画像処理装置３０の視点決定部３１は、操作データの入力を受けたことに基づいて、第１合成部３３が合成する第１合成画像の視点（合成視点）を平面視視点に決定し、その旨を示す視点データを第１合成部３３へ出力する。

第１合成部３３は、４つのカメラから入力された撮影画像に対して平面視視点への視点の変換及び合成の画像処理を行い、予備合成画像を生成する。第１合成部３３は、機体制御装置４２から入力された動作状態データと、視点決定部３１から入力された視点データとを参照して、機体画像を生成する。具体的には、作業姿勢の刈取部６３及び搬送部７０の外観形状を示すデータ、格納姿勢の排出装置７３の外観形状を示すデータ、及び機体Ｗのその余の部位に係る機体データを用いて、平面視視点からの機体Ｗを示す機体画像を生成する。第１合成部３３は、予備合成画像へ機体画像を合成して、第１合成画像を生成し、第２合成部３６へ出力する。

そして第２合成部３６は、障害物認識部３４から出力される障害物データ、圃場分析部３５から出力される圃場データ、機体制御装置４２から出力される動作状態データ及び収穫物データに基づいて、収穫作業に関係する情報を示す情報提示画像を、第１合成画像における当該情報提示画像と関係する位置である関係位置に合成して、第２合成画像を生成し、表示部４０へ出力する。

図７、図８、図９に、第２合成部３６によって生成された第２合成画像９０の例が示されている。第２合成画像９０における境界線Ｅの外側の領域９０ａは、予備合成画像に由来する画像であり、４つのカメラにより撮影された撮影画像に由来する画像である。この領域９０ａに、機体Ｗの右方及び後方の既刈り地Ｈ、及び、機体Ｗの左方及び前方の未刈り地Ｇが示されている。第２合成画像９０における境界線Ｅの内側の領域９０ｂは、機体画像に由来する領域である。領域９０ｂには機体Ｗが示されている。

図７の例では、既刈り地Ｈの部分領域に対応する、領域９０ａにおける関係位置に、その部分領域で収穫された穀粒の品質を示す情報提示画像９１ａ，９１ｂ，９１ｃ，９１ｄ，９１ｅ，９１ｆ，９１ｇ，９１ｈ，９１ｉ，９１ｊが示されている。各情報提示画像の斜線の密度は、その部分領域における収量の多寡を示しており、その部分領域における収量が多いほど斜線の密度が大きくなっている。

加えて図７の例では、未刈り地Ｇの部分領域に対応する、領域９０ａにおける関係位置に、その部分領域の作物の状態を示す情報提示画像９１ｋ、９１ｍが示されている。斜線の間隔が比較的大きい情報提示画像９１ｋは、その部分領域で作物の倒伏が生じていることを示している。斜線の間隔が比較的小さい情報提示画像９１ｍは、その部分領域で作物の生育不良が生じていることを示している。

図８の例では、障害物（人、畦）の近傍位置に対応する、第２合成画像９０における関係位置に、障害物が存在する状態である旨を注意喚起する情報提示画像９１ｎ、９１ｐ、９１ｑが示されている。詳しくは、人の近傍位置（周囲、手前）に対応する位置に、円形状の情報提示画像９１ｎと、感嘆符形状の情報提示画像９１ｐと、が示されている。畦に対応する位置に、斜線網掛け状の情報提示画像９１ｑが示されている。

加えて図８の例では、第２合成画像９０における機体Ｗの目標進路の前方の位置に、目標進路を示すＵ字矢印状の情報提示画像９１ｒが示されている。

図９の例では、機体Ｗの位置に対応する、領域９０ａにおける関係位置に、機体Ｗの状態について注意喚起する情報提示画像９１ｓが示されている。詳しくは、機体Ｗの穀粒タンク７２の位置に対応する領域９０ａにおける位置に、穀粒タンク７２が満量である旨を示す斜線網掛け状の情報提示画像９１ｓが示されている。

加えて図９の例では、イベントが発生した位置に対応する、領域９０ａにおける関係位置に、収穫作業においてイベントが発生した旨を示す情報提示画像９１ｔが示されている。詳しくは、圃場において穀粒タンク７２が満量となった位置に対応する、領域９０ａにおける関係位置に、穀粒タンク７２の満量による作業停止が発生したことを示す情報提示画像９１ｔが示されている。

〔他の実施形態〕
〔１〕図１０に、画像処理装置３０の他の形態が示されている。以下の説明では、上記の実施形態と同様の構成については同じ符号を付して詳しい説明を省略する場合がある。

本実施形態の画像処理装置３０は、視点決定部３１、記憶部３２、第１合成部３３、障害物認識部３４、圃場分析部３５に加えて、第３合成部３７を備えている。第２合成部３６が生成した第２合成画像に、地図画像を合成して第３合成画像を生成し、表示部４０へ出力する。地図画像は、圃場における関係位置と対応する地点を示す地図を表す画像である。換言すれば、地図画像は、第２合成画像に示された情報提示画像について、その情報提示画像が示す情報に対応する圃場における位置を、地図として示す画像である。

例えば第３合成部３７は、イベントが発生した旨を示す情報提示画像が第２合成画像に示されている場合に、機体制御装置４２から入力された動作状態データに基づいて、圃場における当該イベントが発生した地点を特定する。第３合成部３７は、その地点を示す地図画像を生成し、当該地図画像を第２合成画像に合成して第３合成画像を生成し、表示部４０へ出力する。

図１１に、第３合成部３７によって生成された第３合成画像９２の例が示されている。この第３合成画像９２は、図９に示された第２合成画像の右側に、地図画像９３が合成されて生成されている。地図画像９３には、既刈り地Ｈと未刈り地Ｇとの境界付近に位置提示画像９４ａ、９４ｂが示され、既刈り地Ｈに位置提示画像９４ｃが示されている。位置提示画像９４ａは、圃場において機体Ｗが位置する地点を示している。位置提示画像９４ｂ及び位置提示画像９４ｃは、圃場において穀粒タンク７２の満量による作業停止（イベント）が発生した地点を示している。

本実施形態では、第３合成部３７が生成する地図画像にイベントが発生した地点が示される例が説明されたが、情報提示画像と関係する他の地点が地図画像に示されてもよい。例えば、障害物（人、畦など）が存在する地点、圃場において作物に特異な状態（倒伏や生育不良など）が生じた地点などが位置提示画像により地図画像に示されてもよい。

〔２〕上記の実施形態では、自脱型コンバインの機体Ｗに４つのカメラが設けられる例が説明された。カメラの数はこれに限られず、１つ、２つ、３つ、又は５つ以上のカメラが機体Ｗに設けられてもよい。

〔３〕上記の実施形態では、第２合成画像に機体Ｗを示す機体画像が示される例が説明されたが、第２合成画像に撮影された機体Ｗの一部が示されてもよい。

〔４〕上記の実施形態では、表示部４０に第２合成画像が示される例と、表示部４０に第３合成画像が示される例が説明された。表示部４０に、第１合成画像と第２合成画像とが交互に表示されてもよいし、表示部４０に表示される画像が運転者による操作に基づいて第１合成画像と第２合成画像との間で切り替えられてもよい。表示部４０に、第１合成画像、第２合成画像、及び第３合成画像が交互に表示されてもよいし、表示部４０に表示される画像が運転者による操作に基づいて第１合成画像、第２合成画像、及び第３合成画像の間で切り替えられてもよい。

〔５〕上記の実施形態では、部分領域及び部分領域に対応して表示される情報提示画像が矩形である例が説明された。部分領域及び情報提示画像の形状、大きさは任意であり、上記の例に限られない。

本発明は、植立する作物を走行しながら収穫する収穫機に適用可能であり、普通型コンバインや自脱型コンバイン等に適用可能である。また本発明は、田植機や管理機、トラクターなど、圃場で作業する作業機にも適用可能である。

３２ ：記憶部
３３ ：第１合成部
３６ ：第２合成部
３７ ：第３合成部
４０ ：表示部
８１ ：前カメラ（カメラ）
８２ ：後カメラ（カメラ）
８３ ：右カメラ（カメラ）
８４ ：左カメラ（カメラ）
９０ ：第２合成画像
９１ａ〜９１ｔ ：情報提示画像
９２ ：第３合成画像
９３ ：地図画像
Ｗ ：機体

Claims (9)

1. 圃場を走行して作物の収穫作業を行う機体と、
   撮影画像を生成するカメラと、
   前記機体の外観形状を示す機体データを記憶する記憶部と、
   前記カメラが生成した前記撮影画像と、前記記憶部に記憶された前記機体データとに基づいて、前記機体と前記機体の周辺の圃場とを示す画像である第１合成画像を生成する第１合成部と、
   前記第１合成部が生成した第１合成画像に、収穫作業に関係する情報を示す情報提示画像を、第１合成画像における当該情報提示画像と関係する位置である関係位置に合成して第２合成画像を生成する第２合成部と、
   前記第２合成部が生成した前記第２合成画像を表示する表示部と、を備える収穫機。
2. 前記情報提示画像は圃場に障害物が存在する状態である旨を注意喚起する画像であり、前記関係位置は当該障害物の位置又はその近傍位置に対応する前記第１合成画像における位置である請求項１に記載の収穫機。
3. 前記情報提示画像は前記機体の状態について注意喚起する画像であり、前記関係位置は前記機体の位置又はその近傍位置に対応する前記第１合成画像における位置である請求項１又は２に記載の収穫機。
4. 前記情報提示画像は収穫物の状態を示す画像であり、前記関係位置は当該収穫物を収穫した位置又はその近傍位置に対応する前記第１合成画像における位置である請求項１から３のいずれか１項に記載の収穫機。
5. 前記情報提示画像は圃場の一部の領域である部分領域の状態を示す画像であり、前記関係位置は当該部分領域の位置又はその近傍位置に対応する前記第１合成画像における位置である請求項１から４のいずれか１項に記載の収穫機。
6. 前記情報提示画像は前記部分領域における収穫前の作物の状態を示す画像である請求項５に記載の収穫機。
7. 前記情報提示画像は前記機体の目標進路を示す画像であり、前記関係位置は前記第１合成画像における前記目標進路の前方の位置である請求項１から６のいずれか１項に記載の収穫機。
8. 前記情報提示画像は収穫作業においてイベントが発生した旨を示す画像であり、前記関係位置は当該イベントが発生した位置又はその近傍位置に対応する前記第１合成画像における位置である請求項１から７のいずれか１項に記載の収穫機。
9. 前記第２合成部が生成した第２合成画像に、圃場における前記関係位置と対応する地点を示す地図を表す画像である地図画像を合成して第３合成画像を生成する第３合成部を備え、
   前記表示部が前記第３合成部が生成した前記第３合成画像を表示する請求項８に記載の収穫機。

Images