JPH02110604A - 自動操行作業機の自動操舵制御における画像情報の２値化処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、稲、麦、大豆等を走行機体の前方の全幅にわ
たって刈取りしたのち脱穀できる、いわゆる汎用コンバ
インまたは普通形コンバイン等の収穫機や芝刈機等の自
動走行作業機において、刈取り等の作業地の状態を撮像
して、得られるカラー情報を２値化して、その２値画像
のデータを自動操舵制御に利用するための、当該カラー
情報の２値化処理装置に関するものである。

〔従来の技術〕

圃場に植立した部列を、当該圃場の畦際に近い外周から
順々に刈取り脱穀するため、コンバインを平面視略矩形
状などに回行するように無人自動走行させる場合等にお
いて、例えば、特開昭６２−１２２５０７号公報では、
走行機体に搭載した撮像手段にて固成刈取り済地域（既
作業地）とこれに隣接する未刈取り地域（未作業地）と
の両者に跨る圃場面（作業地）を撮像し、この撮像によ
り得られた画像情報を、その平均明度差に基づいて２値
化処理することにより、前記既作業地と未作業地との境
界線を判別し、この境界線に沿ってコンバイン等の走行
機体を倣い自動走行する構成が提案されている。

また、特開昭６２−６１５０９号公報では、圃場に植付
けられた苗列の側方に沿って田植機を走行するように自
動操舵制御するにあたって、この田植機に搭載したカラ
ービデオカメラにて、前記隣接した部分の作物列のうち
の適宜範囲を撮像し、この画像情報から緑色成分ＣＧ’
）と青色成分（Ｂ）との色差（Ｇ−Ｂ）を演算して得ら
れた色差画像情報を所定のしきい値にて２値化処理する
ことを提案している。

〔発明が解決しようとする課題〕

これらの先行技術において、画像情報の２値化処理にあ
たり、前者（特開昭６２−１２２５０７号公報）では、
画像情報における明度変化の微分値が一定以上の値の部
分をしきい値として既作業地等と判別する２値化処理を
実行しており、後者（特開昭６２−６２５０９号公報）
では、カラー情報における緑色成分（Ｇ）と青色成分（
Ｂ）との色差（Ｇ−Ｂ）が所定値となるしきい値にて２
値化処理している。

ところで、これらのしきい値を予め固定的に設定すると
、２値化の演算処理は簡単になるが、次のような不都合
が生じる。

即ち、例えばコンバインで殻稈を刈取りする場合に、圃
場面に対する日光の照射角度やコンバインの進行方向に
対する日光の相対的な照射方向の相違により、コンバイ
ンに搭載したカラー撮像手段にて得たカラー情報の色成
分の割合は種々変化するので、前記しきい値を予め固定
して設定すると、既作業地と未作業地との境界の判別を
誤ったり、判別不能となる。

本発明は、この問題を解決することを目的とするもので
ある。

〔課題を解決するための手段〕

この目的を達成するため、本発明では、既作業地と未作
業地とにわたる圃場範囲を撮像するカラー撮像手段にて
得られた画像情報を処理する画像処理装置を搭載した走
行作業機において、圃場走行時におけるサンプル画像情
報を記憶する記憶手段と、サンプル画像情報にて得られ
た青色成分、赤色成分、緑色成分の３色成分からなるサ
ンプルデータを基準とする２値化条件式作成手段と、後
の自動走行時のヰ★出画像情報にて得られた前記３色成
分からなる検出色成分データが所定の２値化条件式を満
足するか否かを判別する判別手段とを設けたものである
。

〔発明の作用・効果〕

このように、本発明において（よ、２値化処理の際のし
きい値を決定する手段として、予め圃場内を走行機体が
走行して、未作業地の画像情報をサンプリングして、そ
の３色成分の色信号のレベルを基礎にしたサンプルデー
タから２値化条件式を作成するので、サンプリングの時
に応じて２値化条件式を変更できることになる。

換言すれば、■圃場に植付けられた植物の種類やその成
育状態の相違、■圃場のある地域の相違、■作業中の日
光の強さの程度の相違、例えば晴天であるか曇であるか
、午前中の作業か午後の作業かの相違、０日光の照射方
向に対する走行機体の進行方向、ひいてはカラー撮像手
段の向きの変動、等があっても、その状況に応じてしき
い値を最適なものに設定できることになる。

従って、本発明によれば、未作業地と既作業地との境界
線の区別を明確に判別でき、以後の自動操舵制御を正確
に実行することができるという顕著な効果を奏する。

〔実施例〕

次に本考案をコンバイン等の収穫機に適用した実施例に
ついて説明すると、汎用コンバインである収穫、機１は
走行機体２の下面に左右一対の履帯式の走行装置３，３
を備え、走行機体２の前進方向に向かって右側前部には
座席付きの操縦部４を配設し、その後方にはエンジン（
図示せず）及び穀粒蓄積用のタンク５を備え、走行機体
２の左側には、円周外面にダブルピッチのスクリュー板
と適宜個数の抜歯とを植設した前後長手の扱胴６ａ等を
内蔵した脱穀部６と、その下方に受は網８と、シーブ等
による揺動選別装置９と、唐箕ファン１０の風による風
選別装置とを備える。

一方、走行機体２の前面には、前記脱穀部６の前部開口
に連通ずる角筒状のフィーダハウス１１を昇降用油圧シ
リンダ１２を介して走行機体に対して昇降自在に装着し
てあり、該フィーダハウス１１の内部には、左右長手の
搬送板を左右一対のチェノに適宜間隔で取付けたチェノ
コンベヤ１３を配設し、後述の刈取部１５からの刈取殻
稈をチェノコンベヤ１３にてフィーダハウス１１におけ
る後向き上昇傾斜する底板に沿わせ前記脱穀部６に搬送
するものである。

符号７ａは、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように搬送する二番還元筒、符号７ｂは前記
タンク５内の穀粒を外部に排出するための排出筒である
。

刈取部１５は、前記フィーダハウス１１の前端開口部に
連通ずる矩形筒状の介挿枠体１６と、該介挿枠体１６に
着脱自在に取付き、且つ走行機体２の全幅にわたって左
右に延びるパケット状のプラットホーム１７とから成り
、該プラットホーム１７には、走行機体２の全幅にわた
ってタインパー１８付きのリール１９を第２図の矢印方
向に回転駆動させるように装着してあり、プラットホー
ム１７の下面側には同じく左右長手のバリカン状の刈刃
２０を有し、プラントホーム１７の底板上方には、矢印
方向に回転する横長の掻き込み用のオーガ２２を備えで
ある。

この刈取部１５における回転するリール１９及びタイン
パー１８にて後方に引き倒された殻稈を刈刃２０にて刈
取り後、掻き込み用のオーガ２２にて集稈し、刈取り殻
稈はオーガ２２の回転によりプラットホーム１７上を横
方向（オーガ２２の長手略中央方向）に送られた後、プ
ラットホーム１７の後仮における導入口から前記フィー
ダハウス１１の前端開口部の箇所にて、フィーダハウス
１１内のチェノコンベヤ１３に受は継がれる。

なお、符号２３は刈取部１５の左右両端から前向きに突
出する分草体であり、また、前記リール１９は、殻稈の
倒伏状態等に応じて前後移動調節及び上下揺動調節３自
在に構成されている。

そして、刈取部１５は、その左右方向略中央位置を前記
フィーダハウス１１の前部に対して前向きに突出する支
持ピン箇所を中心に左右ローリング調節自在に連結する
ものであり、油圧シリンダ（図示せず）にてその左右傾
斜角度を調節できるように構成されている。

第３図は、本考案の制御手段のブロック図を示し、符号
２５は中央制御装置（ＣＰＵ）’、２６は読み出し専用
メモリ　（ＲＯＭ）　、２７は読み書き可能メモリ（Ｒ
ＡＭ）　、２　Ｂは収穫機１の走行距離を計測する走行
距離計、符号３１は方位設定器で、収１機１を予め進行
方向に向けたときの地磁気センサー等の方位検出器３０
にて読み込んだ方位（目標方位）を手動にてセットする
ことができるものであり、目標方位は修正され得る。

比較器３２は前記方位検出器°３０にて設定した目標方
位と、収穫機が自動走行している状態において方位設定
器３１にて検出された現実の方位との差異を比較するも
のである。

符号３３は超音波を利用する等した非接触型の殻稈検出
センサーで、発信器と受信器との対からなる殻稈検出セ
ンサー３３は、前記刈取部５における分草体２３の内側
方等に横向きに装着してあり、刈取部５におけるプラッ
トホーム１７の左右幅内に位置する植立した殻稈のうち
分草体２３に対してもっとも近い位置の殻稈Ｃに向けて
発信した超音波の反射音を受信器で受け、発信から受信
器の時間の多少により、分草体２３の側方から走行機体
の進行方向と略直角の横方向に位置する殻稈迄の検出距
離（Ｌｋ）を検出し、および殻稈により超音波が遮られ
るのを利用して殻稈の有無を判別するものである。

符号３４．３５は、前記中央制御装置２５からの出力信
号（操向指令）に応じて右側または左側の走行装置３．
３への動力伝達をＯＦＦにする操向クラッチを作動させ
る油圧切換弁等の電磁ソレノイドで、該操向クラッチは
手動レバー（図示せず）によっても操作できる。

カラー情報を得るためのカラー撮像手段３６は、対象を
検出するに降して、いわゆるカラー用ビデオカメラのご
とく撮像画面がｘ−ｙ平面のように縦横の拡がりを持つ
二次元的な平面を有するいわるエリアセンサーであり、
例えば、二次元ＭＯ３撮像素子や二次元ＣＣＤ撮像素子
を内臓したものでは、レンズを通して結ばれた像は、そ
の結像面に二次元的に配列された各撮像素子（光電素子
）にて感知されて撮像画面の光学情報を電気信号として
出力できるものである。

カラー撮像手段３６は、ＲＧＢ表色系〔赤色（Ｒ）、緑
色（Ｇ）、青色（Ｂ）の色光を原色光とし、側光により
白が得られる〕による赤色成分（Ｒ）、緑色成分（Ｇ）
、青色成分（Ｂ）との各色成分の信号にて圃場面の特徴
を抽出することができる。

符号３７は前記カラー撮像手段３６からの出力信号をア
ナログ信号からデジタル信号に変換するＡ／Ｄ変換器、
符号３８は撮像された１画面ごとに画像情報を記憶させ
るイメージラム （Ｉｍａｇｅ　ＲＡＭ　、画像メモリ）で、該イメージ
ラム３８では、６４Ｘ６４ドント（縦×横）についての
カラー情報を赤色成分（Ｒ）、緑色成分ＣＧ＞、青色成
分（Ｂ）の色信号のレベルとして６４階調（０〜６３）
で記憶される。

また、このイメージラム３８と中央制御装置２５の補助
的なラム（ＲＡＭ）として使用しても良い。

副制御装置（サブＣＰＵ）３９は、前記サンプル画像情
報Ｇこて得られた前記３色成分からなるサンプルデータ
を基準とする２値化のしきい値を決定するための２値化
条件式作成手段である演算を実行すると共に、後の自動
走行時の検出画像情報にて得られた前記３色成分からな
る検出色成分データが所定の前記２値化条件式を満足す
るか否かを判別する判別手段である。

なお、装置としての２値化装置４２を別途設けて、前記
副制御装置（サブＣＰＵ）３９にて予め作成された２値
化条件式と、後の自動走行時の検出色成分データとを比
較して２値化処理するように構成しても良い。

また、このように装置（ハード）で処理すると処理速度
の大幅な向上を見込むことができる。

符号４０は前記副制御装置３９に対する読み出し専用メ
モリ　（ＲＯＭ）　、４１は読み書き可能メモリ（ＲＡ
Ｍ）である。

次にこの構成による自動走行制御について説明すると、
第４図は二点鎖線に示す矢印方向にループ状に収穫機１
を走らせて、圃場Ｈを平面視矩形状に外周から刈取り脱
穀するように操向する場合で、図中ｍは周回数（例えば
ｍ＝１は第１回目の周回、ｍ＝２は第２回目の周回を示
す）、ｌは前記矩形の周辺を示し、ｚ＝１は第１辺、Ｊ
−２は第２辺、ｌ＝３は第３辺、／＝４は第４辺を各々
いう。

第５図の実施例では、二点鎖線に示すように収穫機１を
圃場Ｈの右側縁に沿って前進しながら刈取り脱穀作業さ
せた後Ｕターンさせて同じ右側縁を刈取り脱穀する作業
を繰り返したり、圃場（Ｈ）の４周辺を回行しながら、
当該圃場の左右両側を順次刈取り脱穀する場合である。

第６図のフローチャートに従って、本発明の２値化処理
を説明すると、前記第４図の実施例のごとく圃場Ｈの外
周４側縁を同行する場合の実施例では、ステップＳ１か
らステップＳ５までを、第１周回のティーチング走行（
ｍ＝１）とする。

このティーチング走行の場合、作業者が圃場Ｈの一側角
邪に収穫機１を同行し、手動にて操舵操作しつつ収穫機
１を前進させる。

フローチャートのスタートおよび初期値設定に続くステ
ップＳ１からステップＳ３までのティーチングスイッチ
４４、殻稈検出センサー３３の両者がＯＮで、走行距離
計２８で一定以上走行したと判断するときには、前記第
１辺の中途部に作業機１が位置することになる。

この状態で第７図に示すように進行方向右側の既作業地
（Ｋｌ）と左側の未作業地（Ｍｌ）とに跨る適宜範囲を
カラー撮像手段３６にて撮像すると、第８図に示すよう
に画面４６には、その右側路半分の範囲に既作業地の画
像（Ｋ）が、左略半分の範囲には未作業地の画像（Ｍ）
が各々写る。

画面４６における左略半分の画面のうち、点線で囲む適
宜範囲をサンプル領域（ＳＡＭＰ）として採用すれば、
この部分では未作業地のみ（例えば、殻稈が立植してい
る範囲のみ）のカラー情報としてのサンプル画像情報が
得られることになる。

ステップＳ４では、前記サンプル領域（ＳＡＭＰ）にお
ける全画素または複数の箇所の画素をサンプリングし、
このサンプルデータをＡ／Ｄ変換器３７を介してイメー
ジラム３８に記憶させる。

即ち、ステップＳ４では、前記サンプル領域（ＳＡＭＰ
）ごと、そのサンプルデータから赤色成分（Ｒ）、緑色
成分（Ｇ）、青色成分（Ｂ）の３色成分に分解してその
レベル　ｒｌｅｖｅＬｇｌｅｖｅｌ　＋ｂｌｅｖｅｌを
読み込み、記憶させる。

ステップＳ５では、前記ステップＳ４にて得られたサン
プルデータから、サンプル領域における３色成分の信号
レベルの平均値を計算する。ここで、ｒａｖは赤色成分
（Ｒ）の信号レベルの平均値であり、ｇａνは緑色成分
（Ｇ）の信号レベルの平均値、ｂａｖは青色成分（Ｂ）
の信号レベルの平均値を各々示す。

次にステップＳ６では、同じく前記サンプル領域ごとに
その各色成分の色信号の標準偏差ＴＶｒ　ｇＶｒｂｖを
計算する。

例えば、ｒｖ　　＝　　Σ（ｒｌｅｖｅｌ−ｒａｖ　）
”／　ｎ（ｎはサンプル数を示す。） これら色信号レベルの平均値と、色信号の標準偏差であ
るサンプルデータの計算（ステップＳ５およびステップ
Ｓ６の計算）は、副制御装置３９が実行する。

そして、前述のように圃場の未作業地の４つの外周を同
行する場合には、第１周辺（／−１）で前記ステップＳ
１からステップＳ６までを実行してステップＳ５および
ステップＳ６の計算結果を記憶し、次いで第２周辺（β
＝２）で前記と同様にステップＳ１からステップＳ６ま
でを実行してその計算結果を記憶するというようにして
、２値化条件式は各周辺ごとに少なくとも一つづつ作成
されることになる。

なお、圃場（Ｈ）における第１辺から第４辺迄（ｌ−１
〜４）の灸周辺における適宜−回乃至複数回のサンプリ
ング箇所で、前記のサンプリングを実行して、その各周
辺ごとにそのサンプルデータの平均値から各々２値化条
件式を求めるようにしても良いし、一つの圃場に対して
一つの２値化条件式で代表させるようにしても良い。

次にステップＳ７にて、自動走行スイッチ４５をＯＮに
することで無人自動走行に入り、ステップＳ８ではその
自動走行中、適宜時間間隔（中央制御装置２５または副
制御装置３９に内臓のクロックにて測定する）または適
宜走行比１ｉｉｉｔ（走行距離計２８にて測定する）ご
とに、圃場の既作業地（例えば刈取り済み部分）と未作
業地（殻稈が立植している部分）との両者に跨る適宜範
囲をカラー撮像手段３６にて撮像して、Ａ／Ｄ変換器３
７を介してイメージラム３８にネ食出画像情報として記
憶させる。

ステップＳ８で、前記−つの検出画像情報（一つの画面
）における画面中の予め定められた複数箇所の各標本点
ごとに赤色成分（Ｒｘ）、緑色成分（Ｇｘ）、青色成分
（Ｂｘ）のレベルを検出し、読み込む。

ステップＳ９では、各標本点終了したか否かを判別し、
標本点終了していないときには、ステップＳ８の前に戻
り、終了であれば、ステップＳ１０に移行する。ステッ
プＳＩＯでは、前記検出画像情報から各標本点における
赤色成分（Ｒｘ）、緑色成分（Ｇｘ）、青色成分（Ｂｘ
）を検出値として入力する。

なお、標本点として、検出画像の１画面のすべての画素
（例えば画素数＝２５６Ｘ２５６）を採用してもよい。

標本点が多いと、２値化処理に時間が掛かるが、既作業
地と未作業地との境界線の判別がきめ細かく正確になる
。反対に標本点が少ないと２値化処理時間は少なくて済
むが、境界線の判別があいまいとなるので、標本点数は
これらの事情を考慮して決定すべきである。

ステップＳｌｌでは、前記標本点ごとに、対応する２値
化条件式（Ａ）が満足するか否かを判別する。またはテ
ーチング時各周辺ごとに記憶した２値化条件式（Ａ＞を
使い分けるようにしても良い。

ここで、２値化条件式（Ａ）の例として、（ｒａｖ　−
ｒｖ）　＜　Ｒｘ　＜　（ｒａｖ　＋ｒｖ）　＝　”■
（ｇａｖ　−ｇｖ）　＜Ｇｘ＜　（ｇａｖ　＋ｇｖ）　
”■（ｂａｖ　−ｂｖ）　＜Ｂｘ＜　（ｂａｖ　＋ｂｖ
）　＝”■の３つの不等式の■■を同時に満足している
（ｙｅｓ）ときには、未作業地部分であるとして、２値
のレベルＶａｌ＝１としくステップ５１２）、前記不等
式のいずれか一つでも満足していない（ｎｏ）のときに
は、２値のレベルＶａｔ−０とする（ステップ５１３）
。

なお、前記２値のレベルＶａｌの「１」と「０」とを前
記と逆になるようにしても良いのは当然である。

第５図におけるように走行機体の進行方向が２通りの場
合には、サンプリングデータも走行機体の往復の２種類
とすることができる。

また、サンプリングデータの採取は始めの一回限り（テ
ーチング時）だけに限定されず、自動走行時における前
回の走行時に撮像した未作業地部分のデータを基準に次
回の走行時の２値化条件式を作成し、順次この２値化条
件式を更新するようにしでも良いのである。

なお、前記２値化条件式の設定に際しては、以下の不等
式を採用しても良い。

Ｒｏ−ΔＲ＜Ｒｉ＜Ｒｏ＋ΔＲ・・・・■Ｇｏ＝ΔＧ　
＜Ｇｉ＜Ｇｏ＋ΔＧ・・・・■Ｂｏ−ΔＢ　＜　Ｂｉ　
＜　Ｂｏ＋ΔＢ・・・・■ここで、Ｒｏ、　Ｇｏ、　Ｂ
ｏは、テーチング時または／および自動走行時における
未作業地の赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分
（Ｂ）の各レベル。

Ｒ＋、Ｇｉ＋　Ｂｉは、自動走行時における検出画像情
報から得られた各色成分のレベル。

ΔＲ１ΔＧ、ΔＢは、予め設定した偏差レベルまたは標
準偏差である。なお、標準偏差を採用するときには、そ
の計算のため処理時間が余分に掛かることになる。

このように、２値化処理の際のしきい値を決定する手段
として、予め圃場内を走行機体が走行して、未作業地の
画像情報をサンプリングして、その３色成分の色信号の
レベルを基礎にしたサンプルデータから２値化条件式を
作成するので、■圃場に植付けられた植物の種類やその
成育状態の相違、■圃場のある地域の相違、■作業中の
日光の強さの程度の相違、例えば晴天であるか曇である
か、午前中の作業か午後の作業かの相違、■日光の照射
方向に対する走行機体の進行方向、ひいてはカラー撮像
手段の向きの変動、等があっても、その状況に応じてし
きい値を最適なものに設定できることになり、未作業地
と既作業地との境界線の区別を明確に判別できる。

このように２値化処理を実行して得た境界線をハフ変換
等にて仮想直線として求め、その仮想直線に沿って走行
機体ｌが進行するように電磁ソレノイド３４．３５を作
動させるという、自動操舵制御を正確に実行することが
できるのである。

また、同じ殻稈でも、未刈取り地での殻稈が立植してい
る状態と、既刈取り地で排藁が圃場に横たわっている状
態との差異のも、前記サンプリングによる２値化条件式
では明確に判別することができるので、コンバインにて
刈取り脱穀した後、排藁を既作業地の圃場面に細かく切
断してばらまく作業を実行しても、前記の境界線の判別
を正確に行うことができる。

【図面の簡単な説明】

図面は本発明の実施例を示し、第１図はコンバインの平
面図、第２図は側面図、第３図は本発明装置のブロック
図、第４図および第５図は作業状態を示す説明図、第６
図はフローチャート、第７図は既作業地と未作業地との
側面図、第８図は画面の説明図である。 １・・・・作業機、３．３・・・・走行装置、６・・・
・脱穀部、・１５・・・・刈取部、２５・・・・中央制
御装置、３４．３５・・・・電磁ソレノイド、３６・・
・・カラー撮像手段、３７・・・・Ａ／Ｄ変換器、３８
・・・・イメージラム、３９・・・・副制御装置、２６
．４０・・・・読み出し専用メモリ、２７．４１・・・
・読み書き可能メモリ。 図 Ｍｌ 第８図 に１

Claims (1)

【特許請求の範囲】
1. （１）、既作業地と未作業地とにわたる圃場範囲を撮像
   するカラー撮像手段にて得られた画像情報を処理する画
   像処理装置を搭載した走行作業機において、圃場走行時
   におけるサンプル画像情報を記憶する記憶手段と、サン
   プル画像情報にて得られた青色成分、赤色成分、緑色成
   分の３色成分からなるサンプルデータを基準とする２値
   化条件式作成手段と、後の自動走行時の検出画像情報に
   て得られた前記３色成分からなる検出色成分データが所
   定の２値化条件式を満足するか否かを判別する判別手段
   とを設けたことを特徴とする自動走行作業機の自動操舵
   制御における２値化処理装置。