JP2740268B2 - 走行作業機の操舵制御における画像情報の２値化処理装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に列状に植立された稲、麦、大豆等の
当該列に沿って走行機体を走行させて刈取り脱穀する等
のいわゆる汎用コンバインまたは普通形コンバイン等の
収穫機や、芝仮刈機等の走行作業車両において、刈取り
等の作業地の状態を撮像して得られるカラー画像情報を
２値化し、その２値画像のデータを自動操舵制御に利用
するための、当該カラー画像情報の２値化処理装置に関
するものである。

〔従来の技術〕

圃場に植立した稲列に沿ってコンバインを前進走行さ
せ、当該稲列を複数条づつ刈取るように、当該コンバイ
ンを自動操舵走行させるに際して、未刈取地と既刈取地
との境界線を検出する技術として、本出願人は、特願昭
63−263794号において、カラー撮像手段をコンバインに
搭載し、該カラー撮像手段にて未刈取り地であるサンプ
リング領域での３原色の色成分から、未刈取り地と既刈
取り地とを区別するための所定の２値化しきい値条件式
を作成する一方、作業走行時におけるコンバインの進行
前方向の未刈取地と既刈取地との両範囲にわたって撮像
し、このカラー画像データの３原色成分を抽出し、前記
２値化しきい値条件式を満足するか否かを判断して、未
刈取り地と既刈取り地との境界線を検出する技術を提案
した。

〔発明が解決しようとする課題〕

この先行技術における２値化しきい値条件式は、未刈
取り地のサンプリング領域における３つの色成分ごと
に、各々が所定の偏差を含む３つの不等式として設定し
たものでありる。

換言すれば、検査すべき個所における３つの色成分の
レベルが、各々前記３つの不等式の範囲に入っていると
き（不等式を満足するとき）には未刈取り地と判断し、
不等式を満足しないときには既刈取り地と判断するもの
であった。

そして、識別すべき個所が他の個所と全く色が異なる
ような場合、例えば未刈取り地では緑色または黄色が強
いが、既刈取り地では地面の色（黒色や灰色）で両者の
色の区別のつき易い場合では、前記のように各色成分ご
とに独立して求めた２値化しきい値条件式でも両者の判
別は可能である。

しかし、コンバインにおける刈取作業において、刈り
取った穀稈（排藁）を短く切り刻んで既刈取り地に放出
しばらまくような作業を実行していると、未刈取り地に
おける稲等の植立した穀稈の色と、刈取り後の排藁の色
が同色系統であるので、カラー撮像手段によって得られ
たカラー画像情報による未刈取り地の色成分の値と既刈
取り地の色成分の値とが近似しているので、前記の各色
成分ごとに独立して求めた２値化しきい値条件式では、
前記両者の領域を区別しずらいという問題があった。

本願発明はこの問題を解決することを目的とするもの
である。

〔課題を解決するための手段〕

この目的を達成するため、本発明は、走行作業機に搭
載したカラー撮像手段にて圃場等の未刈取り地と既刈取
り地とにわたる作業面を撮像し、そのカラー画像情報か
ら未刈取り地と既刈取り地とに区別するための２値化処
理する画像処理装置において、カラー画像情報から青色
成分信号値（Ｂ）と赤色成分信号値（Ｒ）と緑色成分信
号値（Ｇ）との３原色信号値を抽出する信号値抽出手段
と、前記各信号値から、〔B/（Ｒ＋Ｇ）〕，〔R/（Ｂ＋
Ｇ）〕，〔G/（Ｂ＋Ｒ）〕なる３つの色成分比率を演算
する演算手段と、未刈取り地のサンプリング領域におけ
る前記３つの色成分比率と作業面における前記３つの色
成分比率とを各々比較判断して未刈取り地と既刈取り地
とに区別する２値化しきい値を決定する判別手段とから
成るように構成したものである。

〔実施例〕

次に本発明を汎用コンバインに適用した実施例につい
て説明すると、走行作業機であるコンバイン１は走行機
体２の下面に左右一対の履帯式の走行装置3,3を備え、
走行機体２の前進方向に向かって右側前部には座席付き
の操縦部４を配設し、その後方にはエンジン（図示せ
ず）及び穀粒蓄積用のタンク５を備え、走行機体２の左
側には、円周外面にダブルピッチのスクリュー板と適宜
個数の扱歯とを植設した前後長手の扱胴6a等を内蔵した
脱穀部６と、その下方に受け網８と、シーブ等による揺
動選別装置９と、唐箕フアン10の風による風選別装置と
を備える。

一方、走行機体２の前面には、前記脱穀部６の全部開
口に連通する角筒状のフイーダハウス11を昇降用油圧シ
リンダ12を介して走行機体に対して昇降自在に装着して
あり、該フイーダハウス11の内部には、左右長手の搬送
板を左右一対のチエンに適宜間隔で取付けたチエンコン
ベヤ13を配設し、このチエンコンベヤ13にて後述の刈取
部15からの刈取穀稈を前記脱穀部６に搬送するものであ
る。

符号7aは、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように搬送する二番還元筒、符号7bは前記タ
ンク５内の穀粒を外部に排出するための排出筒である。

刈取部15は、走行機体２の全幅にわたって左右に延び
るバケット状のプラットホーム17と、該プラットホーム
17に走行機体２の全幅にわたって設けたタインバー18付
きのリール19とから成り、プラットホーム17の下面側に
は同じく左右長手のバリカン状の刈刃20を有し、プラッ
トホーム17の底板上方には、矢印方向に回転する横長の
掻き込み用のオーガ22を備えてあり、伝動部を介して前
記リール19及びオーガ22を回転駆動し、且つ刈刃20を駆
動する。

なお、符号23は刈取部15の左右両端から前向きに突出
する分草体であり、また、前記リール19は、穀稈の倒伏
状態等に応じて前後移動調節及び上下揺動調節自在に構
成されている。

符号24は、第１図等に示すように、圃場に適宜間隔に
て縦横に植立した被検出物である稲の穀稈で、この縦横
に適宜間隔で植立した穀稈24に向かってコンバイン１を
前進させてこれらを刈取るものである。

第３図は、本考案の制御手段のブロック図を示し、符
号25は中央制御装置（CPU）、26は読み出し専用メモリ
（ROM）、27は読み書き可能メモリ（RAM）、28は収穫機
１の走行距離を計測する走行距離計である。

符号31は方位設定器で、収穫機１を予め進行方向に向
けたときの地磁気センサー等の方位検出器30について読
み込んだ方位（目標方位）を手動にてセットすることが
できるものであり、目標方位は修正され得る。

比較器32は前記方位検出器30にて設定した目標方位
と、収穫機が自動走行している状態において方位設定器
31にて検出された現実の方位との差異を比較するもので
ある。

符号33は超音波を利用する等した非接触型の穀稈検出
センサーで、発信器と受信器との対からなる穀稈検出セ
ンサー33は、前記刈取部５における分草体23の内側方等
に横向きに装着してあり、刈取部５におけるプラットホ
ーム17の左右幅内に位置する植立した穀稈のうち分草体
23に対してもっとも近い位置の穀稈に向けて発信した超
音波の反射音を受信器で受け、発信から受信迄の時間の
多少により、分草体23の側方から走行機体の進行方向と
略直角の横方向に位置する穀稈迄の検出距離を検出し、
および穀稈により超音波が遮られるのを利用して穀稈の
有無を判別するものである。

符号34、35は、前記中央制御装置25からの出力信号
（操向指令）に応じて右側または左側の走行装置３、３
への動力伝達をOFFにする操向クラッチを作動させる油
圧切換弁等の電磁ソレノイドで、該操向クラッチは手動
レバー（図示せず）によっても操作できる。

カラー情報を得るためのカラー撮像手段36は、対象を
検出するに際して、いわゆるカラー用ビデオカメラのご
とく撮像画面（結像面）がｘ−ｙ平面のように縦横の拡
がりを持つ二次元的な平面を有するいわるエリアセンサ
ーであり、例えば、二次元MOS撮像素子や二次元CCD撮像
素子を内臓したものでは、レンズを通して結ばれた像
は、その結像面に二次元的に配列された各撮像素子（光
電素子）にて感知されて撮像画面の光学情報を電気信号
として出力できるものである。

カラー撮像手段36は、RGB表色系〔赤色（Ｒ），緑色
（Ｇ），青色（Ｂ）の色光を原色光とし、加光により白
が得られる〕による赤色成分（Ｒ）、緑白成分（Ｇ）、
青色成分（Ｂ）との各色成分の信号にて圃場面の特徴を
抽出することができる。

符号37は前記カラー撮像手段36からの出力信号をアナ
ログ信号からデジタル信号に変換するA/D変換器、符号3
8は撮像された１画面ごとに画像情報を記憶させる画像
メモリで、該画像メモリ38では、例えば64×64ドット
（縦×横）についてのカラー情報を赤色成分（Ｒ）、緑
色成分（Ｇ）、青色成分（Ｂ）の色信号のレベルとして
64階調（０〜63）で抽出して記憶される。

２値化処理装置39は、前記サンプル画像情報にて得ら
れた前記３色成分からなるサンプルデータを基準とする
２値化のしきい値を決定するための２値化条件式作成手
段である演算を実行すると共に、後の自動走行時の検出
画像情報にて得られた前記３色成分からなる検出色成分
データが所定の前記２値化条件式を満足するか否かを判
別する判別手段である。

符号40は前記副制御装置39に対する読み出し専用メモ
リ（ROM）、41は読み書き可能メモリ（RAM）である。

次にこの構成による２値化処理を第６図に示すフロー
チャートに従って説明すると、テイーチング走行時にお
いて、スタート及びステップＳの初期値設定に続き、第
４図に示すように符号Ｈで示す排藁がばらまかれた進行
方向右側の既作業地（K1）と左側の未作業地（M1）とに
跨る適宜範囲をカラー撮像手段36にて撮像すると、第５
図に示すように撮像画面43には、その右側略半分の範囲
に既作業地の画像（Ｋ）が、左略半分の範囲には未作業
地の画像（Ｍ）が各々写る。

撮像画面43における左略半分の画面のうち、点線で囲
む適宜範囲をサンプル領域（SAMP）として採用すれば、
この部分では未作業地のみ（例えば、穀稈が立植してい
る範囲のみ）のカラー情報としてのサンプル画像情報が
得られることになる。

ステップS2では、前記サンプル領域（SAMP）における
全画素または複数の箇所の画素をサンプリングし、この
サンプルデータをA/D変換器37を介して画像メモリ38に
記憶させる。

即ち、ステップS2では、前記サンプル領域（SAMP）ご
と、そのサンプルデータから赤色成分（Ｒ）、緑色成分
（Ｇ）、青色成分（Ｂ）の３色成分に分解してそのレベ
ルR,G,B,を読み込み、記憶させる。

ステップS3では、前記３つの色成分ごとに、各色成分
を他の２つの色成分に対する比率として求めた成分比率
を計算する。

ここで、 である。

次に、前記ステップS3にて得られたサンプルデータか
ら、サンプル領域における３色成分の各色成分比率の平
均値及び標準偏差を計算する。

ここで、ravは赤色成分の色成分比率Rsの平均値であ
り、gavは緑色成分の色成分比率Gsの平均値、bavは青色
成分の色成分比率Bsの平均値を各々示し、rv,gv,bvは、
同じく前記サンプル領域ごとにおける各色成分の色成比
率の標準偏差であり、 （ｎはサンプル数を示す。）である。

さらに、ステップS5では、２値化しきい値条件式のた
めのの上限値と下限値とを予め演算しておく。

ここで、赤色成分に対する上限値Rsh＝rav＋rv、下限
値Rsl＝rav−rv、緑色成分に対する上限値Gsh＝gav＋g
v、下限値Gsl＝gav−gv、青色成分に対する上限値Bsh＝
bav＋bv、下限値Bsl＝bav−bvである。

なお、圃場における適宜複数のサンプリング箇所で、
前記のサンプリングを実行して、そのサンプルデータの
平均値から各々２値化条件式を求めるようにしても良い
し、一つの圃場に対して一つの２値化条件式で代表させ
るようにしても良い。

次に無人自動走行に入り、ステップS6ではその自動走
行中、適宜時間間隔（中央制御装置25に内臓のクロック
にて測定する）または適宜走行距離（走行距離計28にて
測定する）ごとに、圃場の既刈取り地と未刈取り地との
両者に跨る適宜範囲をカラー撮像手段36にて撮像して、
A/D変換器37を介して画像メモリ38に検出画像情報とし
て記憶させる。

この場合、前記一つの検出画像情報（一つの画面）に
おける画面中の予め定められた複数箇所の各標本点ごと
に赤色成分（Rx）、緑色成分（Gx）、青色成分（Bx）の
レベルを検出し、読み込む。

ステップS7では、前記各標本点ごとに、各色成分の色
成分比率を演算する。

ここで、Rxs＝〔Rx/（Gx＋Bx）〕、 Gxs＝〔Gx/（Rx＋Bx）〕、 Bxs＝〔Bx/（Gx＋Rx）〕である。

ステップS8では、前記標本点ごとに、対応する２値化
条件式（Ａ）が満足するか否かを判別する。

ここで、２値化条件式（Ａ）の例として、 Rsh（＝rav＋rv）＞Rxs＞Rsl（＝rav−rv） …… Gsh（＝gav＋gv）＞Gxs＞Gsl（＝gav−gv） …… Bsh（＝bav＋bv）＞Bxs＞Bsl（＝bav−bv） …… の３つの不等式を同時に満足している（yes）と
きには、未刈取り地であるとして、２値のレベルval＝
１とし（ステップS9）、前記不等式のいずれか一つでも
満足していない（no）のときには、２値のレベルVal＝
０とする（ステップS10）。

なお、前記２値のレベルValの「１」と「０」とを前
記と逆になるようにしても良いのは当然である。

前記２値化しきい値決定のための条件式の他の実施例
として、未刈取り地におけるサンプリング領域と既刈取
り地におけるサンプリング領域とにおいて各々前記
（１）と同じく色成分比率を求め、その各領域における
色成分比率から、各々平均値と標準偏差を演算する。そ
して、未刈取り地における２値化しきい値の上限と下限
とを各色成分について以下ようにする。

赤色成分について： 上限Rshm（＝rav＋rv）、 下限Rslm（＝rav−rv） 緑色成分について： 上限Gshm（＝gav＋gv）、 下限Gslm（＝gav−gv） 青色成分について： 上限Bshm（＝bav＋bv）、 下限Bslm（＝bav−bv） とし、同様に既刈取り地における２値化しきい値の上限
と下限とを、 赤色成分について： 上限Rshk、下限Rslk 緑色成分について： 上限Gshk、下限Gslk 青色成分に付いて： 上限Bshk、下限Bslk とするとき、各色成分ごとについて、未刈取り地におけ
る２値化しきい値の上限と下限とで挟まれる値の範囲と
既刈取り値における２値化しきい値の上限と下限とで挟
まれる値の範囲とを比較し、前記範囲が互いに重複しな
いような色成分を選択し、この色成分についての２値化
しきい値決定の条件式（A1）を以下のように設定する。

例えば、赤色成分について選択できたとして、Rshm＞
Rxs＞Rslmのとき「１」とし、その他のときには「０」
とするか、Rshk＞Rxs＞Rslkとなるとき「０」とし、そ
の他のときには「１」とするものである。

このように２値化処理を実行して得た境界線をハフ変
換等にて仮想直線として求め、その仮想直線に沿って走
行機体１が進行するように電磁ソレノイド34,35を作動
させれば、未刈取り地と既刈取り地との境界に沿ってコ
ンバインを走行させて刈取り脱穀作業を実行できるので
ある。

なお、サンプリングデータの採取は始めの一回限りだ
けに限定されず、自動走行時における画像取込みごとに
未刈取り地部分のサンプリング領域のデータを基準に次
回の走行時の２値化条件式を作成し、順次この２値化条
件式を更新するようにしても良いのである。

〔発明の作用及び効果〕

この未刈取り地と既刈取り地との差異のように、同系
色であって、各色成分の信号レベルの値が互い似かよっ
ているときには、従来のごとく３原色の各色成分の信号
レベル単独で判別した場合には、未刈取り地と既刈取り
地との各色成分の差異は殆ど出てこない。

また分母に３原色の色成分の総和を取り、それに対す
る各色成分の比率を求めるときには、明度を無視する形
となるだけであって、未刈取り地と既刈取り地との色成
分の差異が小さいときには、その差異を強調して判別す
ることはできない。

しかし、本発明では、赤色成分の色成分比率Rs＝〔R/
（Ｂ＋Ｇ）〕、緑色成分の色成分比率Gs＝〔G/（Ｂ＋
Ｒ）〕、青色成分の色成分比率Bs＝〔B/（Ｒ＋Ｇ）〕と
いうように、他の二つの色成分に対する一つの色成分の
比率を求めて、これを基礎にして２値化しきい値を決定
するので、未刈取り地と既刈取り地とで各色成分の差異
が微小であっても、その差異を強調した形で結果を得る
ことができるので、同系色の二つの領域で区別が付き易
くなるのである。

さらに、２値化処理の際のしきい値を決定する手段と
して、予め圃場内を走行機体が走行して、未作業地の画
像情報をサンプリングして、その３色成分の色成分比率
を基礎にして２値化条件式を作成するので、撮像状況に
応じてしきい値を最適なものに設定できることになり、
未作業地と既作業地との境界線の区別を明確に判別でき
る。

【図面の簡単な説明】

図面は本発明の実施例を示し、第１図はコンバインの平
面図、第２図は側面図、第３図は本発明装置のブロック
図、第４図は撮像状態の説明図、第５図は撮像画面の説
明図、第６図はフローチャートである。 １……コンバイン、3,3……走行装置、15……刈取部、2
5……中央制御装置、36……カラー撮像手段、37……A/D
変換器、38……画像メモリ、39……２値化処理装置。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】走行作業機に搭載したカラー撮像手段にて
   圃場等の未刈取り地と既刈取り地とにわたる作業面を撮
   像し、そのカラー画像情報から未刈取り地と既刈取り地
   とに区別するための２値化処理する画像処理装置におい
   て、カラー画像情報から青色成分信号値（Ｂ）と赤色成
   分信号値（Ｒ）と緑色成分信号値（Ｇ）との３原色信号
   値を抽出する信号値抽出手段と、前記各信号値から、
   〔B/（Ｒ＋Ｇ）〕，〔R/（Ｂ＋Ｇ）〕，〔G/（Ｂ＋
   Ｒ）〕なる３つの色成分比率を演算する演算手段と、未
   刈取り地のサンプリング領域における前記３つの色成分
   比率と作業面における前記３つの色成分比率とを各々比
   較判断して未刈取り地と既刈取り地とに区別する２値化
   しきい値を決定する判別手段とから成ることを特徴とす
   る走行作業機の操舵制御における画像情報の２値化処理
   装置。