JP2740265B2 - 収穫機の操舵制御における画像処理方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に列状に植立された稲、麦、大豆等の
当該列に沿って走行機体を走行させて刈取り脱穀する等
のいわゆる汎用コンバインまたは普通形コンバイン等の
収穫機や、圃場に植えられた野菜等の列状に沿って走行
機体を走行させて収穫する収穫機を、前記稲等の被検出
物の列に沿うように倣って走行させるために、これらの
被検出物を撮像した画像データを画像処理する方法に関
するものである。

〔従来の技術〕

圃場に植立した稲列に沿ってコンバインを前進走行さ
せ、当該稲列を複数条づつ刈取るように、当該コンバイ
ンを自動操舵走行させるに際して、未刈取地と既刈取地
との境界線を検出する技術として、例えば特開昭62−12
2507号公報では、コンバインに搭載したビデオカメラ
を、当該コンバインの進行前方向の未刈取地と既刈取地
との両範囲にわたって撮像できるように前方下向きに配
設し、ビデオカメラにて撮像した画像データを２値化処
理して前記境界線を抽出する技術を提案している。

〔発明が解決しようとする課題〕

この先行技術において、前記ビデオカメラにて撮像さ
れた撮像画面全体に含まれた画像データすべてを２値化
処理したのち境界線を検出するという特徴抽出処理を実
行していたので、一つの撮像画面（１フレームという）
を特徴抽出処理するのに多くの時間を要し、自動操舵を
迅速且つ的確に実行できないという問題があった。

また、ある程度圃場の左右両側の広い範囲にわたって
撮像しなければ、未刈取地と既刈取地との境界線を検出
することができない。

そこで、所定の視界を有するレンズ系を用いて圃場の
左右両側の広い範囲を撮像して画面に取り込むと、得ら
れた撮像画面中に例えば圃場際の畦等の余分な対象が撮
像されたり、背景部分の余分のノイズ成分が入り込むこ
とになり、画像データから２値化等の特徴抽出処理する
に際して、このような余分の対象物を判別して除外した
り、背景部分のノイズ成分を除去するための前処理も繁
雑となるという問題があった。

さらに、コンバインの操舵につれてビデオカメラの撮
像方法も左右に変化するので、未刈取り地と既刈取り地
との境界線が撮像される位置も左右に変動するのである
から、前記ビデオカメラによる撮像画面のうち画像処理
すべき範囲を固定的にカットすると、前記境界線を見失
うおそれがある。

そして、この境界線を検出するに際して、未刈取り地
の状態と既刈取り地の状態とを判別するための、いわゆ
る２値化処理にあたって２値化しきい値を決定する必要
があり、そのためのサンプリング領域を、予め撮像画面
のうちの未刈取り地であろうと予定される個所に位置固
定的に設定すると、前記境界線の左右変動につれて、サ
ンプリング領域が既刈取り地や前記のような余分の背景
部分に食い込むおそれがあり、そのようなサンプリング
領域から２値化しきい値を決定すると、以後の境界線の
決定を正確にできないという問題があった。

本願発明はこれらの問題を解決することを目的とする
ものである。

〔課題を解決するための手段〕

この目的を達成するため、本発明は、コンバイン等の
収穫機に搭載した二次元撮像手段にて当該収穫機による
進行方向前方の未刈取り地と既刈取り地とにわたって適
宜時間間隔ごとまたは適宜前進距離ごとに撮像し、該撮
像手段にて得られた画像データを画像メモリに記憶した
後、２値化処理して前記未刈取り地と既刈取り地との境
界線を決定する画像処理方法において、撮像手段による
撮像画面中の２値化処理すべき領域を、前回決定した境
界線を基準にしてその左右両側に所定距離の幅に相当す
るウインドウ画像区域になるように逐次更新すると共
に、未刈取り地を判別するための２値化しきい値決定用
サンプリング領域を、前記ウインドウ画像区域のうちの
未刈取り地側において前回決定した境界線から未刈取り
地に向かって所定幅に相当する画像区域を除く範囲とな
るように逐次更新する方法を採用したものである。

〔実施例〕

次に本発明を汎用コンバインに適用した実施例につい
て説明すると、走行作業機であるコンバイン１は走行機
体２の下面に左右一対の履帯式の走行装置3,3を備え、
走行機体２の前進方向に向かって右側前部には座席付き
の操縦部４を配設し、その後方にはエンジン（図示せ
ず）及び穀粒蓄積用のタンク５を備え、走行機体２の左
側には、円周外面にダブルピッチのスクリュー板と適宜
個数の扱歯とを植設した前後長手の扱胴6a等を内蔵した
脱穀部６と、その下方に受け網８と、シーブ等による揺
動選別装置９と、唐箕フアン10の風による風選別装置と
を備える。

一方、走行機体２の前面には、前記脱穀部６の前部開
口に連通する角筒状のフイーダハウス11を昇降用抽出シ
リンダ12を介して走行機体に対して昇降自在に装着して
あり、該フイーダハウス11の内部には、左右長手の搬送
板を左右一対のチエンに適宜間隔で取付けたチエンコン
ベヤ13を配設し、このチエンコンベヤ13にて後述の刈取
部15からの刈取穀稈を前記脱穀部６に搬送するものであ
る。

符号7aは、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように搬送する二番還元筒、符号7bは前記タ
ンク５内の穀粒を外部に排出するための排出筒である。

刈取部15は、走行機体２の全幅にわたって左右に延び
るバケット状のプラットホーム17と、該プラットホーム
17に走行機体２の全幅にわたって設けたタインバー18付
きのリール19とから成り、プラットホーム17の下面側に
は同じく左右長手のバリカン状の刈刃20を有し、プラッ
トホーム17の底板上方には、矢印方向に回転する横長の
掻き込み用のオーガ22を備えてあり、伝動部を介して前
記リール19及びオーガ22を回転駆動し、且つ刈刃20を駆
動する。

なお、符号23は刈取部15の左右両端から前向きに突出
する分草体であり、また、前記リール19は、穀稈の倒伏
状態等に応じて前後移動調節及び上下揺動調節自在に構
成されている。

符号25は、第１図等に示すように、圃場Ｈに適宜間隔
にて縦横に植立した被検出物である稲の穀稈で、この縦
横に適宜間隔で植立した穀稈25に向かってコンバイン１
を前進させてこれらを刈取るものである。

符号24は前記操縦部４のキヤビン4a前部上端等に取付
くビデオカメラ等の撮像手段で、該撮像手段24はそのレ
ンズ系35の光軸35aが水平面に対して俯角θ（実施例で
は略20度）で前向きに取付けられている。

また、第４図は、本発明の制御手段のブロック図を示
し、符号27は前記撮像手段24のアナログ入力信号をデジ
タル信号に変換するA/D変換器、符号28は画像メモリ、
符号29は画像処理プロセッサ、符号30は中央制御装置
（CPU）、符号31は読み出し専用メモリ（ROM）、符号32
は読み書き可能メモリ（RAM）、符号33はI/0ユニット、
符号34はバスを各々示す。

なお、中央制御装置30の指令信号に従って駆動される
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ェータにて走行機体２を左右に操舵することができる。

前記ビデオカメラ等の撮像手段24は、レンズ系を通し
て得られた画像が結象する平面（撮像画面36）にCCD固
体撮像素子等から成る二次元撮像デバイスを配設したも
ので、カラー用、白黒用のいずれであっても良いが、コ
ンバインの稲刈取り作業での既刈取地と未刈取地との境
界線を判別するためには、RGB表色系〔赤色（Ｒ），緑
色（Ｇ），青色（Ｂ）の原色光とし、加色により白色が
得られる〕の各色成分にて圃場の特徴を抽出し、この３
色成分の信号出力のしきい値の組合せから、前記既刈取
地と未刈取地との境界線を決定する２値化処理を実行す
ることが好ましい。

そして、前記境界線Koを検出するに際して、撮像手段
24により得られた撮像画面36全体を２値化処理している
と、撮像画面36中に例えば圃場際の畦等の余分な対象が
撮像されたり、中割り作業時の一側の未刈地等の余分の
ノイズ成分が入り込むことになり、画像データを２値化
等の特徴抽出処理するに際して、このような余分な対象
物を判別して除外したり、ノイズ成分を除去するための
前処理も繁雑となる。

他方、コンバインを操舵制御していると、撮像画面36
中の境界線の位置も時々刻々と変化するので、撮像画面
中において２値化処理すべき領域を固定することは、そ
の境界線を見失うおそれがある。

そこで、本発明の画像処理としては、前記記憶された
画像データのうち、被検出平面37における前記走行機体
の進行方向に沿う左右両側の適宜幅の撮像範囲に相当す
る画像データを除くようなウインドウ処理を実行するに
際して、適宜時間間隔ごと又は適宜前進距離ごとに決定
される境界線を基準にし、その最新結果である前回決定
された境界線の左右両側に所定距離の幅に相当するウイ
ンドウ画像区域になるように逐次更新するものである。

また、通常未刈取り地Ｍを撮像したときの穂先部の色
彩と既刈取り地Ｋにおける刈取り後の排藁の色彩とが相
違するので、その相違を所定の３原色の色彩値のヒスト
グラム等の形の違いとして把握し、前記２値化処理に際
して、圃場の未刈取り地Ｍであると判別するための２値
化しきい値を決定するのである。そのため、前記２値化
しきい値決定用のサンプリング領域は、未刈取り地Ｍと
して確実に存在する個所に設定しなければならない。

換言すれば、当該未刈取り地Ｍの個所の画像データを
サンプリングするにおいて、前記境界線Koの個所に近い
未刈取り地Ｍ部分では、既刈取り地Ｋである可能性があ
り、得られた２値化しきい値自体が不正確になるおそれ
がある。

そこで、本発明では、前記２値化処理すべきウインド
ウ画像区域のうち、未刈取り値Ｍにおいて境界線Koに近
い側を除く領域をサンプリング領域とするものである。

以下に、穀稈の未刈取地Ｍにおける検査平面37を斜め
上方から撮像した場合のウインドウ処理等の画像処理の
実施例について説明する。

この場合には、撮像手段24にて得られた画像を二次元
撮像デバイスの撮像画面36に結像させたとき、撮像手段
24から遠くにある物は小さく写り、近くにある物は大き
く写る。

つまり、第２図及び第３図に示すように被検出平面37
（撮像手段24から垂直下方距離ｈにあるとする）におけ
る矩形状の撮像領域（Ao,Bo,Co,Do）は、第５図に示す
ように撮像画面36において、その下辺側で左右に長く、
上辺側で左右に短い台形状の像（A,B,C,D）になる。

また、通常のレンズ系では、撮像画面36に結像させた
像は倒立像となるが、以下の説明では、理解を容易にす
るため正立像におきかえた状態にて説明する。

第９図は、本発明の画像処理のフローチャートを示
し、スタートに続くステップS1で以下のような座標変換
計算を実行する。

まず、被検出平面37と撮像画面36との座標関係につい
て説明すると、第８図において、直交（X,Y,Z）座標系
における原点であるＯ点を撮像手段24における焦点距離
ｆのレンズ系35の仮想レンズ中心とし、Ｘ軸は撮像手段
24の左右方向に沿い、Ｙ軸は撮像手段24の縦方向に沿わ
せる一方、Ｚ軸を前記レンズ系35の光軸35aと一致させ
る。

撮像手段24における二次元撮像デバイスの撮像画面36
は、被写体が明瞭に結像するために、前記Ｏ点からＺ軸
に沿って焦点距離ｆの位置におく。従って撮像画面36は
直交（X,Y.Z）座標系におけるＸ−Ｙ平面と平行な平面
となる。

一方、穀稈25の穂先部を含む水平面を被検出平面37と
し、この被検出平面37と前記Ｚ軸との交角（撮像手段の
俯角に相当する）をθとする。

前記被検出平面37上の被検出点Toが撮像手段24にて撮
像したとき、その結像点Ｔは、前記To点とＯ点とを結ぶ
直線Ｖが撮像画面36と交差する点となる。

前記直交（X,Y.Z）座標系において、Ｔ点の座標を（x
o,yo,zo）とすると、前記直線Ｖの方程式は、 （Ｘ−xo）/l＝（Ｙ−yo）/m＝（Ｚ−zo）/n ……（１） ここで、l,m,nは方向余弦であり、 ｌ＝xo/L,m＝yo/L,n＝zo/L Ｌ＝（xo）＋（yo）＋（zo） これらの式で、被検出物からレンズ系までの距離に比
べて焦点距離ｆは極めて小さいので、 zo≒ｆ（定数）として良い。

他方、前記被検出平面37が仮想レンズ中心Ｏ点から下
方にｈの位置にあり、撮像手段の俯角をθとするとき、
前記直交（X,Y.Z）座標系において被検出平面37の方程
式は、 cos θ・Ｙ−sin θ・Ｚ＋ｈ＝０ ……（２） で表すことができる。

前記直線Ｖと被検出平面37との交点であるTo点の座標
（xf,yf,zf）は、前記（１）と（２）式から、 となる。

次に被検出平面37を別の直交座標系（Ｘ″,Y″,Z″）
におけるＸ″−Ｙ″平面であると考え、この座標系にお
いて、前記被検出平面37上のTo点の座標を（xf″,yf″,
zf″）とすれば、座標変換（平行移動と回転による）を
実行することにより、 となる。

即ち、被検出平面37上の被検出物（被写体）のTo点
〔座標（xf″,yf″）〕は撮像手段24における撮像画面3
6上で座標（xo,yo）のＴ点に結像される関係となるので
ある。

この変換式（４）により、撮像画面36上の座標（xo,y
o）から被検出平面37上の座標（xf″,yf″）の計算（ま
たはその反対の計算）をすることができるのである。

なお、撮像手段24にて圃場を真上から撮像するように
した場合には、前述の座標変換は簡単になる。

このように、被検出平面37上の座標と撮像画面36上の
座標との１対１の関係を知ることができるから、撮像画
面36に撮像された未刈取り地Ｍから既刈取り地Ｋにわた
る範囲のうち、２値化処理すべき領域、つまりウインド
ウ画像区域Ｗを設定する前段階として、ステップS2では
次のような演算を実行しておく。

つまり、本発明では、第６図及び第７図の関係で示す
ように、被検出平面37上での未刈取り地Ｍと既刈取り地
Ｋとの境界線Koを基準にして未刈取り地Ｍ側に所定幅Ho
まで、及び既刈取り地Ｋ側に所定幅Ho迄の区域（第６図
のAo,Bo,Co,Do,Eo,Foで囲まれる区域）に対応する撮像
画面36上での２値化処理すべき領域（第７図のA,B,C,D,
E,Fで囲まれる区域）をウインドウ画像区域Ｗにする。

従って、前記未刈取り地Ｍ側の境界の座標に対応する
撮像画面36上でのウインドウ画像区域の左側境界の座標
及び既刈取り地Ｋ側の境界の座標に対応する撮像画面36
上でのウインドウ画像区域Ｗの右側境界の座標を円滑に
演算する必要がある。

そこで、今被検出平面37上での境界線Koから左右両側
に所定幅Ho（メートル）（実施例では2.5メートル）の
検査領域を設定すると、これに対応する撮像画面36のウ
インドウ画像区域Ｗの左右幅はＨとなるので、第６図に
示す検出平面37上での直線Ao−Bo及び直線Fo−Eoは第７
図における撮像画面36上の直線Ａ−Ｂ及び直線Ｆ−Ｅに
対応していることになる。

そこで、撮像画面36上の境界線Ko′から左右両側に幅
Ｈだけ横にずれた位置としてのＸ座標（mask−ｗ
［ｙ］）を、予め配列概念（配列とは同じ特性をもち、
定められた規則に従って並べられた要素の集まりから成
る文法単位）にて演算設定し、記憶させておく。

同様に、被検出平面37上での境界線Koから未刈取り地
Ｍ側に所定幅So（メートル）（実施例では1.0メート
ル）と設定し、この区域（第６図でKo線とGo−Joを結ぶ
線で囲まれた区域）を、第６図のAo,Bo,Co,Do,Eo,Foで
囲まれる区域から除いか区域を２値化しきい値決定用の
サンプリング領域とするため、これに対応して撮像画面
36上にて前記所定幅Soに対応した幅Ｓだけ左横にずれた
位置としてのＸ座標（sample−ｗ［ｙ］）を、予め配列
概念にて演算設定し、記憶させておく。

次にステップS3では、前記撮像画面36上でのウインド
ウ画像区域Ｗにおける、 ウインドウ左境界配列（window−left［ｙ］ ＝edge−line［ｙ］−mask−ｗ［ｙ］ ウインドウ右境界配列（window−right［ｙ］） ＝edge−line［ｙ］＋mask−ｗ［ｙ］ 及びサンプリング領域におけるサンプル右境界配列（wi
ndow−sample［ｙ］） ＝edge−line［ｙ］−sample−ｗ［ｙ］ の初期値を設定する。

ここで、エッジ配列（edge−line［ｙ］）は、撮像画
面36上での境界線Ko′のＹ座標に対するＸ座標の配列を
いう。

この場合、最初は境界線Koが決定できていないので、
これに対応する撮像画面36上の境界線Ko′もない。従っ
て、第１回目の演算では、撮像画面36における左右中心
線を仮の境界線Ko′にするか、仮のエッジ配列（edge−
line［ｙ］）を作業者が設定し、前記の初期値を設定す
る。このようにすると、一応２値化処理すべきウインド
ウ画像区域およびサンプリング領域がきまるので、これ
に基づきステップS4にて２値化処理を実行し、次いでス
テップS5にて未刈取地Ｍと既刈取地Ｋとの境界線Koを検
出する、いわゆるエッジ処理を実行するのである。

この場合、撮像画面36上での境界線Ko′を直線と仮定
し、いわゆるハフ（Hough）変換によって仮想的に境界
線Ko′を求め、ステップS6にてそのエッジ配列（edge−
line［ｙ］）を計算する。

前記ステップS6にて得られたエッジ配列（edge−line
［ｙ］）を元に、ステップS7にて、 ウインドウ左境界配列（window−left［ｙ］ ＝edge−line［ｙ］−mask−ｗ［ｙ］ ウインドウ右境界配列（window−right［ｙ］） ＝edge−line［ｙ］＋mask−ｗ［ｙ］ サンプル右境界配列（window−sample［ｙ］） ＝edge−line［ｙ］−sample−ｗ［ｙ］ を更新し、この結果に基づき次回の２値化処理及びサン
プリング領域の決定を実行して境界線を決定するという
処理を繰り返すのである。

〔発明の作用・効果〕

以上のように、走行機体に搭載した撮像手段にて得ら
れた画像データを撮像画面全体にわたって２値化処理す
るのに比べ、いわゆるウインドウ画像区域という、撮像
画面の一部のみ２値化処理するので、その処理時間、ひ
いては未刈取り地と既刈取り地との境界線の決定に至ま
での処理時間を短縮させることができる。

そして、そのウインドウ画像区域を撮像画面中の位置
として固定するのではなく、前回決定した境界線を基準
にして左右に所定幅を取ってウインドウ画像区域とする
ように更新して設定するので、境界線が撮像画面の左右
いずれの方向にずれても見失うというおそれもないとい
う効果を奏する。

さらに、２値化処理するのに必要な２値化しきい値決
定用のサンプリング領域を、前記ウインドウ画像区域の
うち、境界線から未刈取り地側に向かって所定幅に相当
する画像区域を除いた領域とするので、換言すれば、未
刈取り地側の区域において境界線に近い側のウインドウ
画像区域を外し、境界線から遠い側の未仮取り地側のウ
インドウ画像区域をサンプリング領域とするのだから、
未刈取り地として確実に存在する個所の画像データから
２値化しきい値決定のためのデータを得ることができ、
境界線を正確に得ることができる。

これらの結果、農作業機の自動操舵を迅速且つ的確に
実行できる効果を奏する。

【図面の簡単な説明】

第１図はコンバインの平面図、第２図は側面図、第３図
は撮像範囲を示す平面図、第４図は制御装置のブロック
図、第５図は第３図の撮像範囲に対するウインドウ画像
区域の説明図、第６図は実施例における撮像範囲の平面
図、第７図は第６図の撮像範囲に対するウインドウ画像
区域及びサンプリング領域の説明図、第８図は撮像手段
と被検出平面との関係を示す説明図、第９図はフローチ
ャートである。 １……コンバイン、２……走行機体、15……刈取部、24
……撮像手段、25……穀稈、29……画像処理プロセッ
サ、30……中央制御装置、36……撮像画面、37……被検
出平面。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】コンバイン等の収穫機に搭載した二次元撮
   像手段にて当該収穫機による進行方向前方の未刈取り地
   と既刈取り地とにわたって適宜時間間隔ごとまたは適宜
   前進距離ごとに撮像し、該撮像手段にて得られた画像デ
   ータを画像メモリに記憶した後、２値化処理して前記未
   刈取り地と既刈取り地との境界線を決定する画像処理方
   法において、撮像手段による撮像画面中の２値化処理す
   べき領域を、前回決定した境界線を基準にしてその左右
   両側に所定距離の幅に相当するウインドウ画像区域にな
   るように逐次更新すると共に、未刈取り地を判別するた
   めの２値化しきい値決定用サンプリング領域を、前記ウ
   インドウ画像区域のうちの未刈取り地側において前回決
   定した境界線から未刈取り地に向かって所定幅に相当す
   る画像区域を除く範囲となるように逐次更新することを
   特徴とする収穫機の操舵制御における画像処理方法。