JPH04293403A - 自動走行作業機における画像処理方法 - Google Patents
自動走行作業機における画像処理方法Info
- Publication number
- JPH04293403A JPH04293403A JP3081944A JP8194491A JPH04293403A JP H04293403 A JPH04293403 A JP H04293403A JP 3081944 A JP3081944 A JP 3081944A JP 8194491 A JP8194491 A JP 8194491A JP H04293403 A JPH04293403 A JP H04293403A
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- image data
- harvested
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 3
- 230000007261 regionalization Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 10
- 235000013339 cereals Nutrition 0.000 description 13
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 241000209094 Oryza Species 0.000 description 7
- 235000007164 Oryza sativa Nutrition 0.000 description 7
- 235000009566 rice Nutrition 0.000 description 7
- 241001125929 Trisopterus luscus Species 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000010902 straw Substances 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000003483 Leersia hexandra Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012794 pre-harvesting Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Guiding Agricultural Machines (AREA)
- Combines (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】本発明は、圃場に列状に植立され
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
【0002】
【従来の技術】圃場に植立した稲列を複数条づつ刈取る
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平2−110604号公報や特開平
3−19607号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分(G)、赤色成分(R)、緑色成分(B
)の各色成分の信号値を、所定の2値化しきい値からな
る条件式を用いる等して2値化処理し、前記未刈取地を
未刈取領域とし、既刈取地を既刈取領域とするように判
別する技術を提案した。
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平2−110604号公報や特開平
3−19607号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分(G)、赤色成分(R)、緑色成分(B
)の各色成分の信号値を、所定の2値化しきい値からな
る条件式を用いる等して2値化処理し、前記未刈取地を
未刈取領域とし、既刈取地を既刈取領域とするように判
別する技術を提案した。
【0003】
【発明が解決しようとする課題】しかしながら、例えば
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈(排藁)を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で2値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域(未刈取領域,既
刈取領域)として判別することが困難となるという問題
があった。そこで、本出願人は、ニューラルネットを利
用して、1画面の画像データを未刈取領域と既刈取領域
とに分別することを開発したが、ニューラルネットワー
クにおける学習データの種類が多すぎると、ネットワー
クのユニット数が多くなり、学習時間が長くなり過ぎる
欠点が生じる。また、ニューラルネットの学習結果が収
束しない事態が生じる。さらに、学習データとして特徴
的な部分のものを与えたとき、その特徴的な部分からか
け離れた異質の部分(例えば、コンバインの走行機体が
圃場面に落とした影の部分が画像データに入っていた場
合)については、どちらの領域に判断されるか分からず
、誤った学習をしてしまうおそれもあった。本願発明は
これらの問題を解決することを目的とするものである。
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈(排藁)を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で2値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域(未刈取領域,既
刈取領域)として判別することが困難となるという問題
があった。そこで、本出願人は、ニューラルネットを利
用して、1画面の画像データを未刈取領域と既刈取領域
とに分別することを開発したが、ニューラルネットワー
クにおける学習データの種類が多すぎると、ネットワー
クのユニット数が多くなり、学習時間が長くなり過ぎる
欠点が生じる。また、ニューラルネットの学習結果が収
束しない事態が生じる。さらに、学習データとして特徴
的な部分のものを与えたとき、その特徴的な部分からか
け離れた異質の部分(例えば、コンバインの走行機体が
圃場面に落とした影の部分が画像データに入っていた場
合)については、どちらの領域に判断されるか分からず
、誤った学習をしてしまうおそれもあった。本願発明は
これらの問題を解決することを目的とするものである。
【0004】
【課題を解決するための手段】この目的を達成するため
、本願発明は、走行機体に搭載したカラー撮像手段にて
、作業場における既刈取地と未刈取地とに跨がって撮像
して得られた画像のうちの任意の一画面の画像データを
、画像メモリに記憶し、この画像メモリ中から、適宜範
囲の既刈取サンプル領域と未刈取サンプル領域とを抽出
し、この二つのサンプル領域の各々について、R,G,
B三原色の色成分サンプリング信号値を求め、これらの
サンプリング信号値を2値化処理して、前記一画面の画
像データ全体について、既刈取領域と、未刈取領域と、
それ以外の第3領域とに分別する領域化処理を実行した
後、前記両サンプル領域の三原色の色成分サンプリング
信号値を学習データとしてニューラルネットワークを構
築し、前記第3領域のうち2値化しきい値のレベルが一
定範囲外の異質領域に該当する画像データを除去した残
りの画像データについて、既刈取領域と未刈取領域とに
分別することを特徴とする自動走行作業機における画像
処理方法を採用したものである。
、本願発明は、走行機体に搭載したカラー撮像手段にて
、作業場における既刈取地と未刈取地とに跨がって撮像
して得られた画像のうちの任意の一画面の画像データを
、画像メモリに記憶し、この画像メモリ中から、適宜範
囲の既刈取サンプル領域と未刈取サンプル領域とを抽出
し、この二つのサンプル領域の各々について、R,G,
B三原色の色成分サンプリング信号値を求め、これらの
サンプリング信号値を2値化処理して、前記一画面の画
像データ全体について、既刈取領域と、未刈取領域と、
それ以外の第3領域とに分別する領域化処理を実行した
後、前記両サンプル領域の三原色の色成分サンプリング
信号値を学習データとしてニューラルネットワークを構
築し、前記第3領域のうち2値化しきい値のレベルが一
定範囲外の異質領域に該当する画像データを除去した残
りの画像データについて、既刈取領域と未刈取領域とに
分別することを特徴とする自動走行作業機における画像
処理方法を採用したものである。
【0005】
【実施例】次に本発明を汎用コンバインに適用した実施
例について説明すると、走行作業機であるコンバインは
走行機体1の下面に左右一対の走行クローラ2式の走行
装置3,3を備え、走行機体1の前進方向に向かって右
側前部には座席付きの操縦部4を配設し、その後方には
エンジン(図示せず)及び穀粒蓄積用のタンク5を備え
、走行機体1の左側には、円周外面にダブルピッチのス
クリュー板と適宜個数の扱歯とを植設した前後長手の扱
胴6a等を内蔵した脱穀部6と、その下方に受け網8と
、シーブ等による揺動選別装置9と、唐箕フアン10の
風による風選別装置とを備える。
例について説明すると、走行作業機であるコンバインは
走行機体1の下面に左右一対の走行クローラ2式の走行
装置3,3を備え、走行機体1の前進方向に向かって右
側前部には座席付きの操縦部4を配設し、その後方には
エンジン(図示せず)及び穀粒蓄積用のタンク5を備え
、走行機体1の左側には、円周外面にダブルピッチのス
クリュー板と適宜個数の扱歯とを植設した前後長手の扱
胴6a等を内蔵した脱穀部6と、その下方に受け網8と
、シーブ等による揺動選別装置9と、唐箕フアン10の
風による風選別装置とを備える。
【0006】走行機体1の前面には、前記脱穀部6の前
部開口に連通する角筒状のフイーダハウス11を昇降用
油圧シリンダ12を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス11の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ13を配設し、このチエンコンベヤ13
にて後述の刈取前処理部15からの刈取穀稈を前記脱穀
部6に搬送する。符号7aは、二番樋(図示せず)から
の穀粒を脱穀部6に還元するように搬送する二番還元筒
、符号7bは前記タンク5内の穀粒を外部に排出するた
めの排出筒である。
部開口に連通する角筒状のフイーダハウス11を昇降用
油圧シリンダ12を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス11の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ13を配設し、このチエンコンベヤ13
にて後述の刈取前処理部15からの刈取穀稈を前記脱穀
部6に搬送する。符号7aは、二番樋(図示せず)から
の穀粒を脱穀部6に還元するように搬送する二番還元筒
、符号7bは前記タンク5内の穀粒を外部に排出するた
めの排出筒である。
【0007】刈取前処理部15は、走行機体1の全幅に
わたって左右に延びるバケット状のプラットホーム17
と、該プラットホーム17に走行機体1の全幅にわたっ
て設けたタインバー18付きのリール19とから成り、
プラットホーム17の下面側には同じく左右長手のバリ
カン状の刈刃20を有し、プラットホーム17の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
22を備えてあり、伝動部を介して前記リール19及び
オーガ22を回転駆動し、且つ刈刃20を駆動する。符
号21は刈取前処理部15の左右両端から前向きに突出
する分草体であり、また、前記リール19は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
わたって左右に延びるバケット状のプラットホーム17
と、該プラットホーム17に走行機体1の全幅にわたっ
て設けたタインバー18付きのリール19とから成り、
プラットホーム17の下面側には同じく左右長手のバリ
カン状の刈刃20を有し、プラットホーム17の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
22を備えてあり、伝動部を介して前記リール19及び
オーガ22を回転駆動し、且つ刈刃20を駆動する。符
号21は刈取前処理部15の左右両端から前向きに突出
する分草体であり、また、前記リール19は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
【0008】図3はエンジン16から前記各部への動力
伝達を模式的に示した伝動系統図で、符号23は走行ク
ラッチ装置、符号24は脱穀クラッチ装置、符号25は
刈取りクラッチ装置を各々示す。走行クラッチ装置23
の駆動下流側には、左右一対の油圧ポンプ26と油圧モ
ータ27を設け、これから前記一対の走行クローラ2,
2の駆動輪を左右互いに独立的に駆動する。刈取前処理
部15に対する動力伝達は刈取りクラッチ装置25の駆
動下流側でフイーダハウス11内のチエンスコンベヤ1
3を駆動してその掻き込み板でプラットホーム17から
の刈取り穀稈を脱穀装置6の前部に搬送する。他方、チ
エンを介して刈取部変速機構28に動力伝達して、掻き
込みオーガ22、刈刃20及びリール19を各々所定の
速度で駆動するものである。
伝達を模式的に示した伝動系統図で、符号23は走行ク
ラッチ装置、符号24は脱穀クラッチ装置、符号25は
刈取りクラッチ装置を各々示す。走行クラッチ装置23
の駆動下流側には、左右一対の油圧ポンプ26と油圧モ
ータ27を設け、これから前記一対の走行クローラ2,
2の駆動輪を左右互いに独立的に駆動する。刈取前処理
部15に対する動力伝達は刈取りクラッチ装置25の駆
動下流側でフイーダハウス11内のチエンスコンベヤ1
3を駆動してその掻き込み板でプラットホーム17から
の刈取り穀稈を脱穀装置6の前部に搬送する。他方、チ
エンを介して刈取部変速機構28に動力伝達して、掻き
込みオーガ22、刈刃20及びリール19を各々所定の
速度で駆動するものである。
【0009】符号30は、図1等に示すように、圃場H
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈30に向かって
コンバイン1を前進させてこれらを刈取るものである。 前記操縦部4のキヤビン4a前部上端に取付くビデオカ
メラ等のカラー撮像手段31は、レンズ系を通して得ら
れた画像を電気信号に置き換えるCCD固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段31
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈30に向かって
コンバイン1を前進させてこれらを刈取るものである。 前記操縦部4のキヤビン4a前部上端に取付くビデオカ
メラ等のカラー撮像手段31は、レンズ系を通して得ら
れた画像を電気信号に置き換えるCCD固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段31
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
【0010】また、図4は、本発明の制御手段のブロッ
ク図を示し、符号32は前記撮像手段31のアナログ入
力信号をデジタル信号に変換するA/D変換器、符号3
3は画像メモリ、符号34は画像処理用中央処理装置(
CPU)で、該中央処理装置にはそこで演算処理するの
に必要な制御プログラムや初期値を予め記憶しておく読
み取り専用メモリ(ROM)や、演算処理するのに用い
られる各種データを一時的に記憶するための読み書き可
能メモリ(RAM)等が内蔵されている。符号35は後
述するニューラルネットワーク処理などを実行するため
の中央制御装置(CPU)であり、符号36は中央制御
装置35で演算処理するのに必要な制御プログラムや初
期値を予め記憶しておく読み取り専用メモリ(ROM)
、符号37は演算処理するのに用いられる各種データを
一時的に記憶するための読み書き可能メモリ(RAM)
、符号38は入出力(I/O)インターフェイスユニッ
ト、符号39はバスを各々示す。なお、中央制御装置3
5の指令信号に従って駆動される油圧切換弁等の電磁ソ
レノイドで代表される操舵アクチェータ40にて走行機
体2を左右に操舵することができる。
ク図を示し、符号32は前記撮像手段31のアナログ入
力信号をデジタル信号に変換するA/D変換器、符号3
3は画像メモリ、符号34は画像処理用中央処理装置(
CPU)で、該中央処理装置にはそこで演算処理するの
に必要な制御プログラムや初期値を予め記憶しておく読
み取り専用メモリ(ROM)や、演算処理するのに用い
られる各種データを一時的に記憶するための読み書き可
能メモリ(RAM)等が内蔵されている。符号35は後
述するニューラルネットワーク処理などを実行するため
の中央制御装置(CPU)であり、符号36は中央制御
装置35で演算処理するのに必要な制御プログラムや初
期値を予め記憶しておく読み取り専用メモリ(ROM)
、符号37は演算処理するのに用いられる各種データを
一時的に記憶するための読み書き可能メモリ(RAM)
、符号38は入出力(I/O)インターフェイスユニッ
ト、符号39はバスを各々示す。なお、中央制御装置3
5の指令信号に従って駆動される油圧切換弁等の電磁ソ
レノイドで代表される操舵アクチェータ40にて走行機
体2を左右に操舵することができる。
【0011】次に本発明の画像処理方法を、フローチャ
ートに従って説明する。図5は圃場Hにおける穀稈30
が植立した未刈取地M1と穀稈を刈取った後の既刈取地
K1とを側面図で示す。図6はカラー撮像手段31で前
記未刈取地M1と既刈取地K1とに跨がって撮像した1
画面(1フレーム)を示す。図6で符号Mの箇所は明ら
かに未刈取地であると判断できる未刈取領域、符号Kの
箇所は明らかに既刈取地であると判断できる既刈取領域
を示す。図6で符号Cの箇所は、既刈取地K1側にあっ
て、排藁を短く切り刻んで圃場Hに放出した部分であり
、未刈取地M1と区別の困難な曖昧領域である。符号D
の箇所は、太陽光線のために、コンバインの走行機体1
が圃場面に落とした影の部分であり、前記未刈取領域M
及び既刈取領域Kとは全く色調が異なる異質領域である
。一般には異質領域Dとしての影の部分は、黒く見える
。前記曖昧領域Cと異質領域Dとの両方が、既刈取領域
K及び未刈取領域Mのいずれにも属しない第3領域とな
る。
ートに従って説明する。図5は圃場Hにおける穀稈30
が植立した未刈取地M1と穀稈を刈取った後の既刈取地
K1とを側面図で示す。図6はカラー撮像手段31で前
記未刈取地M1と既刈取地K1とに跨がって撮像した1
画面(1フレーム)を示す。図6で符号Mの箇所は明ら
かに未刈取地であると判断できる未刈取領域、符号Kの
箇所は明らかに既刈取地であると判断できる既刈取領域
を示す。図6で符号Cの箇所は、既刈取地K1側にあっ
て、排藁を短く切り刻んで圃場Hに放出した部分であり
、未刈取地M1と区別の困難な曖昧領域である。符号D
の箇所は、太陽光線のために、コンバインの走行機体1
が圃場面に落とした影の部分であり、前記未刈取領域M
及び既刈取領域Kとは全く色調が異なる異質領域である
。一般には異質領域Dとしての影の部分は、黒く見える
。前記曖昧領域Cと異質領域Dとの両方が、既刈取領域
K及び未刈取領域Mのいずれにも属しない第3領域とな
る。
【0012】コンバインの稲刈取り作業での既刈取地K
1と未刈取地M1との境界線を判別するためには、RG
B表色系〔赤色(R),緑色(G),青色(B)の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
1と未刈取地M1との境界線を判別するためには、RG
B表色系〔赤色(R),緑色(G),青色(B)の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
【0013】そのため、図7に示す3値化サブルーチン
のフローチャートに示すように、ステップ701でカラ
ー撮像手段31で撮像した1画面(1フレーム)分の画
像データを画像メモリ33に入力し、記憶させる。ここ
で、カラー撮像手段31での1フレームは縦横に256
×256の画素からなり、且つ各画素について前記R,
G,Bの三原色の検出部を有する。つまり、R,G,B
の各色成分について256×256の画素が有る。また
各画素について64階調である。なお、各色成分の画素
(ピクセル)についての座標(i,j)位置は、画面S
Cの左上端角を座標原点とする(図6参照)。 横軸
方向(列)の座標位置をi、縦軸方向(行)の座標位置
をjとする。 従って、1フレーム中のR,G,Bの
各色成分についての検出値(データ)は、 R(赤色)について、R00, R01, R02
, ‥‥,Rij, ‥‥, R256 256
G(緑色)について、G00, G01, G02,
‥‥,Gij, ‥‥, G256 256 B(
青色)について、B00, B01, B02, ‥‥
,Bij, ‥‥, B256 256 となる。
のフローチャートに示すように、ステップ701でカラ
ー撮像手段31で撮像した1画面(1フレーム)分の画
像データを画像メモリ33に入力し、記憶させる。ここ
で、カラー撮像手段31での1フレームは縦横に256
×256の画素からなり、且つ各画素について前記R,
G,Bの三原色の検出部を有する。つまり、R,G,B
の各色成分について256×256の画素が有る。また
各画素について64階調である。なお、各色成分の画素
(ピクセル)についての座標(i,j)位置は、画面S
Cの左上端角を座標原点とする(図6参照)。 横軸
方向(列)の座標位置をi、縦軸方向(行)の座標位置
をjとする。 従って、1フレーム中のR,G,Bの
各色成分についての検出値(データ)は、 R(赤色)について、R00, R01, R02
, ‥‥,Rij, ‥‥, R256 256
G(緑色)について、G00, G01, G02,
‥‥,Gij, ‥‥, G256 256 B(
青色)について、B00, B01, B02, ‥‥
,Bij, ‥‥, B256 256 となる。
【0014】次いでステップ702で、図6に示すよう
に画面SCについて、既刈取領域Kに相当する箇所の一
部を指定してサンプル領域Kaを設定すると共に、未刈
取領域M に相当する箇所のについてもサンプル領域
Maを設定する。これらのサンプル領域の設定は、ソフ
ト的なウインドウ処理で実行することが好ましい。即ち
、カラー撮像手段31で前記既刈取地K1と未刈取地M
1との境界部分が画面の左右略中央で前後(上下)に長
手になるように撮像すると、画面SCの左右両端部寄り
部位では、明らかに既刈取地K1や未刈取地M1と判断
でき、且つ、紛らわしくないので、そのような箇所に設
定する。
に画面SCについて、既刈取領域Kに相当する箇所の一
部を指定してサンプル領域Kaを設定すると共に、未刈
取領域M に相当する箇所のについてもサンプル領域
Maを設定する。これらのサンプル領域の設定は、ソフ
ト的なウインドウ処理で実行することが好ましい。即ち
、カラー撮像手段31で前記既刈取地K1と未刈取地M
1との境界部分が画面の左右略中央で前後(上下)に長
手になるように撮像すると、画面SCの左右両端部寄り
部位では、明らかに既刈取地K1や未刈取地M1と判断
でき、且つ、紛らわしくないので、そのような箇所に設
定する。
【0015】ステップ703で、前記各サンプル領域M
a,KaにおけるR,G,Bの各色成分サンプリング信
号の値から、後述する既刈取領域Kと未刈取領域Mとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Kにおける各色成分について高レベルのもの
Rkshl,Gkshl,Bkshlと、低レベルのも
のRksll,Gksll,Bksllを下記の演算に
て求める。この演算は、例えば既刈取領域でのサンプル
領域Kaの全部の画素についてのR色成分サンプリング
信号値の平均値Rkav と標準偏差値Rkstvとを
用いる。 Rkshl=Rkav +Rkstv Rksll=Rkav −Rkstv Gkshl=Gkav +Gkstv Gksll=Gkav −Gkstv Bkshl=Bkav +Bkstv Bksll=Bkav −Bkstv 同様にして、未刈取領域Mおける、各色成分について高
レベルのものRmshl,Gmshl,Bmshlと、
低レベルのものRmsll,Gmsll,Bmsllを
下記の演算にて求める。この演算は、例えば未刈取領域
でのサンプル領域Maの全部の画素についてのR色成分
サンプリング信号値の平均値Rmav と標準偏差値R
mstvとを用いる。 Rmshl=Rmav +Rmstv Rmsll=Rmav −Rmstv Gmshl=Gmav +Gmstv Gmsll=Gmav −Gmstv Bmshl=Bmav +Bmstv Bmsll=Bmav −Bmstv
a,KaにおけるR,G,Bの各色成分サンプリング信
号の値から、後述する既刈取領域Kと未刈取領域Mとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Kにおける各色成分について高レベルのもの
Rkshl,Gkshl,Bkshlと、低レベルのも
のRksll,Gksll,Bksllを下記の演算に
て求める。この演算は、例えば既刈取領域でのサンプル
領域Kaの全部の画素についてのR色成分サンプリング
信号値の平均値Rkav と標準偏差値Rkstvとを
用いる。 Rkshl=Rkav +Rkstv Rksll=Rkav −Rkstv Gkshl=Gkav +Gkstv Gksll=Gkav −Gkstv Bkshl=Bkav +Bkstv Bksll=Bkav −Bkstv 同様にして、未刈取領域Mおける、各色成分について高
レベルのものRmshl,Gmshl,Bmshlと、
低レベルのものRmsll,Gmsll,Bmsllを
下記の演算にて求める。この演算は、例えば未刈取領域
でのサンプル領域Maの全部の画素についてのR色成分
サンプリング信号値の平均値Rmav と標準偏差値R
mstvとを用いる。 Rmshl=Rmav +Rmstv Rmsll=Rmav −Rmstv Gmshl=Gmav +Gmstv Gmsll=Gmav −Gmstv Bmshl=Bmav +Bmstv Bmsll=Bmav −Bmstv
【0016】次にステップ704では、前記1フレーム
全体について、各色成分ごとに、その検出値から2値化
処理を実行する。ここで2値化処理とは、各色成分の画
素の検出値(データ)が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「1」と
し、前記条件式に適合しないと、出力値を「0」とする
ものである。既刈取領域としての適合性条件式(1)は
、 もし、Rksll<Rij<Rkshlであるなら、
Rkij =1もし、Rksll<Rij<Rksh
lでないなら、 Rkij=0もし、Gksll<G
ij<Gkshlであるなら、 Gkij=1もし、
Gksll<Gij<Gkshlでないなら、 Gk
ij=0もし、Bksll<Bij<Bkshlである
なら、 Bkij=1もし、Bksll<Bij<B
kshlでないなら、 Bkij=0とする。同様に
、未刈取領域としての適合性条件式(2)は、 もし、Rmsll<Rij<Rmshlであるなら、
Rmij =1もし、Rmsll<Rij<Rmsh
lでないなら、 Rmij=0もし、Gmsll<G
ij<Gmshlであるなら、 Gmij=1もし、
Gmsll<Gij<Gmshlでないなら、 Gm
ij=0もし、Bmsll<Bij<Bmshlである
なら、 Bmij=1もし、Bmsll<Bij<B
mshlでないなら、 Bmij=0とする。
全体について、各色成分ごとに、その検出値から2値化
処理を実行する。ここで2値化処理とは、各色成分の画
素の検出値(データ)が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「1」と
し、前記条件式に適合しないと、出力値を「0」とする
ものである。既刈取領域としての適合性条件式(1)は
、 もし、Rksll<Rij<Rkshlであるなら、
Rkij =1もし、Rksll<Rij<Rksh
lでないなら、 Rkij=0もし、Gksll<G
ij<Gkshlであるなら、 Gkij=1もし、
Gksll<Gij<Gkshlでないなら、 Gk
ij=0もし、Bksll<Bij<Bkshlである
なら、 Bkij=1もし、Bksll<Bij<B
kshlでないなら、 Bkij=0とする。同様に
、未刈取領域としての適合性条件式(2)は、 もし、Rmsll<Rij<Rmshlであるなら、
Rmij =1もし、Rmsll<Rij<Rmsh
lでないなら、 Rmij=0もし、Gmsll<G
ij<Gmshlであるなら、 Gmij=1もし、
Gmsll<Gij<Gmshlでないなら、 Gm
ij=0もし、Bmsll<Bij<Bmshlである
なら、 Bmij=1もし、Bmsll<Bij<B
mshlでないなら、 Bmij=0とする。
【0017】次にステップ705で、1フレームの画像
データ全体について、既刈取領域Kと未刈取領域Mと、
そのいずれにも属さない第3領域(曖昧領域Cと異質領
域Dとを含む領域)の3つの領域に分別する。この場合
、前記2値化処理で得られた各画素の「1」と「0」と
の2値条件式(1)と(2)の結果を用いて、下記条件
式(3),(4)を設定する。条件式(3)は、もし、
(Rkij =1、且つGkij =1、且つBkij
=1)のとき、Kaij =1とする。 もし、(Rkij =1、且つGkij =1、且つB
kij =1)でないとき、Kaij =0とする。こ
こで、Kaij =1とは、座標(i,j)の画素につ
いて、既刈取領域Kとして適合することを意味し、Ka
ij =0の場合には適合しないことを意味する。同様
にして条件式(4)は、もし、(Rmij =1、且つ
Gmij =1、且つBmij =1)のとき、Mai
j=1とする。 もし、(Rmij =1、且つGmij =1、且つB
mij =1)でないとき、Maij =0とする。 ここで、Maij =1とは、座標(i,j)の画素に
ついて、未刈取領域Mとして適合することを意味し、M
aij =0の場合は適合しないことを意味する。前記
条件式(3)および(4)から、Kaij =1で且つ
Maij =0である座標の部分を、既刈取領域Kとす
る。また、Kaij =0で且つMaij =1である
座標の部分を、未刈取領域Mとする。そして、Kaij
=0で且つMaij =0、または、Kaij =1
で且つMaij =1である座標の部分を、第3領域と
する。これらの結果を示す図8において、■の領域は明
らかに既刈取領域Kに属する。■の領域は明らかに未刈
取領域Mに属する。■及び■′の領域は前記のいずれに
も属さない第3領域である。
データ全体について、既刈取領域Kと未刈取領域Mと、
そのいずれにも属さない第3領域(曖昧領域Cと異質領
域Dとを含む領域)の3つの領域に分別する。この場合
、前記2値化処理で得られた各画素の「1」と「0」と
の2値条件式(1)と(2)の結果を用いて、下記条件
式(3),(4)を設定する。条件式(3)は、もし、
(Rkij =1、且つGkij =1、且つBkij
=1)のとき、Kaij =1とする。 もし、(Rkij =1、且つGkij =1、且つB
kij =1)でないとき、Kaij =0とする。こ
こで、Kaij =1とは、座標(i,j)の画素につ
いて、既刈取領域Kとして適合することを意味し、Ka
ij =0の場合には適合しないことを意味する。同様
にして条件式(4)は、もし、(Rmij =1、且つ
Gmij =1、且つBmij =1)のとき、Mai
j=1とする。 もし、(Rmij =1、且つGmij =1、且つB
mij =1)でないとき、Maij =0とする。 ここで、Maij =1とは、座標(i,j)の画素に
ついて、未刈取領域Mとして適合することを意味し、M
aij =0の場合は適合しないことを意味する。前記
条件式(3)および(4)から、Kaij =1で且つ
Maij =0である座標の部分を、既刈取領域Kとす
る。また、Kaij =0で且つMaij =1である
座標の部分を、未刈取領域Mとする。そして、Kaij
=0で且つMaij =0、または、Kaij =1
で且つMaij =1である座標の部分を、第3領域と
する。これらの結果を示す図8において、■の領域は明
らかに既刈取領域Kに属する。■の領域は明らかに未刈
取領域Mに属する。■及び■′の領域は前記のいずれに
も属さない第3領域である。
【0018】次にステップ706で、前記画像メモリ3
3にて記憶させた画像データのうち、前記第3領域から
異質領域D部分に該当する画像データを除去する。この
場合2値化しきい値の条件式(1)及び(2)でしきい
値レベルが所定の値より低い場合には、異質領域Dとす
るのである。ついで、画像データを更新記憶させる(ス
テップ707)。
3にて記憶させた画像データのうち、前記第3領域から
異質領域D部分に該当する画像データを除去する。この
場合2値化しきい値の条件式(1)及び(2)でしきい
値レベルが所定の値より低い場合には、異質領域Dとす
るのである。ついで、画像データを更新記憶させる(ス
テップ707)。
【0019】次にステップ708では、後述のバックプ
ロパゲーションニューラルネットワークによる学習を実
行し、前記更新された画像データから、曖昧領域C中の
各画素のデータが、既刈取領域Kに属するか、未刈取領
域Mに属するかに分別する。このようにしてニューラル
ネットワークにて得られた未刈取領域と既刈取領域と、
前記ステップ705で既に得られた未刈取領域と既刈取
領域とを画面上で合成すれば、曖昧領域Cについてもハ
ッキリと未刈取地と、既刈取地とに分別できる(ステッ
プ709)。次いでステップ710では、前記学習した
ニューラルネットワークのオフセット値や結合係数等を
RAMに記憶しておく。ステップ711では、同一圃場
における異なる箇所の画像データを入力して、その箇所
の未刈取地と既刈取地と境界を分別するようにするので
ある。なお、前記既刈取地K1と未刈取地M1との境界
線に相当する仮想線を決定すべくハフ変換にて演算処理
し、その仮想線に沿うように操向制御を実行すれば良い
。
ロパゲーションニューラルネットワークによる学習を実
行し、前記更新された画像データから、曖昧領域C中の
各画素のデータが、既刈取領域Kに属するか、未刈取領
域Mに属するかに分別する。このようにしてニューラル
ネットワークにて得られた未刈取領域と既刈取領域と、
前記ステップ705で既に得られた未刈取領域と既刈取
領域とを画面上で合成すれば、曖昧領域Cについてもハ
ッキリと未刈取地と、既刈取地とに分別できる(ステッ
プ709)。次いでステップ710では、前記学習した
ニューラルネットワークのオフセット値や結合係数等を
RAMに記憶しておく。ステップ711では、同一圃場
における異なる箇所の画像データを入力して、その箇所
の未刈取地と既刈取地と境界を分別するようにするので
ある。なお、前記既刈取地K1と未刈取地M1との境界
線に相当する仮想線を決定すべくハフ変換にて演算処理
し、その仮想線に沿うように操向制御を実行すれば良い
。
【0020】次にバックプロパゲーションニューラルネ
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図10に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層I→中間層→出力層から成
る3層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所(領域)は、未
刈取領域でのサンプル領域Maが、座標a1(5 ,1
50),a2(30 ,200)の矩形範囲であるとす
ると、i=5〜30,j=150〜200となる。
R,G,Bの各々について25×50(個)のサンプリ
ング信号が得られる(Rについて図9参照)。同様に、
既刈取領域でのサンプル領域Kaが、座標b1(205
,150),b2(230 ,200) の矩形範囲
であるとすると、i=5〜30,j=150〜200と
なる。サンプリング信号については、3×3の画素のマ
トリックスをi方向に1駒ずつずらし、またj方向に1
駒ずつずらしてサンプリングする。いわゆるラスタ走査
のように前記9つの画素からなるブロックを移動させて
後述の一つのニューラルネットに入力する。
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図10に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層I→中間層→出力層から成
る3層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所(領域)は、未
刈取領域でのサンプル領域Maが、座標a1(5 ,1
50),a2(30 ,200)の矩形範囲であるとす
ると、i=5〜30,j=150〜200となる。
R,G,Bの各々について25×50(個)のサンプリ
ング信号が得られる(Rについて図9参照)。同様に、
既刈取領域でのサンプル領域Kaが、座標b1(205
,150),b2(230 ,200) の矩形範囲
であるとすると、i=5〜30,j=150〜200と
なる。サンプリング信号については、3×3の画素のマ
トリックスをi方向に1駒ずつずらし、またj方向に1
駒ずつずらしてサンプリングする。いわゆるラスタ走査
のように前記9つの画素からなるブロックを移動させて
後述の一つのニューラルネットに入力する。
【0021】本実施例でのニューラルネット構造におけ
る入力層ユニットPの数は、27個であり、図6におけ
るサンプル領域内の3×3の画素毎について、R(赤色
)、G(緑色)、B(青色)の各色成分信号値データを
学習用データとして用いる。中間層ユニットQの数は9
個、出力層ユニットSの数は2個である。図11はニュ
ーラルネットの構造を図示したものである。
る入力層ユニットPの数は、27個であり、図6におけ
るサンプル領域内の3×3の画素毎について、R(赤色
)、G(緑色)、B(青色)の各色成分信号値データを
学習用データとして用いる。中間層ユニットQの数は9
個、出力層ユニットSの数は2個である。図11はニュ
ーラルネットの構造を図示したものである。
【0022】具体的な学習方法は、次のように実行する
。まず未刈取領域のサンプル領域Maについて、(なお
、以下の文章中の記号のうち、{ }で囲まれる
ものは、複数のユニットについてをいう)。 〔1〕ニューラルネットワークの状態を決める結合係数
{WPQ },{WQS }とオフセット値{θP }
,{θQ }をそれぞれ小さな値の乱数値で初期化する
。 〔2〕サンプル領域Maのデータを最初の学習データと
する。 〔3〕学習データの値を入力層ユニットPの出力{Po
ut }に入れ、入力層から中間層への結合係数{WP
Q }と中間層ユニットQのオフセット値θP とを用
いて、中間層ユニットへの入力値Qinを求める。この
入力値Qinと、f(X)=1/(1+exp(−X)
)のような、シグモイド関数f(X)により、中間層ユ
ニットQの出力値Qout を求める。なお、入力層ユ
ニットPの出力Pout は、 Pout =1/(1+exp (−(X−θ)/
T) ‥‥(5)式ここで、X=W1*R1ij +
W2*R2ij +W9*R9ij+W10*G1ij
‥‥ +W27*B9ij(ここで、各色成分の
階調は64であるので、Rnijは0〜63の整数とし
、G,Bについても同様とする。)W1,W2,‥‥W
27 は結合係数で重みづけである。θは学習によって
変化するオフセット値であり、Tは、ボルツマンマシン
によるエネルギー関数の温度パラメータで、実施例では
T=1とした。 〔4〕中間層ユニットの出力値{Qout }と、中間
層から出力層Sへの結合係数{WQS }と、出力層Q
のオフセット値θQ とを用いて、出力層ユニットS1
,S2の各出力値Sout を求める。中間層ユニット
Qの出力Qout も、前記(5)式において、Pou
t をXとして同様の計算式から導く。 〔5〕学習における教師信号を、出力層ユニットS1に
ついてはS1out =1とし、出力層ユニットS2に
ついてはS2out =0とする。各々の出力層ユニッ
トについて、教師信号と出力層の出力値との差から、出
力層のユニットS1につながる結合係数と中間層ユニッ
トQのオフセットに対する誤差δs1を求める。出力層
ユニットS2についても同様に誤差δs2を求める。 〔6〕誤差δs1と中間層から出力層への結合係数{W
QS }と中間層の出力値Qout とから、中間層ユ
ニットQにつながる結合係数と中間層ユニットのオフセ
ット値θP に対する誤差σq を求める。 〔7〕〔5〕で求めた出力層ユニットS1での誤差σs
1と中間層ユニットQの出力Qout と定数αとの積
を加算することで、中間層ユニットQから出力層ユニッ
トS1につながる結合係数WQS を修正する。また、
誤差σs1と定数βとの積を加算することで、出力層ユ
ニットS1のオフセット値θQ を修正する。同様に出
力層ユニットS2についても求める。 〔8〕中間層ユニットQでの、誤差σq と入力層ユニ
ットPの出力値Pout と定数αとの積を加算するこ
とで、入力層ユニットPから中間層ユニットQにつなが
る結合係数WPQ を修正する。また、誤差σq と定
数βとの積を加算することで、中間層ユニットQのオフ
セット値θP を修正する。
。まず未刈取領域のサンプル領域Maについて、(なお
、以下の文章中の記号のうち、{ }で囲まれる
ものは、複数のユニットについてをいう)。 〔1〕ニューラルネットワークの状態を決める結合係数
{WPQ },{WQS }とオフセット値{θP }
,{θQ }をそれぞれ小さな値の乱数値で初期化する
。 〔2〕サンプル領域Maのデータを最初の学習データと
する。 〔3〕学習データの値を入力層ユニットPの出力{Po
ut }に入れ、入力層から中間層への結合係数{WP
Q }と中間層ユニットQのオフセット値θP とを用
いて、中間層ユニットへの入力値Qinを求める。この
入力値Qinと、f(X)=1/(1+exp(−X)
)のような、シグモイド関数f(X)により、中間層ユ
ニットQの出力値Qout を求める。なお、入力層ユ
ニットPの出力Pout は、 Pout =1/(1+exp (−(X−θ)/
T) ‥‥(5)式ここで、X=W1*R1ij +
W2*R2ij +W9*R9ij+W10*G1ij
‥‥ +W27*B9ij(ここで、各色成分の
階調は64であるので、Rnijは0〜63の整数とし
、G,Bについても同様とする。)W1,W2,‥‥W
27 は結合係数で重みづけである。θは学習によって
変化するオフセット値であり、Tは、ボルツマンマシン
によるエネルギー関数の温度パラメータで、実施例では
T=1とした。 〔4〕中間層ユニットの出力値{Qout }と、中間
層から出力層Sへの結合係数{WQS }と、出力層Q
のオフセット値θQ とを用いて、出力層ユニットS1
,S2の各出力値Sout を求める。中間層ユニット
Qの出力Qout も、前記(5)式において、Pou
t をXとして同様の計算式から導く。 〔5〕学習における教師信号を、出力層ユニットS1に
ついてはS1out =1とし、出力層ユニットS2に
ついてはS2out =0とする。各々の出力層ユニッ
トについて、教師信号と出力層の出力値との差から、出
力層のユニットS1につながる結合係数と中間層ユニッ
トQのオフセットに対する誤差δs1を求める。出力層
ユニットS2についても同様に誤差δs2を求める。 〔6〕誤差δs1と中間層から出力層への結合係数{W
QS }と中間層の出力値Qout とから、中間層ユ
ニットQにつながる結合係数と中間層ユニットのオフセ
ット値θP に対する誤差σq を求める。 〔7〕〔5〕で求めた出力層ユニットS1での誤差σs
1と中間層ユニットQの出力Qout と定数αとの積
を加算することで、中間層ユニットQから出力層ユニッ
トS1につながる結合係数WQS を修正する。また、
誤差σs1と定数βとの積を加算することで、出力層ユ
ニットS1のオフセット値θQ を修正する。同様に出
力層ユニットS2についても求める。 〔8〕中間層ユニットQでの、誤差σq と入力層ユニ
ットPの出力値Pout と定数αとの積を加算するこ
とで、入力層ユニットPから中間層ユニットQにつなが
る結合係数WPQ を修正する。また、誤差σq と定
数βとの積を加算することで、中間層ユニットQのオフ
セット値θP を修正する。
〔9〕次の学習データを入力する。
〔10〕学習データが終了するまで〔3〕に戻る。
〔11〕学習繰り返し数を更新する。
〔12〕 入力層ユニットの出力値Pout と出力
層ユニットの出力Sout との差 が許容誤差以下になった時点で学習を終了する。 〔13〕学習繰り返し回数が制限数以下であれば、〔2
〕に戻る。
層ユニットの出力Sout との差 が許容誤差以下になった時点で学習を終了する。 〔13〕学習繰り返し回数が制限数以下であれば、〔2
〕に戻る。
【0023】以上の処理を図9のフローチャートで示し
た。最終の入力層ユニットPでは、その出力値Pout
と教師信号とを比較して誤差σs1及び誤差σq を
逆伝搬させて重みを修正し、学習を行う。前記と同様の
処理を、既刈取領域のサンプル領域Kaについても実行
する。この場合の教師信号はS1out =0,S2o
ut =1として学習させる。前述のように、前記各サ
ンプル領域に対する2値化処理の結果を教師信号に利用
すれば、いちいち外部から教師信号を入力する必要がな
く便利である。
た。最終の入力層ユニットPでは、その出力値Pout
と教師信号とを比較して誤差σs1及び誤差σq を
逆伝搬させて重みを修正し、学習を行う。前記と同様の
処理を、既刈取領域のサンプル領域Kaについても実行
する。この場合の教師信号はS1out =0,S2o
ut =1として学習させる。前述のように、前記各サ
ンプル領域に対する2値化処理の結果を教師信号に利用
すれば、いちいち外部から教師信号を入力する必要がな
く便利である。
【0024】なお、一つの圃場内で外側から順に平面視
略矩形状に刈り取る場合、その4辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更(例えば略
90°)されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の2値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
略矩形状に刈り取る場合、その4辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更(例えば略
90°)されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の2値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
【0025】
【発明の効果】上述のように、本発明に従えば、被検査
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の2値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できる。また、未刈取領域及び既刈
取領域のいずれとも画像データが大幅に異なる異質領域
については、学習データから予め除外しておくので、ニ
ューラルネットでの学習効果、つまり正しい推論(認識
)への到達精度(学習精度)が向上すると共に、学習速
度(正しい認識に到達するまでの所要時間)も早くなる
という効果を奏するのである。結果として、自動走行作
業機における操向操作の精度が向上し、且つ迅速に操向
操作できるという効果を奏する。
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の2値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できる。また、未刈取領域及び既刈
取領域のいずれとも画像データが大幅に異なる異質領域
については、学習データから予め除外しておくので、ニ
ューラルネットでの学習効果、つまり正しい推論(認識
)への到達精度(学習精度)が向上すると共に、学習速
度(正しい認識に到達するまでの所要時間)も早くなる
という効果を奏するのである。結果として、自動走行作
業機における操向操作の精度が向上し、且つ迅速に操向
操作できるという効果を奏する。
【図1】コンバインの側面図である。
【図2】コンバインの平面図である。
【図3】コンバイン伝動系を示すスケルトン図である。
【図4】制御装置のブロック図である。
【図5】圃場の未刈取地と既刈取地とを側面から見た図
である。
である。
【図6】1フレームにおける未刈取領域と既刈取領域と
曖昧領域との部分を示す説明図である。
曖昧領域との部分を示す説明図である。
【図7】2値化処理のフローチャート
【図8】3領域化の説明図である。
【図9】R(赤色)のサンプリング信号についての画素
マトリックスを示す図である。
マトリックスを示す図である。
【図10】バックプロパゲーション法のフローチャート
である。
である。
【図11】ニューラルネットワークの構造を示す図であ
る。
る。
1 走行機体
31 カラー撮像手段
34 画像処理用中央処理装置35
中央制御装置 36 読み取り専用メモリ(ROM)3
7 読み書き可能メモリ(RAM)38
入出力インターフェイス39
バス
中央制御装置 36 読み取り専用メモリ(ROM)3
7 読み書き可能メモリ(RAM)38
入出力インターフェイス39
バス
Claims (1)
- 【請求項1】 走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、R,G
,B三原色の色成分サンプリング信号値を求め、これら
のサンプリング信号値を2値化処理して、前記一画面の
画像データ全体について、既刈取領域と、未刈取領域と
、それ以外の第3領域とに分別する領域化処理を実行し
た後、前記両サンプル領域の三原色の色成分サンプリン
グ信号値を学習データとしてニューラルネットワークを
構築し、前記第3領域のうち2値化しきい値のレベルが
一定範囲外の異質領域に該当する画像データを除去した
残りの画像データについて、既刈取領域と未刈取領域と
に分別することを特徴とする自動走行作業機における画
像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3081944A JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3081944A JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04293403A true JPH04293403A (ja) | 1992-10-19 |
JP2944773B2 JP2944773B2 (ja) | 1999-09-06 |
Family
ID=13760618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3081944A Expired - Lifetime JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2944773B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012224210A (ja) * | 2011-04-20 | 2012-11-15 | Japan Aerospace Exploration Agency | 赤外線映像の視認性向上方法とその機能を備えた装置 |
JP2021058099A (ja) * | 2019-10-03 | 2021-04-15 | 国立大学法人京都大学 | 農作業機 |
WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制***及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788835B2 (en) | 2017-11-13 | 2020-09-29 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
-
1991
- 1991-03-20 JP JP3081944A patent/JP2944773B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012224210A (ja) * | 2011-04-20 | 2012-11-15 | Japan Aerospace Exploration Agency | 赤外線映像の視認性向上方法とその機能を備えた装置 |
JP2021058099A (ja) * | 2019-10-03 | 2021-04-15 | 国立大学法人京都大学 | 農作業機 |
WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2944773B2 (ja) | 1999-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2361381C2 (ru) | Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы | |
US6721453B1 (en) | Method and apparatus for processing an image of an agricultural field | |
US20190021226A1 (en) | System for optimizing platform settings based on crop state classification | |
Burgos-Artizzu et al. | Real-time image processing for crop/weed discrimination in maize fields | |
MacEachern et al. | Detection of fruit maturity stage and yield estimation in wild blueberry using deep learning convolutional neural networks | |
JP2944774B2 (ja) | 自動走行作業機における画像処理方法 | |
CN113468984A (zh) | 一种农作物病虫害叶片识别***、识别方法及病虫害预防方法 | |
CN112734083A (zh) | 一种基于机器视觉的水稻收割机路径规划控制*** | |
JPH04293403A (ja) | 自動走行作業機における画像処理方法 | |
CN113099836B (zh) | 农业收割机械智能化驱动平台 | |
JP2795454B2 (ja) | カラー情報による境界線の検出方法 | |
Benson et al. | An adaptive fuzzy crop edge detection method for machine vision | |
Santhosh Kumar et al. | Review on disease detection of plants using image processing and machine learning techniques | |
US20240122106A1 (en) | Stubble lean detection system for an agricultural harvester | |
CN218736029U (zh) | 农作物收割设备 | |
Pereira et al. | Fruit recognition and classification based on SVM method for production prediction of peaches-preliminary study | |
JPH10304734A (ja) | コンバイン等の倒伏判定装置 | |
CN117523513A (zh) | 一种收割打捆一体机喂入量预测方法及收割打捆一体机 | |
Nikam et al. | Application of Image Processing Technique in Mango Leaves Disease Severity Measurement | |
JPH02110604A (ja) | 自動操行作業機の自動操舵制御における画像情報の2値化処理装置 | |
CN114303603A (zh) | 联合收割机械掉果判断平台及方法 | |
JPH02110605A (ja) | 自動走行作業機の自動操舵制御における画像処理方法 | |
Bansal et al. | Automated debris mass estimation for citrus mechanical harvesting systems using machine vision | |
Svanes et al. | Interview and questionnaire guide: Quantification of food losses and waste in primary production | |
JPH082730Y2 (ja) | 収穫機の自動操向装置 |