JPH04293404A - 自動走行作業機における画像処理方法 - Google Patents
自動走行作業機における画像処理方法Info
- Publication number
- JPH04293404A JPH04293404A JP3081945A JP8194591A JPH04293404A JP H04293404 A JPH04293404 A JP H04293404A JP 3081945 A JP3081945 A JP 3081945A JP 8194591 A JP8194591 A JP 8194591A JP H04293404 A JPH04293404 A JP H04293404A
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- harvested
- image
- unharvested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 15
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 3
- 230000007261 regionalization Effects 0.000 claims description 3
- 235000013339 cereals Nutrition 0.000 description 13
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 241000209094 Oryza Species 0.000 description 7
- 235000007164 Oryza sativa Nutrition 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 235000009566 rice Nutrition 0.000 description 7
- 241001125929 Trisopterus luscus Species 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000010902 straw Substances 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000003483 Leersia hexandra Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012794 pre-harvesting Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Landscapes
- Combines (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、圃場に列状に植立され
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
【０００２】
【従来の技術】圃場に植立した稲列を複数条づつ刈取る
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平２−１１０６０４号公報や特開平
３−１９６０７号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分（Ｇ）、赤色成分（Ｒ）、緑色成分（Ｂ
）の各色成分の信号値を、所定の２値化しきい値からな
る条件式を用いる等して２値化処理し、前記未刈取地を
未刈取領域とし、既刈取地を既刈取領域とするように判
別する技術を提案した。
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平２−１１０６０４号公報や特開平
３−１９６０７号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分（Ｇ）、赤色成分（Ｒ）、緑色成分（Ｂ
）の各色成分の信号値を、所定の２値化しきい値からな
る条件式を用いる等して２値化処理し、前記未刈取地を
未刈取領域とし、既刈取地を既刈取領域とするように判
別する技術を提案した。
【０００３】
【発明が解決しようとする課題】しかしながら、例えば
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈（排藁）を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で２値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域（未刈取領域，既
刈取領域）として判別することが困難となるという問題
があった。本願発明はこれらの問題を解決することを目
的とするものである。
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈（排藁）を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で２値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域（未刈取領域，既
刈取領域）として判別することが困難となるという問題
があった。本願発明はこれらの問題を解決することを目
的とするものである。
【０００４】
【課題を解決するための手段】この目的を達成するため
、本願発明は、走行機体に搭載したカラー撮像手段にて
、作業場における既刈取地と未刈取地とに跨がって撮像
して得られた画像のうちの任意の一画面の画像データを
、画像メモリに記憶し、この画像メモリ中から、適宜範
囲の既刈取サンプル領域と未刈取サンプル領域とを抽出
し、この二つのサンプル領域の各々について、Ｒ，Ｇ，
Ｂ三原色の色成分サンプリング信号値を求め、これらの
サンプリング信号値を２値化処理して、前記一画面の画
像データ全体について、既刈取領域と未刈取領域とこの
両領域と判別できない曖昧領域とに分別する領域化処理
を実行する一方、前記両サンプル領域の三原色の色成分
サンプリング信号値を学習データとして、ニューラルネ
ットワークを構築し、前記曖昧領域を既刈取領域と未刈
取領域とに分別することを特徴とする自動走行作業機に
おける画像処理方法を採用したものである。
、本願発明は、走行機体に搭載したカラー撮像手段にて
、作業場における既刈取地と未刈取地とに跨がって撮像
して得られた画像のうちの任意の一画面の画像データを
、画像メモリに記憶し、この画像メモリ中から、適宜範
囲の既刈取サンプル領域と未刈取サンプル領域とを抽出
し、この二つのサンプル領域の各々について、Ｒ，Ｇ，
Ｂ三原色の色成分サンプリング信号値を求め、これらの
サンプリング信号値を２値化処理して、前記一画面の画
像データ全体について、既刈取領域と未刈取領域とこの
両領域と判別できない曖昧領域とに分別する領域化処理
を実行する一方、前記両サンプル領域の三原色の色成分
サンプリング信号値を学習データとして、ニューラルネ
ットワークを構築し、前記曖昧領域を既刈取領域と未刈
取領域とに分別することを特徴とする自動走行作業機に
おける画像処理方法を採用したものである。
【０００５】
【実施例】次に本発明を汎用コンバインに適用した実施
例について説明すると、走行作業機であるコンバインは
走行機体１の下面に左右一対の走行クローラ２式の走行
装置３，３を備え、走行機体１の前進方向に向かって右
側前部には座席付きの操縦部４を配設し、その後方には
エンジン（図示せず）及び穀粒蓄積用のタンク５を備え
、走行機体１の左側には、円周外面にダブルピッチのス
クリュー板と適宜個数の扱歯とを植設した前後長手の扱
胴６ａ等を内蔵した脱穀部６と、その下方に受け網８と
、シーブ等による揺動選別装置９と、唐箕フアン１０の
風による風選別装置とを備える。
例について説明すると、走行作業機であるコンバインは
走行機体１の下面に左右一対の走行クローラ２式の走行
装置３，３を備え、走行機体１の前進方向に向かって右
側前部には座席付きの操縦部４を配設し、その後方には
エンジン（図示せず）及び穀粒蓄積用のタンク５を備え
、走行機体１の左側には、円周外面にダブルピッチのス
クリュー板と適宜個数の扱歯とを植設した前後長手の扱
胴６ａ等を内蔵した脱穀部６と、その下方に受け網８と
、シーブ等による揺動選別装置９と、唐箕フアン１０の
風による風選別装置とを備える。
【０００６】走行機体１の前面には、前記脱穀部６の前
部開口に連通する角筒状のフイーダハウス１１を昇降用
油圧シリンダ１２を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス１１の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ１３を配設し、このチエンコンベヤ１３
にて後述の刈取前処理部１５からの刈取穀稈を前記脱穀
部６に搬送する。符号７ａは、二番樋（図示せず）から
の穀粒を脱穀部６に還元するように搬送する二番還元筒
、符号７ｂは前記タンク５内の穀粒を外部に排出するた
めの排出筒である。
部開口に連通する角筒状のフイーダハウス１１を昇降用
油圧シリンダ１２を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス１１の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ１３を配設し、このチエンコンベヤ１３
にて後述の刈取前処理部１５からの刈取穀稈を前記脱穀
部６に搬送する。符号７ａは、二番樋（図示せず）から
の穀粒を脱穀部６に還元するように搬送する二番還元筒
、符号７ｂは前記タンク５内の穀粒を外部に排出するた
めの排出筒である。
【０００７】刈取前処理部１５は、走行機体１の全幅に
わたって左右に延びるバケット状のプラットホーム１７
と、該プラットホーム１７に走行機体１の全幅にわたっ
て設けたタインバー１８付きのリール１９とから成り、
プラットホーム１７の下面側には同じく左右長手のバリ
カン状の刈刃２０を有し、プラットホーム１７の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
２２を備えてあり、伝動部を介して前記リール１９及び
オーガ２２を回転駆動し、且つ刈刃２０を駆動する。符
号２１は刈取前処理部１５の左右両端から前向きに突出
する分草体であり、また、前記リール１９は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
わたって左右に延びるバケット状のプラットホーム１７
と、該プラットホーム１７に走行機体１の全幅にわたっ
て設けたタインバー１８付きのリール１９とから成り、
プラットホーム１７の下面側には同じく左右長手のバリ
カン状の刈刃２０を有し、プラットホーム１７の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
２２を備えてあり、伝動部を介して前記リール１９及び
オーガ２２を回転駆動し、且つ刈刃２０を駆動する。符
号２１は刈取前処理部１５の左右両端から前向きに突出
する分草体であり、また、前記リール１９は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
【０００８】図３はエンジン１６から前記各部への動力
伝達を模式的に示した伝動系統図で、符号２３は走行ク
ラッチ装置、符号２４は脱穀クラッチ装置、符号２５は
刈取りクラッチ装置を各々示す。走行クラッチ装置２３
の駆動下流側には、左右一対の油圧ポンプ２６と油圧モ
ータ２７を設け、これから前記一対の走行クローラ２，
２の駆動輪を左右互いに独立的に駆動する。刈取前処理
部１５に対する動力伝達は刈取りクラッチ装置２５の駆
動下流側でフイーダハウス１１内のチエンスコンベヤ１
３を駆動してその掻き込み板でプラットホーム１７から
の刈取り穀稈を脱穀装置６の前部に搬送する。他方、チ
エンを介して刈取部変速機構２８に動力伝達して、掻き
込みオーガ２２、刈刃２０及びリール１９を各々所定の
速度で駆動するものである。
伝達を模式的に示した伝動系統図で、符号２３は走行ク
ラッチ装置、符号２４は脱穀クラッチ装置、符号２５は
刈取りクラッチ装置を各々示す。走行クラッチ装置２３
の駆動下流側には、左右一対の油圧ポンプ２６と油圧モ
ータ２７を設け、これから前記一対の走行クローラ２，
２の駆動輪を左右互いに独立的に駆動する。刈取前処理
部１５に対する動力伝達は刈取りクラッチ装置２５の駆
動下流側でフイーダハウス１１内のチエンスコンベヤ１
３を駆動してその掻き込み板でプラットホーム１７から
の刈取り穀稈を脱穀装置６の前部に搬送する。他方、チ
エンを介して刈取部変速機構２８に動力伝達して、掻き
込みオーガ２２、刈刃２０及びリール１９を各々所定の
速度で駆動するものである。
【０００９】符号３０は、図１等に示すように、圃場Ｈ
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈３０に向かって
コンバイン１を前進させてこれらを刈取るものである。 前記操縦部４のキヤビン４ａ前部上端に取付くビデオカ
メラ等のカラー撮像手段３１は、レンズ系を通して得ら
れた画像を電気信号に置き換えるＣＣＤ固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段３１
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈３０に向かって
コンバイン１を前進させてこれらを刈取るものである。 前記操縦部４のキヤビン４ａ前部上端に取付くビデオカ
メラ等のカラー撮像手段３１は、レンズ系を通して得ら
れた画像を電気信号に置き換えるＣＣＤ固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段３１
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
【００１０】また、図４は、本発明の制御手段のブロッ
ク図を示し、符号３２は前記撮像手段３１のアナログ入
力信号をデジタル信号に変換するＡ／Ｄ変換器、符号３
３は画像メモリ、符号３４は画像処理用中央処理装置（
ＣＰＵ）で、該中央処理装置にはそこで演算処理するの
に必要な制御プログラムや初期値を予め記憶しておく読
み取り専用メモリ（ＲＯＭ）や、演算処理するのに用い
られる各種データを一時的に記憶するための読み書き可
能メモリ（ＲＡＭ）等が内蔵されている。符号３５は後
述するニューラルネットワーク処理などを実行するため
の中央制御装置（ＣＰＵ）であり、符号３６は中央制御
装置３５で演算処理するのに必要な制御プログラムや初
期値を予め記憶しておく読み取り専用メモリ（ＲＯＭ）
、符号３７は演算処理するのに用いられる各種データを
一時的に記憶するための読み書き可能メモリ（ＲＡＭ）
、符号３８は入出力（Ｉ／Ｏ）インターフェイスユニッ
ト、符号３９はバスを各々示す。なお、中央制御装置３
５の指令信号に従って駆動される油圧切換弁等の電磁ソ
レノイドで代表される操舵アクチェータ４０にて走行機
体２を左右に操舵することができる。
ク図を示し、符号３２は前記撮像手段３１のアナログ入
力信号をデジタル信号に変換するＡ／Ｄ変換器、符号３
３は画像メモリ、符号３４は画像処理用中央処理装置（
ＣＰＵ）で、該中央処理装置にはそこで演算処理するの
に必要な制御プログラムや初期値を予め記憶しておく読
み取り専用メモリ（ＲＯＭ）や、演算処理するのに用い
られる各種データを一時的に記憶するための読み書き可
能メモリ（ＲＡＭ）等が内蔵されている。符号３５は後
述するニューラルネットワーク処理などを実行するため
の中央制御装置（ＣＰＵ）であり、符号３６は中央制御
装置３５で演算処理するのに必要な制御プログラムや初
期値を予め記憶しておく読み取り専用メモリ（ＲＯＭ）
、符号３７は演算処理するのに用いられる各種データを
一時的に記憶するための読み書き可能メモリ（ＲＡＭ）
、符号３８は入出力（Ｉ／Ｏ）インターフェイスユニッ
ト、符号３９はバスを各々示す。なお、中央制御装置３
５の指令信号に従って駆動される油圧切換弁等の電磁ソ
レノイドで代表される操舵アクチェータ４０にて走行機
体２を左右に操舵することができる。
【００１１】次に本発明の画像処理方法を、フローチャ
ートに従って説明する。図５は圃場Ｈにおける穀稈３０
が植立した未刈取地Ｍ１と穀稈を刈取った後の既刈取地
Ｋ１とを側面図で示す。未刈取地Ｍ１と既刈取地Ｋ１と
の境界近傍部分であって既刈取地側には排藁４１を短く
刻んでコンバインから放出した部分である中間地域Ｃ１
がある。図６はカラー撮像手段３１で前記未刈取地Ｍ１
と既刈取地Ｋ１とに跨がって撮像した１画面（１フレー
ム）を示す。図６で符号Ｍの箇所は明らかに未刈取地で
あると判断できる未刈取領域、符号Ｋの箇所は明らかに
既刈取地であると判断できる既刈取領域、符号Ｃの箇所
は前記中間地域Ｃ１の箇所に対応する曖昧領域である。
ートに従って説明する。図５は圃場Ｈにおける穀稈３０
が植立した未刈取地Ｍ１と穀稈を刈取った後の既刈取地
Ｋ１とを側面図で示す。未刈取地Ｍ１と既刈取地Ｋ１と
の境界近傍部分であって既刈取地側には排藁４１を短く
刻んでコンバインから放出した部分である中間地域Ｃ１
がある。図６はカラー撮像手段３１で前記未刈取地Ｍ１
と既刈取地Ｋ１とに跨がって撮像した１画面（１フレー
ム）を示す。図６で符号Ｍの箇所は明らかに未刈取地で
あると判断できる未刈取領域、符号Ｋの箇所は明らかに
既刈取地であると判断できる既刈取領域、符号Ｃの箇所
は前記中間地域Ｃ１の箇所に対応する曖昧領域である。
【００１２】コンバインの稲刈取り作業での既刈取地Ｋ
１と未刈取地Ｍ１との境界線を判別するためには、ＲＧ
Ｂ表色系〔赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
１と未刈取地Ｍ１との境界線を判別するためには、ＲＧ
Ｂ表色系〔赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
【００１３】そのため、図７に示す３値化サブルーチン
のフローチャートに示すように、ステップ７０１でカラ
ー撮像手段３１で撮像した１画面（１フレーム）分の画
像データを画像メモリ３３に入力し、記憶させる。ここ
で、カラー撮像手段３１での１フレームは縦横に２５６
×２５６の画素からなり、且つ各画素について前記Ｒ，
Ｇ，Ｂの三原色の検出部を有する。つまり、Ｒ，Ｇ，Ｂ
の各色成分について２５６×２５６の画素が有る。また
各画素について６４階調である。なお、各色成分の画素
（ピクセル）についての座標（ｉ，ｊ）位置は、画面Ｓ
Ｃの左上端角を座標原点とする（図６参照）。 横軸
方向（列）の座標位置をｉ、縦軸方向（行）の座標位置
をｊとする。 従って、１フレーム中のＲ，Ｇ，Ｂの
各色成分についての検出値（データ）は、 Ｒ（赤色）について、Ｒ００， Ｒ０１， Ｒ０２，
‥‥，Ｒｉｊ， ‥‥， Ｒ２５６ ２５６ Ｇ（緑色）について、Ｇ００， Ｇ０１， Ｇ０２，
‥‥，Ｇｉｊ， ‥‥， Ｇ２５６ ２５６ Ｂ（青色）について、Ｂ００， Ｂ０１， Ｂ０２，
‥‥，Ｂｉｊ， ‥‥， Ｂ２５６ ２５６ となる。
のフローチャートに示すように、ステップ７０１でカラ
ー撮像手段３１で撮像した１画面（１フレーム）分の画
像データを画像メモリ３３に入力し、記憶させる。ここ
で、カラー撮像手段３１での１フレームは縦横に２５６
×２５６の画素からなり、且つ各画素について前記Ｒ，
Ｇ，Ｂの三原色の検出部を有する。つまり、Ｒ，Ｇ，Ｂ
の各色成分について２５６×２５６の画素が有る。また
各画素について６４階調である。なお、各色成分の画素
（ピクセル）についての座標（ｉ，ｊ）位置は、画面Ｓ
Ｃの左上端角を座標原点とする（図６参照）。 横軸
方向（列）の座標位置をｉ、縦軸方向（行）の座標位置
をｊとする。 従って、１フレーム中のＲ，Ｇ，Ｂの
各色成分についての検出値（データ）は、 Ｒ（赤色）について、Ｒ００， Ｒ０１， Ｒ０２，
‥‥，Ｒｉｊ， ‥‥， Ｒ２５６ ２５６ Ｇ（緑色）について、Ｇ００， Ｇ０１， Ｇ０２，
‥‥，Ｇｉｊ， ‥‥， Ｇ２５６ ２５６ Ｂ（青色）について、Ｂ００， Ｂ０１， Ｂ０２，
‥‥，Ｂｉｊ， ‥‥， Ｂ２５６ ２５６ となる。
【００１４】次いでステップ７０２で、図６に示すよう
に画面ＳＣについて、既刈取領域Ｋに相当する箇所の一
部を指定してサンプル領域Ｋａを設定すると共に、未刈
取領域Ｍに相当する箇所のについてもサンプル領域Ｍａ
を設定する。これらのサンプル領域の設定は、ソフト的
なウインドウ処理で実行することが好ましい。即ち、カ
ラー撮像手段３１で前記曖昧地域Ｃ１が画面の左右略中
央で前後（上下）に長手になるように撮像すると、画面
ＳＣの左右両端部寄り部位では、明らかに既刈取地Ｋ１
や未刈取地Ｍ１と判断でき、且つ、紛らわしくないので
、そのような箇所に設定する。
に画面ＳＣについて、既刈取領域Ｋに相当する箇所の一
部を指定してサンプル領域Ｋａを設定すると共に、未刈
取領域Ｍに相当する箇所のについてもサンプル領域Ｍａ
を設定する。これらのサンプル領域の設定は、ソフト的
なウインドウ処理で実行することが好ましい。即ち、カ
ラー撮像手段３１で前記曖昧地域Ｃ１が画面の左右略中
央で前後（上下）に長手になるように撮像すると、画面
ＳＣの左右両端部寄り部位では、明らかに既刈取地Ｋ１
や未刈取地Ｍ１と判断でき、且つ、紛らわしくないので
、そのような箇所に設定する。
【００１５】ステップ７０３で、前記各サンプル領域Ｍ
ａ，ＫａにおけるＲ，Ｇ，Ｂの各色成分サンプリング信
号の値から、後述する既刈取領域Ｋと未刈取領域Ｍとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Ｋにおける各色成分について高レベルのもの
Ｒｋｓｈｌ，Ｇｋｓｈｌ，Ｂｋｓｈｌと、低レベルのも
のＲｋｓｌｌ，Ｇｋｓｌｌ，Ｂｋｓｌｌを下記の演算に
て求める。この演算は、例えば既刈取領域でのサンプル
領域Ｋａの全部の画素についてのＲ色成分サンプリング
信号値の平均値Ｒｋａｖ と標準偏差値Ｒｋｓｔｖとを
用いる。 Ｒｋｓｈｌ＝Ｒｋａｖ ＋Ｒｋｓｔｖ Ｒｋｓｌｌ＝Ｒｋａｖ −Ｒｋｓｔｖ Ｇｋｓｈｌ＝Ｇｋａｖ ＋Ｇｋｓｔｖ Ｇｋｓｌｌ＝Ｇｋａｖ −Ｇｋｓｔｖ Ｂｋｓｈｌ＝Ｂｋａｖ ＋Ｂｋｓｔｖ Ｂｋｓｌｌ＝Ｂｋａｖ −Ｂｋｓｔｖ 同様にして、未刈取領域Ｍにおける、各色成分について
高レベルのものＲｍｓｈｌ，Ｇｍｓｈｌ，Ｂｍｓｈｌと
、低レベルのものＲｍｓｌｌ，Ｇｍｓｌｌ，Ｂｍｓｌｌ
を下記の演算にて求める。 この演算は、例えば未刈取領域でのサンプル領域Ｍａの
全部の画素についてのＲ色成分サンプリング信号値の平
均値Ｒｍａｖ と標準偏差値Ｒｍｓｔｖとを用いる。 Ｒｍｓｈｌ＝Ｒｍａｖ ＋Ｒｍｓｔｖ Ｒｍｓｌｌ＝Ｒｍａｖ −Ｒｍｓｔｖ Ｇｍｓｈｌ＝Ｇｍａｖ ＋Ｇｍｓｔｖ Ｇｍｓｌｌ＝Ｇｍａｖ −Ｇｍｓｔｖ Ｂｍｓｈｌ＝Ｂｍａｖ ＋Ｂｍｓｔｖ Ｂｍｓｌｌ＝Ｂｍａｖ −Ｂｍｓｔｖ
ａ，ＫａにおけるＲ，Ｇ，Ｂの各色成分サンプリング信
号の値から、後述する既刈取領域Ｋと未刈取領域Ｍとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Ｋにおける各色成分について高レベルのもの
Ｒｋｓｈｌ，Ｇｋｓｈｌ，Ｂｋｓｈｌと、低レベルのも
のＲｋｓｌｌ，Ｇｋｓｌｌ，Ｂｋｓｌｌを下記の演算に
て求める。この演算は、例えば既刈取領域でのサンプル
領域Ｋａの全部の画素についてのＲ色成分サンプリング
信号値の平均値Ｒｋａｖ と標準偏差値Ｒｋｓｔｖとを
用いる。 Ｒｋｓｈｌ＝Ｒｋａｖ ＋Ｒｋｓｔｖ Ｒｋｓｌｌ＝Ｒｋａｖ −Ｒｋｓｔｖ Ｇｋｓｈｌ＝Ｇｋａｖ ＋Ｇｋｓｔｖ Ｇｋｓｌｌ＝Ｇｋａｖ −Ｇｋｓｔｖ Ｂｋｓｈｌ＝Ｂｋａｖ ＋Ｂｋｓｔｖ Ｂｋｓｌｌ＝Ｂｋａｖ −Ｂｋｓｔｖ 同様にして、未刈取領域Ｍにおける、各色成分について
高レベルのものＲｍｓｈｌ，Ｇｍｓｈｌ，Ｂｍｓｈｌと
、低レベルのものＲｍｓｌｌ，Ｇｍｓｌｌ，Ｂｍｓｌｌ
を下記の演算にて求める。 この演算は、例えば未刈取領域でのサンプル領域Ｍａの
全部の画素についてのＲ色成分サンプリング信号値の平
均値Ｒｍａｖ と標準偏差値Ｒｍｓｔｖとを用いる。 Ｒｍｓｈｌ＝Ｒｍａｖ ＋Ｒｍｓｔｖ Ｒｍｓｌｌ＝Ｒｍａｖ −Ｒｍｓｔｖ Ｇｍｓｈｌ＝Ｇｍａｖ ＋Ｇｍｓｔｖ Ｇｍｓｌｌ＝Ｇｍａｖ −Ｇｍｓｔｖ Ｂｍｓｈｌ＝Ｂｍａｖ ＋Ｂｍｓｔｖ Ｂｍｓｌｌ＝Ｂｍａｖ −Ｂｍｓｔｖ
【００１６】次にステップ７０４では、前記１フレーム
全体について、各色成分ごとに、その検出値から２値化
処理を実行する。ここで２値化処理とは、各色成分の画
素の検出値（データ）が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「１」と
し、前記条件式に適合しないと、出力値を「０」とする
ものである。既刈取領域としての適合性条件式（１）は
、 もし、Ｒｋｓｌｌ＜Ｒｉｊ＜Ｒｋｓｈｌであるなら、
Ｒｋｉｊ ＝１もし、Ｒｋｓｌｌ＜Ｒｉｊ＜Ｒｋｓｈ
ｌでないなら、 Ｒｋｉｊ＝０もし、Ｇｋｓｌｌ＜Ｇ
ｉｊ＜Ｇｋｓｈｌであるなら、 Ｇｋｉｊ＝１もし、
Ｇｋｓｌｌ＜Ｇｉｊ＜Ｇｋｓｈｌでないなら、 Ｇｋ
ｉｊ＝０もし、Ｂｋｓｌｌ＜Ｂｉｊ＜Ｂｋｓｈｌである
なら、 Ｂｋｉｊ＝１もし、Ｂｋｓｌｌ＜Ｂｉｊ＜Ｂ
ｋｓｈｌでないなら、 Ｂｋｉｊ＝０とする。同様に
、未刈取領域としての適合性条件式（２）は、 もし、Ｒｍｓｌｌ＜Ｒｉｊ＜Ｒｍｓｈｌであるなら、
Ｒｍｉｊ ＝１もし、Ｒｍｓｌｌ＜Ｒｉｊ＜Ｒｍｓｈ
ｌでないなら、 Ｒｍｉｊ＝０もし、Ｇｍｓｌｌ＜Ｇ
ｉｊ＜Ｇｍｓｈｌであるなら、 Ｇｍｉｊ＝１もし、
Ｇｍｓｌｌ＜Ｇｉｊ＜Ｇｍｓｈｌでないなら、 Ｇｍ
ｉｊ＝０もし、Ｂｍｓｌｌ＜Ｂｉｊ＜Ｂｍｓｈｌである
なら、 Ｂｍｉｊ＝１もし、Ｂｍｓｌｌ＜Ｂｉｊ＜Ｂ
ｍｓｈｌでないなら、 Ｂｍｉｊ＝０とする。
全体について、各色成分ごとに、その検出値から２値化
処理を実行する。ここで２値化処理とは、各色成分の画
素の検出値（データ）が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「１」と
し、前記条件式に適合しないと、出力値を「０」とする
ものである。既刈取領域としての適合性条件式（１）は
、 もし、Ｒｋｓｌｌ＜Ｒｉｊ＜Ｒｋｓｈｌであるなら、
Ｒｋｉｊ ＝１もし、Ｒｋｓｌｌ＜Ｒｉｊ＜Ｒｋｓｈ
ｌでないなら、 Ｒｋｉｊ＝０もし、Ｇｋｓｌｌ＜Ｇ
ｉｊ＜Ｇｋｓｈｌであるなら、 Ｇｋｉｊ＝１もし、
Ｇｋｓｌｌ＜Ｇｉｊ＜Ｇｋｓｈｌでないなら、 Ｇｋ
ｉｊ＝０もし、Ｂｋｓｌｌ＜Ｂｉｊ＜Ｂｋｓｈｌである
なら、 Ｂｋｉｊ＝１もし、Ｂｋｓｌｌ＜Ｂｉｊ＜Ｂ
ｋｓｈｌでないなら、 Ｂｋｉｊ＝０とする。同様に
、未刈取領域としての適合性条件式（２）は、 もし、Ｒｍｓｌｌ＜Ｒｉｊ＜Ｒｍｓｈｌであるなら、
Ｒｍｉｊ ＝１もし、Ｒｍｓｌｌ＜Ｒｉｊ＜Ｒｍｓｈ
ｌでないなら、 Ｒｍｉｊ＝０もし、Ｇｍｓｌｌ＜Ｇ
ｉｊ＜Ｇｍｓｈｌであるなら、 Ｇｍｉｊ＝１もし、
Ｇｍｓｌｌ＜Ｇｉｊ＜Ｇｍｓｈｌでないなら、 Ｇｍ
ｉｊ＝０もし、Ｂｍｓｌｌ＜Ｂｉｊ＜Ｂｍｓｈｌである
なら、 Ｂｍｉｊ＝１もし、Ｂｍｓｌｌ＜Ｂｉｊ＜Ｂ
ｍｓｈｌでないなら、 Ｂｍｉｊ＝０とする。
【００１７】次にステップ７０５で、１フレームの画像
データ全体について、既刈取領域Ｋと未刈取領域Ｍと、
そのいずれにも属さない曖昧領域Ｃとの３つの領域に分
別する。この場合、前記２値化処理で得られた各画素の
「１」と「０」との２値条件式（１）と（２）の結果を
用いて、下記条件式（３），（４）を設定する。条件式
（３）は、もし、（Ｒｋｉｊ ＝１、且つＧｋｉｊ ＝
１、且つＢｋｉｊ ＝１）のとき、Ｋａｉｊ ＝１とす
る。もし、（Ｒｋｉｊ ＝１、且つＧｋｉｊ ＝１、且
つＢｋｉｊ ＝１）でないとき、Ｋａｉｊ ＝０とする
。ここで、Ｋａｉｊ ＝１とは、座標（ｉ，ｊ）の画素
について、既刈取領域Ｋとして適合することを意味し、
Ｋａｉｊ ＝０の場合には適合しないことを意味する。 同様にして条件式（４）は、もし、（Ｒｍｉｊ ＝１、
且つＧｍｉｊ ＝１、且つＢｍｉｊ ＝１）のとき、Ｍ
ａｉｊ＝１とする。もし、（Ｒｍｉｊ ＝１、且つＧｍ
ｉｊ ＝１、且つＢｍｉｊ ＝１）でないとき、Ｍａｉ
ｊ ＝０とする。 ここで、Ｍａｉｊ ＝１とは、座標（ｉ，ｊ）の画素に
ついて、未刈取領域Ｍとして適合することを意味し、Ｍ
ａｉｊ ＝０の場合は適合しないことを意味する。前記
条件式（３）および（４）から、Ｋａｉｊ ＝１で且つ
Ｍａｉｊ ＝０である座標の部分を、既刈取領域Ｋとす
る。そして、Ｋａｉｊ ＝０で且つＭａｉｊ ＝０であ
る座標の部分を、曖昧領域Ｃとする。さらに、Ｋａｉｊ
＝０で且つＭａｉｊ ＝１である座標の部分を、未刈
取領域Ｍとするのである。これらの結果を示す図８にお
いて、■の領域は明らかに既刈取領域Ｋに属する。■の
領域は明らかに未刈取領域Ｍに属する。■の領域は前記
のいずれに属するか判別できない曖昧領域Ｃである。
データ全体について、既刈取領域Ｋと未刈取領域Ｍと、
そのいずれにも属さない曖昧領域Ｃとの３つの領域に分
別する。この場合、前記２値化処理で得られた各画素の
「１」と「０」との２値条件式（１）と（２）の結果を
用いて、下記条件式（３），（４）を設定する。条件式
（３）は、もし、（Ｒｋｉｊ ＝１、且つＧｋｉｊ ＝
１、且つＢｋｉｊ ＝１）のとき、Ｋａｉｊ ＝１とす
る。もし、（Ｒｋｉｊ ＝１、且つＧｋｉｊ ＝１、且
つＢｋｉｊ ＝１）でないとき、Ｋａｉｊ ＝０とする
。ここで、Ｋａｉｊ ＝１とは、座標（ｉ，ｊ）の画素
について、既刈取領域Ｋとして適合することを意味し、
Ｋａｉｊ ＝０の場合には適合しないことを意味する。 同様にして条件式（４）は、もし、（Ｒｍｉｊ ＝１、
且つＧｍｉｊ ＝１、且つＢｍｉｊ ＝１）のとき、Ｍ
ａｉｊ＝１とする。もし、（Ｒｍｉｊ ＝１、且つＧｍ
ｉｊ ＝１、且つＢｍｉｊ ＝１）でないとき、Ｍａｉ
ｊ ＝０とする。 ここで、Ｍａｉｊ ＝１とは、座標（ｉ，ｊ）の画素に
ついて、未刈取領域Ｍとして適合することを意味し、Ｍ
ａｉｊ ＝０の場合は適合しないことを意味する。前記
条件式（３）および（４）から、Ｋａｉｊ ＝１で且つ
Ｍａｉｊ ＝０である座標の部分を、既刈取領域Ｋとす
る。そして、Ｋａｉｊ ＝０で且つＭａｉｊ ＝０であ
る座標の部分を、曖昧領域Ｃとする。さらに、Ｋａｉｊ
＝０で且つＭａｉｊ ＝１である座標の部分を、未刈
取領域Ｍとするのである。これらの結果を示す図８にお
いて、■の領域は明らかに既刈取領域Ｋに属する。■の
領域は明らかに未刈取領域Ｍに属する。■の領域は前記
のいずれに属するか判別できない曖昧領域Ｃである。
【００１８】次にステップ７０６では、後述のバックプ
ロパゲーションニューラルネットワークによる学習を実
行し、曖昧領域Ｃ中の各画素のデータが、既刈取領域Ｋ
に属するか、未刈取領域Ｍに属するかに分別する。この
ようにしてニューラルネットワークにて得られた未刈取
領域と既刈取領域と、前記ステップ７０５で既に得られ
た未刈取領域と既刈取領域とを画面上で合成すれば、曖
昧領域Ｃについてもハッキリと未刈取地と、既刈取地と
に分別できる（ステップ７０７）。次いでステップ７０
８では、前記学習したニューラルネットワークのオフセ
ット値や結合係数等をＲＡＭに記憶しておく。ステップ
７０９では、同一圃場における異なる箇所の画像データ
を入力して、その箇所の未刈取地と既刈取地と境界を分
別するようにするのである。
ロパゲーションニューラルネットワークによる学習を実
行し、曖昧領域Ｃ中の各画素のデータが、既刈取領域Ｋ
に属するか、未刈取領域Ｍに属するかに分別する。この
ようにしてニューラルネットワークにて得られた未刈取
領域と既刈取領域と、前記ステップ７０５で既に得られ
た未刈取領域と既刈取領域とを画面上で合成すれば、曖
昧領域Ｃについてもハッキリと未刈取地と、既刈取地と
に分別できる（ステップ７０７）。次いでステップ７０
８では、前記学習したニューラルネットワークのオフセ
ット値や結合係数等をＲＡＭに記憶しておく。ステップ
７０９では、同一圃場における異なる箇所の画像データ
を入力して、その箇所の未刈取地と既刈取地と境界を分
別するようにするのである。
【００１９】なお、前記既刈取地Ｋ１と未刈取地Ｍ１と
の境界線に相当する仮想線を決定すべくハフ変換にて演
算処理し、その仮想線に沿うように操向制御を実行すれ
ば良い。この場合、略一直線状に走行しながら刈り取る
箇所では、走行速度が早いので分別処理も迅速に実行す
る必要があるので、前記２値化処理だけで未刈取領域と
既刈取領域とに分別する処理を実行する。そして、未刈
取地のコーナー部分でコンバインの走行方向を変更する
部分では、そのコーナー部分の刈取りを正確に行う必要
があるから、前記の２値化処理を介して既刈取領域と未
刈取領域と曖昧領域との３つの領域化処理およびニュー
ラルネットワークの実行の組合せで、画像の合成を実行
して未刈取領域と既刈取領域との分別を実行するように
しても良い。
の境界線に相当する仮想線を決定すべくハフ変換にて演
算処理し、その仮想線に沿うように操向制御を実行すれ
ば良い。この場合、略一直線状に走行しながら刈り取る
箇所では、走行速度が早いので分別処理も迅速に実行す
る必要があるので、前記２値化処理だけで未刈取領域と
既刈取領域とに分別する処理を実行する。そして、未刈
取地のコーナー部分でコンバインの走行方向を変更する
部分では、そのコーナー部分の刈取りを正確に行う必要
があるから、前記の２値化処理を介して既刈取領域と未
刈取領域と曖昧領域との３つの領域化処理およびニュー
ラルネットワークの実行の組合せで、画像の合成を実行
して未刈取領域と既刈取領域との分別を実行するように
しても良い。
【００２０】次にバックプロパゲーションニューラルネ
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図１０に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層Ｉ→中間層→出力層から成
る３層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所（領域）は、未
刈取領域でのサンプル領域Ｍａが、座標ａ１（５ ，１
５０），ａ２（３０ ，２００）の矩形範囲であるとす
ると、ｉ＝５〜３０，ｊ＝１５０〜２００となる。
Ｒ，Ｇ，Ｂの各々について２５×５０（個）のサンプリ
ング信号が得られる（Ｒについて図９参照）。同様に、
既刈取領域でのサンプル領域Ｋａが、座標ｂ１（２０５
，１５０），ｂ２（２３０ ，２００） の矩形範囲
であるとすると、ｉ＝５〜３０，ｊ＝１５０〜２００と
なる。サンプリング信号については、３×３の画素のマ
トリックスをｉ方向に１駒ずつずらし、またｊ方向に１
駒ずつずらしてサンプリングする。いわゆるラスタ走査
のように前記９つの画素からなるブロックを移動させて
後述の一つのニューラルネットに入力する。
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図１０に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層Ｉ→中間層→出力層から成
る３層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所（領域）は、未
刈取領域でのサンプル領域Ｍａが、座標ａ１（５ ，１
５０），ａ２（３０ ，２００）の矩形範囲であるとす
ると、ｉ＝５〜３０，ｊ＝１５０〜２００となる。
Ｒ，Ｇ，Ｂの各々について２５×５０（個）のサンプリ
ング信号が得られる（Ｒについて図９参照）。同様に、
既刈取領域でのサンプル領域Ｋａが、座標ｂ１（２０５
，１５０），ｂ２（２３０ ，２００） の矩形範囲
であるとすると、ｉ＝５〜３０，ｊ＝１５０〜２００と
なる。サンプリング信号については、３×３の画素のマ
トリックスをｉ方向に１駒ずつずらし、またｊ方向に１
駒ずつずらしてサンプリングする。いわゆるラスタ走査
のように前記９つの画素からなるブロックを移動させて
後述の一つのニューラルネットに入力する。
【００２１】本実施例でのニューラルネット構造におけ
る入力層ユニットＰの数は、２７個であり、図６におけ
るサンプル領域内の３×３の画素毎について、Ｒ（赤色
）、Ｇ（緑色）、Ｂ（青色）の各色成分信号値データを
学習用データとして用いる。中間層ユニットＱの数は９
個、出力層ユニットＳの数は２個である。図１１はニュ
ーラルネットの構造を図示したものである。
る入力層ユニットＰの数は、２７個であり、図６におけ
るサンプル領域内の３×３の画素毎について、Ｒ（赤色
）、Ｇ（緑色）、Ｂ（青色）の各色成分信号値データを
学習用データとして用いる。中間層ユニットＱの数は９
個、出力層ユニットＳの数は２個である。図１１はニュ
ーラルネットの構造を図示したものである。
【００２２】具体的な学習方法は、次のように実行する
。まず未刈取領域のサンプル領域Ｍａについて、（なお
、以下の文章中の記号のうち、｛ ｝で囲まれる
ものは、複数のユニットについてをいう）。 〔１〕ニューラルネットワークの状態を決める結合係数
｛ＷＰＱ ｝，｛ＷＱＳ ｝とオフセット値｛θＰ ｝
，｛θＱ ｝をそれぞれ小さな値の乱数値で初期化する
。 〔２〕サンプル領域Ｍａのデータを最初の学習データと
する。 〔３〕学習データの値を入力層ユニットＰの出力｛Ｐｏ
ｕｔ ｝に入れ、入力層から中間層への結合係数｛ＷＰ
Ｑ ｝と中間層ユニットＱのオフセット値θＰ とを用
いて、中間層ユニットへの入力値Ｑｉｎを求める。この
入力値Ｑｉｎと、ｆ（Ｘ）＝１／（１＋ｅｘｐ（−Ｘ）
）のような、シグモイド関数ｆ（Ｘ）により、中間層ユ
ニットＱの出力値Ｑｏｕｔ を求める。なお、入力層ユ
ニットＰの出力Ｐｏｕｔ は、 Ｐｏｕｔ ＝１／（１＋ｅｘｐ （−（Ｘ−θ）／
Ｔ） ‥‥（５）式ここで、Ｘ＝Ｗ１＊Ｒ１ｉｊ ＋
Ｗ２＊Ｒ２ｉｊ ＋Ｗ９＊Ｒ９ｉｊ＋Ｗ１０＊Ｇ１ｉｊ
‥‥ ＋Ｗ２７＊Ｂ９ｉｊ（ここで、各色成分の
階調は６４であるので、Ｒｎｉｊは０〜６３の整数とし
、Ｇ，Ｂについても同様とする。）Ｗ１，Ｗ２，‥‥Ｗ
２７ は結合係数で重みづけである。θは学習によって
変化するオフセット値であり、Ｔは、ボルツマンマシン
によるエネルギー関数の温度パラメータで、実施例では
Ｔ＝１とした。 〔４〕中間層ユニットの出力値｛Ｑｏｕｔ ｝と、中間
層から出力層Ｓへの結合係数｛ＷＱＳ ｝と、出力層Ｑ
のオフセット値θＱ とを用いて、出力層ユニットＳ１
，Ｓ２の各出力値Ｓｏｕｔ を求める。中間層ユニット
Ｑの出力Ｑｏｕｔ も、前記（５）式において、Ｐｏｕ
ｔ をＸとして同様の計算式から導く。 〔５〕学習における教師信号を、出力層ユニットＳ１に
ついてはＳ１ｏｕｔ ＝１とし、出力層ユニットＳ２に
ついてはＳ２ｏｕｔ ＝０とする。各々の出力層ユニッ
トについて、教師信号と出力層の出力値との差から、出
力層のユニットＳ１につながる結合係数と中間層ユニッ
トＱのオフセットに対する誤差δｓ１を求める。出力層
ユニットＳ２についても同様に誤差δｓ２を求める。 〔６〕誤差δｓ１と中間層から出力層への結合係数｛Ｗ
ＱＳ ｝と中間層の出力値Ｑｏｕｔ とから、中間層ユ
ニットＱにつながる結合係数と中間層ユニットのオフセ
ット値θＰ に対する誤差σｑ を求める。 〔７〕〔５〕で求めた出力層ユニットＳ１での誤差σｓ
１と中間層ユニットＱの出力Ｑｏｕｔ と定数αとの積
を加算することで、中間層ユニットＱから出力層ユニッ
トＳ１につながる結合係数ＷＱＳ を修正する。また、
誤差σｓ１と定数βとの積を加算することで、出力層ユ
ニットＳ１のオフセット値θＱ を修正する。同様に出
力層ユニットＳ２についても求める。 〔８〕中間層ユニットＱでの、誤差σｑ と入力層ユニ
ットＰの出力値Ｐｏｕｔ と定数αとの積を加算するこ
とで、入力層ユニットＰから中間層ユニットＱにつなが
る結合係数ＷＰＱ を修正する。また、誤差σｑ と定
数βとの積を加算することで、中間層ユニットＱのオフ
セット値θＰ を修正する。
。まず未刈取領域のサンプル領域Ｍａについて、（なお
、以下の文章中の記号のうち、｛ ｝で囲まれる
ものは、複数のユニットについてをいう）。 〔１〕ニューラルネットワークの状態を決める結合係数
｛ＷＰＱ ｝，｛ＷＱＳ ｝とオフセット値｛θＰ ｝
，｛θＱ ｝をそれぞれ小さな値の乱数値で初期化する
。 〔２〕サンプル領域Ｍａのデータを最初の学習データと
する。 〔３〕学習データの値を入力層ユニットＰの出力｛Ｐｏ
ｕｔ ｝に入れ、入力層から中間層への結合係数｛ＷＰ
Ｑ ｝と中間層ユニットＱのオフセット値θＰ とを用
いて、中間層ユニットへの入力値Ｑｉｎを求める。この
入力値Ｑｉｎと、ｆ（Ｘ）＝１／（１＋ｅｘｐ（−Ｘ）
）のような、シグモイド関数ｆ（Ｘ）により、中間層ユ
ニットＱの出力値Ｑｏｕｔ を求める。なお、入力層ユ
ニットＰの出力Ｐｏｕｔ は、 Ｐｏｕｔ ＝１／（１＋ｅｘｐ （−（Ｘ−θ）／
Ｔ） ‥‥（５）式ここで、Ｘ＝Ｗ１＊Ｒ１ｉｊ ＋
Ｗ２＊Ｒ２ｉｊ ＋Ｗ９＊Ｒ９ｉｊ＋Ｗ１０＊Ｇ１ｉｊ
‥‥ ＋Ｗ２７＊Ｂ９ｉｊ（ここで、各色成分の
階調は６４であるので、Ｒｎｉｊは０〜６３の整数とし
、Ｇ，Ｂについても同様とする。）Ｗ１，Ｗ２，‥‥Ｗ
２７ は結合係数で重みづけである。θは学習によって
変化するオフセット値であり、Ｔは、ボルツマンマシン
によるエネルギー関数の温度パラメータで、実施例では
Ｔ＝１とした。 〔４〕中間層ユニットの出力値｛Ｑｏｕｔ ｝と、中間
層から出力層Ｓへの結合係数｛ＷＱＳ ｝と、出力層Ｑ
のオフセット値θＱ とを用いて、出力層ユニットＳ１
，Ｓ２の各出力値Ｓｏｕｔ を求める。中間層ユニット
Ｑの出力Ｑｏｕｔ も、前記（５）式において、Ｐｏｕ
ｔ をＸとして同様の計算式から導く。 〔５〕学習における教師信号を、出力層ユニットＳ１に
ついてはＳ１ｏｕｔ ＝１とし、出力層ユニットＳ２に
ついてはＳ２ｏｕｔ ＝０とする。各々の出力層ユニッ
トについて、教師信号と出力層の出力値との差から、出
力層のユニットＳ１につながる結合係数と中間層ユニッ
トＱのオフセットに対する誤差δｓ１を求める。出力層
ユニットＳ２についても同様に誤差δｓ２を求める。 〔６〕誤差δｓ１と中間層から出力層への結合係数｛Ｗ
ＱＳ ｝と中間層の出力値Ｑｏｕｔ とから、中間層ユ
ニットＱにつながる結合係数と中間層ユニットのオフセ
ット値θＰ に対する誤差σｑ を求める。 〔７〕〔５〕で求めた出力層ユニットＳ１での誤差σｓ
１と中間層ユニットＱの出力Ｑｏｕｔ と定数αとの積
を加算することで、中間層ユニットＱから出力層ユニッ
トＳ１につながる結合係数ＷＱＳ を修正する。また、
誤差σｓ１と定数βとの積を加算することで、出力層ユ
ニットＳ１のオフセット値θＱ を修正する。同様に出
力層ユニットＳ２についても求める。 〔８〕中間層ユニットＱでの、誤差σｑ と入力層ユニ
ットＰの出力値Ｐｏｕｔ と定数αとの積を加算するこ
とで、入力層ユニットＰから中間層ユニットＱにつなが
る結合係数ＷＰＱ を修正する。また、誤差σｑ と定
数βとの積を加算することで、中間層ユニットＱのオフ
セット値θＰ を修正する。
〔９〕次の学習データを入力する。
〔１０〕学習データが終了するまで〔３〕に戻る。
〔１１〕学習繰り返し数を更新する。
〔１２〕入力層ユニットの出力値Ｐｏｕｔ と出力層ユ
ニットの出力Ｓｏｕｔ との差が許容誤差以下になった
時点で学習を終了する。 〔１３〕学習繰り返し回数が制限数以下であれば、〔２
〕に戻る。
ニットの出力Ｓｏｕｔ との差が許容誤差以下になった
時点で学習を終了する。 〔１３〕学習繰り返し回数が制限数以下であれば、〔２
〕に戻る。
【００２３】以上の処理を図９のフローチャートで示し
た。最終の入力層ユニットＰでは、その出力値Ｐｏｕｔ
と教師信号とを比較して誤差σｓ１及び誤差σｑ を
逆伝搬させて重みを修正し、学習を行う。前記と同様の
処理を、既刈取領域のサンプル領域Ｋａについても実行
する。この場合の教師信号はＳ１ｏｕｔ ＝０，Ｓ２ｏ
ｕｔ ＝１として学習させる。前述のように、前記各サ
ンプル領域に対する２値化処理の結果を教師信号に利用
すれば、いちいち外部から教師信号を入力する必要がな
く便利である。
た。最終の入力層ユニットＰでは、その出力値Ｐｏｕｔ
と教師信号とを比較して誤差σｓ１及び誤差σｑ を
逆伝搬させて重みを修正し、学習を行う。前記と同様の
処理を、既刈取領域のサンプル領域Ｋａについても実行
する。この場合の教師信号はＳ１ｏｕｔ ＝０，Ｓ２ｏ
ｕｔ ＝１として学習させる。前述のように、前記各サ
ンプル領域に対する２値化処理の結果を教師信号に利用
すれば、いちいち外部から教師信号を入力する必要がな
く便利である。
【００２４】なお、一つの圃場内で外側から順に平面視
略矩形状に刈り取る場合、その４辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更（例えば略
９０°）されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の２値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
略矩形状に刈り取る場合、その４辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更（例えば略
９０°）されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の２値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
【００２５】
【発明の効果】上述のように、本発明に従えば、被検査
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の２値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できるので、操向操作の精度が向上
する。
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の２値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できるので、操向操作の精度が向上
する。
【図１】コンバインの側面図である。
【図２】コンバインの平面図である。
【図３】コンバイン伝動系を示すスケルトン図である。
【図４】制御装置のブロック図である。
【図５】圃場の未刈取地と既刈取地とを側面から見た図
である。
である。
【図６】１フレームにおける未刈取領域と既刈取領域と
曖昧領域との部分を示す説明図である。
曖昧領域との部分を示す説明図である。
【図７】２値化処理のフローチャート
【図８】３領域化の説明図である。
【図９】Ｒ（赤色）のサンプリング信号についての画素
マトリックスを示す図である。
マトリックスを示す図である。
【図１０】バックプロパゲーション法のフローチャート
である。
である。
【図１１】ニューラルネットワークの構造を示す図であ
る。
る。
１ 走行機体
３１ カラー撮像手段
３４ 画像処理用中央処理装置３５
中央制御装置 ３６ 読み取り専用メモリ（ＲＯＭ）３
７ 読み書き可能メモリ（ＲＡＭ）３８
入出力インターフェイス３９
バス
中央制御装置 ３６ 読み取り専用メモリ（ＲＯＭ）３
７ 読み書き可能メモリ（ＲＡＭ）３８
入出力インターフェイス３９
バス
Claims (1)
- 【請求項１】 走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，Ｇ
，Ｂ三原色の色成分サンプリング信号値を求め、これら
のサンプリング信号値を２値化処理して、前記一画面の
画像データ全体について、既刈取領域と未刈取領域とこ
の両領域と判別できない曖昧領域とに分別する領域化処
理を実行する一方、前記両サンプル領域の三原色の色成
分サンプリング信号値を学習データとしてニューラルネ
ットワークを構築し、前記曖昧領域を既刈取領域と未刈
取領域とに分別することを特徴とする自動走行作業機に
おける画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3081945A JP2944774B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3081945A JP2944774B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04293404A true JPH04293404A (ja) | 1992-10-19 |
| JP2944774B2 JP2944774B2 (ja) | 1999-09-06 |
Family
ID=13760644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3081945A Expired - Lifetime JP2944774B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2944774B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778028A (ja) * | 1993-06-18 | 1995-03-20 | Masanori Sugisaka | 自立走行車 |
| IT201700058505A1 (it) * | 2017-05-30 | 2018-11-30 | Volta Robots S R L | Metodo di controllo di un mezzo di lavorazione del terreno sulla base di elaborazioni d'immagini e relativo sistema |
| JP2020101943A (ja) * | 2018-12-20 | 2020-07-02 | 株式会社クボタ | 圃場作業車 |
| JP2021113487A (ja) * | 2020-01-17 | 2021-08-05 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自律走行車両ためのニューラル・タスク計画部 |
| JP2022517749A (ja) * | 2019-01-04 | 2022-03-10 | 豊疆智能科技股▲ふん▼有限公司 | 穀物処理自動運転システム及びその自動運転方法、並びに経路計画方法 |
| JP2022517747A (ja) * | 2019-01-04 | 2022-03-10 | 豊疆智能科技股▲ふん▼有限公司 | 穀物処理自動運転システム、自動運転方法及び自動識別方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11582903B1 (en) | 2017-05-17 | 2023-02-21 | Hydro-Gear Limited Partnership | Vision based guidance system and method for lawn mowing devices |
| US11350564B1 (en) | 2018-06-28 | 2022-06-07 | Hydro-Gear Limited Partnership | Vision system integration |
| US11464161B1 (en) | 2019-03-29 | 2022-10-11 | Hydro-Gear Limited Partnership | Automatic sensitivity adjustment for an autonomous mower |
| JP6845485B2 (ja) * | 2019-05-23 | 2021-03-17 | 訓子府機械工業株式会社 | 玉葱収穫用作業機及び玉葱収穫作業方法 |
| KR102304098B1 (ko) * | 2019-11-05 | 2021-09-23 | 대한민국 | 영상 기반 경로 인식 및 조향각 산출 기술을 지원하는 자율 주행 농기계 장치 및 그 동작 방법 |
-
1991
- 1991-03-20 JP JP3081945A patent/JP2944774B2/ja not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778028A (ja) * | 1993-06-18 | 1995-03-20 | Masanori Sugisaka | 自立走行車 |
| IT201700058505A1 (it) * | 2017-05-30 | 2018-11-30 | Volta Robots S R L | Metodo di controllo di un mezzo di lavorazione del terreno sulla base di elaborazioni d'immagini e relativo sistema |
| EP3629693B1 (en) | 2017-05-30 | 2022-01-26 | Volta Robots S.r.l. | Method for controlling a soil working means based on image processing and related system |
| JP2020101943A (ja) * | 2018-12-20 | 2020-07-02 | 株式会社クボタ | 圃場作業車 |
| JP2022517749A (ja) * | 2019-01-04 | 2022-03-10 | 豊疆智能科技股▲ふん▼有限公司 | 穀物処理自動運転システム及びその自動運転方法、並びに経路計画方法 |
| JP2022517747A (ja) * | 2019-01-04 | 2022-03-10 | 豊疆智能科技股▲ふん▼有限公司 | 穀物処理自動運転システム、自動運転方法及び自動識別方法 |
| JP2021113487A (ja) * | 2020-01-17 | 2021-08-05 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自律走行車両ためのニューラル・タスク計画部 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2944774B2 (ja) | 1999-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2361381C2 (ru) | Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы | |
| US6721453B1 (en) | Method and apparatus for processing an image of an agricultural field | |
| CA2624652C (en) | Crop attribute map input for vehicle guidance | |
| MacEachern et al. | Detection of fruit maturity stage and yield estimation in wild blueberry using deep learning convolutional neural networks | |
| JPH04293404A (ja) | 自動走行作業機における画像処理方法 | |
| US20210195827A1 (en) | System and method for windrow path planning | |
| Steward et al. | Machine-vision weed density estimation for real-time, outdoor lighting conditions | |
| CN112734083A (zh) | 一种基于机器视觉的水稻收割机路径规划控制*** | |
| Ariza-Sentís et al. | Object detection and tracking in Precision Farming: a systematic review | |
| JP2944773B2 (ja) | 自動走行作業機における画像処理方法 | |
| Hanna et al. | Grain harvesting machinery | |
| Benson et al. | An adaptive fuzzy crop edge detection method for machine vision | |
| JP2795454B2 (ja) | カラー情報による境界線の検出方法 | |
| US20240122106A1 (en) | Stubble lean detection system for an agricultural harvester | |
| CN218736029U (zh) | 农作物收割设备 | |
| JP2513374Y2 (ja) | 収穫機の自動操向装置 | |
| US20240122109A1 (en) | Computer vision systems and methods for an agricultural header | |
| CN114303603A (zh) | 联合收割机械掉果判断平台及方法 | |
| CN117523513A (zh) | 一种收割打捆一体机喂入量预测方法及收割打捆一体机 | |
| JP7321087B2 (ja) | 収穫機管理システム、収穫機、及び収穫機管理方法 | |
| JPH02110605A (ja) | 自動走行作業機の自動操舵制御における画像処理方法 | |
| JPH082730Y2 (ja) | 収穫機の自動操向装置 | |
| Rains et al. | Pecan mechanical harvesting parameters for yield monitoring | |
| JPH02110604A (ja) | 自動操行作業機の自動操舵制御における画像情報の２値化処理装置 | |
| JP2855339B2 (ja) | コンバイン |