JP2740265B2 - 収穫機の操舵制御における画像処理方法 - Google Patents
収穫機の操舵制御における画像処理方法Info
- Publication number
- JP2740265B2 JP2740265B2 JP1151299A JP15129989A JP2740265B2 JP 2740265 B2 JP2740265 B2 JP 2740265B2 JP 1151299 A JP1151299 A JP 1151299A JP 15129989 A JP15129989 A JP 15129989A JP 2740265 B2 JP2740265 B2 JP 2740265B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- uncut
- imaging
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims description 60
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 9
- 235000013339 cereals Nutrition 0.000 description 9
- 241000209094 Oryza Species 0.000 description 5
- 235000007164 Oryza sativa Nutrition 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 235000009566 rice Nutrition 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に列状に植立された稲、麦、大豆等の
当該列に沿って走行機体を走行させて刈取り脱穀する等
のいわゆる汎用コンバインまたは普通形コンバイン等の
収穫機や、圃場に植えられた野菜等の列状に沿って走行
機体を走行させて収穫する収穫機を、前記稲等の被検出
物の列に沿うように倣って走行させるために、これらの
被検出物を撮像した画像データを画像処理する方法に関
するものである。
当該列に沿って走行機体を走行させて刈取り脱穀する等
のいわゆる汎用コンバインまたは普通形コンバイン等の
収穫機や、圃場に植えられた野菜等の列状に沿って走行
機体を走行させて収穫する収穫機を、前記稲等の被検出
物の列に沿うように倣って走行させるために、これらの
被検出物を撮像した画像データを画像処理する方法に関
するものである。
圃場に植立した稲列に沿ってコンバインを前進走行さ
せ、当該稲列を複数条づつ刈取るように、当該コンバイ
ンを自動操舵走行させるに際して、未刈取地と既刈取地
との境界線を検出する技術として、例えば特開昭62−12
2507号公報では、コンバインに搭載したビデオカメラ
を、当該コンバインの進行前方向の未刈取地と既刈取地
との両範囲にわたって撮像できるように前方下向きに配
設し、ビデオカメラにて撮像した画像データを2値化処
理して前記境界線を抽出する技術を提案している。
せ、当該稲列を複数条づつ刈取るように、当該コンバイ
ンを自動操舵走行させるに際して、未刈取地と既刈取地
との境界線を検出する技術として、例えば特開昭62−12
2507号公報では、コンバインに搭載したビデオカメラ
を、当該コンバインの進行前方向の未刈取地と既刈取地
との両範囲にわたって撮像できるように前方下向きに配
設し、ビデオカメラにて撮像した画像データを2値化処
理して前記境界線を抽出する技術を提案している。
この先行技術において、前記ビデオカメラにて撮像さ
れた撮像画面全体に含まれた画像データすべてを2値化
処理したのち境界線を検出するという特徴抽出処理を実
行していたので、一つの撮像画面(1フレームという)
を特徴抽出処理するのに多くの時間を要し、自動操舵を
迅速且つ的確に実行できないという問題があった。
れた撮像画面全体に含まれた画像データすべてを2値化
処理したのち境界線を検出するという特徴抽出処理を実
行していたので、一つの撮像画面(1フレームという)
を特徴抽出処理するのに多くの時間を要し、自動操舵を
迅速且つ的確に実行できないという問題があった。
また、ある程度圃場の左右両側の広い範囲にわたって
撮像しなければ、未刈取地と既刈取地との境界線を検出
することができない。
撮像しなければ、未刈取地と既刈取地との境界線を検出
することができない。
そこで、所定の視界を有するレンズ系を用いて圃場の
左右両側の広い範囲を撮像して画面に取り込むと、得ら
れた撮像画面中に例えば圃場際の畦等の余分な対象が撮
像されたり、背景部分の余分のノイズ成分が入り込むこ
とになり、画像データから2値化等の特徴抽出処理する
に際して、このような余分の対象物を判別して除外した
り、背景部分のノイズ成分を除去するための前処理も繁
雑となるという問題があった。
左右両側の広い範囲を撮像して画面に取り込むと、得ら
れた撮像画面中に例えば圃場際の畦等の余分な対象が撮
像されたり、背景部分の余分のノイズ成分が入り込むこ
とになり、画像データから2値化等の特徴抽出処理する
に際して、このような余分の対象物を判別して除外した
り、背景部分のノイズ成分を除去するための前処理も繁
雑となるという問題があった。
さらに、コンバインの操舵につれてビデオカメラの撮
像方法も左右に変化するので、未刈取り地と既刈取り地
との境界線が撮像される位置も左右に変動するのである
から、前記ビデオカメラによる撮像画面のうち画像処理
すべき範囲を固定的にカットすると、前記境界線を見失
うおそれがある。
像方法も左右に変化するので、未刈取り地と既刈取り地
との境界線が撮像される位置も左右に変動するのである
から、前記ビデオカメラによる撮像画面のうち画像処理
すべき範囲を固定的にカットすると、前記境界線を見失
うおそれがある。
そして、この境界線を検出するに際して、未刈取り地
の状態と既刈取り地の状態とを判別するための、いわゆ
る2値化処理にあたって2値化しきい値を決定する必要
があり、そのためのサンプリング領域を、予め撮像画面
のうちの未刈取り地であろうと予定される個所に位置固
定的に設定すると、前記境界線の左右変動につれて、サ
ンプリング領域が既刈取り地や前記のような余分の背景
部分に食い込むおそれがあり、そのようなサンプリング
領域から2値化しきい値を決定すると、以後の境界線の
決定を正確にできないという問題があった。
の状態と既刈取り地の状態とを判別するための、いわゆ
る2値化処理にあたって2値化しきい値を決定する必要
があり、そのためのサンプリング領域を、予め撮像画面
のうちの未刈取り地であろうと予定される個所に位置固
定的に設定すると、前記境界線の左右変動につれて、サ
ンプリング領域が既刈取り地や前記のような余分の背景
部分に食い込むおそれがあり、そのようなサンプリング
領域から2値化しきい値を決定すると、以後の境界線の
決定を正確にできないという問題があった。
本願発明はこれらの問題を解決することを目的とする
ものである。
ものである。
この目的を達成するため、本発明は、コンバイン等の
収穫機に搭載した二次元撮像手段にて当該収穫機による
進行方向前方の未刈取り地と既刈取り地とにわたって適
宜時間間隔ごとまたは適宜前進距離ごとに撮像し、該撮
像手段にて得られた画像データを画像メモリに記憶した
後、2値化処理して前記未刈取り地と既刈取り地との境
界線を決定する画像処理方法において、撮像手段による
撮像画面中の2値化処理すべき領域を、前回決定した境
界線を基準にしてその左右両側に所定距離の幅に相当す
るウインドウ画像区域になるように逐次更新すると共
に、未刈取り地を判別するための2値化しきい値決定用
サンプリング領域を、前記ウインドウ画像区域のうちの
未刈取り地側において前回決定した境界線から未刈取り
地に向かって所定幅に相当する画像区域を除く範囲とな
るように逐次更新する方法を採用したものである。
収穫機に搭載した二次元撮像手段にて当該収穫機による
進行方向前方の未刈取り地と既刈取り地とにわたって適
宜時間間隔ごとまたは適宜前進距離ごとに撮像し、該撮
像手段にて得られた画像データを画像メモリに記憶した
後、2値化処理して前記未刈取り地と既刈取り地との境
界線を決定する画像処理方法において、撮像手段による
撮像画面中の2値化処理すべき領域を、前回決定した境
界線を基準にしてその左右両側に所定距離の幅に相当す
るウインドウ画像区域になるように逐次更新すると共
に、未刈取り地を判別するための2値化しきい値決定用
サンプリング領域を、前記ウインドウ画像区域のうちの
未刈取り地側において前回決定した境界線から未刈取り
地に向かって所定幅に相当する画像区域を除く範囲とな
るように逐次更新する方法を採用したものである。
次に本発明を汎用コンバインに適用した実施例につい
て説明すると、走行作業機であるコンバイン1は走行機
体2の下面に左右一対の履帯式の走行装置3,3を備え、
走行機体2の前進方向に向かって右側前部には座席付き
の操縦部4を配設し、その後方にはエンジン(図示せ
ず)及び穀粒蓄積用のタンク5を備え、走行機体2の左
側には、円周外面にダブルピッチのスクリュー板と適宜
個数の扱歯とを植設した前後長手の扱胴6a等を内蔵した
脱穀部6と、その下方に受け網8と、シーブ等による揺
動選別装置9と、唐箕フアン10の風による風選別装置と
を備える。
て説明すると、走行作業機であるコンバイン1は走行機
体2の下面に左右一対の履帯式の走行装置3,3を備え、
走行機体2の前進方向に向かって右側前部には座席付き
の操縦部4を配設し、その後方にはエンジン(図示せ
ず)及び穀粒蓄積用のタンク5を備え、走行機体2の左
側には、円周外面にダブルピッチのスクリュー板と適宜
個数の扱歯とを植設した前後長手の扱胴6a等を内蔵した
脱穀部6と、その下方に受け網8と、シーブ等による揺
動選別装置9と、唐箕フアン10の風による風選別装置と
を備える。
一方、走行機体2の前面には、前記脱穀部6の前部開
口に連通する角筒状のフイーダハウス11を昇降用抽出シ
リンダ12を介して走行機体に対して昇降自在に装着して
あり、該フイーダハウス11の内部には、左右長手の搬送
板を左右一対のチエンに適宜間隔で取付けたチエンコン
ベヤ13を配設し、このチエンコンベヤ13にて後述の刈取
部15からの刈取穀稈を前記脱穀部6に搬送するものであ
る。
口に連通する角筒状のフイーダハウス11を昇降用抽出シ
リンダ12を介して走行機体に対して昇降自在に装着して
あり、該フイーダハウス11の内部には、左右長手の搬送
板を左右一対のチエンに適宜間隔で取付けたチエンコン
ベヤ13を配設し、このチエンコンベヤ13にて後述の刈取
部15からの刈取穀稈を前記脱穀部6に搬送するものであ
る。
符号7aは、二番樋(図示せず)からの穀粒を脱穀部6
に還元するように搬送する二番還元筒、符号7bは前記タ
ンク5内の穀粒を外部に排出するための排出筒である。
に還元するように搬送する二番還元筒、符号7bは前記タ
ンク5内の穀粒を外部に排出するための排出筒である。
刈取部15は、走行機体2の全幅にわたって左右に延び
るバケット状のプラットホーム17と、該プラットホーム
17に走行機体2の全幅にわたって設けたタインバー18付
きのリール19とから成り、プラットホーム17の下面側に
は同じく左右長手のバリカン状の刈刃20を有し、プラッ
トホーム17の底板上方には、矢印方向に回転する横長の
掻き込み用のオーガ22を備えてあり、伝動部を介して前
記リール19及びオーガ22を回転駆動し、且つ刈刃20を駆
動する。
るバケット状のプラットホーム17と、該プラットホーム
17に走行機体2の全幅にわたって設けたタインバー18付
きのリール19とから成り、プラットホーム17の下面側に
は同じく左右長手のバリカン状の刈刃20を有し、プラッ
トホーム17の底板上方には、矢印方向に回転する横長の
掻き込み用のオーガ22を備えてあり、伝動部を介して前
記リール19及びオーガ22を回転駆動し、且つ刈刃20を駆
動する。
なお、符号23は刈取部15の左右両端から前向きに突出
する分草体であり、また、前記リール19は、穀稈の倒伏
状態等に応じて前後移動調節及び上下揺動調節自在に構
成されている。
する分草体であり、また、前記リール19は、穀稈の倒伏
状態等に応じて前後移動調節及び上下揺動調節自在に構
成されている。
符号25は、第1図等に示すように、圃場Hに適宜間隔
にて縦横に植立した被検出物である稲の穀稈で、この縦
横に適宜間隔で植立した穀稈25に向かってコンバイン1
を前進させてこれらを刈取るものである。
にて縦横に植立した被検出物である稲の穀稈で、この縦
横に適宜間隔で植立した穀稈25に向かってコンバイン1
を前進させてこれらを刈取るものである。
符号24は前記操縦部4のキヤビン4a前部上端等に取付
くビデオカメラ等の撮像手段で、該撮像手段24はそのレ
ンズ系35の光軸35aが水平面に対して俯角θ(実施例で
は略20度)で前向きに取付けられている。
くビデオカメラ等の撮像手段で、該撮像手段24はそのレ
ンズ系35の光軸35aが水平面に対して俯角θ(実施例で
は略20度)で前向きに取付けられている。
また、第4図は、本発明の制御手段のブロック図を示
し、符号27は前記撮像手段24のアナログ入力信号をデジ
タル信号に変換するA/D変換器、符号28は画像メモリ、
符号29は画像処理プロセッサ、符号30は中央制御装置
(CPU)、符号31は読み出し専用メモリ(ROM)、符号32
は読み書き可能メモリ(RAM)、符号33はI/0ユニット、
符号34はバスを各々示す。
し、符号27は前記撮像手段24のアナログ入力信号をデジ
タル信号に変換するA/D変換器、符号28は画像メモリ、
符号29は画像処理プロセッサ、符号30は中央制御装置
(CPU)、符号31は読み出し専用メモリ(ROM)、符号32
は読み書き可能メモリ(RAM)、符号33はI/0ユニット、
符号34はバスを各々示す。
なお、中央制御装置30の指令信号に従って駆動される
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ェータにて走行機体2を左右に操舵することができる。
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ェータにて走行機体2を左右に操舵することができる。
前記ビデオカメラ等の撮像手段24は、レンズ系を通し
て得られた画像が結象する平面(撮像画面36)にCCD固
体撮像素子等から成る二次元撮像デバイスを配設したも
ので、カラー用、白黒用のいずれであっても良いが、コ
ンバインの稲刈取り作業での既刈取地と未刈取地との境
界線を判別するためには、RGB表色系〔赤色(R),緑
色(G),青色(B)の原色光とし、加色により白色が
得られる〕の各色成分にて圃場の特徴を抽出し、この3
色成分の信号出力のしきい値の組合せから、前記既刈取
地と未刈取地との境界線を決定する2値化処理を実行す
ることが好ましい。
て得られた画像が結象する平面(撮像画面36)にCCD固
体撮像素子等から成る二次元撮像デバイスを配設したも
ので、カラー用、白黒用のいずれであっても良いが、コ
ンバインの稲刈取り作業での既刈取地と未刈取地との境
界線を判別するためには、RGB表色系〔赤色(R),緑
色(G),青色(B)の原色光とし、加色により白色が
得られる〕の各色成分にて圃場の特徴を抽出し、この3
色成分の信号出力のしきい値の組合せから、前記既刈取
地と未刈取地との境界線を決定する2値化処理を実行す
ることが好ましい。
そして、前記境界線Koを検出するに際して、撮像手段
24により得られた撮像画面36全体を2値化処理している
と、撮像画面36中に例えば圃場際の畦等の余分な対象が
撮像されたり、中割り作業時の一側の未刈地等の余分の
ノイズ成分が入り込むことになり、画像データを2値化
等の特徴抽出処理するに際して、このような余分な対象
物を判別して除外したり、ノイズ成分を除去するための
前処理も繁雑となる。
24により得られた撮像画面36全体を2値化処理している
と、撮像画面36中に例えば圃場際の畦等の余分な対象が
撮像されたり、中割り作業時の一側の未刈地等の余分の
ノイズ成分が入り込むことになり、画像データを2値化
等の特徴抽出処理するに際して、このような余分な対象
物を判別して除外したり、ノイズ成分を除去するための
前処理も繁雑となる。
他方、コンバインを操舵制御していると、撮像画面36
中の境界線の位置も時々刻々と変化するので、撮像画面
中において2値化処理すべき領域を固定することは、そ
の境界線を見失うおそれがある。
中の境界線の位置も時々刻々と変化するので、撮像画面
中において2値化処理すべき領域を固定することは、そ
の境界線を見失うおそれがある。
そこで、本発明の画像処理としては、前記記憶された
画像データのうち、被検出平面37における前記走行機体
の進行方向に沿う左右両側の適宜幅の撮像範囲に相当す
る画像データを除くようなウインドウ処理を実行するに
際して、適宜時間間隔ごと又は適宜前進距離ごとに決定
される境界線を基準にし、その最新結果である前回決定
された境界線の左右両側に所定距離の幅に相当するウイ
ンドウ画像区域になるように逐次更新するものである。
画像データのうち、被検出平面37における前記走行機体
の進行方向に沿う左右両側の適宜幅の撮像範囲に相当す
る画像データを除くようなウインドウ処理を実行するに
際して、適宜時間間隔ごと又は適宜前進距離ごとに決定
される境界線を基準にし、その最新結果である前回決定
された境界線の左右両側に所定距離の幅に相当するウイ
ンドウ画像区域になるように逐次更新するものである。
また、通常未刈取り地Mを撮像したときの穂先部の色
彩と既刈取り地Kにおける刈取り後の排藁の色彩とが相
違するので、その相違を所定の3原色の色彩値のヒスト
グラム等の形の違いとして把握し、前記2値化処理に際
して、圃場の未刈取り地Mであると判別するための2値
化しきい値を決定するのである。そのため、前記2値化
しきい値決定用のサンプリング領域は、未刈取り地Mと
して確実に存在する個所に設定しなければならない。
彩と既刈取り地Kにおける刈取り後の排藁の色彩とが相
違するので、その相違を所定の3原色の色彩値のヒスト
グラム等の形の違いとして把握し、前記2値化処理に際
して、圃場の未刈取り地Mであると判別するための2値
化しきい値を決定するのである。そのため、前記2値化
しきい値決定用のサンプリング領域は、未刈取り地Mと
して確実に存在する個所に設定しなければならない。
換言すれば、当該未刈取り地Mの個所の画像データを
サンプリングするにおいて、前記境界線Koの個所に近い
未刈取り地M部分では、既刈取り地Kである可能性があ
り、得られた2値化しきい値自体が不正確になるおそれ
がある。
サンプリングするにおいて、前記境界線Koの個所に近い
未刈取り地M部分では、既刈取り地Kである可能性があ
り、得られた2値化しきい値自体が不正確になるおそれ
がある。
そこで、本発明では、前記2値化処理すべきウインド
ウ画像区域のうち、未刈取り値Mにおいて境界線Koに近
い側を除く領域をサンプリング領域とするものである。
ウ画像区域のうち、未刈取り値Mにおいて境界線Koに近
い側を除く領域をサンプリング領域とするものである。
以下に、穀稈の未刈取地Mにおける検査平面37を斜め
上方から撮像した場合のウインドウ処理等の画像処理の
実施例について説明する。
上方から撮像した場合のウインドウ処理等の画像処理の
実施例について説明する。
この場合には、撮像手段24にて得られた画像を二次元
撮像デバイスの撮像画面36に結像させたとき、撮像手段
24から遠くにある物は小さく写り、近くにある物は大き
く写る。
撮像デバイスの撮像画面36に結像させたとき、撮像手段
24から遠くにある物は小さく写り、近くにある物は大き
く写る。
つまり、第2図及び第3図に示すように被検出平面37
(撮像手段24から垂直下方距離hにあるとする)におけ
る矩形状の撮像領域(Ao,Bo,Co,Do)は、第5図に示す
ように撮像画面36において、その下辺側で左右に長く、
上辺側で左右に短い台形状の像(A,B,C,D)になる。
(撮像手段24から垂直下方距離hにあるとする)におけ
る矩形状の撮像領域(Ao,Bo,Co,Do)は、第5図に示す
ように撮像画面36において、その下辺側で左右に長く、
上辺側で左右に短い台形状の像(A,B,C,D)になる。
また、通常のレンズ系では、撮像画面36に結像させた
像は倒立像となるが、以下の説明では、理解を容易にす
るため正立像におきかえた状態にて説明する。
像は倒立像となるが、以下の説明では、理解を容易にす
るため正立像におきかえた状態にて説明する。
第9図は、本発明の画像処理のフローチャートを示
し、スタートに続くステップS1で以下のような座標変換
計算を実行する。
し、スタートに続くステップS1で以下のような座標変換
計算を実行する。
まず、被検出平面37と撮像画面36との座標関係につい
て説明すると、第8図において、直交(X,Y,Z)座標系
における原点であるO点を撮像手段24における焦点距離
fのレンズ系35の仮想レンズ中心とし、X軸は撮像手段
24の左右方向に沿い、Y軸は撮像手段24の縦方向に沿わ
せる一方、Z軸を前記レンズ系35の光軸35aと一致させ
る。
て説明すると、第8図において、直交(X,Y,Z)座標系
における原点であるO点を撮像手段24における焦点距離
fのレンズ系35の仮想レンズ中心とし、X軸は撮像手段
24の左右方向に沿い、Y軸は撮像手段24の縦方向に沿わ
せる一方、Z軸を前記レンズ系35の光軸35aと一致させ
る。
撮像手段24における二次元撮像デバイスの撮像画面36
は、被写体が明瞭に結像するために、前記O点からZ軸
に沿って焦点距離fの位置におく。従って撮像画面36は
直交(X,Y.Z)座標系におけるX−Y平面と平行な平面
となる。
は、被写体が明瞭に結像するために、前記O点からZ軸
に沿って焦点距離fの位置におく。従って撮像画面36は
直交(X,Y.Z)座標系におけるX−Y平面と平行な平面
となる。
一方、穀稈25の穂先部を含む水平面を被検出平面37と
し、この被検出平面37と前記Z軸との交角(撮像手段の
俯角に相当する)をθとする。
し、この被検出平面37と前記Z軸との交角(撮像手段の
俯角に相当する)をθとする。
前記被検出平面37上の被検出点Toが撮像手段24にて撮
像したとき、その結像点Tは、前記To点とO点とを結ぶ
直線Vが撮像画面36と交差する点となる。
像したとき、その結像点Tは、前記To点とO点とを結ぶ
直線Vが撮像画面36と交差する点となる。
前記直交(X,Y.Z)座標系において、T点の座標を(x
o,yo,zo)とすると、前記直線Vの方程式は、 (X−xo)/l=(Y−yo)/m=(Z−zo)/n ……(1) ここで、l,m,nは方向余弦であり、 l=xo/L,m=yo/L,n=zo/L L=(xo)+(yo)+(zo) これらの式で、被検出物からレンズ系までの距離に比
べて焦点距離fは極めて小さいので、 zo≒f(定数)として良い。
o,yo,zo)とすると、前記直線Vの方程式は、 (X−xo)/l=(Y−yo)/m=(Z−zo)/n ……(1) ここで、l,m,nは方向余弦であり、 l=xo/L,m=yo/L,n=zo/L L=(xo)+(yo)+(zo) これらの式で、被検出物からレンズ系までの距離に比
べて焦点距離fは極めて小さいので、 zo≒f(定数)として良い。
他方、前記被検出平面37が仮想レンズ中心O点から下
方にhの位置にあり、撮像手段の俯角をθとするとき、
前記直交(X,Y.Z)座標系において被検出平面37の方程
式は、 cos θ・Y−sin θ・Z+h=0 ……(2) で表すことができる。
方にhの位置にあり、撮像手段の俯角をθとするとき、
前記直交(X,Y.Z)座標系において被検出平面37の方程
式は、 cos θ・Y−sin θ・Z+h=0 ……(2) で表すことができる。
前記直線Vと被検出平面37との交点であるTo点の座標
(xf,yf,zf)は、前記(1)と(2)式から、 となる。
(xf,yf,zf)は、前記(1)と(2)式から、 となる。
次に被検出平面37を別の直交座標系(X″,Y″,Z″)
におけるX″−Y″平面であると考え、この座標系にお
いて、前記被検出平面37上のTo点の座標を(xf″,yf″,
zf″)とすれば、座標変換(平行移動と回転による)を
実行することにより、 となる。
におけるX″−Y″平面であると考え、この座標系にお
いて、前記被検出平面37上のTo点の座標を(xf″,yf″,
zf″)とすれば、座標変換(平行移動と回転による)を
実行することにより、 となる。
即ち、被検出平面37上の被検出物(被写体)のTo点
〔座標(xf″,yf″)〕は撮像手段24における撮像画面3
6上で座標(xo,yo)のT点に結像される関係となるので
ある。
〔座標(xf″,yf″)〕は撮像手段24における撮像画面3
6上で座標(xo,yo)のT点に結像される関係となるので
ある。
この変換式(4)により、撮像画面36上の座標(xo,y
o)から被検出平面37上の座標(xf″,yf″)の計算(ま
たはその反対の計算)をすることができるのである。
o)から被検出平面37上の座標(xf″,yf″)の計算(ま
たはその反対の計算)をすることができるのである。
なお、撮像手段24にて圃場を真上から撮像するように
した場合には、前述の座標変換は簡単になる。
した場合には、前述の座標変換は簡単になる。
このように、被検出平面37上の座標と撮像画面36上の
座標との1対1の関係を知ることができるから、撮像画
面36に撮像された未刈取り地Mから既刈取り地Kにわた
る範囲のうち、2値化処理すべき領域、つまりウインド
ウ画像区域Wを設定する前段階として、ステップS2では
次のような演算を実行しておく。
座標との1対1の関係を知ることができるから、撮像画
面36に撮像された未刈取り地Mから既刈取り地Kにわた
る範囲のうち、2値化処理すべき領域、つまりウインド
ウ画像区域Wを設定する前段階として、ステップS2では
次のような演算を実行しておく。
つまり、本発明では、第6図及び第7図の関係で示す
ように、被検出平面37上での未刈取り地Mと既刈取り地
Kとの境界線Koを基準にして未刈取り地M側に所定幅Ho
まで、及び既刈取り地K側に所定幅Ho迄の区域(第6図
のAo,Bo,Co,Do,Eo,Foで囲まれる区域)に対応する撮像
画面36上での2値化処理すべき領域(第7図のA,B,C,D,
E,Fで囲まれる区域)をウインドウ画像区域Wにする。
ように、被検出平面37上での未刈取り地Mと既刈取り地
Kとの境界線Koを基準にして未刈取り地M側に所定幅Ho
まで、及び既刈取り地K側に所定幅Ho迄の区域(第6図
のAo,Bo,Co,Do,Eo,Foで囲まれる区域)に対応する撮像
画面36上での2値化処理すべき領域(第7図のA,B,C,D,
E,Fで囲まれる区域)をウインドウ画像区域Wにする。
従って、前記未刈取り地M側の境界の座標に対応する
撮像画面36上でのウインドウ画像区域の左側境界の座標
及び既刈取り地K側の境界の座標に対応する撮像画面36
上でのウインドウ画像区域Wの右側境界の座標を円滑に
演算する必要がある。
撮像画面36上でのウインドウ画像区域の左側境界の座標
及び既刈取り地K側の境界の座標に対応する撮像画面36
上でのウインドウ画像区域Wの右側境界の座標を円滑に
演算する必要がある。
そこで、今被検出平面37上での境界線Koから左右両側
に所定幅Ho(メートル)(実施例では2.5メートル)の
検査領域を設定すると、これに対応する撮像画面36のウ
インドウ画像区域Wの左右幅はHとなるので、第6図に
示す検出平面37上での直線Ao−Bo及び直線Fo−Eoは第7
図における撮像画面36上の直線A−B及び直線F−Eに
対応していることになる。
に所定幅Ho(メートル)(実施例では2.5メートル)の
検査領域を設定すると、これに対応する撮像画面36のウ
インドウ画像区域Wの左右幅はHとなるので、第6図に
示す検出平面37上での直線Ao−Bo及び直線Fo−Eoは第7
図における撮像画面36上の直線A−B及び直線F−Eに
対応していることになる。
そこで、撮像画面36上の境界線Ko′から左右両側に幅
Hだけ横にずれた位置としてのX座標(mask−w
[y])を、予め配列概念(配列とは同じ特性をもち、
定められた規則に従って並べられた要素の集まりから成
る文法単位)にて演算設定し、記憶させておく。
Hだけ横にずれた位置としてのX座標(mask−w
[y])を、予め配列概念(配列とは同じ特性をもち、
定められた規則に従って並べられた要素の集まりから成
る文法単位)にて演算設定し、記憶させておく。
同様に、被検出平面37上での境界線Koから未刈取り地
M側に所定幅So(メートル)(実施例では1.0メート
ル)と設定し、この区域(第6図でKo線とGo−Joを結ぶ
線で囲まれた区域)を、第6図のAo,Bo,Co,Do,Eo,Foで
囲まれる区域から除いか区域を2値化しきい値決定用の
サンプリング領域とするため、これに対応して撮像画面
36上にて前記所定幅Soに対応した幅Sだけ左横にずれた
位置としてのX座標(sample−w[y])を、予め配列
概念にて演算設定し、記憶させておく。
M側に所定幅So(メートル)(実施例では1.0メート
ル)と設定し、この区域(第6図でKo線とGo−Joを結ぶ
線で囲まれた区域)を、第6図のAo,Bo,Co,Do,Eo,Foで
囲まれる区域から除いか区域を2値化しきい値決定用の
サンプリング領域とするため、これに対応して撮像画面
36上にて前記所定幅Soに対応した幅Sだけ左横にずれた
位置としてのX座標(sample−w[y])を、予め配列
概念にて演算設定し、記憶させておく。
次にステップS3では、前記撮像画面36上でのウインド
ウ画像区域Wにおける、 ウインドウ左境界配列(window−left[y] =edge−line[y]−mask−w[y] ウインドウ右境界配列(window−right[y]) =edge−line[y]+mask−w[y] 及びサンプリング領域におけるサンプル右境界配列(wi
ndow−sample[y]) =edge−line[y]−sample−w[y] の初期値を設定する。
ウ画像区域Wにおける、 ウインドウ左境界配列(window−left[y] =edge−line[y]−mask−w[y] ウインドウ右境界配列(window−right[y]) =edge−line[y]+mask−w[y] 及びサンプリング領域におけるサンプル右境界配列(wi
ndow−sample[y]) =edge−line[y]−sample−w[y] の初期値を設定する。
ここで、エッジ配列(edge−line[y])は、撮像画
面36上での境界線Ko′のY座標に対するX座標の配列を
いう。
面36上での境界線Ko′のY座標に対するX座標の配列を
いう。
この場合、最初は境界線Koが決定できていないので、
これに対応する撮像画面36上の境界線Ko′もない。従っ
て、第1回目の演算では、撮像画面36における左右中心
線を仮の境界線Ko′にするか、仮のエッジ配列(edge−
line[y])を作業者が設定し、前記の初期値を設定す
る。このようにすると、一応2値化処理すべきウインド
ウ画像区域およびサンプリング領域がきまるので、これ
に基づきステップS4にて2値化処理を実行し、次いでス
テップS5にて未刈取地Mと既刈取地Kとの境界線Koを検
出する、いわゆるエッジ処理を実行するのである。
これに対応する撮像画面36上の境界線Ko′もない。従っ
て、第1回目の演算では、撮像画面36における左右中心
線を仮の境界線Ko′にするか、仮のエッジ配列(edge−
line[y])を作業者が設定し、前記の初期値を設定す
る。このようにすると、一応2値化処理すべきウインド
ウ画像区域およびサンプリング領域がきまるので、これ
に基づきステップS4にて2値化処理を実行し、次いでス
テップS5にて未刈取地Mと既刈取地Kとの境界線Koを検
出する、いわゆるエッジ処理を実行するのである。
この場合、撮像画面36上での境界線Ko′を直線と仮定
し、いわゆるハフ(Hough)変換によって仮想的に境界
線Ko′を求め、ステップS6にてそのエッジ配列(edge−
line[y])を計算する。
し、いわゆるハフ(Hough)変換によって仮想的に境界
線Ko′を求め、ステップS6にてそのエッジ配列(edge−
line[y])を計算する。
前記ステップS6にて得られたエッジ配列(edge−line
[y])を元に、ステップS7にて、 ウインドウ左境界配列(window−left[y] =edge−line[y]−mask−w[y] ウインドウ右境界配列(window−right[y]) =edge−line[y]+mask−w[y] サンプル右境界配列(window−sample[y]) =edge−line[y]−sample−w[y] を更新し、この結果に基づき次回の2値化処理及びサン
プリング領域の決定を実行して境界線を決定するという
処理を繰り返すのである。
[y])を元に、ステップS7にて、 ウインドウ左境界配列(window−left[y] =edge−line[y]−mask−w[y] ウインドウ右境界配列(window−right[y]) =edge−line[y]+mask−w[y] サンプル右境界配列(window−sample[y]) =edge−line[y]−sample−w[y] を更新し、この結果に基づき次回の2値化処理及びサン
プリング領域の決定を実行して境界線を決定するという
処理を繰り返すのである。
以上のように、走行機体に搭載した撮像手段にて得ら
れた画像データを撮像画面全体にわたって2値化処理す
るのに比べ、いわゆるウインドウ画像区域という、撮像
画面の一部のみ2値化処理するので、その処理時間、ひ
いては未刈取り地と既刈取り地との境界線の決定に至ま
での処理時間を短縮させることができる。
れた画像データを撮像画面全体にわたって2値化処理す
るのに比べ、いわゆるウインドウ画像区域という、撮像
画面の一部のみ2値化処理するので、その処理時間、ひ
いては未刈取り地と既刈取り地との境界線の決定に至ま
での処理時間を短縮させることができる。
そして、そのウインドウ画像区域を撮像画面中の位置
として固定するのではなく、前回決定した境界線を基準
にして左右に所定幅を取ってウインドウ画像区域とする
ように更新して設定するので、境界線が撮像画面の左右
いずれの方向にずれても見失うというおそれもないとい
う効果を奏する。
として固定するのではなく、前回決定した境界線を基準
にして左右に所定幅を取ってウインドウ画像区域とする
ように更新して設定するので、境界線が撮像画面の左右
いずれの方向にずれても見失うというおそれもないとい
う効果を奏する。
さらに、2値化処理するのに必要な2値化しきい値決
定用のサンプリング領域を、前記ウインドウ画像区域の
うち、境界線から未刈取り地側に向かって所定幅に相当
する画像区域を除いた領域とするので、換言すれば、未
刈取り地側の区域において境界線に近い側のウインドウ
画像区域を外し、境界線から遠い側の未仮取り地側のウ
インドウ画像区域をサンプリング領域とするのだから、
未刈取り地として確実に存在する個所の画像データから
2値化しきい値決定のためのデータを得ることができ、
境界線を正確に得ることができる。
定用のサンプリング領域を、前記ウインドウ画像区域の
うち、境界線から未刈取り地側に向かって所定幅に相当
する画像区域を除いた領域とするので、換言すれば、未
刈取り地側の区域において境界線に近い側のウインドウ
画像区域を外し、境界線から遠い側の未仮取り地側のウ
インドウ画像区域をサンプリング領域とするのだから、
未刈取り地として確実に存在する個所の画像データから
2値化しきい値決定のためのデータを得ることができ、
境界線を正確に得ることができる。
これらの結果、農作業機の自動操舵を迅速且つ的確に
実行できる効果を奏する。
実行できる効果を奏する。
第1図はコンバインの平面図、第2図は側面図、第3図
は撮像範囲を示す平面図、第4図は制御装置のブロック
図、第5図は第3図の撮像範囲に対するウインドウ画像
区域の説明図、第6図は実施例における撮像範囲の平面
図、第7図は第6図の撮像範囲に対するウインドウ画像
区域及びサンプリング領域の説明図、第8図は撮像手段
と被検出平面との関係を示す説明図、第9図はフローチ
ャートである。 1……コンバイン、2……走行機体、15……刈取部、24
……撮像手段、25……穀稈、29……画像処理プロセッ
サ、30……中央制御装置、36……撮像画面、37……被検
出平面。
は撮像範囲を示す平面図、第4図は制御装置のブロック
図、第5図は第3図の撮像範囲に対するウインドウ画像
区域の説明図、第6図は実施例における撮像範囲の平面
図、第7図は第6図の撮像範囲に対するウインドウ画像
区域及びサンプリング領域の説明図、第8図は撮像手段
と被検出平面との関係を示す説明図、第9図はフローチ
ャートである。 1……コンバイン、2……走行機体、15……刈取部、24
……撮像手段、25……穀稈、29……画像処理プロセッ
サ、30……中央制御装置、36……撮像画面、37……被検
出平面。
Claims (1)
- 【請求項1】コンバイン等の収穫機に搭載した二次元撮
像手段にて当該収穫機による進行方向前方の未刈取り地
と既刈取り地とにわたって適宜時間間隔ごとまたは適宜
前進距離ごとに撮像し、該撮像手段にて得られた画像デ
ータを画像メモリに記憶した後、2値化処理して前記未
刈取り地と既刈取り地との境界線を決定する画像処理方
法において、撮像手段による撮像画面中の2値化処理す
べき領域を、前回決定した境界線を基準にしてその左右
両側に所定距離の幅に相当するウインドウ画像区域にな
るように逐次更新すると共に、未刈取り地を判別するた
めの2値化しきい値決定用サンプリング領域を、前記ウ
インドウ画像区域のうちの未刈取り地側において前回決
定した境界線から未刈取り地に向かって所定幅に相当す
る画像区域を除く範囲となるように逐次更新することを
特徴とする収穫機の操舵制御における画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1151299A JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1151299A JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0319606A JPH0319606A (ja) | 1991-01-28 |
JP2740265B2 true JP2740265B2 (ja) | 1998-04-15 |
Family
ID=15515649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1151299A Expired - Fee Related JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2740265B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0684027U (ja) * | 1993-05-17 | 1994-12-02 | 伊東電機株式会社 | トルクリミッタ |
KR101110272B1 (ko) * | 2008-12-08 | 2012-02-15 | (주)이코시스 | 복합 다중 구조의 포장용 블록 |
JP6716910B2 (ja) * | 2015-12-25 | 2020-07-01 | 井関農機株式会社 | 作業車両の自律走行システム |
-
1989
- 1989-06-14 JP JP1151299A patent/JP2740265B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0319606A (ja) | 1991-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2361381C2 (ru) | Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы | |
RU2747303C2 (ru) | Система для управления рабочим параметром уборочной жатки | |
EP2368419A1 (en) | A method of detecting a structure in a field, a method of steering an agricultural vehicle and an agricultural vehicle | |
BE1023183B1 (nl) | Controlesysteem voor een oogstmachine en oogstmachine | |
JP2740265B2 (ja) | 収穫機の操舵制御における画像処理方法 | |
JP2944774B2 (ja) | 自動走行作業機における画像処理方法 | |
JP2795454B2 (ja) | カラー情報による境界線の検出方法 | |
CN113727597B (zh) | 收割机等农业机械 | |
CN116437801A (zh) | 作业车、作物状态检测***、作物状态检测方法、作物状态检测程序以及记录有作物状态检测程序的记录介质 | |
JP2502981Y2 (ja) | 田植機における作物列検出画像処理装置 | |
JP2513374Y2 (ja) | 収穫機の自動操向装置 | |
JPH082730Y2 (ja) | 収穫機の自動操向装置 | |
JP2944773B2 (ja) | 自動走行作業機における画像処理方法 | |
JP3812029B2 (ja) | コンバイン等の扱深さ制御装置 | |
JP2855339B2 (ja) | コンバイン | |
JPH02110605A (ja) | 自動走行作業機の自動操舵制御における画像処理方法 | |
JPH02242406A (ja) | 農作業機における未作業地のコーナー部検出装置 | |
JP7433145B2 (ja) | 収穫機 | |
JP2024089982A (ja) | 収穫作業車両 | |
JP7423441B2 (ja) | 収穫機 | |
JP7423440B2 (ja) | 収穫機 | |
JPH02110604A (ja) | 自動操行作業機の自動操舵制御における画像情報の2値化処理装置 | |
US20240057503A1 (en) | Windrow detection device | |
JP2000166357A (ja) | 倒伏稈列検出装置 | |
JP2023040743A (ja) | 収穫機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |