JPH0319606A - 収穫機の操舵制御における画像処理方法 - Google Patents
収穫機の操舵制御における画像処理方法Info
- Publication number
- JPH0319606A JPH0319606A JP1151299A JP15129989A JPH0319606A JP H0319606 A JPH0319606 A JP H0319606A JP 1151299 A JP1151299 A JP 1151299A JP 15129989 A JP15129989 A JP 15129989A JP H0319606 A JPH0319606 A JP H0319606A
- Authority
- JP
- Japan
- Prior art keywords
- land
- area
- boundary line
- image
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 16
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 59
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 abstract 2
- 235000013339 cereals Nutrition 0.000 description 9
- 241000209094 Oryza Species 0.000 description 8
- 235000007164 Oryza sativa Nutrition 0.000 description 8
- 235000009566 rice Nutrition 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000003306 harvesting Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 101100338242 Drosophila virilis His1.1 gene Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、圃場に列状に植立された稲、麦、大豆等の当
該列に沿って走行機体を走行させて刈取り脱穀する等の
いわゆる汎用コンバインまたは普通形コンバイン等の収
穫機や、圃場に植えられた野菜等の列状に沿って走行機
体を走行させて収穫する収穫機を、前記稲等の被検出物
の列に沿うように倣って走行させるために、これらの被
検出物を撮像した画像データを画像処理する方法に関す
るものである。
該列に沿って走行機体を走行させて刈取り脱穀する等の
いわゆる汎用コンバインまたは普通形コンバイン等の収
穫機や、圃場に植えられた野菜等の列状に沿って走行機
体を走行させて収穫する収穫機を、前記稲等の被検出物
の列に沿うように倣って走行させるために、これらの被
検出物を撮像した画像データを画像処理する方法に関す
るものである。
圃場に植立した稲列に沿ってコンバインを前進走行させ
、当該稲列を複数条づつ刈取るように、当該コンバイン
を自動操舵走行させるに際して、未刈取地と既刈取地と
の境界線を検出する技術として、例えば特開昭62−1
22507号公報では、コンバインに搭載したビデオカ
メラを、当該コンバインの進行前方向の未刈取地と既刈
取地との両範囲にわたって撮1象できるようにriii
方下向きに配設し、ビデオカメラにて撮像した画像デー
タを2値化処理して前記境界線を抽出する技術を提案し
ている。
、当該稲列を複数条づつ刈取るように、当該コンバイン
を自動操舵走行させるに際して、未刈取地と既刈取地と
の境界線を検出する技術として、例えば特開昭62−1
22507号公報では、コンバインに搭載したビデオカ
メラを、当該コンバインの進行前方向の未刈取地と既刈
取地との両範囲にわたって撮1象できるようにriii
方下向きに配設し、ビデオカメラにて撮像した画像デー
タを2値化処理して前記境界線を抽出する技術を提案し
ている。
この先行技術において、前記ビデオカメラにて撮像され
た撮像画面全体に含まれた画像データすべてを2値化処
理し2たのち境界線を検出するという特徴抽出処理を実
行していたので、−つの撮像画面(1フレームという)
を特徴抽出処理するのに多くの時間を要し、自動操舵を
迅速珪つ的確に実行できないという問題があった。
た撮像画面全体に含まれた画像データすべてを2値化処
理し2たのち境界線を検出するという特徴抽出処理を実
行していたので、−つの撮像画面(1フレームという)
を特徴抽出処理するのに多くの時間を要し、自動操舵を
迅速珪つ的確に実行できないという問題があった。
また、ある程度圃場の左右両側の広い範囲↓こわたって
撮像しなければ、未刈取地と既刈取地との境界線を検出
することができない。
撮像しなければ、未刈取地と既刈取地との境界線を検出
することができない。
そこで、所定の視界を有するレンズ系を用いて圃場の左
右両側の広い範囲を撮像して画面に取り込むと、得られ
た撮像画面中に例えば圃場際の畦等の余分な対象が撮像
されたり、背景部分の余分のノイズ威分が入り込むこと
になり、画像データから2値化等の特徴抽出処理するに
際して このような余分の幻象物を判別して除外したり
、背景部分のノイズ或分を除去するための前処理も紮雑
となるという問題があった。
右両側の広い範囲を撮像して画面に取り込むと、得られ
た撮像画面中に例えば圃場際の畦等の余分な対象が撮像
されたり、背景部分の余分のノイズ威分が入り込むこと
になり、画像データから2値化等の特徴抽出処理するに
際して このような余分の幻象物を判別して除外したり
、背景部分のノイズ或分を除去するための前処理も紮雑
となるという問題があった。
さらに、二1ンパインの操舵につれてヒ゛デオカメラの
撮像方向も左右に変化するので、未刈取り地と既刈取り
地との境界線が撮像される位置も左右に変動するのであ
るから、前記ビデオカメラによる撮像両面のうち画像処
理すべき範囲を固定的ム.二カソl−すると、前記境界
線を見失うおそれがある。
撮像方向も左右に変化するので、未刈取り地と既刈取り
地との境界線が撮像される位置も左右に変動するのであ
るから、前記ビデオカメラによる撮像両面のうち画像処
理すべき範囲を固定的ム.二カソl−すると、前記境界
線を見失うおそれがある。
そして、この境界線を検出するに際して、尤刈取り地の
状態と既刈取り地の状態とを゛1:1j別するための、
いわゆる2値化処理にあたって2{lIll化しきい値
を決定する必要があり、そのためのサンプリング領域を
、予め撮像画面のうちの未刈取り地であろうと予定され
る個所に位置固定的に設定すると、前記境界線の左右変
動につれて、ザンブリング領域が既刈取り地や前記のよ
・ウy,;余分の背景部分に食い込むおそれがあり、そ
のよ・うなザンゾリング領域から2値化しきい値を決定
すると、以後の境界線の決定を正確乙こできないという
問題があった。
状態と既刈取り地の状態とを゛1:1j別するための、
いわゆる2値化処理にあたって2{lIll化しきい値
を決定する必要があり、そのためのサンプリング領域を
、予め撮像画面のうちの未刈取り地であろうと予定され
る個所に位置固定的に設定すると、前記境界線の左右変
動につれて、ザンブリング領域が既刈取り地や前記のよ
・ウy,;余分の背景部分に食い込むおそれがあり、そ
のよ・うなザンゾリング領域から2値化しきい値を決定
すると、以後の境界線の決定を正確乙こできないという
問題があった。
本願発明はこれらの問題を解決することをl」的とする
ものである。
ものである。
この目的を達成ずるため、本発四は、コンハイン等の収
穫機に搭載したミニ次元撮像手段にて当該収[fiによ
る進行方向前方の未刈取り地と既刈取り地とにわたって
適宜時間間隔ごとまたは適宜前進距離ごとに撮像し、該
撮像手段にて得られた画像データを画像メモリに記憶し
た後、2値化処理して前記未刈取り地と既刈取り地との
境界線を決定する画像処理方法において、撮像手段によ
る撮像画面中の2値化処理すべき領域を、前回決定し7
た境界線を基準にしてその左右両側に所定距離の%iに
相当するウイントウ画像区域になるように逐次更新する
と共に、未刈取り地を判別するための2値化しきい値決
定用ザンプリング領域を、前記ウインlζウ画像区域の
うちの未刈取り地側において前1ml決定した境界線か
ら未刈取り地に向かって?定幅に相当する画像区域を除
く範囲となろA. ■’iに逐次更新する方法を採用し
たものである。
穫機に搭載したミニ次元撮像手段にて当該収[fiによ
る進行方向前方の未刈取り地と既刈取り地とにわたって
適宜時間間隔ごとまたは適宜前進距離ごとに撮像し、該
撮像手段にて得られた画像データを画像メモリに記憶し
た後、2値化処理して前記未刈取り地と既刈取り地との
境界線を決定する画像処理方法において、撮像手段によ
る撮像画面中の2値化処理すべき領域を、前回決定し7
た境界線を基準にしてその左右両側に所定距離の%iに
相当するウイントウ画像区域になるように逐次更新する
と共に、未刈取り地を判別するための2値化しきい値決
定用ザンプリング領域を、前記ウインlζウ画像区域の
うちの未刈取り地側において前1ml決定した境界線か
ら未刈取り地に向かって?定幅に相当する画像区域を除
く範囲となろA. ■’iに逐次更新する方法を採用し
たものである。
次に本発明を汎用コンハインに適用した実施例について
説明すると、走行作業機である:Jンハイン1は走行機
体2の下面にk右一対の履4i’r式の走行装置3.3
を備え、走行機体2の前進方向に向かって右側前部には
座席付きの操縦部4を配設し、その後方にはエンジン(
図示せず)及び穀粒落積用のタンク5を備え、走行機体
2の左側には、円周外面にダブルビソチのスクリュー板
と適宜個数の抜歯とを植設した前後長手の扱胴6a笠を
内蔵した脱穀部6と、その下方に受け網8と、シーブ専
による揺動選別装置9と、唐箕ファン10の風による風
選別装置とを備える。
説明すると、走行作業機である:Jンハイン1は走行機
体2の下面にk右一対の履4i’r式の走行装置3.3
を備え、走行機体2の前進方向に向かって右側前部には
座席付きの操縦部4を配設し、その後方にはエンジン(
図示せず)及び穀粒落積用のタンク5を備え、走行機体
2の左側には、円周外面にダブルビソチのスクリュー板
と適宜個数の抜歯とを植設した前後長手の扱胴6a笠を
内蔵した脱穀部6と、その下方に受け網8と、シーブ専
による揺動選別装置9と、唐箕ファン10の風による風
選別装置とを備える。
一方、走行機体2の前面には、前記脱穀部6の前部開口
に連通ずる角筒状のフィーダハウス11を昇降用油圧シ
リンダ12を介して走行機体に列して昇降自在に装着し
てあり、該フィーダハウス11の内部には、左右長手の
搬送板を左右−・対の5 6 チェンに適宜間隔で取付けたチェンコンベヤ13を配設
し、このチェンコンヘヤ13にて後述の刈取部15から
の刈取穀稈を前記脱穀部6に搬送するものである。
に連通ずる角筒状のフィーダハウス11を昇降用油圧シ
リンダ12を介して走行機体に列して昇降自在に装着し
てあり、該フィーダハウス11の内部には、左右長手の
搬送板を左右−・対の5 6 チェンに適宜間隔で取付けたチェンコンベヤ13を配設
し、このチェンコンヘヤ13にて後述の刈取部15から
の刈取穀稈を前記脱穀部6に搬送するものである。
符号7aは、二番樋(図示せず)からの穀粒を脱穀部6
に還元するように激送する二番還元筒、符号7bは前記
タンク5内の穀粒を外部に排出するための排出筒である
。
に還元するように激送する二番還元筒、符号7bは前記
タンク5内の穀粒を外部に排出するための排出筒である
。
刈取部15は、走行機体2の全幅にわたって左右に延び
るバケノト状のブラソトホーム17と、該プラソ1・ホ
ーム17に走行機体2の全幅にわたって設けたクインハ
ー18付きのリール19とから或り、プラソトホーム1
7の下面側には同しく左右長手のバリカン状の刈刃20
を有し、プランl・ホームl7の底板上方には、矢印方
向に回転ずる横長の掻き込み用のオーガ22を備えてあ
り、伝動部を介して前記リール19及びオーガ22を回
転駆動し、且つ刈刃20を駆動する。
るバケノト状のブラソトホーム17と、該プラソ1・ホ
ーム17に走行機体2の全幅にわたって設けたクインハ
ー18付きのリール19とから或り、プラソトホーム1
7の下面側には同しく左右長手のバリカン状の刈刃20
を有し、プランl・ホームl7の底板上方には、矢印方
向に回転ずる横長の掻き込み用のオーガ22を備えてあ
り、伝動部を介して前記リール19及びオーガ22を回
転駆動し、且つ刈刃20を駆動する。
なお、符号23は刈取部15の左右両端から前向きに突
出する分草体であり、また、前記リール19は、穀稈の
倒伏状態等に応して前後移動調節及び上下揺動調節自在
に構威されている。
出する分草体であり、また、前記リール19は、穀稈の
倒伏状態等に応して前後移動調節及び上下揺動調節自在
に構威されている。
符号25は、第1図等に示すように、圃場■4に適宜間
隔にて縦横に植立した被検出物である稲の穀稈で、この
縦横に適宜間隔で植立した穀稈25に向かってコンハイ
ン1を前進させてこれらを刈取るものである。
隔にて縦横に植立した被検出物である稲の穀稈で、この
縦横に適宜間隔で植立した穀稈25に向かってコンハイ
ン1を前進させてこれらを刈取るものである。
符号24は前記操縦部4のキャビン4a前部」二端等に
取付くビデオカメラ等の撮像手段で、該撮像千段24は
そのレンズ系35の光軸35aが水平面に対して俯角θ
(実施例では略20度)で前向きに取付けられている。
取付くビデオカメラ等の撮像手段で、該撮像千段24は
そのレンズ系35の光軸35aが水平面に対して俯角θ
(実施例では略20度)で前向きに取付けられている。
また、第4図は、本発明の制御手段のブロソク図を示し
、符号27は前記撮像手段24のアナログ入力信号をデ
ジタル信号に変換するA/D変換器、符号28は画像メ
モリ、符号29は画像処理プロセッサ、符号30は中央
制御装置<c P U)、符号31は読み出し専用メモ
リ (ROM)、符号32は読み書き可能メモリ (R
AM)、符号33はI/Oユニソト、符号34はバスを
各々示す。
、符号27は前記撮像手段24のアナログ入力信号をデ
ジタル信号に変換するA/D変換器、符号28は画像メ
モリ、符号29は画像処理プロセッサ、符号30は中央
制御装置<c P U)、符号31は読み出し専用メモ
リ (ROM)、符号32は読み書き可能メモリ (R
AM)、符号33はI/Oユニソト、符号34はバスを
各々示す。
?お、中央制御装置30の指令信号に従って駆動される
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ェータにて走行機体2を左右に操舵することができる。
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ェータにて走行機体2を左右に操舵することができる。
前記ビデオカメラ等の撮像手段24は、レンズ系を通し
て得られた画像が結象する平面(撮像画面36)にCO
D固体撮像素子等から威る二次元撮像デハイスを配設し
たもので、カラー用、白黒用のいずれであっても良いが
、コンバインの稲刈取り作業での既刈取地と未刈取地と
の境界線を判別するためには、RGB表色系〔赤色(R
),緑色(G),青色(B)の原色光とし、加色により
白色が得られる〕の各色或分に■て圃場の特徴を抽出し
、この3色或分の信号出力のしきい値の組合せから、前
記既刈取地と未刈取地との境界線を決定する2値化処理
を実行することが好ましい。
て得られた画像が結象する平面(撮像画面36)にCO
D固体撮像素子等から威る二次元撮像デハイスを配設し
たもので、カラー用、白黒用のいずれであっても良いが
、コンバインの稲刈取り作業での既刈取地と未刈取地と
の境界線を判別するためには、RGB表色系〔赤色(R
),緑色(G),青色(B)の原色光とし、加色により
白色が得られる〕の各色或分に■て圃場の特徴を抽出し
、この3色或分の信号出力のしきい値の組合せから、前
記既刈取地と未刈取地との境界線を決定する2値化処理
を実行することが好ましい。
そして、前記境界線Koを検出するに際して、撮像手段
24により得られた撮像画面36全体を2値化処理して
いると、撮像画面36中に例えば圃場際の畦等の余分な
対象が撮像されたり、中割り作業時の一側の未刈地等の
余分のノイズ戒分が入り込むことになり、画像データを
2値化等の特徴抽出処理するに際して、このような余分
な対象物を判別して除外したり、ノイズ戊分を除去する
ための前処理も繁雑となる。
24により得られた撮像画面36全体を2値化処理して
いると、撮像画面36中に例えば圃場際の畦等の余分な
対象が撮像されたり、中割り作業時の一側の未刈地等の
余分のノイズ戒分が入り込むことになり、画像データを
2値化等の特徴抽出処理するに際して、このような余分
な対象物を判別して除外したり、ノイズ戊分を除去する
ための前処理も繁雑となる。
他方、コンハインを操舵制御していると、撮像画面36
中の境界線の位置も時々刻々と変化するので、撮像画面
中において2値化処理すべき領域を固定することは、そ
の境界線を見失うおそれがある。
中の境界線の位置も時々刻々と変化するので、撮像画面
中において2値化処理すべき領域を固定することは、そ
の境界線を見失うおそれがある。
そこで、本発明の画像処理としては、前記記憶された画
像データのうち、被検出平面37におLノる前記走行機
体の進行方向に沿う左右両側の適宜幅の撮像範囲に相当
する画像データを除くようなウィンドウ処理を実行する
に際して、適宜時間間隔ごと又は適宜前進距離ごとに決
定される境界線を基準にし、その最新結果である前回決
定された境界線の左右両側に所定距離の幅に相当するウ
ィンドウ画像区域になるように逐次更新するものである
。
像データのうち、被検出平面37におLノる前記走行機
体の進行方向に沿う左右両側の適宜幅の撮像範囲に相当
する画像データを除くようなウィンドウ処理を実行する
に際して、適宜時間間隔ごと又は適宜前進距離ごとに決
定される境界線を基準にし、その最新結果である前回決
定された境界線の左右両側に所定距離の幅に相当するウ
ィンドウ画像区域になるように逐次更新するものである
。
9
1〇一
まノコ、通常未刈取り地Mを撮像j..たときの穂先部
0)色彩と既刈取りlIl!!Kにおける刈取り後の排
藁の色彩とが相違ずど)ので、その相違を所定の3原色
Q)色彩値のヒス1・グ5ム等の形の違いとして把JM
L 、iii記2値化処理に際して、圃場の未刈取り
ll Mであると判別するための2値化し2きい値を決
定するのCある。そのため、前記2埴化しきい値決定用
のサンプリング領域は、未刈取り地Mとして確実に存在
する個所に設定しなければならない。
0)色彩と既刈取りlIl!!Kにおける刈取り後の排
藁の色彩とが相違ずど)ので、その相違を所定の3原色
Q)色彩値のヒス1・グ5ム等の形の違いとして把JM
L 、iii記2値化処理に際して、圃場の未刈取り
ll Mであると判別するための2値化し2きい値を決
定するのCある。そのため、前記2埴化しきい値決定用
のサンプリング領域は、未刈取り地Mとして確実に存在
する個所に設定しなければならない。
換言ず11,ば、当該未刈取り地Mの涸所の画像デタを
ザンブリングずるにお[,Mで、前記境界線Ko(2)
ilJ所に近い未刈取り地M部分でば、既刈取り地I〈
である+’J能性があり、得られた2値化しきい埴自体
が不正確になるおそれがある。
ザンブリングずるにお[,Mで、前記境界線Ko(2)
ilJ所に近い未刈取り地M部分でば、既刈取り地I〈
である+’J能性があり、得られた2値化しきい埴自体
が不正確になるおそれがある。
そこで、本発明では、前記2値化処理ずべきウ・イン1
−ウ画像区域の・)t)、未刈取り地Mにおいて境界線
Koに近い側を除く領域をサンプリング領域とするもの
である。
−ウ画像区域の・)t)、未刈取り地Mにおいて境界線
Koに近い側を除く領域をサンプリング領域とするもの
である。
以下に、穀稈の未刈取地Mにおける検査乎面37を斜め
−Lフjから撮像し7た場合のウインl・ウ処理等の画
像処理の実施例について説明する。
−Lフjから撮像し7た場合のウインl・ウ処理等の画
像処理の実施例について説明する。
この場合には、撮像丁段24にてilられた画像を二次
元撮像デハイスの撮像画面36に結像さ−0たとき、撮
像丁段24から遠くζ1こある物は小さく写り、近くに
ある物は大きく写る。
元撮像デハイスの撮像画面36に結像さ−0たとき、撮
像丁段24から遠くζ1こある物は小さく写り、近くに
ある物は大きく写る。
つまり、第2図及び第3図に示すように被検出平而37
(撮像手段24から垂直丁方距離hにあるとする)に
おUる矩形状の撮像領域(Ao,Bo,CoDo )は
、第5図に示すように撮像両面3Gにおいて、その下辺
側で左右↓こg<、J−辺側て左右に短い台形状の像(
A,B,C,D )になる。
(撮像手段24から垂直丁方距離hにあるとする)に
おUる矩形状の撮像領域(Ao,Bo,CoDo )は
、第5図に示すように撮像両面3Gにおいて、その下辺
側で左右↓こg<、J−辺側て左右に短い台形状の像(
A,B,C,D )になる。
また、通常のl/ンズ系では、撮像画面36に結像させ
た像は倒立像となるが、以下の説り1では、理解を容易
にするため正立像におきかえた状態にて説明する。
た像は倒立像となるが、以下の説り1では、理解を容易
にするため正立像におきかえた状態にて説明する。
第9図は、本発明の画像処理のフ「フーチャ−1〜を示
し、スクー1−に続くステソブS1で以1ζのような座
標変換計算を実行する。
し、スクー1−に続くステソブS1で以1ζのような座
標変換計算を実行する。
まず、被検出平面37と撮像画面36との座標関係につ
いて説明すると、第8図乙こおいて、直交(X.Y.Z
)座標系における原点である0点を撮像手段24乙こお
ける焦点距離fのレンズ系35の仮想し・ンズ中心とし
、X軸は撮像手段24の左右方向に沿い、Y軸ぱ撮像手
段24の縦方向に沿わせる一方、Z軸を前記I/ンズ系
35の光軸35aと一致させる。
いて説明すると、第8図乙こおいて、直交(X.Y.Z
)座標系における原点である0点を撮像手段24乙こお
ける焦点距離fのレンズ系35の仮想し・ンズ中心とし
、X軸は撮像手段24の左右方向に沿い、Y軸ぱ撮像手
段24の縦方向に沿わせる一方、Z軸を前記I/ンズ系
35の光軸35aと一致させる。
撮像丁段24における二次元撮像デハイスの撮像画面3
6は、被写体が明瞭に結像するために、前記0点からZ
軸に沿って焦点距離fの位置におく。従って撮像画面3
6は直交cx,y,z>座標系におけるX−Y平面と平
行な平面となる。
6は、被写体が明瞭に結像するために、前記0点からZ
軸に沿って焦点距離fの位置におく。従って撮像画面3
6は直交cx,y,z>座標系におけるX−Y平面と平
行な平面となる。
一・方、穀稈25の穂先部を含む水平面を被検出平面3
7とし、この被検出平面37と前記Z軸との交角(撮像
手段の俯角に相当する)をθとする。
7とし、この被検出平面37と前記Z軸との交角(撮像
手段の俯角に相当する)をθとする。
前記被検出平面37上の被検出点′Foが撮像手段24
にて撮像したとき、その結像点Tは、前記]゛o点との
点とを結ふ直線Vが撮像画面36と交差ずる点となる。
にて撮像したとき、その結像点Tは、前記]゛o点との
点とを結ふ直線Vが撮像画面36と交差ずる点となる。
前記直交(X.Y.Z)座標系において、T点の座標を
(xo, yo, zo)とすると、前記直線■の方程
式は、 (X −xo) / (2 = (Y−yO) /m
− (Z −zo)/n・・・・(1) ここで、j!,m,nは方向余弦であり、e =xo/
I− . m =yo/ L , n =zo/
L1− = (xo) + (yo) 4− (zo)
これらの式で、被検出物からレンズ系までの距離に比べ
て焦点距Mrぱ極めて小さいので、zo=f (定数
)として良い。
(xo, yo, zo)とすると、前記直線■の方程
式は、 (X −xo) / (2 = (Y−yO) /m
− (Z −zo)/n・・・・(1) ここで、j!,m,nは方向余弦であり、e =xo/
I− . m =yo/ L , n =zo/
L1− = (xo) + (yo) 4− (zo)
これらの式で、被検出物からレンズ系までの距離に比べ
て焦点距Mrぱ極めて小さいので、zo=f (定数
)として良い。
他方、前記被検出平面37が仮想レンズ中心○点から下
方にhの位置にあり、撮像手段の俯角をθとするとき、
前記直交(X.Y.Z)座標系において被検出平面37
の方程式は、 cos θ−Y −sin θ・Z+h=O −・・
・(2+で表すことができる。
方にhの位置にあり、撮像手段の俯角をθとするとき、
前記直交(X.Y.Z)座標系において被検出平面37
の方程式は、 cos θ−Y −sin θ・Z+h=O −・・
・(2+で表すことができる。
前記直線■と被検出乎面37との交点であるTO点の座
標(xf,yf,zf)は、前記(1+と(2)式から
、13 14 となる。
標(xf,yf,zf)は、前記(1+と(2)式から
、13 14 となる。
次に被検出平面37を別の直交座標系(X″Y“,Z″
)におけるX ″一Y ”平面であると考え、この座標
系において、前記被検出平面37上のTo点の座標を(
xf ″+yf “ ,fN’> とすれば、座標変
換(平行移動と回転による)を実行することにより、 となる。
)におけるX ″一Y ”平面であると考え、この座標
系において、前記被検出平面37上のTo点の座標を(
xf ″+yf “ ,fN’> とすれば、座標変
換(平行移動と回転による)を実行することにより、 となる。
即ち、被検出平面37上の被検出物(被写体)のTo点
〔座標(xf″,yf″)〕は撮像手段24における撮
像画面36上で座標(xo,yo )のT点に結像され
る関係となるのである。
〔座標(xf″,yf″)〕は撮像手段24における撮
像画面36上で座標(xo,yo )のT点に結像され
る関係となるのである。
この変換式(4)により、撮像画面36上の座標(xo
,yo)から被検出平面37上の座標(xf”,yf
″)の計算(またはその反対の計算)をすることができ
るのである。
,yo)から被検出平面37上の座標(xf”,yf
″)の計算(またはその反対の計算)をすることができ
るのである。
るようにした場合には、前述の座標変換は簡単になる。
このように、被検出平面37上の座標と撮像画面36上
の座標との1対1の関係を知ることができるから、撮像
歯面36に撮像された未刈取り地Mから既刈取り地Kに
わたる範囲のうち、2値化処理すべき領域、つまりウィ
ンドウ画像区域Wを設定する前段階として、ステップS
2では次のような演算を実行しておく。
の座標との1対1の関係を知ることができるから、撮像
歯面36に撮像された未刈取り地Mから既刈取り地Kに
わたる範囲のうち、2値化処理すべき領域、つまりウィ
ンドウ画像区域Wを設定する前段階として、ステップS
2では次のような演算を実行しておく。
つまり、本発明では、第6図及び第7図の関係で示すよ
うに、被検出平面37上での未刈取り地Mと既刈取り地
Kとの境界線KOを基準にして未刈取り地M側に所定幅
Haまで、及び既刈取り地K側に所定幅HO迄の区域(
第6図のA o + B o + C o + Do,
Eo,Foで囲まれる区域)に対応する撮像画面36上
での2値化処理すべき領域(第7図のA,B,CD,
E, Fで囲まれる区域)をウィンドウ画像区域Wにす
る。
うに、被検出平面37上での未刈取り地Mと既刈取り地
Kとの境界線KOを基準にして未刈取り地M側に所定幅
Haまで、及び既刈取り地K側に所定幅HO迄の区域(
第6図のA o + B o + C o + Do,
Eo,Foで囲まれる区域)に対応する撮像画面36上
での2値化処理すべき領域(第7図のA,B,CD,
E, Fで囲まれる区域)をウィンドウ画像区域Wにす
る。
従って、前記未刈取り地M側の境界の座標に対応ずる撮
像画面36上でのウィンドウ画像区域の左側境界の座標
及び既刈取り地K側の境界の座標に対応する撮像画面3
6上でのウィンドウ雨像区域Wの右側境界の座標を円滑
に演算する必要がある。
像画面36上でのウィンドウ画像区域の左側境界の座標
及び既刈取り地K側の境界の座標に対応する撮像画面3
6上でのウィンドウ雨像区域Wの右側境界の座標を円滑
に演算する必要がある。
そこで、今被検出平面37上での境界線Koから左右両
側に所定幅Ho(eλ)(実施例では2.5Ci)の検
査領域を設定すると、これに対応する撮像画面36のウ
ィンドウ画像区域Wの左右幅はHとなるので、第6図に
示す検出平面37上での直線Ao−Bo及び直線Fo−
Eoは第7図における撮像画面36上の直線八一6及び
直線F −Eに対応していることになる。
側に所定幅Ho(eλ)(実施例では2.5Ci)の検
査領域を設定すると、これに対応する撮像画面36のウ
ィンドウ画像区域Wの左右幅はHとなるので、第6図に
示す検出平面37上での直線Ao−Bo及び直線Fo−
Eoは第7図における撮像画面36上の直線八一6及び
直線F −Eに対応していることになる。
そこで、撮像画面36上の境界線K o/から左右両側
に幅Hだけ横にずれた位置としてのX座標(mask−
w [y ] )を、予め配列概念(配列とは同じ特性
をもち、定められた規則に従って並べられた要素の集ま
りから成る文法単位)にて演算設定し、記憶させてお《
。
に幅Hだけ横にずれた位置としてのX座標(mask−
w [y ] )を、予め配列概念(配列とは同じ特性
をもち、定められた規則に従って並べられた要素の集ま
りから成る文法単位)にて演算設定し、記憶させてお《
。
同様に、被検出平面37上での境界線Koから未刈取り
地M側に所定幅So (Ci) (実施例では1.0
e;)と設定し、この区域(第6図でKO線とGo−J
oを結ぶ線で囲まれた区域)を、第6図の八〇Bo,
Go, Do, Eo, Foで囲まれる区域から除い
か区域を2値化しきい値決定用のサンプリング領域とす
るため、これに対応して撮像画面36上にて前記所定幅
SOに対応した幅Sだけ左横にずれた位置としてのX座
標(samρ1e−ハ[y])を、予め配列概念にて演
算設定し、記憶させておく。
地M側に所定幅So (Ci) (実施例では1.0
e;)と設定し、この区域(第6図でKO線とGo−J
oを結ぶ線で囲まれた区域)を、第6図の八〇Bo,
Go, Do, Eo, Foで囲まれる区域から除い
か区域を2値化しきい値決定用のサンプリング領域とす
るため、これに対応して撮像画面36上にて前記所定幅
SOに対応した幅Sだけ左横にずれた位置としてのX座
標(samρ1e−ハ[y])を、予め配列概念にて演
算設定し、記憶させておく。
次にステンプS3では、前記撮像画面36上でのウィン
ドウ画像区域Wにおける、 ウィンドウ左境界配列( l1lindou−1eft
[yコ)−edge−line [y ] −ma
sk−iy [y ]ウィンドウ右境界配列( win
dol1l−r4ght [yコ)=edge−1i
ne [y コ +mask−w [y
]及びサンプリング甲域におけるサンプル右境界配列(
windo+++−sample [y ] )=e
dge−line [y ] −sample−+s
[yコの初期値を設定する。
ドウ画像区域Wにおける、 ウィンドウ左境界配列( l1lindou−1eft
[yコ)−edge−line [y ] −ma
sk−iy [y ]ウィンドウ右境界配列( win
dol1l−r4ght [yコ)=edge−1i
ne [y コ +mask−w [y
]及びサンプリング甲域におけるサンプル右境界配列(
windo+++−sample [y ] )=e
dge−line [y ] −sample−+s
[yコの初期値を設定する。
ここで、エソジ配列(edge−line [y ]
)は、17 18 撮像両而36上での境界線Ko’のY座標に対するX座
標の配列をいう。
)は、17 18 撮像両而36上での境界線Ko’のY座標に対するX座
標の配列をいう。
この場合、最初は境界線KOが決定できていないので、
これに対応する撮像画面36上の境界線Ko’もない。
これに対応する撮像画面36上の境界線Ko’もない。
従って、第1回目の演算では、撮像画面36における左
右中心線を仮の境界線KOにするか、仮のエッジ配列(
edge−line [y ] )を作業者が設定し
7、前記の初期値を設定する。
右中心線を仮の境界線KOにするか、仮のエッジ配列(
edge−line [y ] )を作業者が設定し
7、前記の初期値を設定する。
このようにすると、一応2値化処理すべきウィンドウ画
像区域およびサンプリング領域がきまるので、これに基
づきステノプS4にて2値化処理を実行し、次いでステ
ソブS5にて未刈取地Mと既刈取地Kとの境界線Koを
検出する、いわゆるエノジ処理を実行するのである。
像区域およびサンプリング領域がきまるので、これに基
づきステノプS4にて2値化処理を実行し、次いでステ
ソブS5にて未刈取地Mと既刈取地Kとの境界線Koを
検出する、いわゆるエノジ処理を実行するのである。
この場合、撮像画面36上での境界線Ko’を直線と仮
定し、いわゆるハフ(tlough )変換によって仮
想的に境界線Ko’を求め、ステソプS6にてそのエソ
ジ配列(edge−line [yコ)を計算する。
定し、いわゆるハフ(tlough )変換によって仮
想的に境界線Ko’を求め、ステソプS6にてそのエソ
ジ配列(edge−line [yコ)を計算する。
前記ステノブS6にて得られたエノジ配列(edge−
line [y ] )を元に、ステノプS7にて、
ウィンドウ左境界配列( windoI1−left
[y ] )=edge−line [y ]
−mask−w [y 1ウィンドウ右境界
配列( windo+<−ri(;bt [y ]
)=edge−1ine [y ] +mask−w
[y ]サンプル右境界配列( window−sa
mple 「y ] )一elge−line [y
] −sample vr [y ]を更新し、この
結果に基づき次回の2値化処理及びサンプリング領域の
決定を実行して境界線を決定するという処理を繰り返す
のである。
line [y ] )を元に、ステノプS7にて、
ウィンドウ左境界配列( windoI1−left
[y ] )=edge−line [y ]
−mask−w [y 1ウィンドウ右境界
配列( windo+<−ri(;bt [y ]
)=edge−1ine [y ] +mask−w
[y ]サンプル右境界配列( window−sa
mple 「y ] )一elge−line [y
] −sample vr [y ]を更新し、この
結果に基づき次回の2値化処理及びサンプリング領域の
決定を実行して境界線を決定するという処理を繰り返す
のである。
以上のように、走行機体に搭載した撮像手段にて得られ
た画像データを撮像画面全体にわたって2値化処理する
のに比べ、いわゆるウイントウ画像区域という、撮像画
面の一部のみ2値化処理するので、その処理時間、ひい
ては未刈取り地と既刈取り地との境界線の決定に至まで
の処理時間を短縮させることができる。
た画像データを撮像画面全体にわたって2値化処理する
のに比べ、いわゆるウイントウ画像区域という、撮像画
面の一部のみ2値化処理するので、その処理時間、ひい
ては未刈取り地と既刈取り地との境界線の決定に至まで
の処理時間を短縮させることができる。
そして、そのウィンドウ画像区域を撮像画面中の位置と
して固定するのではなく、前回決定した境界線を基準に
して左右に所定幅を取ってウイントウ画像区域とするよ
・)に更新して設定するので、境界線が撮像画面の左右
いずれの方向にすれても見失うというおそれもないとい
う効果を奏する。
して固定するのではなく、前回決定した境界線を基準に
して左右に所定幅を取ってウイントウ画像区域とするよ
・)に更新して設定するので、境界線が撮像画面の左右
いずれの方向にすれても見失うというおそれもないとい
う効果を奏する。
さらに、2値化処理するのに必要な2値化しきい値決定
用のサンプリング領域を、前記ウィンドウ画像区域のう
ち、境界線から未刈取り地側に向かって所定幅に相当す
る画像区域を除いた領域とするので、換言すれば、未刈
取り地側の区域において境界線に近い側のウイントウ画
像区域を外し、境界線から遠い側の未刈取り地側のウィ
ンドウ画像区域をザンブリング領域とするのだから、未
刈取り地とし7て確実に存在する個所の画像データから
2値化しきい値決定のためのデータを得ることができ、
境界線を正確に得ることができる。
用のサンプリング領域を、前記ウィンドウ画像区域のう
ち、境界線から未刈取り地側に向かって所定幅に相当す
る画像区域を除いた領域とするので、換言すれば、未刈
取り地側の区域において境界線に近い側のウイントウ画
像区域を外し、境界線から遠い側の未刈取り地側のウィ
ンドウ画像区域をザンブリング領域とするのだから、未
刈取り地とし7て確実に存在する個所の画像データから
2値化しきい値決定のためのデータを得ることができ、
境界線を正確に得ることができる。
これらの結果、農作業機の自動操舵を迅速且つ的確に実
行できる効果を奏する。
行できる効果を奏する。
第1図はコンハインの平面図、第2図は側面図、第3図
は撮像範囲を示す平面図、第4図は制御装置のブロソク
図、第5図は第3図の撮像範囲に対するウィンドウ画像
区域の説明図、第6図は実施例における撮像範囲の平面
図、第7図は第6図の撮像範囲に対するウィンドウ画像
区域及びザンブリング領域の説明図、第8図ば撮像手段
と被検出平面との関係を示す説明図、第9図はフローチ
ャートである。 1・・・・コンハイン、2・・・・走行機体、15・・
・刈取部、24・・・・撮像手段、25・・・・穀稈、
29・・・・画像処理ブロセソサ、30・・・・中央制
御装置、36・・・・撮像画面、37・・・・被検出平
面。
は撮像範囲を示す平面図、第4図は制御装置のブロソク
図、第5図は第3図の撮像範囲に対するウィンドウ画像
区域の説明図、第6図は実施例における撮像範囲の平面
図、第7図は第6図の撮像範囲に対するウィンドウ画像
区域及びザンブリング領域の説明図、第8図ば撮像手段
と被検出平面との関係を示す説明図、第9図はフローチ
ャートである。 1・・・・コンハイン、2・・・・走行機体、15・・
・刈取部、24・・・・撮像手段、25・・・・穀稈、
29・・・・画像処理ブロセソサ、30・・・・中央制
御装置、36・・・・撮像画面、37・・・・被検出平
面。
Claims (1)
- (1)、コンバイン等の収穫機に搭載した二次元撮像手
段にて当該収穫機による進行方向前方の未刈取り地と既
刈取り地とにわたって適宜時間間隔ごとまたは適宜前進
距離ごとに撮像し、該撮像手段にて得られた画像データ
を画像メモリに記憶した後、2値化処理して前記未刈取
り地と既刈取り地との境界線を決定する画像処理方法に
おいて、撮像手段による撮像画面中の2値化処理すべき
領域を、前回決定した境界線を基準にしてその左右両側
に所定距離の幅に相当するウィンドウ画像区域になるよ
うに逐次更新すると共に、未刈取り地を判別するための
2値化しきい値決定用サンプリング領域を、前記ウィン
ドウ画像区域のうちの未刈取り地側において前回決定し
た境界線から未刈取り地に向かって所定幅に相当する画
像区域を除く範囲となるように逐次更新することを特徴
とする収穫機の操舵制御における画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1151299A JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1151299A JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0319606A true JPH0319606A (ja) | 1991-01-28 |
JP2740265B2 JP2740265B2 (ja) | 1998-04-15 |
Family
ID=15515649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1151299A Expired - Fee Related JP2740265B2 (ja) | 1989-06-14 | 1989-06-14 | 収穫機の操舵制御における画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2740265B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0684027U (ja) * | 1993-05-17 | 1994-12-02 | 伊東電機株式会社 | トルクリミッタ |
KR101110272B1 (ko) * | 2008-12-08 | 2012-02-15 | (주)이코시스 | 복합 다중 구조의 포장용 블록 |
JP2017117257A (ja) * | 2015-12-25 | 2017-06-29 | 井関農機株式会社 | 作業車両の自律走行システム |
-
1989
- 1989-06-14 JP JP1151299A patent/JP2740265B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0684027U (ja) * | 1993-05-17 | 1994-12-02 | 伊東電機株式会社 | トルクリミッタ |
KR101110272B1 (ko) * | 2008-12-08 | 2012-02-15 | (주)이코시스 | 복합 다중 구조의 포장용 블록 |
JP2017117257A (ja) * | 2015-12-25 | 2017-06-29 | 井関農機株式会社 | 作業車両の自律走行システム |
Also Published As
Publication number | Publication date |
---|---|
JP2740265B2 (ja) | 1998-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2361381C2 (ru) | Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы | |
RU2747303C2 (ru) | Система для управления рабочим параметром уборочной жатки | |
US9107344B2 (en) | Control system of agricultural vehicle with goods carrier, agricultural vehicle, and method of controlling goods carrier of agricultural vehicle | |
RU2520148C2 (ru) | Система управления для сельскохозяйственного транспортного средства, сельскохозяйственное транспортное средство и способ управления управляемым средством транспортировки продукта | |
US8706341B2 (en) | Method of detecting a structure in a field, a method of steering an agricultural vehicle and an agricultural vehicle | |
WO2021261343A1 (ja) | 収穫機、収穫機の制御システム、収穫機の制御方法、収穫機の制御プログラム、及び、記録媒体 | |
JP2944774B2 (ja) | 自動走行作業機における画像処理方法 | |
JPH0319606A (ja) | 収穫機の操舵制御における画像処理方法 | |
WO2022123889A1 (ja) | 作業車、作物状態検出システム、作物状態検出方法、作物状態検出プログラム、及び作物状態検出プログラムが記録されている記録媒体 | |
JP6845485B2 (ja) | 玉葱収穫用作業機及び玉葱収穫作業方法 | |
JP2740268B2 (ja) | 走行作業機の操舵制御における画像情報の2値化処理装置 | |
JP2795454B2 (ja) | カラー情報による境界線の検出方法 | |
CN113727597B (zh) | 收割机等农业机械 | |
JP2003000031A (ja) | 果実の検出方法 | |
EP4262351A1 (en) | System and method of assisted or automated grain unload synchronization | |
JP2513374Y2 (ja) | 収穫機の自動操向装置 | |
JP3812029B2 (ja) | コンバイン等の扱深さ制御装置 | |
JP2944773B2 (ja) | 自動走行作業機における画像処理方法 | |
JPH082730Y2 (ja) | 収穫機の自動操向装置 | |
JPH02110605A (ja) | 自動走行作業機の自動操舵制御における画像処理方法 | |
JPH02110604A (ja) | 自動操行作業機の自動操舵制御における画像情報の2値化処理装置 | |
US20240057503A1 (en) | Windrow detection device | |
JP2855339B2 (ja) | コンバイン | |
WO2022000878A1 (zh) | 自动行走设备及其控制方法及可读存储介质 | |
JP2000166357A (ja) | 倒伏稈列検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |