JPH0646886B2 - 自動走行作業車の操向制御装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、撮像手段によって車体の進行方向前方所定範
囲の作業地状態を撮像し、その撮像画像情報を、その各
画素の明度に基づいて２値化する２値化手段、その２値
化手段の情報に基づいて未処理作業地と処理済作業地と
の境界に対応する撮像画像情報上の線分を検出する境界
検出手段、および、この境界検出手段による境界検出結
果に基づいて、車体が前記境界に沿って自動的に走行す
るように操向する制御手段を備えた自動走行作業車の操
向制御装置に関する。

〔従来の技術〕

かかる操向制御装置は、未処理作業地と処理済作業地と
の境界に沿って走行しながら作業を行うことになる作業
車を、前記境界に沿って自動走行させるために用いられ
るものである。

そして、従来では、フォトインタラプタ式や光反射式の
無接触式のセンサまたは接触式のセンサなどを用いて、
境界を検出するようにしていた。（例えば特開昭60-186
202号公報参照） しかしながら、従来では、車体進行方向に沿う線状に存
在する境界のうちの一点のみを検出するものであるた
め、例えば、境界が部分的に凹凸しているような場合、
本来は車体を直進させた方が良いにも抱らず不必要に車
体を操向させてしまうことになる等、検出される情報が
車体の操向制御情報とて不適な情報となる場合があっ
た。しかも、境界のうちの一部の明確でない部分が存在
すると、誤検出を起こす虞もあり、そして、それに伴っ
て誤った操向制御が行われるものとなるのであり、境界
に部分的に凹凸が存在していたり、境界の一部に不明確
な部分があっても、適正な情報を検出できる境界検出手
段が望まれていた。

そこで、本出願人は、車体進行方向前側の作業地の所定
の範囲を撮像した画像情報を、その各画素の明度に基づ
いて２値化することによって、前記境界を連続した線と
して検出する手段を、先に提案してある（特願昭５９−
２１１６３７号）。

〔発明が解決しようとする問題点〕

上記画像情報を各画素の明度に基づいて２値化すること
によって境界を検出する境界検出手段は、未処理作業地
と処理済作業地との明度の違いより、境界を判別しよう
とするものである。

このため、画像全域において、未処理作業地と処理済作
業地とが、明度値の違いにより明確に分離されなけれ
ば、誤検出が多くなるという不都合がある。つまり、例
えば処理済作業地内に暗く見える部分があったり、未処
理作業地内に明るく見える部分があると、未来の境界と
区別するできなくという不都合がある。

本発明は、上記実状に鑑みて為されたものであって、そ
の目的は、撮像手段を有効利用しながら上記要望を満足
させるようにし、しかも、撮像手段を用いるに伴い必要
となる画像処理を高速で能率良く行わせることができる
境界検出手段を備えた自動走行作業車の操向制御装置を
提供する点にある。

〔問題点を解決するための手段〕

本発明による自動走行作業車の操向制御装置の特徴構成
は、前記２値化手段が、前記撮像画像情報の各画素の車
体横幅方向に沿う方向での明度変化に対応する微分値を
演算する微分値演算手段、その微分値の正負符号を判別
する微分値符号判別手段、前記微分値の正負符号の何れ
か一方を選択する符号選択手段、および、前記微分値符
号判別手段による判別符号のうちの前記符号選択手段に
て選択された符号の微分値変化が所定の値以上である画
素を抽出する抽出手段を備えている点に特徴を有し、そ
の作用ならびに効果は以下の通りである。

〔作用〕

すなわち、車体進行方向前方側の所定範囲を撮像し、そ
の撮像画像情報の各画素の車体横幅方向に沿う方向での
明度変化に対応する微分値を求め、その微分値のうち符
号選択手段にて選択された方側の符号（正又は負）を示
す微分値のみを抽出し、更に、その抽出された微分値が
所定の値以上であるものを抽出することによって画像情
報を２値化し、その２値化画像情報により最小自乗法や
Haugh変換にて境界に対応する直線を検出するのであ
る。

このときの符号選択手段にて選択される符号は、車体進
行方向に対する未処理作業地と処理済作業値との位置関
係により決定されるものである。

つまり、例えば、第４図中(b)に示すように車体進行方
向右側に処理済作業地を隣接する場合には、撮像画像
は、第２図(イ)に示すように、明度変化が暗→明となる
負(-)の微分値を示すことになるので、前記符号選択手
段は、車体進行方向右側に処理済作業地を隣接する場合
には、負を選択するように構成されており、車体進行方
向左側に処理済作業地を隣接する場合には、正を選択す
るように構成されている。

但し、上述の微分値の符号は、明度変化が明→暗を正
（＋）の微分値、暗→明を負（−）の微分値として規定
した場合を示している。

ちなみに、上記撮像画像情報が、車体進行方向前方側の
所定範囲の作業地の状況に対応するものであるから、上
述の如く検出される境界線は、車体進行方向に沿う線状
に存在する境界のうちの一部ではあるものの、車体進行
方向に沿う長さを有する境界部分に対応するものとな
る。

又、車体が境界に沿って走行するものであるため、境界
は車体進行方向に沿って存在することになり、そして、
境界を車体横巾方向に沿う明度変化にて検出できる点に
着目すると共に、その点を有効利用して、各画素の車体
横巾方向に沿う方向での明度変化に対応する微分値を演
算しながら検出させるようにしてあるので、例えば、各
画素の車体前後方向に沿う方向での明度変化の微分値を
も演算しながら検出させるようにするに較べて、車体前
後方向に沿う方向でのノイズ成分を予め除去して２値化
することができ、且つ、車体前後方向に沿う方向での演
算及び画像処理を省略することができるのである。

しかも、車体横巾方向に沿う方向での明度変化に対応す
る微分値のうち、一方の符号を示す微分値のみを演算し
ながら検出させるようにしてあるので、他方の符号を示
す微分値に含まれるノイズ成分を予め除去して２値化す
ることができると共に、他方の符号を示す微分値での演
算処理及び画像処理をも省略することができるのであ
る。

つまり、撮像画像情報より、車体前後方向に沿う方向で
のノイズ成分及び前記他方の符号を示す微分値に含まれ
るノイズ成分を予め除去して２値化することができるの
である。

〔発明の効果〕

従って、撮像画像情報より、車体前後方向に沿う方向で
のノイズ成分及び前記他方の符号を示す微分値に含まれ
るノイズ成分を予め除去して２値化することができるの
で、撮像画像上に、２値化した後には除去することが困
難な情報、つまり、境界と誤判断し易い情報があって
も、換言すると、処理済み作業地内に暗く見える部分が
あっても、又は未処理作業地内に明るく見える部分があ
っても、車体前後方向に沿う方向及び他方の符号を示す
微分値に含まれるそれらの誤判断し易い情報を予め効率
良く除去することができ、その結果、誤判断し易い情報
により間違った境界情報を得ることを回避して、より正
確な境界情報を得ることができるのである。

しかも、余分な演算処理及び画像処理を省略することに
より各処理の高速化を図ることができるので、高速走行
する車体にも適用できるものとなる。つまり、境界検出
のために車体を低速走行させねばならないような不利を
回避できるのである。

もって、車体の操向制御面で優れた情報を、車体の走行
面での不利をもたらすことなく検出することがきる自動
走行作業車の走行制御装置を得るに至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第５図および第６図に示すように、前輪(2)，(2)および
後輪(3)，(3)のいずれをもステアリング操作可能に構成
された車体(1)の中間部にディスク型刈刃を内装した芝
刈装置(4)を上下動自在に懸架するとともに、各工程の
走行コースを示す芝地の未処理作業地としての未芝地
(B)と処理済作業地としての既刈地(C)との境界(L)を検
出する後記構成になる境界検出手段としての倣いセンサ
(A)を設け、この倣いセンサ(A)による境界検出結果に基
づいて操向制御することによって、前記境界(L)に沿っ
て自動走行可能な自動走行作業車としての芝刈作業車を
構成してある。

前記倣いセンサ(A)を構成するに、第１図にも示すよう
に、撮像手段としてのモニタカメラ(5)を、その撮像視
野が、車体(1)の進行方向前方側で、且つ、走行すべき
目標境界(L₀)を中心とする所定範囲の芝地(D)となるよ
うに、車体(1)前方上方に向かって延設されたセンサ支
持フレーム(6)の先端部に設け、このモニタカメラ(5)に
よる撮像画像を制御装置(8)によって画像処理して、境
界(L)に対応する直線（但し、以下の説明においては検
出境界(L)と記載する場合もある。）を検出させるよう
にしてある。尚、前記制御装置(8)は、操向制御作動の
処理も併せて行うものであって、具体的には、目標境界
(L₀)に対する検出境界(L)のずれ量(X)とずれ角(θ)を求
めて、前記検出境界(L)と目標境界(L₀)とが一致するよ
うに、つまり、検出境界(L)が前記モニタカメラ(5)の車
体(1)に対して前後方向の視野中心に位置するように、
走行方向を修正すべくステアリング操作を制御するので
ある。

以下、前記モニタカメラ(5)による撮像画像より境界(L)
を検出する構成を、第１図に示すブロック図、第２図に
示す画像信号の説明図、および、第３図に示すフローチ
ャートに基づいて詳述しながら説明を加える。

つまり、前記制御装置(8)によって、前記モニタカメラ
(5)による撮像画像情報（以下原画像信号(S₀)と記載す
る）に基づいて、各画素の車体横巾方向に沿う方向での
明度変化に対応する微分値を演算する微分値演算手段、
その微分地の正負符号を判別する微分値符号判別手段、
微分値の正負符号の何れか一方を選択する符号選択手
段、前記微分値演算手段からの微分値のうち前記符号選
択手段にて選択された符号を示す微分値が所定値以上で
ある画素を抽出する抽出手段を備える２値化手段、及
び、その２値化手段からの画像情報（以下２値化画像(S
₀)と記載する）に基づいて境界(L)に対応する直線を求
める境界検出手段が構成され、そして、各手段に対応す
る処理が、次に述べる如く順次実行される。

但し、前記原画像信号(S₀)は予め平均化処理され、その
平均化画像信号(S₁)が前記微分値演算手段にて微分処理
されるようにしてある。

又、本実施例では、明度変化が明→暗に変化するものを
正（＋）の微分値、暗→明に変化するものを負（−）の
微分値として規定している。

尚、前記符号選択手段にて選択される符号は、車体(1)
の進行方向に対する未処理作業地と処理済作業値との位
置関係により決定されるものであり、第３図に示すよう
に、処理済作業値(C)の位置が左右何方であるかを、例
えば手動で初期入力することにより、作業開始時の微分
値の符号を正（＋），負（−）何れからの符号に予め選
択設定しておき、車体(1)が１８０度方向転換する度
に、選択される符号の正負が自動的に逆転するように構
成されている。

つまり、作業開始時において、処理済作業地(C)の位置
の方向を、例えば右側と初期入力すると、符号選択手段
にて選択されるべき符号は、負（−）に初期設定され
る。

さらに、前記原画像信号(S₀)は、フレームメモリ(7)に
一旦記憶されるものである。

そして、前記フレームメモリ(7)に記憶された原画像信
号(S₀)（第２図(イ)に示す）を、例えば各画素の明度を
その周囲の所定画素数で区画された領域の平均値に順次
置き換えるというような処理を行うことによって、平均
化して、第２図(ロ)に示すようにぼかした平均化画像
(S₁)を得る。

尚、前記モニタカメラ(5)の視野(D)は、第５図および第
６図にも示すように、車体(1)上方より前方下方の作業
値を斜めに見下ろすようになるため、車体(1)より前方
に扇形に広がるものとなり、撮像された原画像信号(S₀)
は、車体(1)より遠方となる部分（第２図中上側）の画
素密度が車体(1)に近い部分（第２図中下側）より粗く
なる。従って、このまま一様に平均化すると、画像下方
より上方ほど過平均され、その結果下方はノイズが多
く、上方は不必要にぼけた画像となるので、前記平均化
は画像上、下方より上方に向かって平均化密度が粗くな
るように処理している。

次に、第２図(ロ)に示すような平均化画像(S₁)より、第
２図(ハ)に示すような２値化画像(S₂)を得るための処理
が実行される。

つまり、平均化画像(S₁)より車体横幅方向の明度変化に
対応する微分値を求め、その微分値のうち、車体(1)の
進行方向と作業地状況の関係が、車体(1)右側に処理済
作業地(C)を隣接して未処理作業地(B)上を走行する場合
には、微分値の符号が第２図中左側より右側方向に暗→
明になる負（−）の微分値のみ抽出し、その抽出した負
（−）の微分値の情報のうち微分値が所定の値以上であ
る画素を抽出して２値化することによって、第２図(ハ)
に示すような、未刈地(B)と既刈地(C)との境界(L)部分
が明るい２値化画像(S₂)を得るのである。

従って、第２図(ロ)中(L′)で示す画像情報のうち車体横
幅方向の微分値が正(+)となる明→暗の変化部を、ノイ
ズとして予め除去することとなる。

尚、第４図に示すように、車体(1)進行方向は、隣接し
た各行程を行程端で180度方向転換して順次往復走行す
る場合には、車体(1)と処理済作業地(C)との位置関係が
一行程毎に左右反転するので、方向転換の終了とともに
前記明度変化を判別する微分値の符号を正負切換えるよ
うにして、つまり、第４図中(b)に示すように車体(1)右
側に処理済作業地(C)を隣接する場合（第２図(イ)に示す
ような撮像画像の場合）は、明度変化が暗→明となる負
(-)の微分地の情報のみを抽出し、又、第４図中(a)に示
すように車体(1)左側に処理済作業地(C)を隣接する場合
（第２図(ニ)に示すような撮像画像の場合）は、明度変
化が明→暗となる正(+)の微分値の情報のみを抽出する
ようにして、２値化前の不要なノイズ成分を予め除去す
るようにしている。

そして、第２図(ハ)に示す前記２値化画像(S₂)より、最
小自乗法やHaugh変換を用いて、境界(L)に対応する直線
を求めるのである。

尚、最小自乗法とは、各画素との距離の累積が最も小さ
くなる直線を求めるものであり、又、Haugh変換とは、
各画素を通る直線のうち最も多数の画素を通る直線を求
めるものであるが、第２図(ハ)に示す２値化画像(S₂)の
L,L′を含んだデータを最小自乗法又はHaugh変換にて処
理して直線を求めると、その直線が境界(L)に対応する
直線となるのである。

従って、第２図(ハ)に示す２値化画像(S₂)中のデータ(L,
L′）よりノイズ部分(L′)を除去して、境界(L)に対応
する直線を求めることができる、つまり、未処理作業地
内の明るく見える部分(L′)を本来の境界(L)と区別する
ことができるのである。尚、処理済作業地内の暗く見え
る部分においても、未処理作業地の明るく見える部分
(L′)と同様に処理することにより、本来の境界(L)と区
別することできることとなる（詳細は省略）。

そして、境界線検出の処理が終了したのちは、上述の如
く、操向制御作動の処理が実行されることになる。

つまり、第５図に示すように車体(1)が沿うべき目標境
界(L₀)に対する検出境界(L)のずれ量(X)とずれ角(θ)を
演算する。

そして、前記演算によって算出されたずれ量(X)に基づ
いて、前記前・後輪(2)，(3)を同一方向にステアリング
操作して、車体(1)をその向きを変えること無く平行移
動させた後、前記ずれ角(θ)に基づいて、前記前・後輪
(2)，(3)が相対的に逆方向となるようにステアリング操
作して車体(1)の目標境界(L₀)に対する向きを修正し
て、前記検出境界(L)と目標境界(L₀)とが前記モニタカ
メラ(5)の視野内において一致するように、つまり、車
体(1)が目標境界(L₀)に沿うように制御するのである。

従って、不連続な境界、局所的に曲がった境界、芝地に
ムラがあって不明確な境界、などが検出されたとして
も、連続した境界(L)として正確に補正可能であり、従
来のように不要なステアリング操作をしたり、本来の境
界外へ走行方向がずれたりすることの無い、ステアリン
グ制御が可能となったのである。

尚、第１図中、(9)，(10)は夫々前輪(2)，(2)および後
輪(3)，(3)を実際にステアリング操作する油圧シリン
ダ、(11)，(12)は夫々前記油圧シリンダ(9)，(10)を駆
動する電磁バルブ、(13)は無段変速装置(14)の変速位置
を操作するモータである。また、(R₁)，(R₂)は夫々前記
前輪(2)，(2)および後輪(3)，(3)のステアリング量を検
出して前記制御装置(8)にフィードバックするためのポ
テンショメータ、(R₃)は同様に前記変速装置(14)の変速
位置を検出して制御装置(8)にフィードバックするため
のポテンショメータである。

ところで、前記原画像信号(S₀)を平均化して平均化画像
信号(S₁)を求めているのは、刈取った芝の葉などの反射
光の影響による大きな明度変化や未刈地(B)内にある既
刈地(C)と区別しにくい芝が小さくハゲた部分やムラの
ある部分などを検出しにくくして、境界(L)の検出誤差
を予め少なくするためである。

そして、この平均化処理を行うに、前記演算処理に変え
て、ボカシ用の光学的なフィルタを用いたり、あるいは
単にカメラ(5)をいわゆるピンボケ状態で使用すること
によって行ってもよい。更に、例えば、光学的なフィル
タを、いわゆるソフトフォーカスフィルタを用いて、そ
の視野の上方より下方に向かって徐々にソフトフォーカ
スとなるようにすることによって、前記カメラ(5)の視
野(D)の歪みによる画像の粗密変化を同時に補正するこ
とができる。

また、車体(1)の進行方向に対する未処理作業地と処理
済作業地との位置関係に基づいて微分値の符号を選択す
るに、１８０度方向転換する度に自動的に符号を反転さ
せて選択する他、その都度人為的に設定するようにして
もよい。ちなみに、作業地外周より内周方向へ未処理作
業地(B)の外周部を順次走行する回り走行形式や、一行
程毎に幅寄せを行って前後進を繰り返す前後後進走行形
式等では、車体(1)と処理済作業地(C)すなわち境界(L)
との左右位置関係は変わらないので、作業開始時に前記
微分値の符号を一度設定するだけでよい。

尚、特許請求の範囲の項に図面との対照を便利にする為
に符号を記すが、該記入により本発明は添付図面の構造
に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る自動走行作業車の操向制御装置の実
施例を示し、第１図は制御システムの構成を示すブロッ
ク図、第２図(イ)、(ロ)、(ハ)，(ニ)は画像信号の説明図、
第３図は制御装置の動作を示すフローチャート、第４図
は車体と境界の位置関係の説明図、第５図は芝刈作業車
の全体構成を示す平面図、そして、第６図はその側面図
である。 (1)……車体、(5)……撮像手段、(A)……境界検出手
段、(B)……未処理作業地、(C)……処理済作業地、(L)
……境界。

Claims (1)

【特許請求の範囲】
1. 【請求項１】撮像手段(5)によって車体(1)の進行方向前
   方所定範囲の作業地状態を撮像し、その撮像画像情報
   を、その各画素の明度に基づいて２値化する２値化手
   段、その２値化手段の情報に基づいて未処理作業地(B)
   と処理済作業地(C)との境界(L)に対応する撮像画像情報
   上の線分を検出する境界検出手段(A)、および、この境
   界検出手段(A)による境界(L)検出結果に基づいて、車体
   (1)が前記境界(L)に沿って自動的に走行するように操向
   する制御手段を備えた自動走行作業車の操向制御装置で
   あって、前記２値化手段は、前記撮像画像情報の各画素
   の車体横幅方向に沿う方向での明度変化に対応する微分
   値を演算する微分値演算手段、その微分値の正負符号を
   判別する微分値符号判別手段、前記微分値の正負符号の
   何れか一方を選択する符号選択手段、および、前記微分
   値符号判別手段による判別符号のうちの前記符号選択手
   段にて選択された符号の微分値変化が所定の値以上であ
   る画素を抽出する抽出手段を備えさせている自動走行作
   業車の操向制御装置。