JP2721072B2 - Crop row detector - Google Patents
Crop row detectorInfo
- Publication number
- JP2721072B2 JP2721072B2 JP4060808A JP6080892A JP2721072B2 JP 2721072 B2 JP2721072 B2 JP 2721072B2 JP 4060808 A JP4060808 A JP 4060808A JP 6080892 A JP6080892 A JP 6080892A JP 2721072 B2 JP2721072 B2 JP 2721072B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- imaging
- information
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
Landscapes
- Guiding Agricultural Machines (AREA)
- Transplanting Machines (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、列状に並ぶ複数個の作
物を含む所定範囲の圃場面を撮像するカラー式の撮像手
段と、そのカラー式の撮像手段によるカラー画像情報に
基づいて、前記作物に対応する画素を抽出する画素抽出
手段と、この画素抽出手段によって抽出された画素情報
に基づいて、前記画素を結ぶ線分を求める演算手段とが
設けられた作物列検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup means for picking up a predetermined range of field scenes including a plurality of crops arranged in a row, and color image information obtained by the color image pickup means. The present invention relates to a crop row detecting apparatus provided with pixel extracting means for extracting a pixel corresponding to the crop, and arithmetic means for calculating a line connecting the pixels based on the pixel information extracted by the pixel extracting means.
【0002】[0002]
【従来の技術】上記この種の作物列検出装置は、例え
ば、田植え機等のように、作物としての苗を株単位で設
定間隔毎に圃場に植え付ける際に、機体を機体進行方向
に並ぶ既植苗列に沿って自動走行させるための制御情報
を得るために、撮像画面上の苗列に対応して抽出された
画素を結ぶ線分を直線や曲線に近似処理して機***置に
対する既植苗列の位置や方向を検出し、前記制御情報を
求めていた。2. Description of the Related Art A crop row detecting apparatus of this kind, when planting seedlings as crops at a set interval in a unit of a plant, such as a rice planting machine, is arranged in the advancing direction of the machine. In order to obtain control information for automatic running along the seedling row, the line connecting the extracted pixels corresponding to the seedling row on the imaging screen is approximated as a straight line or curve, and the existing seedling row with respect to the aircraft position And the control information is obtained.
【0003】そして、苗列に対応して画素を抽出させる
ために、苗からのカラー画像情報に含まれる3原色信号
R,G,Bと苗以外の泥面や水面等からのカラー画像情
報に含まれる3原色信号R,G,Bの信号成分の割合が
異なること、例えば、苗の部分は緑色信号Gを多く含む
が他の赤色信号Rや青色信号Bは小であること等を利用
して、これらの3原色信号R,G,Bを所定の計算式で
色演算処理して苗列に対応した画素であるか否かを判別
するようにしていた。[0003] In order to extract pixels corresponding to the seedling row, the three primary color signals R, G, B included in the color image information from the seedling and the color image information from the mud surface or water surface other than the seedling are used. The fact that the proportions of the signal components of the three primary color signals R, G, and B included are different, for example, utilizing the fact that the seedling portion contains a large amount of the green signal G but the other red signal R and the blue signal B are small. Thus, these three primary color signals R, G, and B are subjected to color calculation processing by a predetermined formula to determine whether or not the pixel corresponds to a seedling row.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来技術では、CCDカメラ等のカラー式の撮像手段の撮
像性能が、撮像対象物の明るさが過大であるときには劣
化することを考慮にいれていなかった。つまり、カラー
式の撮像手段から得られる3原色信号R,G,Bは、水
面からの直接反射光を撮像した時のように撮像対象物の
明るさが過大になると、そのカラーバランスが適正状態
からくずれるとともに、各色信号R,G,Bに混入する
ノイズ成分も増加する。そのため、撮像対象物の明るさ
が過大である場合にそのまま色演算処理すると、苗列抽
出に誤差を発生させ、これら抽出画素から演算処理され
る線分にも誤差を生じさせ、作業車を作物列に沿って自
動走行させる場合等において、正確な操向制御情報が得
られないおそれがあった。However, the above prior art does not take into account that the imaging performance of a color imaging means such as a CCD camera deteriorates when the brightness of an object to be imaged is excessive. Was. In other words, the three primary color signals R, G, and B obtained from the color imaging means are in a state where the color balance is in an appropriate state when the brightness of the imaging target becomes excessive, such as when direct reflection light from the water surface is captured. In addition, the noise component mixed into each of the color signals R, G, and B increases. Therefore, if the color calculation processing is performed as it is when the brightness of the imaging target is excessive, an error is generated in the seedling extraction, and an error is also generated in the line segment calculated from these extracted pixels. When the vehicle is automatically driven along a line, accurate steering control information may not be obtained.
【0005】本発明は、上記実情に鑑みてなされたもの
であって、その目的は、カラー式の撮像手段からのカラ
ー画像情報に基づいて作物列に対応する線分を演算処理
して求める際の検出精度を確保することにある。The present invention has been made in view of the above circumstances, and has as its object to calculate and obtain a line segment corresponding to a crop row based on color image information from a color imaging means. Is to ensure the detection accuracy of
【0006】[0006]
【課題を解決するための手段】本発明による作物列検出
装置の特徴構成は、前記カラー式の撮像手段によって得
られる明度信号が所定値よりも大である画素について
は、前記画素抽出手段による画素抽出を禁止させる画素
抽出禁止手段が設けられ、前記演算手段は、前記画素抽
出手段によって抽出され、且つ、前記画素抽出禁止手段
によって禁止されていない画素のみを演算の対象とする
ように構成されている点にある。The feature of the crop line detecting apparatus according to the present invention is that a pixel whose brightness signal obtained by the color imaging means is larger than a predetermined value is determined by the pixel extracting means. Pixel extraction prohibition means for prohibiting extraction is provided, and the calculation means is configured to calculate only pixels extracted by the pixel extraction means and not prohibited by the pixel extraction prohibition means. There is in the point.
【0007】[0007]
【作用】本発明の特徴構成によれば、明度信号が所定値
よりも大である画素、例えば、水面からの反射光のよう
に明度信号が過大であるためにカラーバランスがくずれ
且つノイズ成分が大な画素については作物に対応する画
素としての抽出が禁止され、明度信号が所定値よりも小
である画素について作物に対応する画素としての抽出が
なされることになる。そして、作物に対応する画素を結
ぶ線分を求めるときには、上記画素抽出が禁止された画
素は演算の対象から排除され、それ以外の画素のみがそ
の演算の対象となるので、作物列に対応して求められる
近似線分の検出精度が確保されることになる。According to the characteristic structure of the present invention, the color balance is disturbed and the noise component is reduced because the brightness signal is excessive, such as light reflected from water, for example, a pixel whose brightness signal is larger than a predetermined value. The extraction of a large pixel as a pixel corresponding to a crop is prohibited, and the extraction of a pixel whose brightness signal is smaller than a predetermined value as a pixel corresponding to a crop is performed. Then, when obtaining a line segment connecting the pixels corresponding to the crop, the pixels for which the pixel extraction is prohibited are excluded from the target of the calculation, and only the other pixels are the target of the calculation. Thus, the detection accuracy of the approximate line segment obtained by the above is secured.
【0008】[0008]
【発明の効果】従って、作物列に対応する近似線分の検
出精度を確保でき、もって作業車の自動走行時等におけ
る操向制御情報として有効に活用できるものとなった。As a result, the detection accuracy of the approximate line corresponding to the crop row can be ensured, so that it can be effectively used as steering control information at the time of automatic traveling of a work vehicle or the like.
【0009】[0009]
【実施例】以下、本発明を田植え機によって圃場に植え
付けられた苗列の位置を検出するための装置に適用した
場合の実施例を、図面に基づいて説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to an apparatus for detecting the position of a row of seedlings planted in a field by a rice planting machine will be described below with reference to the drawings.
【0010】図7及び図8に示すように、前輪1F及び
後輪1Rの何れをもステアリング操作自在に構成された
機体Vの後方に、苗植え付け装置2が昇降自在に設けら
れ、その苗植え付け装置2にて、列状に並ぶ複数個の作
物としての複数個の既植苗Tが植え付けられている。そ
して、これらの既植苗Tを含む所定範囲の圃場面を撮像
するカラー式の撮像手段としてのカラー式のイメージセ
ンサS1 が、前記機体Vの前方側に設けられている。As shown in FIGS. 7 and 8, a seedling planting device 2 is provided at the rear of an airframe V having both a front wheel 1F and a rear wheel 1R operable for steering operation. In the device 2, a plurality of planted seedlings T as a plurality of crops arranged in a row are planted. Then, the image sensor S 1 of the color type of a color-type imaging means for imaging the field plane in a predetermined range including those already Uenae T, is provided on the front side of the machine body V.
【0011】前記イメージセンサS1 の取り付け構造に
ついて説明すれば、機体Vの後方に位置する苗植え付け
装置2に基端部を固定され、機体横側方で機体前方に向
かって延伸した支持部材4の先端部にイメージセンサS
1 が取り付けられ、機体Vに対して機体横外側方に隣接
する既植苗列を斜め上方から撮像するように設けられて
いる。つまり、前記機体Vが機体進行方向に沿って並ぶ
複数個の既植苗Tの列に対して適正に沿っている状態に
おいて、未植側領域に隣接する既植苗Tnに対応する線
分Lが、前記イメージセンサS1 の撮像視野の中央を前
後方向に通る走行基準線Laと一致する状態となるよう
にしてある。尚、前記苗植え付け装置2は圃場の泥面上
にフロート13を介して載置した状態に設置されてお
り、これによって機体Vのピッチングやローリングがあ
っても、その影響を極力取り除いて圃場面に対する撮像
姿勢を安定させるようにしている。[0011] If described mounting structure of the image sensor S 1, is fixed a base end portion to the seedling planting apparatus 2 located behind the machine body V, the support member 4 stretched toward the fuselage forward fuselage lateral side Image sensor S at the tip of
1 is attached, and is provided so that an image of an already-planted seedling row adjacent to the machine body V on the lateral outer side of the machine body is obliquely taken from above. That is, in a state where the body V is properly aligned with the row of the plurality of planted seedlings T arranged in the body traveling direction, the line segment L corresponding to the planted seedling Tn adjacent to the unplanted side area is: It is set to be state that matches the running reference line La that passes through the center of the imaging field of view of the image sensor S 1 in the longitudinal direction. Note that the seedling planting apparatus 2 is installed on the mud surface of the field via the float 13 so that even if pitching or rolling of the machine body V is performed, the influence of the pitching or rolling is removed as much as possible. To stabilize the imaging posture.
【0012】そして、圃場の一端側から他端側に向かう
複数個の作業行程が、機体横幅方向に平行に並ぶ状態で
設定され、各作業行程では、前記イメージセンサS1 の
画像情報に基づいて、前記既植苗列に沿って自動走行す
るように操向制御されることになる。但し、1つの作業
行程の終端部に達するに伴って、その作業行程に隣接す
る次の作業行程の始端部に向けて180度方向転換する
状態で、自動的にターンさせることになる。[0012] Then, a plurality of working stroke towards the other end from the field of one end, is set in a state arranged in parallel to the vehicle body width direction, in each working stroke, according to the image information of the image sensor S 1 Thus, the steering is controlled so as to automatically travel along the already planted seedling row. However, as the end of one work stroke is reached, the vehicle is automatically turned in a state of turning 180 degrees toward the start end of the next work stroke adjacent to the work stroke.
【0013】従って、前記機体Vは、1行程走行する毎
に、圃場に対する走行方向が反転して、機体Vに対する
既植苗Tの位置が、左右反転する状態となることから、
前記イメージセンサS1 は、機体Vの左右夫々に各1個
が設けられ、使用する側のセンサを1行程毎に左右切り
換えることになる。尚、図7では、既植苗Tの位置が、
機体Vの右側になるので、右側のイメージセンサS1 を
使っている。Therefore, the running direction of the machine body V with respect to the field is reversed every time the machine body travels one stroke, and the position of the planted seedlings T with respect to the machine body V is in a state of being reversed left and right.
The image sensor S 1, each one is provided on the people left respectively of the machine body V, resulting in switching the left and right sensors on the side to be used for each stroke. In FIG. 7, the position of the planted seedling T is
Since the right side of the fuselage V, are using the right-hand side of the image sensor S 1.
【0014】前記機体Vの構成について説明すれば、図
1に示すように、エンジンEの出力が変速装置5を介し
て前記前輪1F及び前記後輪1Rの夫々に伝達され、前
記変速装置5による変速操作状態が予め設定された設定
走行速度に対応する操作状態となるように、変速状態検
出用ポテンショメータR3 が設けられ、そして、その変
速状態検出用ポテンショメータR3 の検出情報に基づい
て、変速用電動モータ6を駆動するように構成されてい
る。The structure of the body V will be described. As shown in FIG. 1, the output of the engine E is transmitted to each of the front wheel 1F and the rear wheel 1R via a transmission 5, and the transmission 5 as the operation state of the speed change operation state corresponds to a preset speed, the shifting state detection potentiometer R 3 provided, and, on the basis of the detection information of the shifting state detecting potentiometer R 3, shift It is configured to drive the electric motor 6 for use.
【0015】又、前記前輪1F及び前記後輪1Rは、夫
々油圧シリンダ7F,7Rによって各別にパワーステア
リング操作されるように構成され、車輪のステアリング
操作に連動するステアリング角検出用ポテンショメータ
R1 ,R2 による検出ステアリング角が目標ステアリン
グ角となるように、前記油圧シリンダ7F,7Rを作動
させる電磁操作式の制御弁8F,8Rを駆動するように
構成されている。Further, the front wheel 1F and the rear wheel 1R are configured so that power steering operation is separately performed by hydraulic cylinders 7F and 7R, respectively, and potentiometers R 1 and R for steering angle detection interlocked with the steering operation of the wheels. The electromagnetically operated control valves 8F and 8R for operating the hydraulic cylinders 7F and 7R are configured to be driven such that the steering angle detected by 2 becomes the target steering angle.
【0016】従って、前記前輪1F及び前記後輪1Rを
同位相で且つ同角度に操向する平行ステアリング形式、
前記前輪1F及び前記後輪1Rを逆位相で且つ同角度に
操向する4輪ステアリング形式、及び、前記前輪1Fの
みを向き変更する2輪ステアリング形式の3種類のステ
アリング形式を選択使用できるようになっている。Accordingly, a parallel steering system in which the front wheel 1F and the rear wheel 1R are steered in the same phase and at the same angle,
It is possible to selectively use three types of steering types, that is, a four-wheel steering type in which the front wheel 1F and the rear wheel 1R are steered in opposite phases and at the same angle, and a two-wheel steering type in which only the front wheel 1F is turned. Has become.
【0017】但し、前記イメージセンサS1 の画像情報
に基づいて自動的に操向操作する時には、前記2輪ステ
アリング形式を用いると共に、1つの作業行程を終了し
て次の作業行程に移動する時には、前記4輪ステアリン
グ形式や平行ステアリング形式を用いるようになってい
る。尚、図1中、S2 は前記変速装置5の出力回転数に
基づいて走行距離を検出するための距離センサである。[0017] However, the when automatically steering operation on the basis of the image the image information of the sensor S 1, together with use of the two-wheel Steering, when completed one working stroke moves to the next work stroke The four-wheel steering type and the parallel steering type are used. In FIG 1, S 2 is the distance sensor for detecting a travel distance based on the output rotational speed of the transmission 5.
【0018】次に、前記イメージセンサS1 の画像情報
に基づいて、前記未植側苗列と既植側苗列との境界に対
応する線分Lを近似処理するための制御構成について説
明する。Next, on the basis of the image the image information of the sensor S 1, the control arrangement will be described for approximating processing line L corresponding to the boundary between the non-plant-side seedling row and SundeUe side seedlings column .
【0019】図1に示すように、前記イメージセンサS
1 は、3原色情報R,G,B及び明度信号Yを各別に出
力するように構成され、そして、苗Tの色成分を含む緑
色情報Gから苗Tの色成分を含まない青色情報Bを減算
して2値化することにより、前記苗Tに対応する画素T
aを抽出するように構成されている。As shown in FIG. 1, the image sensor S
1 is configured to output the three primary color information R, G, B and the brightness signal Y separately, and converts the blue information B not including the color component of the seedling T from the green information G including the color component of the seedling T. The pixel T corresponding to the seedling T is obtained by subtraction and binarization.
a is extracted.
【0020】説明を加えれば、前記緑色情報Gから前記
青色情報Bをアナログ信号の状態で減算する減算器9、
その減算器9の出力を苗Tの色に対応して予め設定され
た設定閾値に基づいて2値化して前記画素Taに対応す
る2値化情報を出力するコンパレータ10、前記イメー
ジセンサS1 によって得られる明度信号Yが所定値Yd
よりも大である画素Takを除いた画素Tanについ
て、そのコンパレータ10の出力信号を予め設定された
画素密度(32×32画素/1画面)に対応した画像情
報として記憶する画像メモリ11、及び、この画像メモ
リ11に記憶された前記苗Tに対応する画素情報に基づ
いてこれらの画素Tanを結ぶ線分Lを直線や曲線に近
似する情報を求めると共に、その情報に基づいて走行制
御するマイクロコンピュータ利用の制御装置12の夫々
が設けられている。In addition, a subtracter 9 for subtracting the blue information B from the green information G in the form of an analog signal,
The comparator 10 that binarizes the output of the subtracter 9 based on a preset threshold value corresponding to the color of the seedling T and outputs binarized information corresponding to the pixel Ta, and the image sensor S 1 The obtained brightness signal Y is a predetermined value Yd
An image memory 11 for storing the output signal of the comparator 10 as image information corresponding to a preset pixel density (32 × 32 pixels / one screen) for the pixels Tan excluding the pixel Tak which is larger than A microcomputer that obtains information that approximates a line segment L connecting these pixels Tan to a straight line or a curve based on the pixel information corresponding to the seedlings T stored in the image memory 11 and that controls travel based on the information. Each of the use control devices 12 is provided.
【0021】つまり、前記減算器9及び前記コンパレー
タ10が、作物としての前記苗Tの色に対応する画素T
aを抽出する画素抽出手段100に対応することにな
り、そして、前記制御装置12を利用して、イメージセ
ンサS1 によって得られる明度信号Yが所定値Ydより
も大である画素Takについて前記画素抽出手段100
による画素抽出を禁止させる画素抽出禁止手段102が
構成され、又、前記制御装置12及び画像メモリ11を
利用して、前記画素抽出手段100によって抽出され、
且つ、前記画素抽出禁止手段102によって禁止されて
いない画素Tanのみを演算の対象として、これらの画
素Tanを結ぶ線分Lを直線や曲線に近似して求める演
算手段101が構成されることになる。That is, the subtractor 9 and the comparator 10 determine whether the pixel T corresponding to the color of the seedling T
It would correspond to the pixel extracting means 100 for extracting a, and the control unit 12 by using the pixel brightness signal Y obtained for pixels Tak is larger than a predetermined value Yd by the image sensor S 1 Extraction means 100
A pixel extraction prohibiting means 102 for prohibiting pixel extraction by means of the control unit 12 and the pixel extracting means 100 by using the control device 12 and the image memory 11;
In addition, only the pixels Tan that are not prohibited by the pixel extraction prohibiting means 102 are to be calculated, and the calculating means 101 is configured to approximate the line L connecting these pixels Tan to a straight line or a curve. .
【0022】次に、図2に示すフローチャートに基づい
て、前記制御装置12の動作を説明しながら、各部の構
成について詳述する。Next, the configuration of each part will be described in detail while explaining the operation of the control device 12 based on the flowchart shown in FIG.
【0023】前記機体Vが設定距離を走行する毎、又
は、設定時間毎に、前記イメージセンサS1 による撮像
処理が実行されて、前記画素抽出手段100及び前記画
素抽出禁止手段102によって前記苗Tに対応し、且
つ、その明度信号Yが所定値Yd以下の画素Tanのみ
が抽出されることになる。Each time the body V travels a set distance or every set time, an image pickup process is executed by the image sensor S 1 , and the seedling T is controlled by the pixel extraction means 100 and the pixel extraction prohibition means 102. And only pixels Tan whose brightness signal Y is equal to or less than a predetermined value Yd are extracted.
【0024】前記画素Tanの抽出について説明を加え
れば、前記苗Tの色は緑色系であることから、圃場面を
撮像した3原色情報のうちの緑色情報Gに着目すると、
苗Tを撮像した画素に対応する値が圃場の泥面等の他の
部分を撮像した画素の値よりも大となる。但し、水面W
では自然光がほぼ全反射するために、その反射光には全
ての色成分を含む状態となる。従って、水面Wを撮像し
た画素に対応する前記緑色情報Gの値は、前記苗Tを撮
像した画素と同様に、他の部分を撮像した画素の値より
も大となる。To explain the extraction of the pixel Tan, since the color of the seedling T is green, focusing on green information G among three primary color information obtained by imaging a field scene,
The value corresponding to the pixel that has imaged the seedling T is greater than the value of the pixel that has imaged another portion, such as a mud surface in a field. However, water surface W
In this case, since natural light is almost totally reflected, the reflected light contains all color components. Therefore, the value of the green information G corresponding to the pixel capturing the water surface W is larger than the value of the pixel capturing the other portion, similarly to the pixel capturing the seedling T.
【0025】又、圃場面を撮像した3原色情報のうちの
青色情報Bに着目すると、前記苗Tは緑色系であり、且
つ、泥面は褐色系や灰色系であることから、その色成分
に含まれる青色成分の値は低いものとなる。但し、水面
Wからの反射光は全色成分を含むことから水面Wを撮像
した画素の値は大となる。Focusing on the blue information B among the three primary color information obtained by imaging the field scene, the seedlings T are greenish and the mud surface is brownish or grayish. Has a low value of the blue component. However, since the reflected light from the water surface W includes all the color components, the value of the pixel imaging the water surface W is large.
【0026】そこで、前記緑色情報Gから前記青色情報
Bを減算すると、その減算値は前記苗Tに対応する画素
の値のみが他の部分を撮像した画素の値よりも大とな
り、その減算値を設定閾値に基づいて2値化すると、前
記苗Tのみに対応して画素抽出できることになる。但
し、例えば水面Wからの直接反射光のようにその明度信
号Yが過大である場合には、前記イメージセンサS1 の
撮像性能が劣化して3原色信号R,G,Bのカラーバラ
ンスが適正状態からくずれ(図4参照)、又ノイズ成分
の混入量も増加するので、明度信号Yが所定値Ydより
も大な画素Takについては画素抽出を禁止し、それ以
外の画素Tanのみを抽出する(図3(イ),(ロ)参
照)。尚、図では、8個の画素Ta1 〜Ta8 が抽出さ
れている状態を示すが、これら8個の各画素Ta1 〜T
a8 は、実際には、前記画素密度(32×32画素/1
画面)でいう1画素の場合もあるが、1個以上複数の画
素からなる場合もある。Therefore, when the blue information B is subtracted from the green information G, only the value of the pixel corresponding to the seedling T becomes larger than the value of the pixel obtained by imaging the other portion. Is binarized based on the set threshold value, it is possible to extract pixels corresponding to only the seedlings T. However, for example, when the brightness signal Y as the direct reflected light from the water surface W is too large, the image sensor S 1 of the imaging performance deteriorates to three primary color signals R, G, color balance of B is properly Since the state deviates from the state (see FIG. 4) and the amount of mixed noise components increases, pixel extraction is prohibited for pixels Tak whose brightness signal Y is larger than a predetermined value Yd, and only the other pixels Tan are extracted. (See FIGS. 3A and 3B). Note that the figure shows a state in which eight pixels Ta 1 to Ta 8 are extracted, but these eight pixels Ta 1 to T 8 are extracted.
a 8 is actually the pixel density (32 × 32 pixels / 1).
In some cases, the pixel may be a single pixel as described in (Screen), but may be one or more pixels.
【0027】次に、上記抽出された画素Ta1 〜Ta8
を結んだ線分Lを、演算手段101により直線あるいは
曲線に近似計算することになる。ここでは、直線近似の
変換手段である、ハフ変換処理により、前記線分Lを直
線として算出する。Next, the extracted pixels Ta 1 to Ta 8
Is approximated to a straight line or a curve by the calculation means 101. Here, the line segment L is calculated as a straight line by a Hough transform process, which is a straight line approximation converting means.
【0028】ハフ変換について説明すれば図6に示すよ
うに、前記イメージセンサS1 の撮像視野の中心を通る
x軸を極座標系における基準線として、前記各画素Ta
1 〜Ta8 を通る複数本の直線を、下記(i)式に基づ
いて前記x軸に対して0乃至180度の範囲において予
め複数段階に設定された傾きθと、原点つまり撮像視野
中心に対応する画面中央からの距離ρとの組み合わせと
して求める。 ρ=y・sinθ+x・cosθ ……(i)[0028] If described Hough transform, as shown in FIG. 6, the x axis passing through the center of the imaging field of view of the image sensor S 1 as a reference line in the polar coordinate system, each pixel Ta
A plurality of straight lines passing through 1 to Ta 8 are defined by a gradient θ previously set in a plurality of steps in the range of 0 to 180 degrees with respect to the x-axis based on the following equation (i) and the origin, that is, the center of the imaging visual field. It is obtained as a combination with the corresponding distance ρ from the center of the screen. ρ = y · sin θ + x · cos θ (i)
【0029】そして、1つの画素について、前記複数段
階に設定された傾きθの値が180度に達するまで、求
めた各直線の頻度を計数するための二次元ヒストグラム
を加算する処理を繰り返した後、前記各画素Ta1 〜T
a8 を通る複数種の直線の頻度を、全画素毎に計数する
ことになる。After repeating the process of adding the two-dimensional histogram for counting the frequency of each straight line determined until the value of the inclination θ set in the plurality of steps reaches 180 degrees for one pixel. , The pixels Ta 1 to T 1
The frequency of a plurality of types of straight lines passing through a 8, will be counted for each all the pixels.
【0030】前記各画素Ta1 〜Ta8 に対する直線の
頻度の計数が完了すると、前記二次元ヒストグラムに加
算された値から、最大頻度となる前記傾きθと前記距離
ρの組み合わせを求めることにより、最大頻度となる一
つの直線Lx (図6参照) を決定し、その直線Lxを、
前記イメージセンサS1 の撮像面において前記未植側領
域に隣接する既植苗Tnを結ぶ線分Lを直線近似した情
報として求めることになる。When the counting of the frequency of the straight line with respect to each of the pixels Ta 1 to Ta 8 is completed, a combination of the inclination θ and the distance ρ which has the maximum frequency is obtained from the value added to the two-dimensional histogram. One straight line Lx (see FIG. 6) having the maximum frequency is determined, and the straight line Lx is
Will be obtained as the information linear approximation segment L connecting the already Uenae Tn adjacent the non-plant-side region in the imaging plane of the image sensor S 1.
【0031】次に、前記撮像面における直線Lxを、予
め実測した地表面での前記イメージセンサS1 の撮像視
野Aの形状と大きさの記憶情報と、前記最大頻度の直線
Lxが通る撮像面での画素の位置a,b,c(図5及び
図6参照) とに基づいて、地表面における直線Lの情報
に変換する。すなわち、図5に示すように、前記撮像視
野Aの横幅方向中央を前後方向に通る走行基準線Laに
対する傾きψと、横幅方向での位置δとの値として設定
される地表面上における直線Lの情報に変換することに
なる。Next, a straight line Lx in the imaging surface, the shape and size of the storage information of the image sensor S 1 of the imaging field of view A in measuring beforehand the ground surface, the imaging plane a straight line Lx passes the maximum frequency Is converted into information of a straight line L on the ground surface based on the pixel positions a, b, c (see FIGS. 5 and 6). That is, as shown in FIG. 5, a straight line L on the ground surface set as a value of a slope に 対 す る with respect to a running reference line La passing through the center in the width direction of the imaging field of view A in the front-rear direction and a position δ in the width direction. Will be converted into information.
【0032】説明を加えれば、前記未植側領域に隣接す
る既植苗Tnを結ぶ線分に対応する直線Lに交差する方
向となる前記撮像視野Aの前後位置(y=16及びy=
−16)での2辺の長さl1 ,l32、画面中央(x=1
6,y=0となる画素位置)における前記撮像視野Aの
横幅方向での長さl16、及び、前記前後2辺間の距離h
の夫々を予め実測して、前記制御装置12に記憶させて
おくことになる。In addition, the front and rear positions (y = 16 and y = 16) of the imaging field of view A in a direction intersecting a straight line L corresponding to a line segment connecting the planted seedlings Tn adjacent to the unplanted area.
−16), the lengths l 1 and l 32 of the two sides and the center of the screen (x = 1)
6, the pixel position at which y = 0), the length l 16 of the imaging field of view A in the horizontal width direction, and the distance h between the front and rear sides.
Are measured in advance and stored in the control device 12.
【0033】そして、前記撮像面における直線Lxが、
前記撮像視野Aの前後位置での2辺に対応するx軸に交
差する画素の位置a,b(y=16,y=−16となる
位置)のx座標の値X1,X32と、前記直線Lxが画面中
央を通るx軸に交差する画位置cのx座標の値X16と
を、上記(i)式を変形した下記(ii)式から求めるこ
とになる。 Xi=(ρ−Yi・sinθ)/cosθ ……(ii) 但し、Yiは、夫々16,0,−16を代入する。Then, a straight line Lx on the imaging plane is
X-coordinate values X 1 and X 32 at pixel positions a and b (positions where y = 16, y = −16) intersecting the x-axis corresponding to two sides at the front and rear positions of the imaging visual field A; The x-coordinate value X 16 of the image position c where the straight line Lx intersects the x-axis passing through the center of the screen is obtained from the following equation (ii) obtained by modifying the above equation (i). Xi = (ρ−Yi · sin θ) / cos θ (ii) Here, Yi is substituted with 16, 0 and −16, respectively.
【0034】そして、上記(ii)式にて求められたx軸
での座標値に基づいて、下記(iii)式及び(iv)式か
ら、前記走行基準線Laに対する横幅方向での位置δ
と、傾きψとを求め、求めた位置δと傾きψとの値を、
地表面において前記既植苗列に対応する直線Lの位置情
報として算出することになる。Then, based on the coordinate values on the x-axis obtained by the above equation (ii), the following formulas (iii) and (iv) are used to calculate the position δ in the lateral width direction with respect to the travel reference line La.
And the slope ψ, and the obtained values of the position δ and the slope ψ
The position information is calculated as the position information of the straight line L corresponding to the already planted seedling row on the ground surface.
【0035】[0035]
【数1】 (Equation 1)
【0036】つまり、ハフ変換を利用して、前記画素抽
出手段100及び前記画素抽出禁止手段102によって
選別して画素抽出された画素Ta1 〜Ta8 を結ぶ線分
を直線Lとして近似した情報を求める処理が、演算手段
101に対応する。That is, using the Hough transform, information obtained by approximating a line segment connecting the pixels Ta 1 to Ta 8 selected and extracted by the pixel extraction means 100 and the pixel extraction prohibition means 102 as a straight line L is obtained. The processing to be obtained corresponds to the calculating means 101.
【0037】従って、前記機体Vを機体進行方向に並ぶ
既植苗Tの列に沿って自動走行させるための操向制御に
おいては、前記直線Lの前記走行基準線Laに対する傾
きψと横幅方向での位置δとを共に零に近づけるよう
に、2輪ステアリング形式で操向操作することになる。Accordingly, in the steering control for automatically moving the body V along the rows of the planted seedlings T arranged in the body traveling direction, the inclination of the straight line L with respect to the running reference line La and the width ψ in the width direction are determined. The steering operation is performed in a two-wheel steering system so that both the position δ and the position δ approach zero.
【0038】前記操向制御について説明すれば、前記直
線Lの前記走行基準線Laに対する傾きψと横幅方向で
の位置δ夫々の値、及び、前記前輪1Fの現在のステア
リング角φの値とから、下記(v)式に基づいて、前記
前輪1Fの目標操向角θfを設定し、そして、前記前輪
用のステアリング角検出用ポテンショメータR1 にて検
出される現在のステアリング角φが、目標操向角θfに
対して設定不感帯内に維持されるように、前記前輪用油
圧シリンダ7Fの制御弁8Fを駆動することになる。 θf=K1・δ+K2・ψ+K3 ・φ ……(v) 尚、K1,K2,K3 は、操向特性に応じて予め設定され
た定数である。The steering control will now be described. The inclination ψ of the straight line L with respect to the travel reference line La, the position δ in the lateral width direction, and the value of the current steering angle φ of the front wheel 1F are calculated from the following. , based on (v) below formula, and sets the target steering angle θf of the front wheel 1F, and the current steering angle φ is detected by the steering angle detecting potentiometer R 1 for the front wheel, the target steering The control valve 8F of the front wheel hydraulic cylinder 7F is driven so as to be maintained within the set dead zone with respect to the direction angle θf. θf = K 1 δ + K 2 ψ + K 3 φ (v) K 1 , K 2 , and K 3 are constants set in advance according to the steering characteristics.
【0039】作業行程の終端部に達して次の作業行程の
始端部に向けてターンさせるためのターン制御について
説明すれば、前記距離センサS2 にて検出される走行距
離が、一つの作業行程の長さに対応して設定された設定
距離を超えるに伴って、詳述はしないが、前記撮像手段
S1 の画像情報から作業行程終端部に達したことを検出
させる。そして、作業行程の終端部に達した判断される
と、前記苗植え付け装置2による植え付け作業を中断し
て、前記2輪ステアリング形式から前記4輪ステアリン
グ形式に切り換えると共に、設定時間の間、最大切り角
に維持することにより、次の作業行程側に180度方向
転換させ、次に、前記平行ステアリング形式に切り換え
て、設定時間の間、最大切り角に維持することにより、
次の作業行程に対する機体横幅方向での位置を修正させ
て、ターンを終了することになる。尚、ターン終了後
は、前記2輪ステアリング形式に復帰させて、次の作業
行程での操向制御を再開することになる。[0039] To describe reaches the end of the working stroke for turning control for turning toward the starting end of the next working stroke, the travel distance detected by said distance sensor S 2 is one of the working stroke with a to exceed the length the set distance that is set in correspondence, detail but are not, thereby detecting that has reached the working stroke termination from the image information of the imaging unit S 1. When it is determined that the end of the work process has been reached, the planting operation by the seedling planting apparatus 2 is interrupted, the mode is switched from the two-wheel steering mode to the four-wheel steering mode, and the maximum cutting time is set for a set time. By maintaining the angle, the vehicle turns 180 degrees to the next working stroke side, and then switches to the parallel steering type, and maintains the maximum turning angle for a set time.
The position in the lateral direction of the aircraft for the next work process is corrected, and the turn is completed. After the end of the turn, the steering is returned to the two-wheel steering mode, and the steering control in the next work process is restarted.
【0040】〔別実施例〕上記実施例では、圃場面を撮
像するカラー式の撮像手段としてカラー式のイメージセ
ンサS1 を用いて、緑色情報Gから青色情報Bを減算し
て設定閾値に基づいて2値化することにより、苗Tに対
応する画素Taを抽出するように構成した場合を例示し
たが、これ以外に、3原色信号R,G,Bの全部を用い
て、それらの比が苗Tの色に対応する設定比率範囲とな
る領域を前記画素Taとして抽出するようにしてもよ
い。具体的に述べると、式p*R+q*G+r*Bにお
いて、3原色信号R,G,Bの各係数であるp,q,r
の値を適当な値に設定し、上記式の値が設定閾値よりも
大きいか否かで苗Tに対応する画素を抽出するものであ
る。ちなみに、前記実施例は、p=0,q=1,r=−
1の場合に相当する。[0040] In [Other Embodiment] The above embodiment uses an image sensor S 1 of the color type as a color type of imaging means for imaging a field plane, based on the set threshold value from the green information G by subtracting the blue information B In this example, the pixels Ta corresponding to the seedlings T are extracted by binarizing them. However, in addition to the above, the ratio of the three primary color signals R, G, and B is used. A region having a set ratio range corresponding to the color of the seedling T may be extracted as the pixel Ta. More specifically, in the equation p * R + q * G + r * B, the coefficients p, q, and r of the three primary color signals R, G, and B are used.
Is set to an appropriate value, and a pixel corresponding to the seedling T is extracted based on whether the value of the above equation is larger than the set threshold value. Incidentally, in the above embodiment, p = 0, q = 1, r = −
This corresponds to the case of 1.
【0041】又、上記実施例では、前記イメージセンサ
S1 が先端部に取り付けられた支持部材4が、その基端
部を機体Vの後方に位置する苗植え付け装置2に固定さ
れ、先端部を機体横側方で機体前方に向かって延伸させ
るように構成したが、上記支持部材4を機体Vの前部側
位置に固定させるような構造でもよい。[0041] Further, in the above embodiment, the support member 4 by the image sensor S 1 is attached to the distal end portion is fixed to the seedling planting apparatus 2 located its base end portion to the rear of the machine body V, and the tip portion Although it is configured to extend toward the front of the fuselage on the lateral side of the fuselage, a structure in which the support member 4 is fixed to the front side position of the fuselage V may be employed.
【0042】又、上記実施例では、ハフ変換を利用して
作物Tに対応する画素Taを結ぶ線分Lを直線近似する
ようにした場合を例示したが、例えば、最小二乗法等を
用いて直線近似あるいは曲線近似した情報を求めること
もできるものであって、演算手段101の具体構成は、
各種変更できる。Further, in the above-described embodiment, the case where the line segment L connecting the pixels Ta corresponding to the crop T is linearly approximated using the Hough transform has been described. It is also possible to obtain information obtained by linear approximation or curve approximation.
Various changes can be made.
【0043】又、上記実施例では、本発明を田植え機を
圃場に植え付けられた苗列に沿って自動走行させるため
の装置に適用し、そして、検出された作物列に対応する
近似線分の情報を、操向制御のための制御情報として利
用するように構成した場合を例示したが、本発明は各種
の作物列に対応する近似線分の情報を検出するための装
置に適用できるものであって、作物の種類や機体の走行
系の構成等、各部の具体構成、並びに、検出された作物
列に対応する近似線分の情報の利用形態は、各種変更で
きる。In the above embodiment, the present invention is applied to an apparatus for automatically running a rice planting machine along a row of seeds planted in a field, and an approximate line segment corresponding to a detected row of crops is applied. Although the case where the information is configured to be used as control information for steering control has been described as an example, the present invention can be applied to an apparatus for detecting information on approximate line segments corresponding to various crop rows. The specific configuration of each unit, such as the type of crop and the configuration of the running system of the machine, and the use form of the information on the approximate line corresponding to the detected crop row can be variously changed.
【0044】尚、特許請求の範囲の項に図面との対照を
便利にするために符号を記すが、該記入により本発明は
添付図面の構成に限定されるものではない。In the claims, reference numerals are provided for convenience of comparison with the drawings, but the present invention is not limited to the configuration of the attached drawings by the entry.
【図1】制御構成のブロック図FIG. 1 is a block diagram of a control configuration.
【図2】制御作動のフローチャートFIG. 2 is a flowchart of a control operation;
【図3】画像処理の説明図FIG. 3 is an explanatory diagram of image processing.
【図4】カラー撮像手段の撮像特性を説明するグラフFIG. 4 is a graph illustrating imaging characteristics of a color imaging unit.
【図5】撮像視野における機体進行方向と近似直線の関
係を示す説明図FIG. 5 is an explanatory diagram showing a relationship between an aircraft traveling direction and an approximate straight line in an imaging visual field.
【図6】ハフ変換の説明図FIG. 6 is an explanatory diagram of the Hough transform.
【図7】田植え機の概略平面図FIG. 7 is a schematic plan view of a rice transplanter.
【図8】同概略側面図FIG. 8 is a schematic side view of the same.
L 線分 S1 カラー式の撮像手段 T 作物 Ta 画素 Tak 画素 Tan 画素 Y 明度信号 Yd 所定値 100 画素抽出手段 101 演算手段 102 画素抽出禁止手段L line segment S 1 color type imaging means T crop Ta pixel Tak pixel Tan pixel Y brightness signal Yd predetermined value 100 pixel extraction means 101 calculation means 102 pixel extraction prohibition means
Claims (1)
定範囲の圃場面を撮像するカラー式の撮像手段(S1 )
と、そのカラー式の撮像手段(S1 )によるカラー画像
情報に基づいて、前記作物(T)に対応する画素(T
a)を抽出する画素抽出手段(100)と、この画素抽
出手段(100)によって抽出された画素情報に基づい
て、前記画素(Ta)を結ぶ線分(L)を求める演算手
段(101)とが設けられた作物列検出装置であって、 前記カラー式の撮像手段(S1 )によって得られる明度
信号(Y)が所定値(Yd)よりも大である画素(Ta
k)については、前記画素抽出手段(100)による画
素抽出を禁止させる画素抽出禁止手段(102)が設け
られ、前記演算手段(101)は、前記画素抽出手段
(100)によって抽出され、且つ、前記画素抽出禁止
手段(102)によって禁止されていない画素(Ta
n)のみを演算の対象とするように構成されている作物
列検出装置。1. A color imaging means (S 1 ) for imaging a predetermined range of a field scene including a plurality of crops (T) arranged in a row.
And the pixel (T) corresponding to the crop (T) based on the color image information obtained by the color imaging means (S 1 ).
a) a pixel extracting means (100) for extracting a), and a calculating means (101) for obtaining a line segment (L) connecting the pixels (Ta) based on the pixel information extracted by the pixel extracting means (100). And a pixel (Ta) whose brightness signal (Y) obtained by the color imaging means (S 1 ) is larger than a predetermined value (Yd).
Regarding k), a pixel extraction prohibiting means (102) for prohibiting pixel extraction by the pixel extracting means (100) is provided, and the calculating means (101) is extracted by the pixel extracting means (100), and Pixels (Ta) not prohibited by the pixel extraction prohibiting means (102)
A crop row detection device configured to calculate only n).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4060808A JP2721072B2 (en) | 1992-03-18 | 1992-03-18 | Crop row detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4060808A JP2721072B2 (en) | 1992-03-18 | 1992-03-18 | Crop row detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05265546A JPH05265546A (en) | 1993-10-15 |
JP2721072B2 true JP2721072B2 (en) | 1998-03-04 |
Family
ID=13153021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4060808A Expired - Lifetime JP2721072B2 (en) | 1992-03-18 | 1992-03-18 | Crop row detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2721072B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146748A (en) * | 2014-02-05 | 2015-08-20 | ヤンマー株式会社 | Electric working vehicle |
-
1992
- 1992-03-18 JP JP4060808A patent/JP2721072B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH05265546A (en) | 1993-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2721072B2 (en) | Crop row detector | |
JP2815760B2 (en) | Crop row detector | |
JP3044141B2 (en) | Planting condition detector for crop planting machines | |
JP2907613B2 (en) | Crop row detector | |
JP2907612B2 (en) | Crop row detector | |
JP2721071B2 (en) | Crop row detector | |
JP2624390B2 (en) | Crop row detector | |
JPH0628032A (en) | Traveling control device for automatic traveling working vehicle | |
JP3020734B2 (en) | Boundary detection device for autonomous vehicles | |
JPH0759407A (en) | Traveling controller of automatic traveling working car | |
JP2520104B2 (en) | Boundary detection device for autonomous vehicles | |
JPH04336383A (en) | Crops array detection device for operation machine | |
JPH01319878A (en) | Crop line detecting device | |
JP2907641B2 (en) | Work area detection device | |
JPH0619542A (en) | Traveling controller for automatic travel working vehicle | |
JPH0575335B2 (en) | ||
JPH0619541A (en) | End detecting device for automatic travel working vehicle | |
JPH069011B2 (en) | Travel control system for automated guided vehicles | |
JPH0610774B2 (en) | Imaging type steering control device for automated driving vehicles | |
JPH07114495B2 (en) | Grain culm identification method in harvester | |
JP2510660B2 (en) | Image-capturing type traveling control device for automated guided vehicles | |
JP2710644B2 (en) | Automatic steering control device for agricultural work machine | |
JPH02156806A (en) | Controller for automatic steering in agricultural working machine | |
JPH07104720B2 (en) | Image-capturing boundary detection device for self-driving work vehicles | |
JPH02113906U (en) |