JP2003009664A - Crop growth level measuring system, crop growth level measuring method, crop growth level measuring program, and computer-readable recording medium recorded with the program - Google Patents
Crop growth level measuring system, crop growth level measuring method, crop growth level measuring program, and computer-readable recording medium recorded with the programInfo
- Publication number
- JP2003009664A JP2003009664A JP2001198370A JP2001198370A JP2003009664A JP 2003009664 A JP2003009664 A JP 2003009664A JP 2001198370 A JP2001198370 A JP 2001198370A JP 2001198370 A JP2001198370 A JP 2001198370A JP 2003009664 A JP2003009664 A JP 2003009664A
- Authority
- JP
- Japan
- Prior art keywords
- image
- crop
- photographing
- growth
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000012937 correction Methods 0.000 claims description 87
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000003702 image correction Methods 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 13
- 238000009313 farming Methods 0.000 abstract 2
- 238000005259 measurement Methods 0.000 description 41
- 241000196324 Embryophyta Species 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 16
- 241000209094 Oryza Species 0.000 description 13
- 235000007164 Oryza sativa Nutrition 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 235000009566 rice Nutrition 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000003337 fertilizer Substances 0.000 description 8
- 239000002689 soil Substances 0.000 description 8
- 230000004720 fertilization Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012272 crop production Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 102220047090 rs6152 Human genes 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004856 soil analysis Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Recording Measured Values (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、圃場に生育してい
る作物を上空から撮影し、その撮影画像を用いて当該作
物の生育量を測定する作物生育量測定方法、その測定方
法を実行するプログラム、そのプログラムを記録したコ
ンピュータ読取可能な記録媒体及びその測定方法を適用
した作物生育量測定装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention executes a crop growth amount measuring method for photographing a crop growing in a field from the sky and measuring the growth amount of the crop using the photographed image. The present invention relates to a program, a computer-readable recording medium recording the program, and a crop growth measuring device to which the measuring method is applied.
【０００２】[0002]
【従来の技術】従来からリモートセンシング技術を用い
て作物の生育状態を監視する方法が研究されている。
「リモートセンシング技術等による作物・環境情報の効
率的把握と情報処理手法の高度化」（地域重要新技術開
発促進事業の平成８年１０月付報告書）には、無人ヘリ
コプターにカラーの可視画像と近赤外画像とが撮影可能
な撮影装置を搭載し、そのヘリコプターを水稲が生育し
ている圃場の上空に飛ばして２０ｍ〜１００ｍの真上か
ら当該圃場を撮影し、その撮影画像（カラー画像と近赤
外画像）を用いて水稲の生育状態を測定する技術の研究
レポートが掲載されている（報告書番号：試験Ｎｏ．２
−１−３）。この報告書では、近赤外値と水稲の草丈、
茎数あるいは生育量値（草丈×茎数）の間に高い相関関
係が得られ、近赤外画像を用いた水稲の生育量測定の可
能性が示されている。2. Description of the Related Art Conventionally, a method of monitoring the growth state of a crop using remote sensing technology has been studied.
"Efficiently grasping crop / environmental information by using remote sensing technology and sophistication of information processing method" (report for October 1996 of regional important new technology development promotion project) has a visible color image on an unmanned helicopter. And a near-infrared image can be captured, the helicopter is flown above the field where paddy rice is growing, and the field is photographed from 20 m to 100 m directly above. And the near-infrared image) are used to report the research report on the technology for measuring the growth state of paddy rice (report number: test No. 2).
-1-3). In this report, the near infrared value and the plant height of paddy rice,
A high correlation was obtained between the number of stalks or the growth value (plant height x number of stalks), which indicates the possibility of measuring the growth of paddy rice using near-infrared images.
【０００３】また、生物系特定産業技術研究推進機構の
平成１２年度事業報告「生物生育情報測定装置の開発−
空中測定式生育情報測定装置の開発」（報告書Ｎｏ．生
−１−２）には、無人ヘリコプターに緑成分の可視画像
と近赤外画像とが撮影可能な撮影装置を搭載し、そのヘ
リコプターを水稲が生育している圃場の上空に飛ばして
約５０ｍの真上から当該圃場を撮影し、その撮影画像
（緑成分画像と近赤外画像）を用いて水稲の生育量を測
定する技術の研究レポートが掲載されている。[0003] In addition, the 2000 business report of the Biological-Specific Industrial Technology Research Promotion Organization "Development of biological growth information measuring device-
"Development of aerial measurement type growth information measuring device" (Report No. Raw-1-2), equipped with an imaging device capable of capturing visible images and green and infrared images of green components on an unmanned helicopter. Of the technique for flying the paddy field above the field where the paddy rice is growing, shooting the field from directly above about 50 m, and measuring the growth rate of the paddy rice using the taken images (green component image and near infrared image). Research reports are posted.
【０００４】[0004]
【発明が解決しようとする課題】作物の栽培されている
圃場の地力（土壌の保育している栄養状態）やその他の
圃場条件は均一ではなく、一般にムラがある。従って、
そこに栽培される作物について、生育状態が良好なエリ
アとそうでないエリアとが発生する。作物の生育を促進
するために生育過程の特定の時期を選んで肥料を施す
が、従来は圃場全体に対して一括して施肥していたた
め、生育良好なエリアにも生育不全のエリアにも同量の
肥料が施されていた。すなわち、個々のエリアに着目す
れば、生育状態によっては施肥過剰であったり、逆に施
肥不足であったりして最適な施肥条件にはなっていなか
った。また、農家によっては、地力の低いエリアに重点
的に施肥量を増やすことも行なわれているが、その増減
加減は経験に基づいたもので客観的、定量的とは言えな
いところがあった。[Problems to be Solved by the Invention] The fertility of the field where the crop is cultivated (the nutritional condition of the soil being nurtured) and other field conditions are not uniform and generally uneven. Therefore,
Regarding the crops cultivated there, there are areas where the growth condition is good and areas where it is not. In order to promote the growth of crops, fertilizer is applied at a specific time in the growth process, but in the past, fertilizer was applied to the entire field at once, so it was applied to both areas with good growth and areas with poor growth. The amount of fertilizer was applied. That is, focusing on individual areas, depending on the growth condition, fertilization was excessive, or conversely, fertilization was insufficient, and the fertilization conditions were not optimal. In addition, some farmers also increase the amount of fertilizer applied to areas with low soil fertility, but the increase / decrease is based on experience and cannot be said to be objective or quantitative.
【０００５】圃場の作物の生育状態の分布が適切にモニ
タリングできると、その生育状態に応じてエリア毎に施
肥等の条件を制御することにより、作物の最適生育条件
を与えることができ、作物収量の最大化が可能になる。
更に生育不全のエリアに選択的に施肥するわけであるか
ら、従来のような一括均一施肥に比べて施肥量も少なく
て済むので、肥料コストが削減され、農業経営の収益改
善になる。また、過剰な施肥が避けられるので、地球環
境の保全に大きく貢献することができる。When the distribution of the growth condition of the crops in the field can be properly monitored, the optimum growth condition of the crop can be given by controlling the conditions such as fertilization for each area according to the growth condition, and the crop yield. Can be maximized.
Further, since the fertilizer is selectively applied to the areas where the growth is poor, the fertilizer application amount can be reduced as compared with the conventional batch uniform fertilizer application, the fertilizer cost can be reduced, and the profit of the agricultural management can be improved. Moreover, since excessive fertilization can be avoided, it can greatly contribute to the preservation of the global environment.
【０００６】作物の生育状態のモニタリングには、化学
的な土壌分析、作物中の窒素成分分析、作物の葉緑素濃
度測定等の方法があるが、いずれも測定結果を得るまで
時間を要したり、あるいは測定作業に非常に労力を要し
たりするため、最適な施肥タイミングを逃してしまった
り、大規模な圃場に適用し辛いなどの問題があった。以
下に述べるようなリモートセンシングを用いた光学的画
像解析による作物生育状態の測定は、測定の即時性、簡
便さから大規模農場における農作物生産管理技術として
重要であり、特に無人ヘリコプターや気球等を用いたリ
モートセンシング技術の実用化が望まれる。[0006] There are methods such as chemical soil analysis, nitrogen component analysis in crops, and measurement of chlorophyll concentration in crops for monitoring the growth state of crops, but it takes time to obtain measurement results, Alternatively, since the measurement work requires a great deal of labor, there have been problems such as missing the optimum fertilization timing and being difficult to apply to large-scale fields. Measurement of crop growth state by optical image analysis using remote sensing as described below is important as a crop production management technology on large-scale farms because of the immediacy and simplicity of measurement, and especially for unmanned helicopters and balloons. Practical application of the remote sensing technology used is desired.
【０００７】圃場上空からの撮影画像を解析することに
よる作物の生育状態の測定技術には、緑、赤、近赤外等
の特定の波長領域での葉の反射係数（反射率）を分析し
て、所謂葉色分布と言われる生育量分布を求めるものが
ある。また、近赤外の撮影画像を分析して、画像内の作
物の葉部の画像面積あるいは葉からの近赤外反射光量を
測定して生育量を求めるものがある。A technique for measuring the growth state of crops by analyzing images taken from above the field is to analyze the reflection coefficient (reflectance) of leaves in specific wavelength regions such as green, red, and near infrared. For example, there is a method for obtaining a so-called leaf color distribution, that is, a growth amount distribution. In addition, there is a method in which a near-infrared photographed image is analyzed and an image area of a leaf portion of a crop in the image or a near-infrared reflected light amount from the leaf is measured to obtain a growth amount.
【０００８】本発明は、後者（近赤外光による作物画像
を分析する技術）に関するものである。例えば水稲の場
合、作物生育量評価の一方法として従来、草丈、茎数で
評価されることが行なわれているが、上空からの作物画
像を解析して求めた葉部の画像面積あるいは葉部からの
近赤外反射光量と、草丈、茎数あるいは（草丈×茎数）
等との間には高い相関があることが知られているが、こ
の画像解析に関して本発明を適用すれば、その測定精度
が向上する。The present invention relates to the latter (a technique for analyzing a crop image by near infrared light). For example, in the case of paddy rice, the plant height and the number of stems have been conventionally evaluated as one method of evaluating crop growth, but the image area of the leaf part or the leaf part obtained by analyzing the crop image from the sky. Near-infrared reflected light amount from, and plant height, number of stems or (plant length x number of stems)
It is known that there is a high correlation with the above, but if the present invention is applied to this image analysis, the measurement accuracy will be improved.
【０００９】撮影位置の高さ（ヘリコプターの高度）を
上げれば、撮影できる圃場面積は広くなるが、高度が高
くなる程、ヘリコプターの操縦技術が難しくなるため、
あまり高度を上げることはできない。そのため、測定効
率を高めようとすると、広角の撮影レンズを用いて撮影
範囲をできるだけ広くし、一度に多数の作物の画像を取
得する必要がある。トラクター等に搭載した撮影装置で
も同様に、カメラを設置する位置が高い程、広い面積が
撮影できるが、カメラの設置高さには限界があり、やは
り広角レンズによって撮影範囲を広げたいという要求が
ある。If the height of the photographing position (the height of the helicopter) is increased, the field area that can be photographed becomes wider, but the higher the altitude, the more difficult the helicopter control technique becomes.
You cannot raise the altitude too much. Therefore, in order to improve the measurement efficiency, it is necessary to use a wide-angle shooting lens to widen the shooting range as much as possible and acquire images of many crops at once. Similarly, with a shooting device installed in a tractor or the like, the higher the position where the camera is installed, the wider the area that can be taken, but there is a limit to the installation height of the camera, and there is also a demand to widen the shooting range with a wide-angle lens. is there.
【００１０】この技術は、草丈や茎数が作物体の大き
さ、すなわち、撮影画像に占める作物の画像面積に強い
相関があることで説明されるが、作物の真上から撮影し
た画像に対して分析されたデータがこれまで蓄積されて
いる。作物を真上から撮影する場合と斜め上空から撮影
する場合とで、同じ作物（被写体）であっても撮影画像
上で占める被写体面積が異なるため、本技術は、一つの
撮影画像の中でも中央部と周辺部とでは測定精度が異な
ってしまう問題があり、更に焦点距離の異なる撮影レン
ズでは焦点距離が短い程（広角になる程）、この問題が
顕著に現れるという問題があった。This technique is explained by the fact that the plant height and the number of stems have a strong correlation with the size of the crop body, that is, the image area of the crop occupying the photographed image. The data analyzed by Even if the same crop (subject) is photographed from directly above and diagonally above the subject, the subject area occupied in the photographed image is different. There is a problem that the measurement accuracy is different between the peripheral part and the peripheral part, and there is a problem that in a taking lens having a different focal length, the problem becomes more remarkable as the focal length becomes shorter (wider angle).
【００１１】すなわち、図１９（ａ）に示すように広角
で圃場が撮影された場合、カメラ１０１の略真下にある
作物Ａと撮影画面周辺に位置する作物Ｂとがほぼ同じ生
育量であっても、同図（ｂ）に示すように作物Ａの画像
１０２の面積ＳAと撮影画面周辺に位置する作物Ｂの画
像１０３の面積ＳBとが相違し、当該面積ＳBに基づいて
推定される作物Ｂの生育量は面積ＳAに基づいて推定さ
れる作物Ａの生育量より大きくなる。そして、この作物
Ｂの生育量の推定値に含まれる誤差は、カメラ１０１の
撮影角度θ（光軸方向Ｌに対するカメラ１０１から作物
Ｂへの視線方向ＬBの角度θ）が大きくなるほど、大き
くなる。That is, when the field is photographed at a wide angle as shown in FIG. 19A, the crop A directly under the camera 101 and the crop B located around the photographing screen have substantially the same growth amount. also, the area S and are different B images 103 crop B located area S a and the photographing screen around the image 102 crops a as shown in FIG. (b), it is estimated on the basis of the area S B The growth amount of the crop B is larger than the growth amount of the crop A estimated based on the area S A. The error included in the estimated value of the growth amount of the crop B increases as the photographing angle θ of the camera 101 (angle θ of the line of sight L B from the camera 101 to the crop B with respect to the optical axis direction L) increases. .
【００１２】本発明は、上記課題に鑑みてなされたもの
であり、無人ヘリコプターやトラクターなどによるリモ
ートセンシングを用いた作物の生育量の評価技術におい
て、広い範囲の圃場を撮影した場合もその撮影画像に含
まれる全ての作物に対して比較的高い精度で生育量を推
定することのできる作物生育量測定装置、作物生育量測
定方法、作物生育量測定プログラム及びその作物生育量
測定プログラムを記録したコンピュータ読取可能な記録
媒体を提供するものである。The present invention has been made in view of the above problems, and in the technique for evaluating the growth of crops using remote sensing by an unmanned helicopter, a tractor, etc., even when a wide range of fields are photographed, the captured image is obtained. , A crop growth measuring method, a crop growth measuring program, and a computer recording the crop growth measuring program capable of estimating the growth of all crops contained in A readable recording medium is provided.
【００１３】[0013]
【課題を解決するための手段】本発明は、所定の間隔で
複数株の作物が生育している圃場を上空から撮影手段で
撮影して得られる特定波長領域の画像を入力する入力手
段と、上記特定波長領域の撮影画像から作物部分の画像
を抽出する画像抽出手段と、抽出された作物部分の画像
を、上記撮影手段でほぼ真上から作物を撮影したときの
画像に補正する画像補正手段と、補正された作物部分の
画像を用いて作物の生育量を算出する生育量算出手段と
を備えたことを特徴とする作物生育量測定装置である
（請求項１）。Means for Solving the Problems The present invention comprises input means for inputting an image of a specific wavelength region obtained by photographing a field in which a plurality of crops of crops are growing at predetermined intervals from above with a photographing means, Image extracting means for extracting an image of the crop portion from the photographed image in the specific wavelength region, and image correcting means for correcting the extracted image of the crop portion to an image when the crop is photographed from directly above by the photographing means. And a growth amount calculating means for calculating the growth amount of the crop using the corrected image of the crop portion. (Claim 1)
【００１４】また、本発明は、所定の間隔で複数株の作
物が生育している圃場を上空から撮影するための特定の
波長領域の受光感度を有する撮影手段と、上記撮影手段
で撮影された画像から作物部分の画像を抽出する画像抽
出手段と、抽出された作物部分の画像を、上記撮影手段
でほぼ真上から作物を撮影したときの画像に補正する画
像補正手段と、補正された作物部分の画像を用いて作物
の生育量を算出する生育量算出手段とを備えたことを特
徴とする作物生育量測定装置である（請求項３）。Further, according to the present invention, a photographing means having a light receiving sensitivity in a specific wavelength region for photographing a field where a plurality of crops of crops are growing at a predetermined interval from the sky, and the photographing means. Image extracting means for extracting an image of the crop portion from the image, image correcting means for correcting the extracted image of the crop portion to an image when the crop is photographed from directly above by the photographing means, and the corrected crop A crop growth amount measuring device, comprising: a growth amount calculating means for calculating a growth amount of a crop using a partial image (claim 3).
【００１５】上記構成によれば、圃場を上空から撮影手
段で撮影して得られた特定波長領域の画像が入力される
と、特定波長領域の画像から圃場に生育している作物部
分の画像が抽出される。例えば近赤外領域の画像では
（請求項１６）、作物からの反射光量と土、水等の作物
以外の部分からの反射光量の差が撮影画像の濃度差とし
て表れるから、この濃度差に基づいて作物部分の画像が
抽出される。According to the above construction, when the image of the specific wavelength region obtained by photographing the field from above by the photographing means is input, the image of the crop portion growing in the field is converted from the image of the specific wavelength region. To be extracted. For example, in an image in the near-infrared region (claim 16), the difference between the amount of reflected light from a crop and the amount of reflected light from a part other than the crop such as soil and water appears as a density difference in the captured image. The image of the crop part is extracted.
【００１６】次に、抽出された作物部分の画像は撮影手
段でほぼ真上から作物を撮影したときの画像に補正され
る。より具体的には、抽出された作物部分の画像の面積
が撮影手段でほぼ真上から作物を撮影したときの画像の
面積に補正される。作物を真上から撮影すると、ほぼ作
物の上面が撮影されるが、作物を斜めから撮影すると、
作物の上面以外に側面部分も撮影されるから、斜めから
撮影された作物の画像の面積は真上から撮影されたとき
に比べて大きくなる。この面積の増大する割合は撮影角
度が大きくなるほど大きくなり、撮影角度に関係する。
従って、この作物部分の画像の補正は、撮影手段の抽出
画像に対応する作物に対する撮影角度の関数である所定
の補正係数を、作物部分の画像に乗ずることで行なわれ
る（請求項５）。Next, the image of the extracted crop portion is corrected by the photographing means to an image when the crop is photographed from directly above. More specifically, the area of the image of the extracted crop portion is corrected to the area of the image when the crop is photographed from directly above by the photographing means. If you shoot the crop from directly above, the top surface of the crop will be taken, but if you shoot the crop from an angle,
Since the side surface as well as the top surface of the crop is photographed, the area of the image of the crop photographed obliquely becomes larger than that when photographed from directly above. The rate of increase in this area increases as the shooting angle increases, and is related to the shooting angle.
Therefore, the image of the crop portion is corrected by multiplying the image of the crop portion by a predetermined correction coefficient which is a function of the photographing angle for the crop corresponding to the extracted image of the photographing means (claim 5).
【００１７】本発明の原理では、抽出された作物部分
（葉の部分）の画像の面積をほぼ真上から撮影したとき
の画像の面積に補正するわけであるが、実際には画像面
積という形のデータで補正をかけるよりは、各画素の画
像濃度のデータに対して補正をかけるほうが実際的であ
る。つまり、背景部分を分離して抽出された作物（葉）
の近赤外反射光画像に対して、各画素毎の濃度データに
補正係数を乗じることにより、画像面積補正分を画像濃
度補正に転化するわけである。こうすることにより、近
赤外反射光量の次元で撮影角度依存性を実質的に補正で
きる。実際の施肥作業は、数十cm乃至数m程度の精度で
のコントロールとなるため、生育状態分布図は、それに
準じた程度の区画の分解能で良いことになり、そのエリ
アの大きさに対応して撮影画像をメッシュで区切り、区
画毎の生育量の代表値（例えば平均値）を算出すること
が行なわれる。上記の近赤外反射光画像の濃度値に対す
る補正処理は、画像面積そのものを補正するものではな
いが、メッシュで区切った圃場区画毎の代表値算出処理
の過程を考慮すれば、複数画素領域にわたる面積換算処
理をしないで画素毎のみの演算で済むため、合理性があ
る（請求項５）。According to the principle of the present invention, the area of the image of the extracted crop portion (leaf portion) is corrected to the area of the image when it is photographed from directly above, but in reality, it is in the form of image area. It is more practical to correct the data of the image density of each pixel than the correction of the data of (1). That is, the crop (leaf) extracted by separating the background part
For the near infrared reflected light image, the density data for each pixel is multiplied by the correction coefficient to convert the image area correction into the image density correction. By doing so, the imaging angle dependency can be substantially corrected in the dimension of the amount of near infrared reflected light. Since the actual fertilization work is controlled with an accuracy of about several tens of centimeters to several meters, the growth state distribution map will be good with the resolution of the section according to it, and it corresponds to the size of the area. Then, the photographed image is divided by a mesh and a representative value (for example, an average value) of the growth amount for each section is calculated. The correction processing for the density value of the near-infrared reflected light image does not correct the image area itself, but if the process of the representative value calculation processing for each field section divided by the mesh is taken into consideration, it covers a plurality of pixel areas. There is rationality because only the calculation for each pixel is required without performing the area conversion process (claim 5).
【００１８】より具体的には、抽出された作物部分の画
像の撮影画像上の位置と撮影手段の画角値とに基づいて
撮影角度が算出され、更にこの撮影角度に所定の演算式
を適用することで、当該抽出された作物部分の画像の補
正係数が算出され、この補正係数を作物部分の画像に乗
ずることにより画像の補正が行われる（請求項７）。More specifically, the photographing angle is calculated based on the position of the extracted image of the crop portion on the photographed image and the angle of view of the photographing means, and a predetermined arithmetic expression is applied to this photographing angle. By doing so, the correction coefficient of the image of the extracted crop portion is calculated, and the image is corrected by multiplying the image of the crop portion by this correction coefficient (claim 7).
【００１９】図１に示すように、画角値θMのカメラＤ
Ｃによって地上の撮影範囲Ｈが撮影され（同図
（ａ））、その撮影画像をＧとする（同図（ｂ））。同
図から、撮影画像Ｇの中心ｏは撮影範囲Ｈの中心位置Ｏ
（カメラＤＣの真下）に、また、撮影画像Ｇの角位置
ｍ，ｍ’はそれぞれ撮影範囲Ｈの角位置Ｍ，Ｍ’に対応
し、角位置ｍの撮影角度θmはθM／２となる。撮影画像
Ｇの中心位置ｏと角位置ｍまでの対角距離をｄm、カメ
ラＤＣの焦点距離をｆとすると、対角距離ｄmは、
ｄm＝ｆ・tan(θM)
で算出される。図１（ｂ）において、作物部分の位置を
撮影画像Ｇのｐ点とし、中心位置ｏとｐ点までの距離を
ｄpとし、ｐ点の撮影角度をθpとすると、ｄ＝ｆ・tan
(θp)であるから、このｄの式と上述したｄmの式とから
ｆを消去すると、ｄ／ｄm＝tan(θp)／tan(θM)とな
り、tan(θp)＝（ｄ／ｄm）・tan(θM)となる。よっ
て、撮影角度θpは、
θp＝tan-1[(ｄ/ｄm)・tan(θM)] …（２）
で算出される。As shown in FIG. 1, a camera D having an angle of view value θ M
The photographing range H on the ground is photographed by C ((a) in the figure), and the photographed image is designated as G ((b) in the figure). From the figure, the center o of the photographed image G is the center position O of the photographing range H.
(Directly below the camera DC), the angular positions m and m ′ of the photographed image G correspond to the angular positions M and M ′ of the photographing range H, respectively, and the photographing angle θm of the angular position m is θ M / 2. . Assuming that the diagonal distance between the center position o and the corner position m of the photographed image G is dm and the focal length of the camera DC is f, the diagonal distance dm is calculated by dm = f · tan (θ M ). In FIG. 1B, assuming that the position of the crop portion is the p point of the photographed image G, the distance between the center position o and the p point is dp, and the photographing angle of the p point is θp, d = f · tan
Therefore, if f is deleted from the equation of d and the equation of dm described above, d / dm = tan (θp) / tan (θ M ), and tan (θp) = (d / dm)・ It becomes tan (θ M ). Therefore, the photographing angle θp is calculated by θp = tan −1 [(d / dm) · tan (θ M )] (2).
【００２０】一方、作物部分の画像に対する補正係数α
は、図２（ａ）に示すように、略同じ生育量の作物Ａ，
Ｂを高さｈ、幅ａ、奥行ｂの直方体にモデル化し、カメ
ラＤＣの真下に位置する作物Ａ（撮影角度θA＝０）と
カメラＤＣに対して撮影角度θBに位置する作物Ｂとが
同図（ｂ）に示すように撮影されたとすると、以下のよ
うに算出される。On the other hand, the correction coefficient α for the image of the crop portion
As shown in FIG. 2 (a), is a crop A of approximately the same growth amount,
B is modeled as a rectangular parallelepiped having a height h, a width a and a depth b, and a crop A (shooting angle θ A = 0) located directly under the camera DC and a crop B located at a shooting angle θ B with respect to the camera DC. If the photograph is taken as shown in FIG. 7B, the calculation is performed as follows.
【００２１】作物Ａの撮影画像ＧAに対応する部分の面
積ＳAは、作物ＡがカメラＤＣの真下で撮影されるた
め、ＳA＝ａ×ｂとなる。一方、作物Ｂの撮影画像ＧBに
対応する部分の面積ＳBは、作物ＢがカメラＤＣに対し
て撮影角度θBで撮影されるため、ＳB＝（ａ＋ｃ）×ｂ
となる。ｃ＝ｈ・tan(θB)より作物Ｂの撮影画像ＧBに
対応する部分の面積ＳBは、
ＳB＝（ａ＋ｈ・tan(θB)）×ｂ
となるから、面積ＳBと面積ＳAとの比を算出すると、
ＳB／ＳA＝（ａ＋ｈ・tan(θB)）・ｂ／（ａ・ｂ）
＝１＋Ｋ・tan(θB) …（３）
但し、Ｋ＝ｈ／ａ
となる。The area S A of the portion corresponding to the photographed image G A of the crop A is S A = a × b because the crop A is photographed right under the camera DC. On the other hand, the area S B of the portion of the crop B corresponding to the photographed image G B is S B = (a + c) × b because the crop B is photographed at the photographing angle θ B with respect to the camera DC.
Becomes c = h · tan (θ B ) than the area of the portion corresponding to the photographed image G B crop B S B is, S B = (a + h · tan (θ B)) from the × b, the area S B and area When the ratio with S A is calculated, S B / S A = (a + h · tan (θ B )) · b / (a · b) = 1 + K · tan (θ B ) ... (3) where K = h / a.
【００２２】上記（３）式は、作物ＢがカメラＤＣの真
下で撮影されたすると、撮影面積がＳAとなるのを、
［１＋Ｋ・tan(θB)］倍の面積で撮影されることを意味
するから、作物Ｂの撮影画像ＧBに対する補正係数α
Bは、
αB＝１／［１＋Ｋ・tan(θB)］…（４）
となる。なお、作物ＡはカメラＤＣの真下で撮影されて
いるから、作物Ａの撮影画像ＧAに対する補正係数αAは
「１」であるが、作物Ａの撮影角度θAは０°であるか
ら、tan(θA)＝０となり、上記（４）式により作物Ａの
撮影画像ＧAに対する補正係数αAも算出される。In the above formula (3), when the crop B is photographed directly under the camera DC, the photographing area becomes S A ,
Since it means that the image is captured in an area of [1 + K · tan (θ B )] times, the correction coefficient α for the captured image G B of the crop B
B becomes α B = 1 / [1 + K · tan (θ B )] ... (4). Since the crop A is photographed right under the camera DC, the correction coefficient α A for the photographed image G A of the crop A is “1”, but the photographing angle θ A of the crop A is 0 °. Since tan (θ A ) = 0, the correction coefficient α A for the photographed image G A of the crop A is also calculated by the above formula (4).
【００２３】従って、撮影画面Ｇ内の任意の作物ｉの撮
影画像Ｇｉに対する補正係数αiの式は、上記（２）式
で算出される撮影角度θiを上記（４）式に代入して得
られ、
αi＝１／［１＋Ｋ・tan(θi)］
となる。従って、この補正係数αiを作物ｉの画像に乗
ずることにより当該作物ｉの画像の補正が行われる（請
求項９，１０）。Therefore, the formula of the correction coefficient αi for the photographed image Gi of the arbitrary crop i in the photographing screen G is obtained by substituting the photographing angle θi calculated by the above formula (2) into the above formula (4). , Αi = 1 / [1 + K · tan (θi)]. Therefore, the image of the crop i is corrected by multiplying the image of the crop i by the correction coefficient αi (claims 9 and 10).
【００２４】なお、画像面積の形で補正せずに画素毎の
近赤外画像濃度値に補正をかける方法の利便性、合理性
を上述したが、勿論画像面積そのものを補正してもよ
い。上記（４）式に示す補正係数αは撮影角度θの関数
であり、撮影角度θは、上述したように撮影画像の各画
素位置毎に算出することが可能である。撮影画像Ｇの画
素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ＝１，２，
…ｍ）で表し、各画素位置（ｉ，ｊ）毎に算出される撮
影角度θ(i,j)に基づいて上記（４）式で算出される補
正係数をα(i,j)とすると、各画素位置（ｉ，ｊ）のデ
ータを補正係数α(i,j)とすれば、このデータは補正係
数α(i,j)を画像データの構成に類似したもの（このデ
ータを画像化した補正係数のデータという。）となる。The convenience and rationality of the method of correcting the near-infrared image density value for each pixel without correcting in the form of the image area have been described above, but the image area itself may of course be corrected. The correction coefficient α shown in the equation (4) is a function of the photographing angle θ, and the photographing angle θ can be calculated for each pixel position of the photographed image as described above. The pixel position of the captured image G is (i, j) (i = 1, 2, ... N, j = 1, 2,
... m) and the correction coefficient calculated by the above equation (4) based on the shooting angle θ (i, j) calculated for each pixel position (i, j) is α (i, j). , If the data at each pixel position (i, j) is the correction coefficient α (i, j), this data is similar to the configuration of the correction coefficient α (i, j) (the data is converted into an image. It is referred to as correction coefficient data).
【００２５】従って、撮影画像Ｇに画像化した補正係数
を乗じる（すなわち、撮影画像Ｇの画素データＤ(i,j)
に、対応する画素位置の補正係数α(i,j)を乗じる）こ
とにより、撮影画像Ｇ全体を補正し、これにより撮影画
像Ｇに含まれる作物部分の画像を補正するようにしても
よい（請求項８）。Therefore, the photographed image G is multiplied by the imaged correction coefficient (that is, the pixel data D (i, j) of the photographed image G is multiplied.
May be corrected by the correction coefficient α (i, j) of the corresponding pixel position to correct the entire captured image G, thereby correcting the image of the crop portion included in the captured image G ( Claim 8).
【００２６】なお、上記説明は、作物Ａ，Ｂを直方体と
してモデル化した場合の幾何学的計算式によるものであ
るが、実際の作物は直方体ではないため、厳密には上記
計算式が成り立つものではないが、実験結果から定数Ｋ
を適切に選べば、かなり良好な補正が可能であることが
確認できている。The above description is based on the geometrical calculation formula when the crops A and B are modeled as a rectangular parallelepiped. However, since the actual crop is not a rectangular parallelepiped, the above calculation formula is strictly satisfied. However, from the experimental results, the constant K
It has been confirmed that a good correction can be made by properly selecting.
【００２７】隣接する株の作物部分の画像が重なってい
る場合は、これらの作物部分の画像に対する補正係数
は、これらの作物部分の画像に撮影角度のうちの最小の
撮影角度に対応する補正係数に固定するとよい（請求項
１１）。すなわち、図２において、例えば作物Ｂの作物
Ａ側に隣接する作物Ｃ（点線で示す）の撮影画像Ｇ
C（点線で示す）に作物Ｂの撮影画像ＧBが重なる場合
は、作物Ｂとこれより作物Ａからの距離が長い作物（撮
影角度θが作物Ｃに対する撮影角度θCより大きい作
物。作物Ｃより外側の作物）の撮影画像の面積は作物Ｃ
の撮影画像ＧCの面積と同一となってしまうので、作物
Ｃより外側の作物の撮影画像に対する補正係数αは作物
Ｃの撮影画像に対する補正係数αCに設定される。これ
により画像処理における作物部分の面積の補正ミスを防
止することができる。When the images of the crop parts of the adjacent plants overlap, the correction coefficient for the images of these crop parts is the correction coefficient corresponding to the minimum shooting angle of the shooting angles of the images of these crop parts. It is good to fix to (Claim 11). That is, in FIG. 2, for example, a photographed image G of the crop C (shown by a dotted line) adjacent to the crop A side of the crop B.
When the photographed image G B of the crop B overlaps C (indicated by the dotted line), the crop B and the crop having a longer distance from the crop A (the cropping angle θ is larger than the photographing angle θ C relative to the crop C. Crop C The area of the photographed image (outer crop) is crop C
Because of the photographed image G C becomes the area with the same, the correction coefficient from the crop C relative to the outer crop photographed image alpha is set to the correction coefficient alpha C for captured images crop C. As a result, it is possible to prevent the correction error of the area of the crop portion in the image processing.
【００２８】次に、補正された作物部分の画像を用いて
作物の生育量が算出される。生育量の算出は、例えば圃
場の撮影画像から算出される作物の特定波長領域の反射
光量と当該圃場に植えられた作物の生育量との相関の調
査結果に基づいて、予め高い相関値を有する、例えば茎
数、草丈又は（茎数×草丈）等の生育量の特性を設定し
ておき、補正後の作物部分の画像から算出される特定波
長領域の反射光量をこの生育量の特性から茎数、草丈又
は（茎数×草丈）等の生育量に変換することにより行な
われる（請求項１７）。Next, the crop growth amount is calculated using the corrected image of the crop portion. The calculation of the growth amount has a high correlation value in advance, for example, based on the survey result of the correlation between the reflected light amount of the crop in the specific wavelength region calculated from the photographed image of the field and the growth amount of the crop planted in the field. , Such as the number of stems, plant height or (stem number x plant height), the characteristics of the growth amount are set, and the reflected light amount of the specific wavelength region calculated from the image of the crop part after correction is calculated from the characteristics of this growth amount. The number of plants, the plant height, or the growth amount such as (stem number x plant height) is converted (claim 17).
【００２９】また、本発明は、所定の間隔で複数株の作
物が生育している圃場を上空から撮影するための特定の
波長領域の受光感度を有する撮影手段と、上記撮影手段
で撮影された画像から作物部分の画像を抽出する画像抽
出手段と、抽出された作物部分の画像を、上記撮影手段
でほぼ真上から作物を撮影したときの画像に補正する画
像補正手段と、補正された作物部分の画像を用いて作物
の生育量を算出する生育量算出手段とを備えたことを特
徴とする作物生育量測定装置である（請求項３）。Further, according to the present invention, a photographing means having a photosensitivity in a specific wavelength region for photographing a field in which a plurality of crops are growing at a predetermined interval from above, and the photographing means. Image extracting means for extracting an image of the crop portion from the image, image correcting means for correcting the extracted image of the crop portion to an image when the crop is photographed from directly above by the photographing means, and the corrected crop A crop growth amount measuring device, comprising: a growth amount calculating means for calculating a growth amount of a crop using a partial image (claim 3).
【００３０】また、本発明は、所定の間隔で複数株の作
物が生育している圃場を上空から撮影するための特定波
長領域の受光感度を有する撮影手段と、特定波長領域の
上記圃場への太陽光の入射光量を測定する測光手段と、
上記撮影手段で撮影された画像を構成する画素データの
上記太陽光の入射光量に対する比を取ることで、上記特
定波長領域の成分の反射率分布の画像を作成する反射率
画像作成手段と、上記反射率分布の画像を用いて上記撮
影画像から作物部分の画像を抽出する画像抽出手段と、
抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正する画像補正手段
と、補正された作物部分の画像を用いて作物の生育量を
算出する生育量算出手段とを備えたことを特徴とする作
物生育量測定装置である（請求項４）。Further, the present invention provides a photographing means having a light receiving sensitivity in a specific wavelength region for photographing from the sky a field in which a plurality of crops are growing at predetermined intervals, and a field for the field in the specific wavelength region. Photometric means for measuring the amount of incident light of sunlight,
Reflectance image creating means for creating an image of the reflectance distribution of the components in the specific wavelength region by taking the ratio of the pixel data forming the image taken by the imaging means to the incident light amount of the sunlight, and Image extraction means for extracting the image of the crop portion from the captured image using the image of the reflectance distribution,
Image correction means for correcting the extracted image of the crop portion to an image when the crop is photographed from directly above by the photographing means, and growth for calculating the crop growth amount using the corrected image of the crop portion A crop growth amount measuring device comprising: an amount calculating means (claim 4).
【００３１】上記構成によれば、圃場を上空から撮影手
段で撮影して得られた特定波長領域の画像と当該撮影時
に測光手段で測定された特定波長領域の圃場への太陽光
の入射光量が入力されると、撮影画像を構成する画素デ
ータの太陽光の入射光量に対する比を取ることで、特定
波長領域の成分の反射率分布の画像が作成される。そし
て、その反射率部分の画像を用いて撮影画像から作物部
分の画像が抽出される。例えば近赤外領域の画像では
（請求項１６）、作物からの反射率と土、水等の作物以
外の部分からの反射率の差が撮影画像の濃度差として表
れるから、この濃度差に基づいて作物部分の画像が抽出
される。According to the above configuration, the image of the specific wavelength region obtained by photographing the field from above with the photographing means and the incident light amount of the sunlight on the farm field of the specific wavelength region measured by the photometric means at the time of photographing are calculated. When input, an image of the reflectance distribution of the components in the specific wavelength region is created by taking the ratio of the pixel data forming the captured image to the incident light amount of sunlight. Then, the image of the crop portion is extracted from the captured image using the image of the reflectance portion. For example, in the image in the near-infrared region (claim 16), the difference between the reflectance from the crop and the reflectance from the portion other than the crop such as soil and water appears as the density difference in the captured image. The image of the crop part is extracted.
【００３２】次に、抽出された作物部分の画像は撮影手
段でほぼ真上から作物を撮影したときの画像に補正され
る。この画像の補正方法は上述した方法と同様の方法で
行なわれる。そして、補正された作物部分の画像を用い
て上述と同様の方法で作物の生育量が算出される。Next, the image of the extracted crop portion is corrected by the photographing means to an image when the crop is photographed almost right above. This image correction method is performed by the same method as that described above. Then, the crop growth amount is calculated by the same method as described above using the corrected image of the crop portion.
【００３３】なお、上記作物生育量測定装置において、
上記撮影手段の光学特性に基づく当該撮影手段で撮影さ
れた画像のレベル誤差を所定の補正データで補正するレ
ベル補正手段を更に備え、上記画像抽出手段は、レベル
補正された撮影画像から上記作物の部分の画像を抽出す
るとよい（請求項１２）。上記補正データは、上記撮影
手段のレンズの周辺光量低下特性による撮影画像周辺部
の濃度レベル誤差を補正するデータや上記撮影手段のレ
ンズの収差に基づくレベル誤差を補正するデータである
（請求項１３，１４）。In the above crop growth measuring device,
The image extraction means further comprises level correction means for correcting a level error of an image photographed by the photographing means based on the optical characteristics of the photographing means with predetermined correction data, and the image extracting means extracts the crop of the crop from the level-corrected photographed image. It is preferable to extract the image of the part (claim 12). The correction data is data for correcting a density level error in a peripheral portion of a captured image due to a peripheral light amount reduction characteristic of a lens of the photographing means and data for correcting a level error based on an aberration of the lens of the photographing means (claim 13). , 14).
【００３４】一般に撮影レンズは口径が有限であるた
め、輝度分布が一様な被写体を撮影した場合でも像面照
度すなわち撮影画像は周辺部になる程暗くなる。これ
は、被写体から発してレンズを透過して像面に達する光
は、レンズ光軸に対する入射角に依存して像面への到達
光量が低下する（コサイン４乗則と呼ばれる）というも
のである。また、斜め方向の入射に対しては更にレンズ
の口径食により更に光量が低下する。このため、撮影画
像は周辺部の受光レベルが真の受光レベルより低下し、
撮影画面の周辺部に位置する作物部分の画像のレベルは
誤差を有することになる。また、撮影手段の色収差や歪
曲収差等の特性によっても露光面に到達する透過光量が
不均一となり、撮影画面内の作物部分の画像のレベルに
誤差が生じる。Since the photographic lens generally has a finite aperture, even when a subject having a uniform luminance distribution is photographed, the image plane illuminance, that is, the photographed image becomes darker toward the peripheral portion. This is because the amount of light that emanates from the subject, passes through the lens, and reaches the image plane decreases in the amount of light reaching the image plane depending on the incident angle with respect to the lens optical axis (called the cosine fourth law). . Further, when the light enters in an oblique direction, vignetting of the lens further reduces the light amount. Therefore, in the captured image, the light receiving level of the peripheral portion is lower than the true light receiving level,
The image level of the crop portion located in the peripheral portion of the shooting screen will have an error. Also, the amount of transmitted light reaching the exposure surface becomes non-uniform due to the characteristics of the photographic means such as chromatic aberration and distortion, which causes an error in the image level of the crop portion within the photographic screen.
【００３５】上記構成によれば、撮影手段の光学特性に
基づく撮影画像のレベル誤差が所定の補正データで補正
され、その補正後の撮影画像から作物部分の画像が抽出
される。これにより撮影手段の光学特性に基づく測定精
度の低下を防止することができる。According to the above construction, the level error of the photographed image based on the optical characteristics of the photographing means is corrected by the predetermined correction data, and the image of the crop portion is extracted from the corrected photographed image. As a result, it is possible to prevent the measurement accuracy from deteriorating based on the optical characteristics of the photographing means.
【００３６】更に、上記作物生育量測定装置において、
算出された生育量と撮影画像とを用いて上記圃場の作物
の生育マップを作成するマップ作成手段と、作成された
生育マップを表示する表示手段とを更に備えるとよい
（請求項１５）。Further, in the above crop growth measuring device,
It is preferable to further include map creating means for creating a growth map of the crop in the field using the calculated growth amount and the captured image, and display means for displaying the created growth map (claim 15).
【００３７】この構成によれば、撮影された各作物につ
いて算出された生育量と撮影画像とを用いて圃場の作物
の生育マップが作成され、表示手段に表示される。例え
ば作物の生育量を複数の区分に分割し、撮影画面内の作
物部分の画像を同一生育量を有する区分で色分けするこ
とで圃場の作物の生育マップが作成され、その生育マッ
プが表示手段に表示される。According to this configuration, a growth map of a crop in a field is created using the growth amount calculated for each crop photographed and the photographed image and displayed on the display means. For example, by dividing the growth amount of a crop into a plurality of sections and color-coding the image of the crop portion in the photographing screen by the section having the same growth amount, a growth map of the crops in the field is created, and the growth map is displayed on the display means. Is displayed.
【００３８】また、本発明は、所定の間隔で複数株の作
物が生育している圃場を上空から撮影手段で撮影して得
られる特定波長領域の画像を入力するステップと、上記
特定波長領域の撮影画像から作物部分の画像を抽出する
ステップと、抽出された作物部分の画像を、上記撮影手
段でほぼ真上から作物を撮影したときの画像に補正する
ステップと、補正された作物部分の画像を用いて作物の
生育量を算出するステップとからなることを特徴とする
作物生育量測定方法である（請求項１９）。Further, according to the present invention, a step of inputting an image of a specific wavelength region obtained by photographing the field where a plurality of crops of crops are growing at a predetermined interval from above with a photographing means, A step of extracting an image of the crop portion from the photographed image, a step of correcting the extracted image of the crop portion to an image of the crop photographed from directly above by the photographing means, and an image of the corrected crop portion And a step of calculating the amount of growth of the crop using the method described above (claim 19).
【００３９】また、本発明は、所定の間隔で複数株の作
物が生育している圃場を上空から撮影手段で撮影して得
られる特定波長領域の画像と当該撮影時に測光手段で測
定された上記圃場への太陽光の特定波長領域の入射光量
とを入力するステップと、上記撮影画像を構成する画素
データの上記太陽光の入射光量に対する比を取ること
で、上記特定波長領域の成分の反射率分布の画像を作成
するステップと、上記反射率分布の画像を用いて上記撮
影画像から作物部分の画像を抽出するステップと、抽出
された作物部分の画像を、上記撮影手段でほぼ真上から
撮影された当該作物を撮影したときの画像に補正するス
テップと、補正された作物部分の画像を用いて作物の生
育量を算出するステップとからなることを特徴とする作
物生育量測定方法である（請求項２０）。Further, according to the present invention, an image of a specific wavelength region obtained by photographing the field where a plurality of crops of crops are growing at a predetermined interval from above with the photographing means, and the above-mentioned image measured by the photometric means at the time of photographing. The reflectance of the component in the specific wavelength region is obtained by taking the step of inputting the incident light amount of the sunlight in the specific wavelength region to the field and the ratio of the pixel data forming the captured image to the incident light amount of the sunlight. Creating an image of the distribution, extracting the image of the crop portion from the photographed image using the image of the reflectance distribution, and photographing the extracted image of the crop portion from almost directly above the photographing means. A crop growth measuring method, comprising: a step of correcting the crop to an image when the crop is photographed, and a step of calculating a crop growth using the corrected image of the crop part. That (claim 20).
【００４０】なお、上記作物生育量測定方法において、
算出された生育量に基づいて上記圃場の作物の生育マッ
プを作成するステップと、作成された生育マップを表示
するステップとを更に備えるとよい（請求項２１）。In the above method for measuring crop growth,
It is preferable to further include a step of creating a growth map of the crop in the field based on the calculated growth amount, and a step of displaying the created growth map (claim 21).
【００４１】また、本発明は、コンピュータに、所定の
間隔で複数株の作物が生育している圃場を上空から撮影
手段で撮影して得られる特定波長領域の画像を入力する
ステップと、上記特定波長領域の撮影画像から作物部分
の画像を抽出するステップと、抽出された作物部分の画
像を、上記撮影手段でほぼ真上から撮影された当該作物
を撮影したときの画像に補正するステップと、補正され
た作物部分の画像を用いて作物の生育量を算出するステ
ップとを実行させるためのプログラムである（請求項２
２）。Further, according to the present invention, the step of inputting to the computer an image of a specific wavelength region obtained by photographing the field where a plurality of crops of crops are growing at a predetermined interval from above with a photographing means, and the above-mentioned specification. A step of extracting an image of the crop portion from the photographed image of the wavelength region, a step of correcting the extracted crop portion image to an image when the crop is photographed from directly above by the photographing means, A program for executing the step of calculating the growth amount of the crop using the corrected image of the crop part (claim 2).
2).
【００４２】また、本発明は、コンピュータに、所定の
間隔で複数株の作物が生育している圃場を上空から撮影
手段で撮影して得られる特定波長領域の画像と当該撮影
時に測光手段で測定された上記圃場への太陽光の特定波
長領域の入射光量とを入力するステップと、上記撮影画
像を構成する画素データの上記太陽光の入射光量に対す
る比を取ることで、上記特定波長領域の成分の反射率分
布の画像を作成するステップと、上記反射率分布の画像
を用いて上記撮影画像から作物部分の画像を抽出するス
テップと、抽出された作物部分の画像を、上記撮影手段
でほぼ真上から撮影された当該作物を撮影したときの画
像に補正するステップと、補正された作物部分の画像を
用いて作物の生育量を算出するステップとを実行させる
ためのプログラムである（請求項２３）。Further, according to the present invention, an image of a specific wavelength region obtained by photographing the field where a plurality of crops of crops are growing at a predetermined interval on the computer with the photographing means and the measurement with the photometric means at the time of photographing. The step of inputting the incident light amount of the sunlight in the specific wavelength region to the farm field, and the ratio of the incident light amount of the sunlight of the pixel data forming the photographed image to obtain the component of the specific wavelength region Of the image of the reflectance distribution of the image, the step of extracting the image of the crop portion from the photographed image using the image of the reflectance distribution, and the image of the extracted crop portion is substantially true by the photographing means. A program for executing a step of correcting an image of the crop photographed from above and a step of calculating a growth amount of the crop using the corrected image of the crop portion There (claim 23).
【００４３】なお、上記プログラムにおいて、算出され
た生育量に基づいて上記圃場の作物の生育マップを作成
するステップと、作成された生育マップを表示するステ
ップとを更に備えるとよい（請求項２４）。The program may further include a step of creating a growth map of a crop in the field based on the calculated growth amount and a step of displaying the created growth map (claim 24). .
【００４４】また、本発明は、上記プログラムを記録し
たコンピュータ読取可能な記録媒体である（請求項２
５）。Further, the present invention is a computer-readable recording medium in which the above program is recorded (claim 2).
5).
【００４５】[0045]
【発明の実施の形態】図３は、本発明に係るリモートセ
ンシング技術を用いた作物の生育量測定方法を説明する
ための図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 3 is a diagram for explaining a method for measuring the growth amount of a crop using the remote sensing technology according to the present invention.
【００４６】本発明に係る作物の生育量測定方法は、所
定の間隔を設けて多数の作物２（例えば水稲など）が格
子状に植え付けられた圃場１の上空に、近赤外領域に感
度を有する撮影装置（図では表れていない）を搭載した
無人または有人のヘリコプター３を飛ばし、地上数１０
ｍ〜１００ｍ程度の上空から撮影装置で圃場１の所定の
範囲１ａを撮影し、図４に示すように、その撮影画像Ｇ
から作物２に相当する部分の画像Ｇｓ（以下、作物画像
Ｇｓという。）を抽出し、その作物画像Ｇｓを用いて作
物２の生育量を算出するものである。なお、本実施形態
では、ヘリコプター３を飛ばして撮影装置を圃場１の上
空に配置するようにしているが、例えばトラクターの荷
台に高さ数ｍの塔を設置し、この塔の上端部に撮影装置
を取り付け、トラクターを移動させて所望の圃場１の上
空に撮影装置を配置できるようにしてもよい。また、ヘ
リコプターの代わりに飛行機や気球等の手段を用いても
よい。The method for measuring the amount of growth of a crop according to the present invention has a sensitivity in the near-infrared region over the field 1 in which a large number of crops 2 (for example, paddy rice) are planted in a grid pattern at a predetermined interval. Fly an unmanned or manned helicopter 3 equipped with your own imaging device (not shown in the figure)
A predetermined area 1a of the field 1 is photographed by a photographing device from the sky of about m to 100 m, and as shown in FIG.
An image Gs of a portion corresponding to the crop 2 (hereinafter referred to as a crop image Gs) is extracted from the image, and the growth amount of the crop 2 is calculated using the crop image Gs. In the present embodiment, the helicopter 3 is skipped and the photographing device is arranged above the farm field 1. However, for example, a tower having a height of several meters is installed on the bed of the tractor, and the photographing is performed at the upper end of the tower. The device may be attached and the tractor may be moved so that the imaging device can be placed above the desired field 1. Further, means such as an airplane or a balloon may be used instead of the helicopter.
【００４７】撮影画像Ｇから作物画像Ｇｓを高い精度で
抽出するため、近赤外領域に感度を有するデジタルスチ
ルカメラなどの撮影装置を用いている。図５は、圃場に
おける土、水、作物の葉等の反射率特性を示す図であ
る。同図に示すように、土、水等の反射率は可視領域か
ら赤外領域に亘ってほぼ直線的に１０％〜２０％に変化
するが、作物の葉の反射率は可視領域の７００nmまでは
大きくても２５％程度で、７００nm〜７５０nmで急激に
上昇し、近赤外領域（７８０nm〜１．５μm）ではほぼ
５０％に達する特性を有している。In order to extract the crop image Gs from the photographed image G with high accuracy, a photographing device such as a digital still camera having sensitivity in the near infrared region is used. FIG. 5 is a diagram showing reflectance characteristics of soil, water, leaves of crops and the like in a field. As shown in the figure, the reflectance of soil, water, etc. changes almost linearly from the visible region to the infrared region from 10% to 20%, but the reflectance of crop leaves is up to 700 nm in the visible region. Has a characteristic that it is about 25% at the maximum, rises sharply in the range of 700 nm to 750 nm, and reaches almost 50% in the near infrared region (780 nm to 1.5 μm).
【００４８】このように近赤外領域では土、水等に比べ
て作物の葉の反射率は倍以上であるから、近赤外領域に
感度を有する撮影装置で圃場１を撮影することにより当
該圃場１からの近赤外領域の反射光量のデータを取り込
むとともに、近赤外領域に感度を有する測光装置で圃場
１の照度（太陽光の入射光量）を検出し、撮影画像のデ
ータの照度に対する比を算出することで、近赤外領域の
成分の反射率分布を示す画像を作成すると、この画像で
は作物部分（主として葉の部分）と作物以外の部分との
間の反射率の差が大きく表れるから、この差を利用して
撮影画像Ｇから作物部分Ｇｓの抽出が行われる。Since the reflectance of the leaves of the crop is more than double that of soil and water in the near infrared region, the field 1 is photographed by a photographing device having sensitivity in the near infrared region. Data of the amount of reflected light in the near-infrared region from the field 1 is taken in, and the illuminance of the field 1 (incident amount of sunlight) is detected by a photometric device that has sensitivity in the near-infrared region, and the illuminance of the data of the captured image is compared. When an image showing the reflectance distribution of components in the near infrared region is created by calculating the ratio, the difference in reflectance between the crop portion (mainly the leaf portion) and the non-crop portion is large in this image. Since it appears, the crop portion Gs is extracted from the captured image G using this difference.
【００４９】なお、作物部分Ｇｓの抽出処理の詳細は後
述する。また、本実施形態では、反射率分布の画像を作
成するようにしているが、圃場１の撮影範囲にほぼ均一
に太陽光が入射していれば、近赤外領域の撮影画像の濃
度分布（反射光量の分布）は、撮影範囲の反射率分布に
類似し、撮影画像Ｇには作物部分（主として葉の部分）
と作物以外の部分との間の濃度差が大きく表れる（作物
部分と作物以外の部分のコントラストが明瞭に表れる）
から、この濃度差を利用して撮影画像Ｇから作物部分Ｇ
ｓを抽出するようにしてもよい。The details of the extraction process of the crop portion Gs will be described later. Further, in the present embodiment, an image of the reflectance distribution is created, but if the sunlight is incident on the shooting range of the field 1 substantially uniformly, the density distribution of the shot image in the near infrared region ( The distribution of the reflected light amount) is similar to the reflectance distribution of the photographing range, and the photographed image G has a crop portion (mainly a leaf portion).
Difference between the crop area and the area other than the crop is large (the contrast between the crop area and the area other than the crop is clear)
From this, using this difference in density, from the captured image G to the crop portion G
You may make it extract s.
【００５０】作物部分Ｇｓを用いた作物２の生育量の算
出は、基本的に撮影画像Ｇにおける作物部分Ｇｓの占め
る面積に基づいて算出される作物からのＩＲ（Infrare
d）出力量（近赤外領域の反射光量）と水稲の生育量と
の関係を示す特性を用いて算出される。例えば水稲の場
合は、成長とともに茎数や草丈が増大し、真上から見た
ときの葉の面積も増大するから、撮影画像Ｇにおける作
物部分Ｇｓの占める面積（葉と推定される部分の面積）
と水稲の生育量とに高い相関性を有することが知られて
いる。The calculation of the growth amount of the crop 2 using the crop portion Gs is basically an IR (Infrare) from the crop calculated based on the area occupied by the crop portion Gs in the photographed image G.
d) Calculated using the characteristics that show the relationship between the output (the amount of reflected light in the near infrared region) and the growth of rice. For example, in the case of paddy rice, the number of stems and the plant height increase with growth, and the area of leaves when viewed from directly above also increases. Therefore, the area occupied by the crop portion Gs in the captured image G (the area of the portion estimated to be leaves) )
It is known to have a high correlation with the growth rate of paddy rice.
【００５１】図６は、作物（水稲）２からのＩＲ出力量
と当該作物２の生育量の一指標である茎数（本／ｍ2）
との関係の相関を調べたものである。縦軸のＩＲ出力量
は、上述したリモートセンシングにより得られた撮影画
像Ｇから作物画像Ｇｓを抽出し、この作物画像Ｇｓを構
成するデータ（画素データ）に基づいて算出されるＩＲ
出力量である。横軸は、撮影画像Ｇに対応する圃場１の
撮影範囲の面積をＳ（ｍ2）、この撮影範囲に含まれる
作物２の総茎数をＱとすると、Ｑ／Ｓによって算出され
る単位面積当たりに換算した茎数ｑ（本／ｍ2）であ
る。そして、図６は、種々の茎数ｑに生育した圃場につ
いて、リモートセンシングにより得られた撮影画像Ｇか
ら作物画像Ｇｓを抽出し、その作物画像Ｇｓから算出し
たＩＲ出力量と茎数ｑとの相関を調べたものである。な
お、図６は、上述した撮影画面Ｇの周辺部の作物画像Ｇ
ｓに生じる撮影角度θに基づく面積の誤差は補正してい
ない。FIG. 6 shows the IR output from the crop (paddy rice) 2 and the number of stems (lines / m 2 ) which is an index of the growth of the crop 2.
It is the one that investigated the correlation of the relationship with. The IR output amount on the vertical axis is calculated by extracting the crop image Gs from the captured image G obtained by the above-described remote sensing and calculating the IR output amount based on the data (pixel data) forming the crop image Gs.
It is the output amount. The horizontal axis represents the unit area calculated by Q / S, where S (m 2 ) is the area of the shooting range of the field 1 corresponding to the shot image G, and Q is the total number of stems of the crop 2 included in this shooting range. It is the number of stems q (lines / m 2 ) converted per hit. Then, FIG. 6 shows that the crop image Gs is extracted from the photographed image G obtained by remote sensing in a field grown with various numbers of stems q, and the IR output amount calculated from the crop image Gs and the number of stems q are shown. This is a study of the correlation. In addition, FIG. 6 shows the crop image G in the peripheral portion of the above-described shooting screen G.
The area error due to the photographing angle θ occurring in s is not corrected.
【００５２】図６に示すように、リモートセンシング技
術を用いて取得した撮影画像を用いて算出した作物２か
らのＩＲ出力量と当該作物２の生育量の一指標である茎
数ｑ（本／ｍ2）との間に相関係数ｒ＝０．６７の相関
が見られ、茎数ｑの増加に応じてＩＲ出力量がほぼリニ
アに増加すると推定することができる。従って、茎数ｑ
とＩＲ出力量との関係を示す特性を特定することによ
り、リモートセンシング技術により取得した撮影画像を
用いて算出した作物２からのＩＲ出力量と特性とから
茎数ｑを推定することができる。As shown in FIG. 6, the IR output amount from the crop 2 calculated using the photographed image obtained by using the remote sensing technology and the number of stems q (lines / line) which is one index of the growth amount of the crop 2. The correlation of the correlation coefficient r = 0.67 with m 2 ) can be seen, and it can be estimated that the IR output amount increases almost linearly as the number of stems q increases. Therefore, the number of stems q
By specifying a characteristic that indicates the relationship between the IR output amount and the IR output amount, the number of stems q can be estimated from the IR output amount from the crop 2 and the characteristic calculated using the captured image acquired by the remote sensing technique.
【００５３】図７は、図６に示す例について、撮影画像
Ｇの周辺部の作物画像Ｇｓに生じる撮影角度θに基づく
面積の誤差を補正してＩＲ出力量と作物の茎数との関係
の相関を調べたものである。なお、この作物画像Ｇｓの
面積の誤差に対する補正方法の詳細は後述する。同図に
示すように、撮影角度に基づく作物画像Ｇｓの面積の誤
差を補正すると、作物２からのＩＲ出力量と当該作物２
の茎数ｑ（本／ｍ2）との間の相関係数ｒはｒ＝０．８
３に上昇し、図６に比べてより強い相関を示し、茎数ｑ
の増加に応じてＩＲ出力量がリニアに増加する関係をよ
り正確に推定することができることがわかる。従って、
茎数ｑとＩＲ出力量との関係を示す特性を特定するこ
とにより、リモートセンシング技術により取得した撮影
画像を用いて算出した作物２からのＩＲ出力量と特性
とから、図６に示す特性を用いた場合よりもより高い
精度で茎数ｑを推定することができる。本実施形態に係
る作物生育測定方法は、図７に示す特性を用いて作物
の生育量を推定することで高い精度で作物の生育量を推
定するようにしている。FIG. 7 shows the relationship between the IR output amount and the number of stalks of the crop by correcting the area error caused by the shooting angle θ generated in the crop image Gs in the peripheral portion of the shot image G in the example shown in FIG. This is a study of the correlation. The details of the correction method for the area error of the crop image Gs will be described later. As shown in the figure, when the error of the area of the crop image Gs based on the shooting angle is corrected, the IR output amount from the crop 2 and the crop 2 concerned are corrected.
Correlation coefficient r between the number of stems q and the number of stems q (lines / m 2 ) is r = 0.8
3, showing a stronger correlation than in FIG. 6, and the number of stems q
It can be seen that it is possible to more accurately estimate the relationship in which the IR output amount linearly increases in accordance with the increase. Therefore,
By identifying the characteristic indicating the relationship between the number of stems q and the IR output amount, the characteristic shown in FIG. 6 is obtained from the IR output amount and the characteristic from the crop 2 calculated using the captured image obtained by the remote sensing technology. The number of stems q can be estimated with higher accuracy than when it is used. In the crop growth measuring method according to the present embodiment, the crop growth amount is estimated with high accuracy by estimating the crop growth amount using the characteristics shown in FIG. 7.
【００５４】図８は、ヘリコプター３に搭載される撮影
装置の構成を示すブロック図である。撮影装置４は、圃
場１に入射する太陽光の光量を測定する入射光測定部４
１、この入射光測定部４１の姿勢を水平に保持するため
の架台４２、圃場１を撮影する撮影部４３、撮影装置４
の姿勢を検出する姿勢検出部４４、ＧＰＳ（Global Pos
itioning System）により撮影装置４の位置を検出する
位置検出部４５、地上の測定基地と無線により交信する
ための通信部４６及び入射光測定部４１、架台４２、撮
影部４３、通信部４６等の動作を制御し、太陽光の入射
光量の測定や圃場１に育成されている作物２の撮影を制
御する制御部４７からなる。FIG. 8 is a block diagram showing the structure of a photographing device mounted on the helicopter 3. The imaging device 4 is an incident light measuring unit 4 that measures the amount of sunlight that enters the field 1.
1. A gantry 42 for holding the posture of the incident light measuring unit 41 horizontally, a photographing unit 43 for photographing the field 1, and a photographing device 4.
Posture detection unit 44 for detecting the posture of the
of the position detector 45 for detecting the position of the photographing device 4 by the itioning system), the communication unit 46 for wirelessly communicating with the measurement base on the ground, the incident light measuring unit 41, the mount 42, the photographing unit 43, the communication unit 46, The control unit 47 controls the operation and controls the measurement of the incident light amount of sunlight and the photographing of the crop 2 grown in the field 1.
【００５５】入射光測定部４１は、受光した光をその強
度に応じた電気信号に変換して出力する光電変換素子か
らなる受光センサ４１１と、この受光センサ４１１の受
光感度を近赤外の特定の波長領域（例えば７５０ｎｍ〜
８５０ｎｍ）に補正するＩＲフィルタ４１２と、受光セ
ンサ４１１に対して所定の受光角特性を持たせるための
拡散板４１３からなる。拡散板４１３は分光透過率がほ
ぼフラットなアクリル等の半透過材質からなる半球形状
の部材で、照度測定において良く知られているコサイン
特性あるいはそれに準じた特性を実現するものである。
受光センサ４１１は、フォトダイオード、フォトＩＣ、
光導電素子（Ｐｂｓセル，ＣｄＳセル，ＣｄＳｅセル，
ＣｄＳ・Ｓｅセル等）等の種々のセンサを用いることが
できる。なお、上述したように撮影画像から作物画像を
抽出する際、赤外光の反射率を利用しない場合は、入射
光測定部４１はなくてもよい。The incident light measuring unit 41 converts the received light into an electric signal corresponding to its intensity and outputs the electric signal, and a light receiving sensor 411, and the light receiving sensitivity of this light receiving sensor 411 is specified to near infrared. Wavelength region (for example, from 750 nm
An IR filter 412 for correcting to 850 nm) and a diffusion plate 413 for giving the light receiving sensor 411 a predetermined light receiving angle characteristic. The diffusing plate 413 is a hemispherical member made of a semi-transmissive material such as acrylic having a substantially flat spectral transmittance, and realizes a cosine characteristic well known in illuminance measurement or a characteristic similar thereto.
The light receiving sensor 411 includes a photodiode, a photo IC,
Photoconductive element (Pbs cell, CdS cell, CdSe cell,
Various sensors such as CdS / Se cell) can be used. When the crop image is extracted from the captured image as described above, the incident light measurement unit 41 may be omitted if the reflectance of infrared light is not used.
【００５６】架台４２は、入射光測定部４１を保持する
台４２１とこの台４２１を互いに直交する方向（ヘリコ
プター３に搭載された際、当該ヘリコプター３の前後方
向とこれに直交する左右方向とにそれぞれ平行な方向。
トラクター等の他の移動体に搭載した場合も同様）で水
平方向に対する傾きを調整するためのアクチュエータ４
２２ａ，４２２ｂとを備えている。アクチュエータ４２
２ａ，４２２ｂは、例えばパルスモータなどの電動モー
タからなる駆動源とこの駆動源によって台４２１を傾動
させる可動部材（図略）とで構成されている。架台４２
は、制御部４７から出力される駆動制御信号によりアク
チュエータ４２２ａ，４２２ｂを駆動することで台４２
１が水平に保持される。なお、制御部４７は、姿勢検出
部４４からの検出信号に基づき装置本体の姿勢（特に水
平方向に対する前後方向の傾斜量と左右方向の傾斜量。
架台４２は装置本体と一体に構成されているため、これ
らの傾斜量が架台４２の傾斜量に対応するようになって
いる。）を検出し、この検出結果に基づき装置本体を水
平にする（すなわち、架台４２を水平にする）ためのア
クチュエータ４２２ａ，４２２ｂの駆動制御信号を生成
し、そのを駆動制御信号を架台４２に出力する。The pedestal 42 includes a pedestal 421 for holding the incident light measuring section 41 and a direction orthogonal to the pedestal 421 (when mounted on the helicopter 3, the longitudinal direction of the helicopter 3 and the left-right direction orthogonal thereto). Each parallel direction.
An actuator 4 for adjusting the inclination with respect to the horizontal direction when mounted on another moving body such as a tractor)
22a and 422b. Actuator 42
2a and 422b are composed of a drive source composed of an electric motor such as a pulse motor, and a movable member (not shown) for tilting the table 421 by the drive source. Stand 42
Drive the actuators 422a and 422b according to the drive control signal output from the controller 47.
1 is held horizontally. The control unit 47 uses the detection signal from the posture detection unit 44 to determine the posture of the apparatus body (in particular, the amount of inclination in the front-rear direction and the amount of inclination in the horizontal direction with respect to the horizontal direction).
Since the gantry 42 is formed integrally with the main body of the apparatus, the amount of inclination thereof corresponds to the amount of inclination of the gantry 42. ) Is detected and a drive control signal for the actuators 422a and 422b for making the apparatus main body horizontal (that is, the base 42 is made horizontal) is generated based on the detection result, and the drive control signal is output to the base 42. To do.
【００５７】なお、入射光測定部４１を水平に保持する
のは、栽培されている作物群落面（ほぼ地面と平行）に
対して平行にするためである。入射光測定部４１を水平
にすれば、その受光角特性がコサイン特性（又はそれに
準じた特性）になっているので、太陽高度すなわち作物
群落面への入射角に応じた重み付けで日照量を評価する
ことができる。すなわち、晴天時であっても曇天時であ
っても自動的に全方位角に対して適正な重み付けで入射
光量を積分測定できる。なお、本実施形態では、架台４
２を設けてアクティブに入射光測定部４２を水平に保持
するようにしているが、入射光測定部４２を１点で吊下
げる構造にて保持し、鉛直方向の重力により当該入射光
測定部４２が常に略水平に保持されるようにしてもよ
い。この方法は、架台４２が不要になり、入射光測定部
４２の保持構造が簡単になる利点がある。The incident light measuring section 41 is held horizontally in order to make it parallel to the cultivated crop community surface (almost parallel to the ground). If the incident light measuring unit 41 is horizontal, its light-receiving angle characteristic is a cosine characteristic (or a characteristic similar thereto), so the sunshine amount is evaluated by weighting according to the sun altitude, that is, the angle of incidence on the crop community surface. can do. That is, the incident light amount can be automatically integrated and measured with proper weighting for all azimuth angles even in fine weather or cloudy weather. In addition, in this embodiment, the gantry 4
2 is provided to actively hold the incident light measuring unit 42 horizontally, but the incident light measuring unit 42 is held by a structure that is hung at one point, and the incident light measuring unit 42 is held by gravity in the vertical direction. May always be held substantially horizontally. This method has an advantage that the pedestal 42 is unnecessary and the structure for holding the incident light measurement unit 42 is simple.
【００５８】撮影部４３は、近赤外領域に感度を有する
デジタルスチルカメラで構成されている。デジタルスチ
ルカメラは、広角の単焦点の撮影レンズ４３１、ＣＣＤ
等の固体撮像素子からなるエリアセンサ４３２、このエ
リアセンサ４３２の駆動を制御するドライバ４３３及び
エリアセンサ４３２の感度を近赤外領域の特定の波長領
域（例えば７５０ｎｍ〜８５０ｎｍ）に補正するフィル
タ４３４を備えている。撮影レンズ４３１は、焦点距離
可変のレンズを用いてもよい。The photographing section 43 is composed of a digital still camera having a sensitivity in the near infrared region. The digital still camera has a wide-angle, single-focus shooting lens 431 and a CCD.
An area sensor 432 including a solid-state image sensor such as a solid-state image sensor, a driver 433 that controls driving of the area sensor 432, and a filter 434 that corrects the sensitivity of the area sensor 432 to a specific wavelength region in the near infrared region (for example, 750 nm to 850 nm). I have it. The taking lens 431 may be a lens having a variable focal length.
【００５９】撮影部４３の撮影動作は基本的にデジタル
スチルカメラと同一で、その撮影動作の制御は制御部４
７によって行なわれる。撮影部４３は、起動すると、撮
影待機状態となり、エリアセンサ４３２の露光動作を１
／３０秒毎に繰り返して撮影対象のモニタ画像（ビデオ
画像に相当）が取り込まれる。このモニタ画像は、制御
部４７により取り込まれ、通信部４６を介して無線で地
上基地の測定制御装置５に送信される。測定制御装置５
では、受信したモニタ画像を表示部５１に表示し、この
モニタ画像を観察しながらヘリコプター３の位置や姿勢
を調整することで圃場１の撮影画面を調整し、適切なタ
イミングでレリーズの指示を撮影装置４に送信する。送
信装置４の制御部４７は、通信部４６を介してレリーズ
の指示を受信すると、ドライバ４３３にレリーズ信号を
送出して所定の露出制御値でエリアセンサ４３２を露光
させる。この露光により得られる静止画の画像信号は制
御部４７に読み出され、作物の生育量の算出に用いられ
る。The photographing operation of the photographing unit 43 is basically the same as that of the digital still camera, and the control of the photographing operation is performed by the control unit 4.
Performed by 7. When the photographing unit 43 is activated, the photographing unit 43 enters a photographing standby state, and the exposure operation of the area sensor 432 is set to 1
A monitor image (corresponding to a video image) to be captured is captured repeatedly every / 30 seconds. The monitor image is captured by the control unit 47 and wirelessly transmitted to the measurement control device 5 at the ground base via the communication unit 46. Measurement control device 5
Then, the received monitor image is displayed on the display unit 51, and while observing the monitor image, the position and the attitude of the helicopter 3 are adjusted to adjust the shooting screen of the field 1, and the release instruction is taken at an appropriate timing. Send to device 4. Upon receiving the release instruction via the communication unit 46, the control unit 47 of the transmission device 4 sends a release signal to the driver 433 to expose the area sensor 432 with a predetermined exposure control value. The image signal of the still image obtained by this exposure is read by the control unit 47 and used for calculating the growth amount of the crop.
【００６０】姿勢検出部４４は、装置本体の前後方向の
傾き量と左右方向の傾き量とを検出するものである。姿
勢検出部４４は、前後方向の傾き量と左右方向の傾き量
とを検出する一対のスイッチからなる。各スイッチは、
例えば線状の抵抗体とこの抵抗体上に移動可能に設けら
れた導電部材（例えば導体球等）と３本の端子からな
る。２本の端子は抵抗体の両端に接続され、他の端子は
導電部材に接続されている。抵抗体の両端に接続された
端子（入力端子）には制御部４７から所定の電圧が印加
され、導電部材に接続された端子（出力端子）から当該
導電部材の抵抗体上の位置に応じた分割電圧が制御部４
７に出力されるようになっている。従って、装置本体が
前後方向に傾斜すると、それに応じて前後方向のスイッ
チの導電部材が抵抗体上を移動し、その抵抗体上の位置
に応じた電圧が出力端子から出力され、これにより制御
部４７で前後方向の傾き量が検出される。同様に装置本
体が左右方向に傾斜すると、それに応じて左右方向のス
イッチの導電部材が抵抗体上を移動し、その抵抗体上の
位置に応じた電圧が出力端子から出力され、これにより
制御部４７で左右方向の傾き量が検出される。The attitude detector 44 detects the amount of tilt in the front-rear direction and the amount of tilt in the left-right direction of the apparatus body. The posture detection unit 44 includes a pair of switches that detect the amount of tilt in the front-rear direction and the amount of tilt in the left-right direction. Each switch is
For example, it is composed of a linear resistor, a conductive member (for example, a conductor ball) movably provided on the resistor, and three terminals. The two terminals are connected to both ends of the resistor, and the other terminals are connected to the conductive member. A predetermined voltage is applied from the control unit 47 to the terminals (input terminals) connected to both ends of the resistor, and the terminals (output terminals) connected to the conductive members are adapted to the positions of the conductive members on the resistors. The division voltage is the control unit 4
7 is output. Therefore, when the main body of the device tilts in the front-rear direction, the conductive member of the switch in the front-rear direction moves on the resistor, and the voltage corresponding to the position on the resistor is output from the output terminal. At 47, the amount of tilt in the front-back direction is detected. Similarly, when the main body of the device is tilted in the left-right direction, the conductive member of the switch in the left-right direction moves on the resistor accordingly, and the voltage corresponding to the position on the resistor is output from the output terminal. At 47, the amount of tilt in the left-right direction is detected.
【００６１】位置検出部４５は、ＧＰＳにより撮影装置
４の位置情報（緯度，経度，高さの情報）を検出するも
ので、その検出結果は制御部４７に入力される。制御部
４７は、予め圃場１の位置情報をＲＯＭ４７３に具備し
ており、位置検出部４５から入力された位置情報から圃
場１の撮影位置を特定する。また、撮影装置４の圃場１
からの高さと撮影装置４のレンズ４７１の焦点距離から
圃場１における撮影範囲を算出し、圃場１の撮影領域を
特定する。The position detection unit 45 detects the position information (latitude, longitude, height information) of the photographing device 4 by GPS, and the detection result is input to the control unit 47. The control unit 47 includes the position information of the field 1 in the ROM 473 in advance, and identifies the shooting position of the field 1 from the position information input from the position detection unit 45. In addition, the field 1 of the photographing device 4
The shooting range in the field 1 is calculated from the height from the height and the focal length of the lens 471 of the shooting device 4, and the shooting area of the field 1 is specified.
【００６２】通信部４６は、所定の周波数で無線通信を
行うための送受信機能を備え、地上の測定制御装置５と
の間で情報（コマンドや測定データ等の各種情報）の送
受を行うものである。無線通信方式は周知の方式を採用
することができる。The communication unit 46 has a transmission / reception function for wireless communication at a predetermined frequency, and transmits / receives information (various kinds of information such as commands and measurement data) to / from the ground measurement control device 5. is there. A well-known method can be adopted as the wireless communication method.
【００６３】制御部４７は、撮影装置４の撮影動作を制
御するとともに、撮影画像を用いて作物２の生育量の算
出を行う。この作物２の生育量の算出値は、通信部４６
を介して地上基地の測定制御装置５に送信される。制御
部４７は、撮影装置４で取り込まれる圃場１の撮影画像
（アナログ信号）をデジタル信号（画像データ）にＡ／
Ｄ変換するＡ／Ｄ変換部４７１、Ａ／Ｄ変換された画像
データを一時記憶する画像メモリ４７２、撮影画像の画
像データを用いて作物の生育量を演算するための演算プ
ログラムや姿勢検出部４４の検出値に基づいて架台４２
の姿勢を水平に制御するための演算プログラム、或いは
これらの演算処理に必要なデータが予め記憶されたＲＯ
Ｍ４７３を備えている。The control unit 47 controls the photographing operation of the photographing device 4 and calculates the growth amount of the crop 2 using the photographed image. The calculated value of the growth amount of this crop 2 is calculated by the communication unit 46.
Is transmitted to the measurement control device 5 of the ground base via. The control unit 47 converts the captured image (analog signal) of the field 1 captured by the imaging device 4 into a digital signal (image data) A /
An A / D conversion unit 471 for D conversion, an image memory 472 for temporarily storing A / D converted image data, a calculation program for calculating the growth amount of a crop using the image data of a captured image, and a posture detection unit 44. 42 based on the detected value of
Calculation program for horizontally controlling the posture of the robot, or an RO in which data necessary for these calculation processes is stored in advance
Equipped with M473.
【００６４】また、上記演算プログラムに基づいて実行
される機能ブロックとして演算処理部４７４と架台制御
部４７５とを備えている。演算処理部４７４は、より具
体的にはデータ補正部４７４ａ、反射率画像作成部４７
４ｂ、２値画像作成部４７４ｃ、２値画像補正部４７４
ｄ、ＩＲ出力量算出部４７４ｅ、生育量算出部４７４
ｆ、データ記憶部４７４ｇを備えている。Further, an arithmetic processing unit 474 and a gantry control unit 475 are provided as functional blocks executed based on the arithmetic program. More specifically, the arithmetic processing unit 474 includes a data correction unit 474a and a reflectance image creation unit 47.
4b, binary image creation unit 474c, binary image correction unit 474
d, IR output amount calculation unit 474e, growth amount calculation unit 474
f, and a data storage unit 474g.
【００６５】データ補正部４７４ａは、撮影レンズ４３
１の透過率特性に基づくエリアセンサ４３２の撮像面に
おける周辺光量の低下や収差による誤差を補正するもの
である。本実施形態では広角の撮影レンズ４３１を用い
ているので、例えば被写体輝度分布が全く均一な場合で
あっても図９に示すように、撮影画像Ｇは周辺部が中央
部より暗くなる。The data correction unit 474a is used for the photographing lens 43.
It is intended to correct an error due to the reduction of the peripheral light amount and the aberration on the image pickup surface of the area sensor 432 based on the transmittance characteristic of 1. Since the wide-angle taking lens 431 is used in the present embodiment, even if the subject luminance distribution is completely uniform, for example, as shown in FIG. 9, the taken image G has a darker peripheral portion than the central portion.
【００６６】なお、図９（ａ）は撮影レンズ４３１の透
過率特性の一例を撮影画像の受光レベルで表したもので
あり、同図（ｂ）は撮影画像上のＸ座標の取り方を示す
図である。図９（ａ）に示す透過率特性は、撮影画像
の中心ｏの受光レベルを基準に他の位置の受光レベルを
正規化して表したものである。この特性は撮影に用いら
れる近赤外領域について示したものである。点線で示す
特性は、撮影画像の周辺部のレベル低下を補正するた
めの特性である。この特性は特性の逆数である。デ
ータ補正部４７４ａは、予め特性の補正係数Ｋoptを
具備しており、撮影画像Ｇの各画素位置のデータに対し
て当該画素位置に対応する補正係数Ｋoptを乗じてデー
タの補正を行う。例えば右上隅Ｅのデータ（図９（ｂ）
参照）をＤとし、補正係数をＫopt（図９（ａ）参照）
とすると、データＤはＤ’＝Ｄ×Ｋopt≒１．０に補正
される。従って、撮影画像Ｇの全画素位置のデータを対
応する補正係数Ｋoptで補正することにより、撮影レン
ズ４３１の光学特性に基づく画素データ間の誤差が補正
される。9A shows an example of the transmittance characteristic of the taking lens 431 by the light receiving level of the taken image, and FIG. 9B shows how to take the X coordinate on the taken image. It is a figure. The transmittance characteristic shown in FIG. 9A is obtained by normalizing the light receiving levels at other positions with the light receiving level at the center o of the captured image as a reference. This characteristic is shown in the near infrared region used for photographing. The characteristic indicated by the dotted line is a characteristic for correcting the level decrease in the peripheral portion of the captured image. This property is the reciprocal of the property. The data correction unit 474a includes a characteristic correction coefficient Kopt in advance, and corrects the data by multiplying the data at each pixel position of the captured image G by the correction coefficient Kopt corresponding to the pixel position. For example, the data in the upper right corner E (Fig. 9 (b))
D) and the correction coefficient Kopt (see FIG. 9A).
Then, the data D is corrected to D ′ = D × Kopt≈1.0. Therefore, by correcting the data of all the pixel positions of the captured image G with the corresponding correction coefficient Kopt, the error between the pixel data based on the optical characteristics of the imaging lens 431 is corrected.
【００６７】この実施形態では撮影レンズ４３１による
撮影画像Ｇの周辺部の露光量低下について説明したが、
エリアセンサ４３２の撮像面における入射光量のムラの
原因となる、例えば色収差、歪曲収差などの他の光学特
性についても同様に補正するとよい。この場合、言うま
でもなく撮影画像の波長領域に対応した補正係数を用意
しておき、各画素位置のデータに対応する補正係数を乗
じて補正すればよい。In this embodiment, the reduction of the exposure amount of the peripheral portion of the photographed image G by the photographing lens 431 has been described.
Other optical characteristics such as chromatic aberration and distortion that cause unevenness in the amount of incident light on the imaging surface of the area sensor 432 may be similarly corrected. In this case, needless to say, a correction coefficient corresponding to the wavelength region of the captured image may be prepared, and the correction may be performed by multiplying the correction coefficient corresponding to the data at each pixel position.
【００６８】反射率画像作成部４７４ｂは、補正後の撮
影画像と入射光測定部４２で検出された太陽光の入射光
量とから赤外領域の成分の反射率画像を作成するもので
ある。補正後の撮影画像の画素位置（ｉ，ｊ）の画素濃
度データをＤ(i,j)とし、太陽光の入射光量をＩとする
と、反射率画像はＤ(i,j)／Ｉを演算することにより作
成される。The reflectance image creating unit 474b creates a reflectance image of the infrared component from the corrected photographed image and the incident light amount of sunlight detected by the incident light measuring unit 42. Assuming that the pixel density data at the pixel position (i, j) of the corrected captured image is D (i, j) and the incident light amount of sunlight is I, the reflectance image calculates D (i, j) / I. It is created by doing.
【００６９】２値画像作成部４７４ｃは、例えば反射率
画像を用いて当該反射率画像の作物部分の画像に２値デ
ータの「１」を割り当て、それ以外の部分の画像に２値
データの「０」を割り当てることで、作物部分の画像
（作物画像）とそれ以外の部分の画像（農地画像）とが
分離された２値画像を作成するものである。２値画像作
成部４７４ｃは、反射率画像に対してハイパスフィルタ
処理を行って輪郭を強調した後、各画素位置のデータを
所定の閾値と比較し、その閾値より大きいレベルを有す
る画素位置に２値データの「１」を付与し、その閾値よ
り小さいレベルを有する画素位置に２値データの「０」
を付与することで、２値画像を作成する。The binary image creating unit 474c assigns binary data "1" to the image of the crop portion of the reflectance image, for example, using the reflectance image, and sets the binary data "1" to the images of other portions. By assigning "0", a binary image in which the image of the crop portion (the crop image) and the image of the other portion (farmland image) are separated is created. The binary image creation unit 474c performs high-pass filter processing on the reflectance image to emphasize the contour, compares the data at each pixel position with a predetermined threshold value, and sets the pixel position having a level greater than the threshold value to 2 Value data “1” is given, and binary data “0” is assigned to a pixel position having a level smaller than the threshold value.
Is added to create a binary image.
【００７０】２値画像補正部４７４ｄは、抽出される作
物画像毎に、当該作物の撮影角度に基づく作物画像の面
積（２値画像で抽出される作物画像のデータ数×画素面
積に相当）の誤差を補正するものである。図１９を用い
て説明したように、撮影装置４の光軸方向Ｌに対して作
物の撮影方向が傾いていると、撮影画像における当該作
物部分の画像の面積は真上から撮影したときよりも大き
くなる。２値画像補正部４７４ｄは、各作物画像の面積
（２値画像で算出される面積）を当該作物を真上から撮
影したときの面積に補正するものである。The binary image correction unit 474d determines, for each crop image to be extracted, the area of the crop image based on the photographing angle of the crop (corresponding to the data number of the crop image extracted by the binary image × pixel area). The error is corrected. As described with reference to FIG. 19, when the photographing direction of the crop is inclined with respect to the optical axis direction L of the photographing device 4, the area of the image of the crop portion in the photographed image is larger than that when the photograph is taken from directly above. growing. The binary image correction unit 474d corrects the area of each crop image (area calculated by the binary image) to the area when the crop is photographed from directly above.
【００７１】作物画像の面積の補正は、図２を用いて説
明した方法で行なわれる。すなわち、作物２を高さｈ、
幅ａ、奥行ｂの直方体にモデル化し、その作物２の撮影
装置４からの撮影角度をθとすると、撮影画像Ｇ内の作
物部分の画像Ｇｓの面積Ｓsは、Ｓs＝（ａ＋ｃ）×ｂ、
ｃ＝ｈ・tan(θ)となり、その作物２を真上から撮影し
たときの画像Ｇｓの面積Ｓs’＝ａ×ｂに対してＳs／Ｓ
s’倍となる。The area of the crop image is corrected by the method described with reference to FIG. That is, the height of the crop 2 is h,
Assuming that the photographing angle of the crop 2 from the photographing device 4 is θ, the area Ss of the crop portion image Gs in the photographed image G is Ss = (a + c) × b,
c = h · tan (θ), and the area Ss ′ of the image Gs when the crop 2 is photographed from directly above is Ss / S with respect to Ss ′ = a × b.
s' times.
【００７２】なお、Ｓs／Ｓs’は、 Ｓs／Ｓs’＝ａ＋ｈ・tan(θ)）・ｂ／（ａ・ｂ） ＝１＋Ｋ・tan(θ) …（５） 但し、Ｋ＝ｈ／ａ である。Note that Ss / Ss' is Ss / Ss' = a + h ・ tan (θ)) ・ b / (a ・ b) = 1 + K · tan (θ) (5) However, K = h / a Is.
【００７３】従って、作物画像の面積Ｓsは、当該面積
Ｓsに補正係数αを乗ずることによって行なわれる。具
体的には、作物画像は当該作物画像を構成する画素デー
タの集まりであり、作物画像の面積Ｓsは画素の面積Ｓp
ixに画素数Ｎを掛けたものであるが、各画素位置毎に撮
影角度θが異なるから、作物画像を構成する画素毎に当
該画素の面積Ｓpixを補正し、その補正後の画素の面積
Ｓpix’の総和を取ることで、作物画像の面積Ｓsの補正
が行われる。すなわち、補正後の作物画像の面積Ｓs’
は、
Ｓs’＝Σ（Ｓpix・αj） …（６）
＝Ｓpix・Σαj …（６’）
＝Ｓpix・Σ（１／［１＋Ｋ・tan(θj)］ …（６”）
但し、ｊ：作物画像を構成する画素に付された番号
αj：画素ｊに対応する補正係数
θj：画素ｊの位置に対応する撮影角度
で算出される。Therefore, the area Ss of the crop image is determined by multiplying the area Ss by the correction coefficient α. Specifically, the crop image is a collection of pixel data that constitutes the crop image, and the area Ss of the crop image is the area Sp of pixels.
ix is multiplied by the number of pixels N, but since the photographing angle θ is different for each pixel position, the area Spix of the pixel is corrected for each pixel that constitutes the crop image, and the area Spix of the pixel after the correction is corrected. The area Ss of the crop image is corrected by taking the sum of '. That is, the area Ss' of the crop image after correction
Is Ss '= Σ (Spix ・ αj) (6) = Spix ・ Σαj (6') = Spix ・ Σ (1 / [1 + K ・ tan (θj)] (6 ") where j: crop image The number αj assigned to the pixels forming the image correction coefficient θj corresponding to the pixel j is calculated by the shooting angle corresponding to the position of the pixel j.
【００７４】なお、画素ｊに対応する補正係数αjは、
図１を用いて説明した方法により算出される。すなわ
ち、図１０に示すように、撮影画像Ｇの中心を原点ｏと
して横方向に横方向画素ピッチｐxを単位としてｘ座標
を、また、縦方向に縦方向画素ピッチｐyを単位として
ｙ座標を定義すると、原点ｏから位置（ｘ，ｙ）の画素
Ｐ(x,y)までの距離ｄ(x,y)は（ｘ・ｐx）2＋（ｙ・ｐy）2
で表される。撮影レンズ４３１の画角値をθMとし、画
素Ｐ(x,y)における撮影角度をθpとすると、上述したよ
うにｄ(x,y)／ｄm＝tan(θp)／tan(θM)（ｄmは中心ｏ
から対角までの距離）であるから、tan(θｐ)＝ｄ(x,y)
・tan(θM)／ｄmより、画素Ｐ(x,y)の補正係数α(x,y)
は、
α(x,y)＝１／［１＋Ｋ・tan(θp)］ …（７）
＝1/［1+K・d(x,y)・tan(θM)/dm］…（７’）
で算出される。The correction coefficient αj corresponding to the pixel j is
It is calculated by the method described with reference to FIG. That is, as shown in FIG. 10, with the center of the captured image G as the origin o, the x coordinate is defined in the horizontal direction in units of the horizontal pixel pitch px, and the y coordinate is defined in the vertical direction in units of the vertical pixel pitch py. Then, the distance d (x, y) from the origin o to the pixel P (x, y) at the position (x, y) is (x · px) 2 + (y · py) 2
It is represented by. Assuming that the angle of view of the taking lens 431 is θ M and the taking angle at the pixel P (x, y) is θ p, as described above, d (x, y) / dm = tan (θp) / tan (θ M ). (Dm is the center o
To the diagonal)), so tan (θp) = d (x, y)
.Correction coefficient α (x, y) of pixel P (x, y) from tan (θ M ) / dm
Is α (x, y) = 1 / [1 + K ・ tan (θp)] (7) = 1 / [1 + K ・ d (x, y) ・ tan (θ M ) / dm] (7 ' ) Is calculated.
【００７５】従って、上記（７’）式を上記（６’）式
に代入すると、
Ｓs’＝Ｓpix・Σ1/［1+K・dj・tan(θM)/dm］…（８）
但し、ｄj：原点ｏから画素ｊまでの距離
となる。上記（８）式において、画素の面積Ｓpix、画
角値θM、撮像面の対角距離ｄmは撮影装置４の固有値で
あり、係数Ｋは演算上のパラメータ値であるから、撮影
画像上で作物画像を構成する画素の位置が特定される
と、上記（８）式により作物画像の面積の補正を算出す
ることができる。Therefore, substituting the equation (7 ′) into the equation (6 ′), Ss ′ = Spix · Σ1 / [1 + K · dj · tan (θ M ) / dm] (8) dj: The distance from the origin o to the pixel j. In the above equation (8), the area Spix of the pixel, the angle of view value θ M , the diagonal distance dm of the image pickup surface are the eigenvalues of the image pickup device 4, and the coefficient K is a parameter value in the calculation, so that it is When the positions of the pixels forming the crop image are specified, the area correction of the crop image can be calculated by the above equation (8).
【００７６】２値画像補正部４７４ｄは、上記（７’）
式により算出された全画素位置に対する補正係数α(x,
y)が予め記憶されたメモリを有し、２値画像から抽出さ
れた作物画像を構成するデータの画素位置に基づいてこ
のメモリから対応する補正係数α(x,y)を読み出し、上
記（６）式若しくは（６’）式を演算することにより補
正後の作物画像の面積Ｓs’を算出する。The binary image correction unit 474d has the above (7 ').
The correction coefficient α (x,
y) has a memory stored in advance, and reads out the corresponding correction coefficient α (x, y) from this memory based on the pixel position of the data forming the crop image extracted from the binary image, and ) Or (6 '), the area Ss' of the crop image after correction is calculated.
【００７７】なお、表１は、上記（７）式によりＫをパ
ラメータとして撮影角度θpに対する補正係数α(θp)を
算出したものであり、図１１は表１をグラフ化したもの
である。図１１を見れば、係数Ｋが大きくなるほど、補
正正数α(θp)は小さくなることが分る。これは、係数
ＫはＫ＝ｈ／ａ＝（草丈）／（草幅）で、係数Ｋが大き
くなるということは、作物が背高になるということであ
るから、作物が背高になる程、補正正数α(θp)が小さ
くなることを示している。作物が背高になると、撮影角
度θpが大きくなり（すなわち、tan(θp)が小さくな
り）、上記（４）の分母が小さくなるから、補正正数α
(θp)は小さくなる。Table 1 is a table in which the correction coefficient α (θp) for the photographing angle θp is calculated using the above equation (7) with K as a parameter, and FIG. 11 is a graph of Table 1. It can be seen from FIG. 11 that the correction positive number α (θp) decreases as the coefficient K increases. This means that the coefficient K is K = h / a = (plant height) / (plant width), and the fact that the coefficient K is large means that the crop becomes taller. , The correction positive number α (θp) is small. When the crop becomes taller, the shooting angle θp becomes larger (that is, tan (θp) becomes smaller), and the denominator of (4) becomes smaller, so the corrected positive number α
(θp) becomes smaller.
【００７８】[0078]
【表１】 [Table 1]
【００７９】ところで、上記表１は、撮影画像内の隣接
する作物同士の画像が重ならない場合の補正係数αを示
すものである。圃場１に植えられた作物２の間隔が狭
く、作物が背高に生育したときには、撮影画像の中心ｏ
から一定の距離ｄrを離れた周辺部で隣接する作物画像
同士が重なるようになることがある。このように作物画
像同士が重なりあった場合には、各作物画像の面積の補
正を重なり合わない条件下での補正係数αで行うと、却
って誤差が生じることになる。By the way, Table 1 above shows the correction coefficient α when the images of adjacent crops in the photographed image do not overlap. When the crops 2 planted in the field 1 are closely spaced and the crops grow tall, the center o of the photographed image
The crop images that are adjacent to each other may overlap each other in the peripheral portion that is away from the object by a certain distance dr. In this way, when crop images overlap each other, if the area of each crop image is corrected with the correction coefficient α under the condition that they do not overlap, an error will occur.
【００８０】すなわち、図１２に示すように、作物画像
Ｇsiに隣の作物画像Ｇsi+1が重なる場合、斜線で示す重
なり部分の面積ΔＳsi+1は作物画像Ｇsi+1の面積Ｓsi+1
に含まれず、作物画像Ｇsi+1の面積は（Ｓsi+1−ΔＳs
i+1）となるから、この面積（Ｓsi+1−ΔＳsi+1）に基
づいて作物画像Ｇsi+1に対応する作物からのＩＲ出力量
を算出すると、誤差が生じることになる。[0080] That is, as shown in FIG. 12, crop the image if the Gs i crop image Gs i + 1 of the next overlap, the area ΔSs i + 1 of the overlapping portion shown by oblique lines crop image Gs i + 1 of the area Ss i + 1
, The area of the crop image Gs i + 1 is (Ss i + 1 −ΔSs
i + 1) because made, calculating the IR output of the crop corresponding to the crop image Gs i + 1 on the basis of the area (Ss i + 1 -ΔSs i + 1), so that the error occurs.
【００８１】そして、圃場１に作物２が等間隔で植えら
れている場合は、撮影画像内の作物画像Ｇsi+1よりも周
辺部に位置する作物画像Ｇsi+2，Ｇsi+3，…の面積Ｓs
i+2，Ｓsi+3，…は、全て面積（Ｓsi+1−ΔＳsi+1）と
略同一となり、この値で飽和することになる。従って、
このような場合は、作物画像Ｇsi+1，…の面積Ｓsi+1，
…の補正値を面積（Ｓsi+1−ΔＳsi+1）で補正した値に
固定する必要がある。When the crops 2 are planted in the field 1 at equal intervals, the crop images Gs i + 2 , Gs i + 3 , Gs i + 2 , Gs i + 3 , which are located in the peripheral portion of the crop image Gs i + 1 in the photographed image, Area of… Ss
i + 2 , Ss i + 3 , ... All become substantially the same as the area (Ss i + 1 −ΔSs i + 1 ) and are saturated at this value. Therefore,
In such a case, the area Ss i + 1 of the crop image Gs i + 1 , ...
It is necessary to fix the correction value of ... To the value corrected by the area (Ss i + 1 −ΔSs i + 1 ).
【００８２】このため、本実施形態では、隣接する作物
の画像が重なり始める撮影角度θrを算出し、この撮影
角度θrより大きい撮影角度θjを有する画素位置の補正
係数αjは撮影角度θrに対する補正係数αrに固定する
ようにしている。表１において、例えば撮影角度θrが
５０°とすると、Ｋ＝０．６のθj＞５０°における補
正係数αjは全て撮影角度θr＝５０°の補正係数αj＝
０．５８３に固定されることになる。Therefore, in this embodiment, the photographing angle θr at which the images of the adjacent crops start to overlap with each other is calculated, and the correction coefficient αj of the pixel position having the photographing angle θj larger than this photographing angle θr is the correction coefficient for the photographing angle θr. It is fixed to αr. In Table 1, for example, assuming that the shooting angle θr is 50 °, all correction coefficients αj at θj> 50 ° of K = 0.6 are correction coefficients αj = at the shooting angle θr = 50 °.
It will be fixed at 0.583.
【００８３】なお、隣接する作物画像が重なり始める撮
影角度θrは、作物２の植付間隔をｕとすると、
ｈ・tan(θr）＋ａ＝ｕ
が成立するから、
θr＝tan-1[（ｕ−ａ）／ｈ]
で算出される。従って、tan-1[（ｕ−ａ）／ｈ]よりも
撮影角度θjが大きい画素位置に対しては、補正係数αj
は、１／[１＋Ｋ・tan(θr）]に固定される。The photographing angle θr at which adjacent crop images start to overlap is h · tan (θr) + a = u when the planting interval of the crop 2 is u, so θr = tan -1 [(u -A) / h]. Therefore, the correction coefficient αj is applied to the pixel position where the shooting angle θj is larger than tan −1 [(u−a) / h].
Is fixed to 1 / [1 + K · tan (θr)].
【００８４】図８に戻り、ＩＲ出力量算出部４７４ｅ
は、補正後の作物画像の面積Ｓs’を用いて圃場１の撮
影範囲内の作物から出力される単位面積当たりのＩＲ出
力量（近赤外領域の反射光量）を算出するものである。
このＩＲ出力量は、撮影された圃場１を複数の小領域に
分割し、各分割領域毎に算出される。撮影画像Ｇにおい
ては、画像全体が圃場１の撮影範囲に対応するから、分
割領域毎の単位面積当たりのＩＲ出力量は、撮影画像Ｇ
を複数の小領域に分割し、各分割領域に含まれる全ての
作物画像Ｇk（ｋは作物画像に付した番号で、作物画像
の数がｍのとき、ｋ＝１，２，…ｍ）を構成する画素デ
ータのレベルを積算し、分割領域の画素数Ｚで割ること
により算出される。Returning to FIG. 8, the IR output amount calculator 474e
Is for calculating an IR output amount (a reflected light amount in the near infrared region) per unit area output from a crop within the shooting range of the field 1 by using the corrected crop image area Ss ′.
This IR output amount is calculated for each divided area by dividing the photographed field 1 into a plurality of small areas. In the photographed image G, the entire image corresponds to the photographing range of the field 1, so the IR output amount per unit area for each divided region is the photographed image G.
Is divided into a plurality of small areas, and all crop images Gk (k is a number attached to the crop image, and k = 1, 2, ... M when the number of crop images is m) included in each divided area. It is calculated by adding up the levels of the pixel data that compose and dividing by the number Z of pixels in the divided area.
【００８５】具体的には、各分割領域における単位面積
当たりのＩＲ出力量は、例えば図１３に示すように、分
割領域ＡＲが１０×１０画素で構成され、２値画像にお
いて、作物画像を構成する画素位置（「１」の割り当て
られた画素位置）が（2,4）,（3,3）〜（3,6）,（4,3）
〜（4,8）,（5,4）〜（5,8）,（6,4）〜（6,7）,（7,
5）,（7,6）であるとすると、撮影画像ＧのデータＤ(i,
j)のうち、これらの画素位置のデータＤ(2,4)，Ｄ(3,3)
〜Ｄ(3,6)，Ｄ(4,3)〜Ｄ(4,8)，Ｄ(5,4)〜Ｄ(5,8)，Ｄ
(6,4)〜Ｄ(6,7)，Ｄ(7,5)，Ｄ(7,6)を抽出し、その積算
値ΣＤ＝Ｄ(2,4)＋Ｄ(3,3)＋…＋Ｄ(7,5)＋Ｄ(7,6)を分
割領域ＡＲの画素数Ｚ＝１００（分割領域の面積に相
当）で割ることで算出される。すなわち、分割領域ＡＲ
に単位面積当たりのＩＲ出力量ＷはＷ＝ΣＤ／１００で
算出される。Specifically, as for the IR output amount per unit area in each divided area, the divided area AR is composed of 10 × 10 pixels as shown in FIG. 13, and the crop image is composed in the binary image. The pixel position (the pixel position to which “1” is assigned) is (2,4), (3,3) to (3,6), (4,3)
~ (4,8), (5,4) ~ (5,8), (6,4) ~ (6,7), (7,
5) and (7,6), the data D (i,
j), data of these pixel positions D (2,4), D (3,3)
~ D (3,6), D (4,3) ~ D (4,8), D (5,4) ~ D (5,8), D
(6,4) to D (6,7), D (7,5), D (7,6) are extracted and their integrated value ΣD = D (2,4) + D (3,3) + ... + D It is calculated by dividing (7,5) + D (7,6) by the number of pixels Z in the divided area AR = 100 (corresponding to the area of the divided area). That is, the divided area AR
Further, the IR output amount W per unit area is calculated by W = ΣD / 100.
【００８６】また、分割小領域ＡＲ1，ＡＲ2，…で算出
される単位面積当たりのＩＲ出力量Ｗ1，Ｗ2，…をΣＤ
1／Ｚ，ΣＤ2／Ｚ，…ΣＤm／Ｚとすると、圃場１の撮
影範囲全体における単位面積当たりのＩＲ出力量Ｗtは
Ｗt＝ΣＤ1／Ｚ＋ΣＤ2／Ｚ＋…＋ΣＤm／Ｚで算出され
る。Further, the IR output amounts W1, W2, ... Per unit area calculated in the divided small areas AR1, AR2 ,.
If 1 / Z, ΣD2 / Z, ... ΣDm / Z, the IR output amount Wt per unit area in the entire imaging range of the field 1 is calculated by Wt = ΣD1 / Z + ΣD2 / Z + ... + ΣDm / Z.
【００８７】図８に戻り、生育量算出部４７４ｆは、Ｉ
Ｒ出力量算出部４７４ｅで算出された単位面積当たりの
ＩＲ出力量Ｗ1，Ｗ2，…から圃場１の分割領域毎の作物
の生育量を算出するものである。生育量算出部４７４ｆ
は、例えば図７に示したＩＲ出力量と茎数との関係を示
す研究結果に基づいて求められたＩＲ出力量Ｗを茎数Ｍ
（本／ｍ2）に変換する変換式、若しくはこの変換式に
よって予め算出されたＩＲ出力量Ｗを茎数Ｍに変換する
テーブルを有しており、ＩＲ出力量算出部４７４ｅで算
出された単位面積当たりのＩＲ出力量Ｗ1，Ｗ2，…と茎
数Ｍへの変換式若しくは変換テーブルとを用いて、各分
割領域毎に茎数Ｍを算出する。Returning to FIG. 8, the growth amount calculation unit 474f displays the I
The crop growth amount for each divided region of the field 1 is calculated from the IR output amounts W1, W2, ... Per unit area calculated by the R output amount calculation unit 474e. Growth amount calculation unit 474f
Is, for example, the IR output amount W obtained based on the research results showing the relationship between the IR output amount and the number of stems shown in FIG.
The unit has a conversion formula for converting into (books / m 2 ), or a table for converting the IR output amount W previously calculated by this conversion formula into the number of stems M, and the unit calculated by the IR output amount calculation unit 474e. The number of stems M is calculated for each divided area using the IR output amounts W1, W2, ... per area and the conversion formula or the conversion table for the number of stems M.
【００８８】なお、本実施形態では、作物の生育量とし
て茎数（本／ｍ2）を用いているが、草丈、（草丈×茎
数）についても図７に示すような関係を得ることが可能
で、ＩＲ出力量Ｗを所定の変換式もしくは変換テーブル
によって草丈や（草丈×茎数）に変換することができる
ので、生育量算出部４７４ｆで茎数に代えて、あるいは
茎数に加えて草丈や（草丈×茎数）を算出するようにし
てもよい。In the present embodiment, the number of stems (lines / m 2 ) is used as the amount of growth of the crop, but it is also possible to obtain the relationship shown in FIG. 7 with respect to plant height and (plant length × stem number). Since it is possible and the IR output amount W can be converted into plant height or (plant length x number of stems) by a predetermined conversion formula or conversion table, instead of the number of stems in the growth amount calculating unit 474f, or in addition to the number of stems The plant height or (plant height x number of stems) may be calculated.
【００８９】データ記憶部４７４ｇは、生育量算出部４
７４ｆで分割領域毎に算出された作物の生育量の算出結
果や入射光測定部４１の測定結果や位置検出部４５の検
出結果を記憶するものである。The data storage unit 474g is used by the growth amount calculation unit 4
The calculation result of the growth amount of the crop calculated for each divided area at 74f, the measurement result of the incident light measuring unit 41, and the detection result of the position detecting unit 45 are stored.
【００９０】次に、制御部４７における作物の生育量の
測定手順について、図１４〜図１６に示すフローチャー
トを用いて説明する。Next, the procedure of measuring the growth amount of the crop in the control unit 47 will be described with reference to the flowcharts shown in FIGS.
【００９１】ヘリコプター３を飛ばし、圃場１の上空の
所定の高さ位置に静止させた状態で、地上の測定制御装
置５からヘリコプター３に搭載された撮影装置４にレリ
ーズの指示信号が送信されると、まず、エリアセンサ４
３２を所定の露出制御値で露光して圃場１の撮影画像Ｇ
が取り込まれる（＃１）。続いて、架台４２の姿勢を水
平に制御した後（＃３）、入射光測定部４１により太陽
光の入射光量Ｉが検出され（＃５）、更に位置検出部４
５により撮影位置（緯度，経度，高さ）が検出される
（＃７）。なお、架台４２の水平制御は、姿勢検出部４
４により前後方向の傾き量Ｘと左右方向の傾き量Ｙを検
出し（図１５，＃３−１）、これらの傾き量Ｘ，Ｙに基
づいて算出された所定の駆動パルスｎx，ｎyがそれぞれ
アクチュエータ４２２ａ，４２２ｂが出力されて、前後
方向の傾き量Ｘ及び左右方向の傾き量Ｙがキャンセルさ
れる（図１５，＃３−２，＃３−３）。In a state where the helicopter 3 is flown and kept stationary at a predetermined height above the field 1, a release instruction signal is transmitted from the ground measurement control device 5 to the photographing device 4 mounted on the helicopter 3. First, the area sensor 4
32 is exposed with a predetermined exposure control value and a captured image G of the field 1
Is taken in (# 1). Then, after the posture of the gantry 42 is horizontally controlled (# 3), the incident light amount I of the sunlight is detected by the incident light measuring unit 41 (# 5), and the position detecting unit 4 is further detected.
5, the photographing position (latitude, longitude, height) is detected (# 7). The horizontal control of the gantry 42 is performed by the posture detection unit 4
4, the tilt amount X in the front-rear direction and the tilt amount Y in the left-right direction are detected (# 3-1 in FIG. 15), and predetermined driving pulses nx, ny calculated based on these tilt amounts X, Y are respectively generated. The actuators 422a and 422b are output to cancel the tilt amount X in the front-rear direction and the tilt amount Y in the left-right direction (FIG. 15, # 3-2, # 3-3).
【００９２】上記説明では、レリーズ指示信号が送信さ
れると、先ず画像撮影（＃１）を行い、その後に架台制
御（＃３）、太陽光の入射光量Ｉの検出（＃５）を行っ
ているので、画像撮影（＃１）と太陽光の入射光量Ｉの
検出（＃３）とのタイミングに若干のずれが生じる。天
候が急変することは希であるので、殆どの場合架台制御
に要する時間は無視し得るが、できるだけ両者のタイミ
ングを一致させるためには、架台４２の姿勢制御を連続
的に継続動作させておき、レリーズ信号を受信すれば直
ちにレリーズする（＃１）とともに、続いて太陽光の入
射光量Ｉの検出（＃５）を行わせるようにしてもよい。In the above description, when the release instruction signal is transmitted, the image capturing (# 1) is first performed, and thereafter the gantry control (# 3) and the incident light amount I of the sunlight are detected (# 5). Therefore, there is a slight difference in the timing between the image capturing (# 1) and the detection of the incident light amount I of sunlight (# 3). Since the weather rarely changes suddenly, the time required for the gantry control can be neglected in most cases, but the attitude control of the gantry 42 is continuously and continuously operated in order to make the timings of the two coincide with each other as much as possible. When the release signal is received, the release may be immediately performed (# 1), and subsequently, the incident light amount I of the sunlight may be detected (# 5).
【００９３】続いて、撮影画像Ｇを構成するデータのレ
ベル補正が行われる（＃９）。このレベル補正は、撮影
レンズ４３１の光学特性に基づく誤差を補正するもの
で、各画素位置のデータＤに当該画素位置に対応する補
正係数Ｋoptを乗ずることで行なわれる。Then, the level of the data forming the photographed image G is corrected (# 9). This level correction corrects an error based on the optical characteristics of the taking lens 431, and is performed by multiplying the data D at each pixel position by the correction coefficient Kopt corresponding to the pixel position.
【００９４】続いて、撮影画像Ｇから作物部分の画像Ｇ
sの抽出が行われる（＃１１）。まず、各画素位置のデ
ータの太陽光の入射光量Ｉに対する比を算出することで
反射率の画像が作成される（図１６，＃１１−１）。こ
の反射率画像はフィルタリング処理によって輪郭強調が
行なわれた後（＃１１−２）、各画素位置のデータを２
値化することで２値画像が作成される（図１６，＃１１
−３）。この２値画像は、作物の葉の部分とそれ以外の
部分を分離した画像で、実質的に圃場１の作物部分と農
地部分とを分離した画像である。そして、この２値画像
と元の撮影画像Ｇとの積を取ることにより作物部分の画
像Ｇsが抽出される（図１６，＃１１−３）。すなわ
ち、２値画像では、作物部分の画像は「１」、農地部分
の画像は「０」となっているから（図１３参照）、２値
画像と元の撮影画像Ｇとの対応する画素位置のデータの
積を取ると、作物画像Ｇsを構成する画素位置のみのデ
ータが残るから、これにより作物画像Ｇsが抽出され
る。Next, from the photographed image G to the image G of the crop portion.
s is extracted (# 11). First, the reflectance image is created by calculating the ratio of the data at each pixel position to the incident light amount I of sunlight (FIG. 16, # 11-1). This reflectance image is subjected to contour enhancement by filtering processing (# 11-2), and then the data at each pixel position is set to 2
A binary image is created by binarization (FIG. 16, # 11).
-3). This binary image is an image in which the leaf portion of the crop and the other portion are separated, and is an image in which the crop portion and the farmland portion of the field 1 are substantially separated. Then, the image Gs of the crop portion is extracted by taking the product of this binary image and the original photographed image G (FIG. 16, # 11-3). That is, in the binary image, the image of the crop portion is “1” and the image of the farmland portion is “0” (see FIG. 13), and the pixel positions corresponding to the binary image and the original captured image G. When the product of the data is taken, the data of only the pixel positions forming the crop image Gs remains, so that the crop image Gs is extracted.
【００９５】続いて、抽出された作物画像Ｇsに対して
撮影角度θに基づく誤差の補正が行われる（＃１３）。
この補正は、作物画像Ｇsを構成するデータに当該デー
タの画素位置（ｘ，ｙ）に対応する補正係数α(x,y)を
乗ずることにより行なわれる。続いて、補正後の作物画
像Ｇs’を用いて単位面積当たりのＩＲ出力量Ｗが算出
される（＃１５）。このＩＲ出力量Ｗは、作物画像Ｇ
s’を複数の小領域に分割し、分割領域毎に算出され
る。そして、分割領域毎に、算出されたＩＲ出力量Ｗに
基づいて当該分割領域に含まれる作物の生育量（茎数）
が算出され（＃１７）、その算出結果はデータ記憶部４
７４ｇに記憶されるとともに、撮影画像Ｇ、位置デー
タ、太陽光の入射光量Ｉのデータ等と共に地上の測定制
御装置５に送信されて（＃１９）、処理を終了する。Then, the error based on the photographing angle θ is corrected for the extracted crop image Gs (# 13).
This correction is performed by multiplying the data forming the crop image Gs by the correction coefficient α (x, y) corresponding to the pixel position (x, y) of the data. Then, the IR output amount W per unit area is calculated using the corrected crop image Gs'(# 15). This IR output amount W is the crop image G
s'is divided into a plurality of small areas and calculated for each divided area. Then, for each divided area, the growth amount (stem number) of the crop contained in the divided area based on the calculated IR output amount W
Is calculated (# 17), and the calculation result is the data storage unit 4
The data is stored in 74g and is transmitted to the measurement control device 5 on the ground together with the captured image G, the position data, the data of the incident light amount I of sunlight (# 19), and the process is ended.
【００９６】測定制御装置５では、作物の生育量の測定
結果を受信すると、この測定結果が表示部５１に表示さ
れる。また、測定結果と撮影画像Ｇとを用いて、例えば
生育マップの作成等の所定の処理が行われ、その処理結
果が表示部５１に表示される。When the measurement control device 5 receives the measurement result of the growth amount of the crop, the measurement result is displayed on the display unit 51. Further, using the measurement result and the captured image G, predetermined processing such as creation of a growth map is performed, and the processing result is displayed on the display unit 51.
【００９７】生育マップは、圃場１の撮影範囲Ｈ内の作
物の生育状況をマップ化したものである。具体的には生
育量を複数の区分に分割し、例えば図１７に示すように
圃場１の撮影範囲の部分を生育量（同図では茎数）の区
分で色分けし、各領域に生育量ｑ１，ｑ２，…ｑ６を表
示したものである。生育マップは、例えば図１８に示す
処理手順によって作成される。The growth map is a map of the growth status of crops within the photographing range H of the field 1. Specifically, the growth amount is divided into a plurality of divisions, and for example, as shown in FIG. 17, a portion of the shooting range of the field 1 is color-coded according to the growth amount (the number of stems in the figure), and the growth amount q1 is assigned to each area. , Q2, ..., Q6 are displayed. The growth map is created, for example, by the processing procedure shown in FIG.
【００９８】すなわち、撮影装置４からは撮影画像Ｇ
と、この撮影画像Ｇに対して小領域に分割した分割領域
毎の茎数のデータとが送信されているので、まず、茎数
のデータから各分割領域がどの生育量区分に属するか判
別され、その判別結果に基づいて生育量区分に対応する
色が決定される（＃２１）。続いて、撮影画像Ｇが分割
領域で分割され、各領域が対応する生育量区分の色で色
付けされて生育マップが作成される（＃２３）。That is, the photographed image G is output from the photographing device 4.
And the data of the number of stems for each divided region divided into small regions for this captured image G, it is first determined from the data of the number of stems which growth region each divided region belongs to. The color corresponding to the growth amount category is determined based on the determination result (# 21). Subsequently, the photographed image G is divided into divided areas, and each area is colored with the color of the corresponding growth amount section to create a growth map (# 23).
【００９９】続いて、撮影範囲Ｈ内の作物全体に関する
生育量が算出される（＃２５）。作物全体に関する生育
量とは、例えば撮影範囲Ｈ内に含まれる作物の生育分布
の中央値や平均値やモード値を取ったものである。そし
て、作成された生育マップと生育量の測定値は、表示部
５１に表示され（＃２７）、位置データ等とともに測定
制御装置内のメモリ（図略）に保存される（＃２９）。Subsequently, the growth amount of all the crops within the photographing range H is calculated (# 25). The growth amount of the entire crop is, for example, the median value, the average value, or the mode value of the growth distribution of the crops included in the photographing range H. Then, the created growth map and the measured value of the growth amount are displayed on the display unit 51 (# 27), and are stored in the memory (not shown) in the measurement control device together with the position data (# 29).
【０１００】上記のように、本実施形態に係るリモート
センシング用の撮影装置４では、広角の撮影レンズによ
り圃場１の広い範囲を一括して撮影し、その撮影画像の
周辺部に位置する作物部分の画像については、撮影角度
θに基づく測定誤差を補正により低減するようにしてい
るので、撮影画像から高い精度で作物の生育量を推定す
ることができる。また、撮影レンズの光学特性に基づく
撮影画像のレベル誤差を補正するようにしているので、
撮影レンズの光学特性に起因する測定精度の低下を抑制
することができる。As described above, in the remote sensing photographing device 4 according to the present embodiment, a wide-angle photographing lens is used to collectively photograph a wide range of the field 1, and the crop portion located in the peripheral portion of the photographed image. With respect to the image, the measurement error based on the photographing angle θ is reduced by correction, so that the crop growth amount can be estimated with high accuracy from the photographed image. Also, since the level error of the captured image based on the optical characteristics of the shooting lens is corrected,
It is possible to suppress a decrease in measurement accuracy due to the optical characteristics of the taking lens.
【０１０１】なお、上記実施形態では、撮影装置４で撮
影画像から作物の生育量の演算まで処理するようにして
いるが、撮影装置４では撮影と所要のデータ収集のみを
行い、地上の測定制御装置５側で撮影画像に基づく作物
の生育量の演算処理（ステップ＃９〜＃１７の処理）を
行うようにしてもよい。この場合、測定制御装置５を専
用の作物生育量測定装置として構築してもよく、上述し
た撮影画像を処理して作物の生育量を算出する所定の演
算プログラムが記録された記録媒体から当該演算プログ
ラムをパーソナルコンピュータに読み取らせて作物生育
量測定装置を構築するようにしてもよい。In the above embodiment, the photographing device 4 processes from the photographed image to the calculation of the growth amount of the crop. However, the photographing device 4 only photographs and collects required data, and controls the measurement on the ground. The device 5 may perform the crop growth amount calculation process (the processes of steps # 9 to # 17) based on the captured image. In this case, the measurement control device 5 may be constructed as a dedicated crop growth amount measuring device, and the calculation is performed from a recording medium in which a predetermined calculation program for processing the photographed image and calculating the growth amount of the crop is recorded. You may make it a personal computer read a program and build a crop growth amount measuring apparatus.
【０１０２】また、本実施形態では、撮影装置４から無
線で測定制御装置５に測定データ等を伝送するようにし
ているが、測定データ等をフロッピディスク等の外部記
録媒体に記録し、これを測定制御装置５や専用の作物生
育量測定装置で読み取ることによって当該測定装置に入
力させるようにしてよい。Further, in the present embodiment, the measurement data and the like are wirelessly transmitted from the image pickup device 4 to the measurement control device 5, but the measurement data and the like are recorded in an external recording medium such as a floppy disk and the like. The measurement control device 5 or a dedicated crop growth amount measuring device may read the data and input it to the measuring device.
【０１０３】また、上記実施形態では、近赤外領域の撮
影画像を取り込むようにしているが、これに加えて可視
領域の緑色成分の撮影画像若しくは赤色成分の撮影画像
も取り込み、近赤外領域の撮影画像と可視領域の撮影画
像とを用いて作物部分の画像を抽出し、この抽出画像か
ら作物の生育量を算出するようにしてもよい。Further, in the above embodiment, the photographed image in the near infrared region is captured, but in addition to this, the photographed image of the green component or red component in the visible region is also captured, and the near infrared region is captured. It is also possible to extract the image of the crop portion using the photographed image of 1. and the photographed image of the visible region and calculate the growth amount of the crop from this extracted image.
【０１０４】[0104]
【発明の効果】以上説明したように、本発明によれば、
所定の間隔で複数株の作物が生育している圃場を上空か
ら撮影手段で撮影し、その撮影画像から作物部分の画像
を抽出し、その抽出画像を用いて当該作物の生育量を測
定する作物生育量測定方法及び作物生育量測定装置にお
いて、抽出した作物部分の画像を、当該作物の撮影角度
に基づいて真上から撮影されたときの画像に補正するよ
うにしたので、作物部分の画像が撮影画面内のどの位置
にあっても正確に作物の生育量を算出することができ
る。As described above, according to the present invention,
A crop in which a field in which a plurality of crops of crops are growing is photographed from above with a photographing means, an image of a crop part is extracted from the photographed image, and the growth amount of the crop is measured using the extracted image. In the growth amount measuring method and the crop growth amount measuring device, since the image of the extracted crop portion is corrected to the image when taken from directly above based on the photographing angle of the crop, the image of the crop portion is The growth amount of the crop can be accurately calculated at any position on the shooting screen.
【０１０５】また、撮影画像から作物部分の画像を抽出
する際、撮影レンズの光学特性に基づく当該撮影画像の
画素間のレベル誤差を補正するようにしたので、広角の
撮影装置で圃場の広い範囲を撮影した場合にも撮影レン
ズの光学特性に基づく測定誤差を低減することができ
る。Further, when the image of the crop portion is extracted from the photographed image, the level error between the pixels of the photographed image based on the optical characteristics of the photographing lens is corrected, so that a wide-angle photographing device can cover a wide range of fields. It is possible to reduce the measurement error based on the optical characteristics of the photographing lens even when the photograph is taken.
【０１０６】また、測定された作物の生育量から撮影画
面内の作物の生育量分布を示す生育マップを作成するよ
うにしたので、圃場の撮影範囲全体の生育状況を比較的
正確に把握することができる。Since the growth map showing the distribution of the growth amount of the crop in the photographing screen is created from the measured growth amount of the crop, it is possible to grasp the growth situation of the entire photographing range of the field relatively accurately. You can
【図１】撮影画像内の作物部分の位置とカメラの画角値
とに基づいてカメラの当該作物に対する撮影角度を算出
する方法を説明するための図で、（ａ）はカメラの撮影
範囲を示す図、（ｂ）は撮影画像を示す図である。FIG. 1 is a diagram for explaining a method of calculating a shooting angle of a camera with respect to a crop based on a position of a crop portion in a shot image and a view angle value of the camera, and FIG. FIG. 3B is a diagram showing a photographed image.
【図２】補正係数の演算方法を説明するための図で、
（ａ）は作物を直方体にモデル化したときの作物の撮影
角度に応じた撮影面積を示す図、（ｂ）は撮影画像内の
作物部分の面積を示す図である。FIG. 2 is a diagram for explaining a method of calculating a correction coefficient,
(A) is a figure which shows the imaging area according to the imaging angle of a crop when a crop is modeled into a rectangular parallelepiped, (b) is a figure which shows the area of the crop part in a captured image.
【図３】本発明に係るリモートセンシング技術を用いた
作物の生育量測定方法を説明するための図である。FIG. 3 is a diagram for explaining a method for measuring the amount of growth of a crop using the remote sensing technology according to the present invention.
【図４】撮影装置で撮影された画像の一例を示す図であ
る。FIG. 4 is a diagram showing an example of an image photographed by a photographing device.
【図５】圃場における土、水、作物の葉等の反射率特性
を示す図である。FIG. 5 is a diagram showing reflectance characteristics of soil, water, crop leaves, etc. in a field.
【図６】撮影画像から抽出した作物画像を用いて算出し
た作物（水稲）からのＩＲ出力量と当該作物の生育量の
一指標である茎数との関係の相関を調べた図である。FIG. 6 is a diagram for investigating the correlation between the IR output amount from a crop (paddy rice) calculated using a crop image extracted from a photographed image and the number of stems, which is one index of the growth amount of the crop.
【図７】図６に示す例について、撮影画像の周辺部の作
物画像における撮影角度に基づく測定誤差を補正してＩ
Ｒ出力量と作物の茎数との関係の相関を調べた図であ
る。7 is a diagram illustrating an example of FIG. 6 in which a measurement error based on a photographing angle in a crop image in a peripheral portion of the photographed image is corrected to I
It is the figure which investigated the correlation of the relationship between the amount of R output and the number of stems of a crop.
【図８】無人ヘリコプターに搭載される撮影装置の構成
を示すブロック図である。FIG. 8 is a block diagram showing a configuration of an imaging device mounted on an unmanned helicopter.
【図９】撮影レンズの透過率特性の一例を撮影画像の受
光レベルで表したもので、（ａ）は、透過率特性を示す
図、（ｂ）は撮影画像上のＸ座標の取り方を示す図であ
る。9A and 9B show an example of the transmittance characteristic of a photographic lens by the light receiving level of a captured image. FIG. 9A is a diagram showing the transmittance characteristic, and FIG. 9B is a method of obtaining an X coordinate on the captured image. FIG.
【図１０】補正係数の算出式を導出するために撮影画像
上に設けたｘｙ座標を示す図である。FIG. 10 is a diagram showing xy coordinates provided on a captured image for deriving a formula for calculating a correction coefficient.
【図１１】係数Ｋをパラメータとして算出した撮影角度
θPに対する補正係数α(θP)の表１をグラフ化した図で
ある。FIG. 11 is a graph of Table 1 of the correction coefficient α (θ P ) with respect to the photographing angle θ P calculated using the coefficient K as a parameter.
【図１２】撮影画像内の隣接する作物部分の画像が重な
った状態を示す図である。FIG. 12 is a diagram showing a state in which images of adjacent crop portions in a captured image overlap each other.
【図１３】２値化処理された撮影画像の一例を示す図で
ある。FIG. 13 is a diagram illustrating an example of a binarized captured image.
【図１４】作物の生育量の測定手順を示すフローチャー
トである。FIG. 14 is a flowchart showing a procedure for measuring the growth amount of a crop.
【図１５】架台の水平制御のフローチャートである。FIG. 15 is a flowchart of horizontal control of the gantry.
【図１６】作物画像の抽出処理を示すフローチャートで
ある。FIG. 16 is a flowchart showing a crop image extraction process.
【図１７】生育マップの一例を示す図である。FIG. 17 is a diagram showing an example of a growth map.
【図１８】生育マップの作成処理を示すフローチャート
である。FIG. 18 is a flowchart showing a growth map creating process.
【図１９】広角のカメラで上空から圃場を撮影した場合
の作物生育量の測定誤差を説明するための図で、（ａ）
は作物に対する撮影角度の相違を示す図、（ｂ）は撮影
角度の相違に基づく撮影画像内の作物部分の面積の相違
を示す図である。FIG. 19 is a diagram for explaining a measurement error of crop growth when a field is photographed from the sky with a wide-angle camera.
FIG. 6A is a diagram showing a difference in photographing angle with respect to a crop, and FIG. 9B is a diagram showing a difference in area of a crop portion in a photographed image based on the difference in photographing angle.
１ 圃場 ２ 作物 ３ ヘリコプター ４ 撮影装置 ４１ 入射光測定部（測光手段） ４１１ 受光センサ ４１２ ＩＲフィルタ ４１３ 拡散板 ４２ 架台 ４３ 撮影部（撮影手段） ４３１ 撮影レンズ ４３２ エリアセンサ ４３３ ドライバ ４３４ フィルタ ４４ 姿勢検出部 ４５ 位置検出部 ４６ 通信部 ４７ 制御部 ４７１ Ａ／Ｄ変換 ４７２ 画像メモリ ４７３ ＲＯＭ ４７４ 演算処理部 ４７４ａ データ補正部（レベル補正手段） ４７４ｂ 反射率画像作成部（反射率画像作成手段） ４７４ｃ ２値画像作成部（画像抽出手段） ４７４ｄ ２値画像補正部（画像補正手段） ４７４ｅ ＩＲ出力量算出部 ４７４ｆ 生育量算出部（生育量算出手段） ４７４ｇ データ記憶部 ４７５ 架台制御部 ５ 測定制御装置（マップ作成手段） ５１ 表示部（表示手段） 1 field 2 crops 3 helicopter 4 Imaging device 41 Incident light measuring unit (photometric means) 411 Light receiving sensor 412 IR filter 413 Diffuser 42 mount 43 Imaging unit (imaging means) 431 shooting lens 432 area sensor 433 driver 434 Filter 44 Posture detection unit 45 Position detector 46 Communication unit 47 Control unit 471 A / D conversion 472 image memory 473 ROM 474 arithmetic processing unit 474a Data correction unit (level correction means) 474b Reflectance image creating unit (reflectance image creating means) 474c Binary image creation unit (image extraction means) 474d Binary image correction unit (image correction means) 474e IR output amount calculation unit 474f Growth amount calculation unit (growth amount calculation means) 474g data storage 475 Stand control unit 5 Measurement control device (map creation means) 51 display unit (display means)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０１Ｂ 11/28 Ｇ０１Ｂ 11/28 Ｚ (72)発明者 後藤 隆志 埼玉県さいたま市日進町１丁目40番地２ 生物系特定産業技術研究推進機構内 Ｆターム(参考） 2F065 AA58 CC00 EE00 FF04 FF41 JJ19 QQ04 QQ24 QQ25 QQ27 2F070 AA01 AA20 CC11 DD09 EE01 FF13 GG02 HH01 HH07 HH08 5B057 AA15 BA02 CA12 CA16 CB12 CB16 CD12 DC25 DC36 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification code FI theme code (reference) // G01B 11/28 G01B 11/28 Z (72) Inventor Takashi Goto 1-chome, Nisshin-cho, Saitama City, Saitama Prefecture Address 2 F-term within Biological Specific Industrial Technology Research Promotion Organization (reference) 2F065 AA58 CC00 EE00 FF04 FF41 JJ19 QQ04 QQ24 QQ25 QQ27 2F070 AA01 AA20 CC11 DD09 EE01 FF13 GG02 HH01 HH07 HH08 5B057 AA15 DC25 CA12 CA16 CB12 CA16
Claims (25)
る圃場を上空から撮影手段で撮影して得られる特定波長
領域の画像を入力する入力手段と、 上記特定波長領域の撮影画像から作物部分の画像を抽出
する画像抽出手段と、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正する画像補正手段
と、 補正された作物部分の画像を用いて作物の生育量を算出
する生育量算出手段とを備えたことを特徴とする作物生
育量測定装置。1. An input unit for inputting an image of a specific wavelength region obtained by capturing an image of a field in which a plurality of crops of crops are growing at a predetermined interval from above with an image capturing unit, and from the captured image of the specific wavelength region. An image extracting means for extracting an image of the crop portion, an image correcting means for correcting the extracted image of the crop portion to an image of the crop photographed from directly above by the photographing means, and the corrected crop portion A crop growth amount measuring device, comprising: a growth amount calculating means for calculating a growth amount of a crop using an image.
る圃場を上空から撮影手段で撮影して得られる特定波長
領域の画像と当該撮影時に測光手段で測定された特定波
長領域の上記圃場への太陽光の入射光量とを入力する入
力手段と、 上記撮影画像を構成する画素データの上記太陽光の入射
光量に対する比を取ることで、上記特定波長領域の成分
の反射率分布の画像を作成する反射率画像作成手段と、 上記反射率分布の画像を用いて上記撮影画像から作物部
分の画像を抽出する画像抽出手段と、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正する画像補正手段
と、 補正された作物部分の画像を用いて作物の生育量を算出
する生育量算出手段とを備えたことを特徴とする作物生
育量測定装置。2. An image of a specific wavelength region obtained by photographing a field where a plurality of crops of plants are growing at a predetermined interval from above with a photographing means and the above-mentioned specific wavelength region measured by the photometric means at the time of photographing. An image of the reflectance distribution of the components in the specific wavelength region is obtained by calculating the ratio of the incident light amount of the sunlight to the field and the ratio of the pixel data forming the captured image to the incident light amount of the sunlight. And an image extracting means for extracting an image of a crop portion from the photographed image using the image of the reflectance distribution, and an image of the extracted crop portion is substantially true by the photographing means. A crop growth amount comprising image correction means for correcting an image of a crop photographed from above, and growth amount calculation means for calculating a growth amount of a crop using the corrected image of the crop portion. measuring device.
る圃場を上空から撮影するための特定の波長領域の受光
感度を有する撮影手段と、 上記撮影手段で撮影された画像から作物部分の画像を抽
出する画像抽出手段と、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正する画像補正手段
と、 補正された作物部分の画像を用いて作物の生育量を算出
する生育量算出手段とを備えたことを特徴とする作物生
育量測定装置。3. A photographing means having a light receiving sensitivity in a specific wavelength region for photographing a field where a plurality of crops of crops are growing at a predetermined interval from above, and a crop portion from an image photographed by the photographing means. Image extracting means for extracting the image of the crop part, image correcting means for correcting the image of the extracted crop part to an image when the crop is photographed from directly above by the photographing means, and the corrected crop part image. A crop growth amount measuring device, comprising: a growth amount calculation means for calculating a growth amount of a crop using the crop growth amount measuring device.
る圃場を上空から撮影するための特定波長領域の受光感
度を有する撮影手段と、 特定波長領域の上記圃場への太陽光の入射光量を測定す
る測光手段と、 上記撮影手段で撮影された画像を構成する画素データの
上記太陽光の入射光量に対する比を取ることで、上記特
定波長領域の成分の反射率分布の画像を作成する反射率
画像作成手段と、 上記反射率分布の画像を用いて上記撮影画像から作物部
分の画像を抽出する画像抽出手段と、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正する画像補正手段
と、 補正された作物部分の画像を用いて作物の生育量を算出
する生育量算出手段とを備えたことを特徴とする作物生
育量測定装置。4. A photographing means having a light receiving sensitivity in a specific wavelength region for photographing a field in which a plurality of crops are growing at a predetermined interval from above, and sunlight incident on the field in the specific wavelength region. An image of the reflectance distribution of the component of the specific wavelength region is created by taking the ratio of the light amount measuring means and the pixel data forming the image photographed by the photographing means to the incident light amount of the sunlight. A reflectance image creating means, an image extracting means for extracting an image of a crop portion from the photographed image by using the image of the reflectance distribution, and an image of the extracted crop portion from above the crop portion by the photographing means. An apparatus for measuring crop growth, comprising: an image correction unit that corrects an image of a captured image of a plant; and a growth amount calculation unit that calculates a growth amount of a crop using the corrected image of the crop portion.
記抽出画像に対応する作物に対する撮影角度の関数であ
る所定の補正係数を、上記作物部分の画像に乗ずること
で当該画像を補正することを特徴とする請求項１〜４の
いずれかに記載の作物生育量測定装置。5. The image correction means corrects the image by multiplying the image of the crop portion by a predetermined correction coefficient which is a function of a shooting angle of the crop corresponding to the extracted image of the shooting means. The crop growth rate measuring device according to any one of claims 1 to 4.
増加に応じて減少する特性を有することを特徴とする請
求項５記載の作物生育量測定装置。6. The crop growth amount measuring device according to claim 5, wherein the predetermined correction coefficient has a characteristic of decreasing with an increase in the photographing angle.
分の画像の撮影画像上の位置と上記撮影手段の画角値と
に基づいて上記撮影角度を算出し、この撮影角度に所定
の演算式を適用することで、当該抽出された作物部分の
画像の補正係数を算出し、この補正係数を作物部分の画
像に乗ずることで当該画像を補正することを特徴とする
請求項５記載の作物生育量測定装置。7. The image correction means calculates the photographing angle based on the position of the extracted image of the crop portion on the photographed image and the angle-of-view value of the photographing means, and performs a predetermined calculation on the photographing angle. The crop according to claim 5, wherein the image is corrected by applying a formula to calculate a correction coefficient of the image of the extracted crop portion and multiplying the correction coefficient by the image of the crop portion. Growth measuring device.
位置と上記撮影手段の画角値とに基づいて算出される各
画素位置の撮影角度を、所定の演算式で補正係数に変換
してなる画像化された補正係数のデータを有し、上記撮
影画像の各画素位置のデータに、対応する画素位置の補
正係数を乗ずることにより作物部分の画像の補正を行う
ものであることを特徴とする請求項５記載の作物生育量
測定装置。8. The image correction means converts a shooting angle of each pixel position calculated based on a pixel position on a shot image and a field angle value of the shooting means into a correction coefficient by a predetermined arithmetic expression. It is characterized in that the image of the crop portion is corrected by multiplying the data of each pixel position of the photographed image by the correction coefficient of the corresponding pixel position. The crop growth amount measuring device according to claim 5.
所定の演算式は、 α＝１／（１＋Ｋ・tanθ）…（１） 但し，α：補正係数 Ｋ：定数 θ：撮影角度 であることを特徴とする請求項７又は８記載の作物生育
量測定装置。9. The predetermined arithmetic expression for converting the photographing angle into the correction coefficient is α = 1 / (1 + K · tan θ) (1) where α: correction coefficient K: constant θ: photographing angle The crop growth amount measuring device according to claim 7 or 8.
装置。10. The constant K is K = a / h, wherein a: average value of spread diameter when the crop is viewed from directly above h: average value of plant height of the crop. 9. The crop growth measuring device according to 9.
ている場合は、これらの作物部分の画像に対する補正係
数は、上記（１）式に関係なくこれらの作物部分の画像
に対応する撮影角度のうちの最小の撮影角度に対応する
補正係数に固定することを特徴とする請求項９又は１０
記載の作物生育量測定装置。11. When the images of crop parts of adjacent plants are overlapped with each other, the correction coefficient for the images of these crop parts is calculated by taking the photographing angles corresponding to the images of these crop parts regardless of the above formula (1). 11. The correction coefficient corresponding to the smallest photographing angle of the above is fixed.
The crop growth measuring device described.
生育量測定装置において、 上記撮影手段の光学特性に基づく当該撮影手段で撮影さ
れた画像のレベル誤差を所定の補正データで補正するレ
ベル補正手段を更に備え、 上記画像抽出手段は、レベル補正された撮影画像から上
記作物部分の画像を抽出するものであることを特徴とす
る作物生育量測定装置。12. The crop growth measuring device according to claim 1, wherein a level error of an image photographed by the photographing means based on an optical characteristic of the photographing means is corrected with predetermined correction data. The crop growth amount measuring apparatus further comprising level correction means, wherein the image extraction means extracts the image of the crop portion from the level-corrected photographed image.
ンズによる撮影画像周辺部の光量低下特性に基づくレベ
ル誤差を補正するデータであることを特徴とする請求項
１２記載の作物生育量測定装置。13. The crop growth amount measuring device according to claim 12, wherein the correction data is data for correcting a level error based on a light amount reduction characteristic of a peripheral portion of a photographed image by a lens of the photographing means.
ンズの収差に基づくレベル誤差を補正するデータである
ことを特徴とする請求項１２記載の作物生育量測定装
置。14. The crop growth amount measuring device according to claim 12, wherein the correction data is data for correcting a level error based on an aberration of a lens of the photographing means.
生育量測定装置において、 上記撮影手段で撮影された画像と上記生育量算出手段で
算出された作物の生育量とを用いて上記圃場の作物の生
育マップを作成するマップ作成手段と、 作成された生育マップを表示する表示手段と、を更に備
えたことを特徴とする作物生育量測定装置。15. The crop growth rate measuring device according to claim 1, wherein the image picked up by the photographing means and the crop growth rate calculated by the growth rate calculating means are used. A crop growth measuring device further comprising a map creating means for creating a growth map of a crop in a field and a display means for displaying the created growth map.
あることを特徴とする請求項１〜４のいずれかに記載の
作物生育量測定装置。16. The crop growth measuring device according to claim 1, wherein the specific wavelength region is a near infrared region.
×草丈）のいずれかであることを特徴とする請求項１〜
４のいずれかに記載の作物生育量測定装置。17. The growth amount is any of the number of stems, plant height or (stem number × plant length).
4. The crop growth measuring device according to any one of 4 above.
ラであることを特徴とする請求項１〜４のいずれかに記
載の作物生育量測定装置。18. The crop growth amount measuring device according to claim 1, wherein the photographing means is a digital still camera.
いる圃場を上空から撮影手段で撮影して得られる特定波
長領域の画像を入力するステップと、 上記特定波長領域の撮影画像から作物部分の画像を抽出
するステップと、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から作物を撮影したときの画像に補正するステップと、 補正された作物部分の画像を用いて作物の生育量を算出
するステップと、からなることを特徴とする作物生育量
測定方法。19. A step of inputting an image of a specific wavelength region obtained by photographing a field where a plurality of crops of crops are growing at a predetermined interval from above with a photographing means, and a crop from the photographed image of the specific wavelength region. A step of extracting the image of the crop part, a step of correcting the extracted image of the crop part to an image of the crop photographed from directly above by the photographing means, and a crop image using the corrected crop part image. And a step of calculating the amount of growth of the crop.
いる圃場を上空から撮影手段で撮影して得られる特定波
長領域の画像と当該撮影時に測光手段で測定された上記
圃場への太陽光の特定波長領域の入射光量とを入力する
ステップと、 上記撮影画像を構成する画素データの上記太陽光の入射
光量に対する比を取ることで、上記特定波長領域の成分
の反射率分布の画像を作成するステップと、 上記反射率分布の画像を用いて上記撮影画像から作物部
分の画像を抽出するステップと、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から撮影された当該作物を撮影したときの画像に補正す
るステップと、 補正された作物部分の画像を用いて作物の生育量を算出
するステップと、からなることを特徴とする作物生育量
測定方法。20. An image of a specific wavelength region obtained by photographing a field in which a plurality of crops are growing at a predetermined interval from above with a photographing means, and the sun to the field measured by the photometric means at the time of photographing. An image of the reflectance distribution of the component in the specific wavelength region is obtained by taking the step of inputting the incident light amount of the specific wavelength region of light and the ratio of the pixel data forming the captured image to the incident light amount of the sunlight. A step of creating an image of a crop portion from the photographed image using the image of the reflectance distribution, and a step of extracting the image of the crop portion from the image taken directly above by the photographing means. A method for measuring a crop growth amount, comprising: a step of correcting the cropped image to an image of the cropped image; and a step of calculating a crop growth amount using the corrected image of the crop part.
測定方法において、 算出された生育量に基づいて上記圃場の作物の生育マッ
プを作成するステップと、 作成された生育マップを表示するステップと、 を更に備えたことを特徴とする作物生育量測定方法。21. The crop growth amount measuring method according to claim 19 or 20, comprising the steps of creating a growth map of the crops in the field based on the calculated growth amount, and displaying the created growth map. A method for measuring the amount of crop growth, further comprising:
の作物が生育している圃場を上空から撮影手段で撮影し
て得られる特定波長領域の画像を入力するステップと、 上記特定波長領域の撮影画像から作物部分の画像を抽出
するステップと、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から撮影された当該作物を撮影したときの画像に補正す
るステップと、 補正された作物部分の画像を用いて作物の生育量を算出
するステップと、を実行させるためのプログラム。22. A step of inputting to a computer an image of a specific wavelength region obtained by capturing an image of a field where a plurality of crops of crops are growing at a predetermined interval from above with a photographing means, and photographing the specific wavelength region. A step of extracting an image of the crop portion from the image, a step of correcting the extracted image of the crop portion to an image when the crop is photographed from directly above by the photographing means, and the corrected crop A program for executing the step of calculating the growth amount of the crop using the image of the part.
の作物が生育している圃場を上空から撮影手段で撮影し
て得られる特定波長領域の画像と当該撮影時に測光手段
で測定された上記圃場への太陽光の特定波長領域の入射
光量とを入力するステップと、 上記撮影画像を構成する画素データの上記太陽光の入射
光量に対する比を取ることで、上記特定波長領域の成分
の反射率分布の画像を作成するステップと、 上記反射率分布の画像を用いて上記撮影画像から作物部
分の画像を抽出するステップと、 抽出された作物部分の画像を、上記撮影手段でほぼ真上
から撮影された当該作物を撮影したときの画像に補正す
るステップと、 補正された作物部分の画像を用いて作物の生育量を算出
するステップと、を実行させるためのプログラム。23. An image of a specific wavelength region obtained by photographing a field in which a plurality of crops are growing at a predetermined interval on a computer with a photographing means, and the field measured by the photometric means at the time of photographing. And a step of inputting the incident light amount of the sunlight in a specific wavelength region, and the ratio of the pixel data forming the captured image to the incident light amount of the sunlight are calculated, thereby obtaining the reflectance distribution of the component in the specific wavelength region. Of the image of the crop portion, the step of extracting the image of the crop portion from the photographed image using the image of the reflectance distribution, and the image of the extracted crop portion is photographed from directly above by the photographing means. A program for executing a step of correcting the image of the crop in question, and a step of calculating the growth amount of the crop using the corrected image of the crop part.
において、 算出された生育量に基づいて上記圃場の作物の生育マッ
プを作成するステップと、 作成された生育マップを表示するステップと、を更に備
えたことを特徴とするプログラム。24. The program according to claim 22, further comprising: a step of creating a growth map of the crop in the field based on the calculated growth amount; and a step of displaying the created growth map. A program characterized by that.
プログラムを記録したコンピュータ読取可能な記録媒
体。25. A computer-readable recording medium in which the program according to any one of claims 22 to 24 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001198370A JP5020444B2 (en) | 2001-06-29 | 2001-06-29 | Crop growth measuring device, crop growth measuring method, crop growth measuring program, and computer-readable recording medium recording the crop growth measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001198370A JP5020444B2 (en) | 2001-06-29 | 2001-06-29 | Crop growth measuring device, crop growth measuring method, crop growth measuring program, and computer-readable recording medium recording the crop growth measuring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003009664A true JP2003009664A (en) | 2003-01-14 |
| JP5020444B2 JP5020444B2 (en) | 2012-09-05 |
Family
ID=19035833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001198370A Expired - Fee Related JP5020444B2 (en) | 2001-06-29 | 2001-06-29 | Crop growth measuring device, crop growth measuring method, crop growth measuring program, and computer-readable recording medium recording the crop growth measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5020444B2 (en) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005253407A (en) * | 2004-03-12 | 2005-09-22 | Able Computer:Kk | Image analysis system |
| JP2006317195A (en) * | 2005-05-10 | 2006-11-24 | National Agriculture & Food Research Organization | Growth degree measuring device for plant |
| JP2007178833A (en) * | 2005-12-28 | 2007-07-12 | Hiroshi Hiki | Conversion and trading system for carbon dioxide emission quota |
| JP2008165666A (en) * | 2006-12-26 | 2008-07-17 | Katsumi Iwai | Business model for seaweed cultivation |
| JP2011027600A (en) * | 2009-07-27 | 2011-02-10 | Satake Corp | Method for creating calibration curve in remote sensing |
| JP2014082958A (en) * | 2012-10-22 | 2014-05-12 | Fujitsu Ltd | Crop presumption method, crop presumption program and crop presumption device |
| CN104180779A (en) * | 2014-08-14 | 2014-12-03 | 南京农业大学 | Canopy hole measuring method and device |
| JP2016220681A (en) * | 2015-05-29 | 2016-12-28 | 株式会社笑農和 | Water level management system |
| JP2017059993A (en) * | 2015-09-16 | 2017-03-23 | 三菱電機株式会社 | Imaging device and imaging method |
| KR101752313B1 (en) * | 2015-11-13 | 2017-07-12 | 사단법인 한국온실작물연구소 | System for measuring growth amount and plant length using lindenmayer system and image and beam criterion |
| JP2017169450A (en) * | 2016-03-18 | 2017-09-28 | 東京電力ホールディングス株式会社 | Plant area determination system and plant region determination method |
| CN107727138A (en) * | 2017-09-25 | 2018-02-23 | 淮安生物工程高等职业学校 | Home farm's environmental monitoring system |
| JP2018046787A (en) * | 2016-09-23 | 2018-03-29 | ドローン・ジャパン株式会社 | Agricultural management prediction system, agricultural management prediction method, and server apparatus |
| KR20180086745A (en) * | 2017-01-23 | 2018-08-01 | 한국과학기술연구원 | Apparatus for processing plant images and method thereof |
| WO2018173577A1 (en) * | 2017-03-23 | 2018-09-27 | 日本電気株式会社 | Vegetation index calculation device, vegetation index calculation method, and computer readable recording medium |
| WO2018180954A1 (en) * | 2017-03-28 | 2018-10-04 | コニカミノルタ株式会社 | Image processing device, growth examination image creation system, and program |
| JP2019008749A (en) * | 2017-06-28 | 2019-01-17 | 株式会社クボタ | Aerial photographing system for farm field |
| JP2019158635A (en) * | 2018-03-14 | 2019-09-19 | 株式会社ゼンリンデータコム | Flight route creation device, and flight route creation method |
| WO2019208538A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社Ｎｔｔドコモ | Information processing device |
| JP2019207638A (en) * | 2018-05-30 | 2019-12-05 | ヤンマー株式会社 | Growth information map provision system |
| WO2020075868A1 (en) * | 2018-10-12 | 2020-04-16 | 株式会社ナイルワークス | Cultivated field image analysis method |
| JP2020087286A (en) * | 2018-11-30 | 2020-06-04 | 株式会社エヌ・ティ・ティ・データＣｃｓ | Server device for crop growth determination system, crop growth determination device, crop growth learning device, method for growing crop, and program |
| WO2020157879A1 (en) * | 2019-01-30 | 2020-08-06 | 株式会社オプティム | Computer system, crop growth assistance method, and program |
| WO2021145130A1 (en) * | 2020-01-16 | 2021-07-22 | キヤノン株式会社 | Image diagnosis device, image diagnosis system, image diagnosis method, and program |
| WO2021149355A1 (en) * | 2020-01-21 | 2021-07-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| RU206519U1 (en) * | 2021-06-07 | 2021-09-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR MEASURING SEASONAL PLANT GROWTH |
| RU206755U1 (en) * | 2021-06-07 | 2021-09-27 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR FIXING SEASONAL PLANT GROWTH |
| RU207144U1 (en) * | 2021-06-07 | 2021-10-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR CONTROL AND FIXING OF PLANTS SIZE DURING THEIR GROWTH |
| US11181470B2 (en) | 2016-06-22 | 2021-11-23 | Sony Group Corporation | Sensing system, sensing method, and sensing device |
| WO2021255940A1 (en) * | 2020-06-19 | 2021-12-23 | 株式会社ナイルワークス | Drone for diagnosing crop growth, and camera system for same |
| RU2765842C1 (en) * | 2021-06-07 | 2022-02-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | Device for comprehensive tracking of seasonal changes in plants |
| RU2765841C1 (en) * | 2021-06-07 | 2022-02-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | Method for integrated tracking of seasonal changes in plants |
| US11448586B2 (en) | 2015-06-26 | 2022-09-20 | Sony Group Corporation | Inspection apparatus, sensing apparatus, sensitivity control apparatus, inspection method, and program with pixel sensitivity control |
| JP7189585B1 (en) | 2022-02-07 | 2022-12-14 | 国立大学法人北海道大学 | Information processing system and spectrometer |
| CN115546208A (en) * | 2022-11-25 | 2022-12-30 | 浙江托普云农科技股份有限公司 | Method and device for measuring plant height of field crops and application |
| CN115883969A (en) * | 2023-02-16 | 2023-03-31 | 北京万和汇通通信科技有限公司 | Unmanned aerial vehicle shooting method, device, equipment and medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574897A (en) * | 2015-12-07 | 2016-05-11 | 中国科学院合肥物质科学研究院 | Crop growth situation monitoring Internet of Things system based on visual inspection |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276045A (en) * | 1999-03-24 | 2000-10-06 | Toyota Motor Corp | Method and device for making map using photographed picture, and method of correcting distortion of photographed picture |
| JP2000292166A (en) * | 1999-04-07 | 2000-10-20 | Topcon Corp | Image forming device |
-
2001
- 2001-06-29 JP JP2001198370A patent/JP5020444B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276045A (en) * | 1999-03-24 | 2000-10-06 | Toyota Motor Corp | Method and device for making map using photographed picture, and method of correcting distortion of photographed picture |
| JP2000292166A (en) * | 1999-04-07 | 2000-10-20 | Topcon Corp | Image forming device |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005253407A (en) * | 2004-03-12 | 2005-09-22 | Able Computer:Kk | Image analysis system |
| JP2006317195A (en) * | 2005-05-10 | 2006-11-24 | National Agriculture & Food Research Organization | Growth degree measuring device for plant |
| JP4599590B2 (en) * | 2005-05-10 | 2010-12-15 | 独立行政法人農業・食品産業技術総合研究機構 | Plant growth measuring device |
| JP2007178833A (en) * | 2005-12-28 | 2007-07-12 | Hiroshi Hiki | Conversion and trading system for carbon dioxide emission quota |
| JP2008165666A (en) * | 2006-12-26 | 2008-07-17 | Katsumi Iwai | Business model for seaweed cultivation |
| JP2011027600A (en) * | 2009-07-27 | 2011-02-10 | Satake Corp | Method for creating calibration curve in remote sensing |
| JP2014082958A (en) * | 2012-10-22 | 2014-05-12 | Fujitsu Ltd | Crop presumption method, crop presumption program and crop presumption device |
| CN104180779A (en) * | 2014-08-14 | 2014-12-03 | 南京农业大学 | Canopy hole measuring method and device |
| JP2016220681A (en) * | 2015-05-29 | 2016-12-28 | 株式会社笑農和 | Water level management system |
| US11448586B2 (en) | 2015-06-26 | 2022-09-20 | Sony Group Corporation | Inspection apparatus, sensing apparatus, sensitivity control apparatus, inspection method, and program with pixel sensitivity control |
| JP2017059993A (en) * | 2015-09-16 | 2017-03-23 | 三菱電機株式会社 | Imaging device and imaging method |
| KR101752313B1 (en) * | 2015-11-13 | 2017-07-12 | 사단법인 한국온실작물연구소 | System for measuring growth amount and plant length using lindenmayer system and image and beam criterion |
| JP2017169450A (en) * | 2016-03-18 | 2017-09-28 | 東京電力ホールディングス株式会社 | Plant area determination system and plant region determination method |
| US11181470B2 (en) | 2016-06-22 | 2021-11-23 | Sony Group Corporation | Sensing system, sensing method, and sensing device |
| JP2018046787A (en) * | 2016-09-23 | 2018-03-29 | ドローン・ジャパン株式会社 | Agricultural management prediction system, agricultural management prediction method, and server apparatus |
| KR20180086745A (en) * | 2017-01-23 | 2018-08-01 | 한국과학기술연구원 | Apparatus for processing plant images and method thereof |
| KR101974638B1 (en) | 2017-01-23 | 2019-05-03 | 한국과학기술연구원 | Apparatus for processing plant images and method thereof |
| JPWO2018173577A1 (en) * | 2017-03-23 | 2019-11-07 | 日本電気株式会社 | Vegetation index calculating device, vegetation index calculating method, and program |
| WO2018173577A1 (en) * | 2017-03-23 | 2018-09-27 | 日本電気株式会社 | Vegetation index calculation device, vegetation index calculation method, and computer readable recording medium |
| US11417089B2 (en) | 2017-03-23 | 2022-08-16 | Nec Corporation | Vegetation index calculation apparatus, vegetation index calculation method, and computer readable recording medium |
| WO2018180954A1 (en) * | 2017-03-28 | 2018-10-04 | コニカミノルタ株式会社 | Image processing device, growth examination image creation system, and program |
| JP7074126B2 (en) | 2017-03-28 | 2022-05-24 | コニカミノルタ株式会社 | Image processing equipment, growth survey image creation system and program |
| JPWO2018180954A1 (en) * | 2017-03-28 | 2020-02-06 | コニカミノルタ株式会社 | Image processing device, growth survey image creation system and program |
| JP2019008749A (en) * | 2017-06-28 | 2019-01-17 | 株式会社クボタ | Aerial photographing system for farm field |
| CN107727138A (en) * | 2017-09-25 | 2018-02-23 | 淮安生物工程高等职业学校 | Home farm's environmental monitoring system |
| CN107727138B (en) * | 2017-09-25 | 2023-05-09 | 淮安生物工程高等职业学校 | Household farm environment monitoring system |
| JP2019158635A (en) * | 2018-03-14 | 2019-09-19 | 株式会社ゼンリンデータコム | Flight route creation device, and flight route creation method |
| WO2019208538A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社Ｎｔｔドコモ | Information processing device |
| JPWO2019208538A1 (en) * | 2018-04-25 | 2021-04-30 | 株式会社Ｎｔｔドコモ | Information processing device |
| JP7366887B2 (en) | 2018-04-25 | 2023-10-23 | 株式会社Ｎｔｔドコモ | information processing equipment |
| JP7091150B2 (en) | 2018-05-30 | 2022-06-27 | ヤンマーパワーテクノロジー株式会社 | Growth information map provision system |
| JP2019207638A (en) * | 2018-05-30 | 2019-12-05 | ヤンマー株式会社 | Growth information map provision system |
| WO2020075868A1 (en) * | 2018-10-12 | 2020-04-16 | 株式会社ナイルワークス | Cultivated field image analysis method |
| JPWO2020075868A1 (en) * | 2018-10-12 | 2021-02-15 | 株式会社ナイルワークス | Field image analysis method |
| JP2020087286A (en) * | 2018-11-30 | 2020-06-04 | 株式会社エヌ・ティ・ティ・データＣｃｓ | Server device for crop growth determination system, crop growth determination device, crop growth learning device, method for growing crop, and program |
| WO2020157879A1 (en) * | 2019-01-30 | 2020-08-06 | 株式会社オプティム | Computer system, crop growth assistance method, and program |
| JP7066258B2 (en) | 2019-01-30 | 2022-05-13 | 株式会社オプティム | Computer system, crop growth support method and program |
| JPWO2020157879A1 (en) * | 2019-01-30 | 2021-09-09 | 株式会社オプティム | Computer system, crop growth support method and program |
| WO2021145130A1 (en) * | 2020-01-16 | 2021-07-22 | キヤノン株式会社 | Image diagnosis device, image diagnosis system, image diagnosis method, and program |
| WO2021149355A1 (en) * | 2020-01-21 | 2021-07-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| WO2021255940A1 (en) * | 2020-06-19 | 2021-12-23 | 株式会社ナイルワークス | Drone for diagnosing crop growth, and camera system for same |
| RU2765842C1 (en) * | 2021-06-07 | 2022-02-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | Device for comprehensive tracking of seasonal changes in plants |
| RU2765841C1 (en) * | 2021-06-07 | 2022-02-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | Method for integrated tracking of seasonal changes in plants |
| RU206755U1 (en) * | 2021-06-07 | 2021-09-27 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR FIXING SEASONAL PLANT GROWTH |
| RU206519U1 (en) * | 2021-06-07 | 2021-09-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR MEASURING SEASONAL PLANT GROWTH |
| RU207144U1 (en) * | 2021-06-07 | 2021-10-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" | DEVICE FOR CONTROL AND FIXING OF PLANTS SIZE DURING THEIR GROWTH |
| JP7189585B1 (en) | 2022-02-07 | 2022-12-14 | 国立大学法人北海道大学 | Information processing system and spectrometer |
| JP2023114709A (en) * | 2022-02-07 | 2023-08-18 | 国立大学法人北海道大学 | Information processing system and spectrometer |
| CN115546208A (en) * | 2022-11-25 | 2022-12-30 | 浙江托普云农科技股份有限公司 | Method and device for measuring plant height of field crops and application |
| CN115883969A (en) * | 2023-02-16 | 2023-03-31 | 北京万和汇通通信科技有限公司 | Unmanned aerial vehicle shooting method, device, equipment and medium |
| CN115883969B (en) * | 2023-02-16 | 2023-05-05 | 北京万和汇通通信科技有限公司 | Unmanned aerial vehicle shooting method, unmanned aerial vehicle shooting device, unmanned aerial vehicle shooting equipment and unmanned aerial vehicle shooting medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5020444B2 (en) | 2012-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5020444B2 (en) | Crop growth measuring device, crop growth measuring method, crop growth measuring program, and computer-readable recording medium recording the crop growth measuring program | |
| US11048938B2 (en) | Plant stand counter | |
| CN109816680B (en) | High-throughput calculation method for crop plant height | |
| US20010016053A1 (en) | Multi-spectral imaging sensor | |
| EP3467702A1 (en) | Method and system for performing data analysis for plant phenotyping | |
| US10585210B2 (en) | Apparatus for radiometric correction and orthorectification of aerial imagery | |
| WO2017099570A1 (en) | System and method for precision agriculture by means of multispectral and hyperspectral aerial image analysis using unmanned aerial vehicles | |
| JP2006314215A (en) | Growth-degree measuring device for being installed on mobile body | |
| CN111225855A (en) | Unmanned plane | |
| JP6996560B2 (en) | Crop cultivation support device | |
| CN110987183A (en) | Multispectral imaging system and method | |
| CN109241918A (en) | A kind of plant management-control method, apparatus and system based on plant information | |
| CN113795846A (en) | Method, device and computer storage medium for determining crop planting information | |
| AU2021204034B2 (en) | Information processing device, information processing method and program | |
| WO2020179276A1 (en) | Image processing device, image processing method, and program | |
| Grenzdörffer | Automatic generation of geometric parameters of individual cauliflower plants for rapid phenotyping using drone images | |
| Yang et al. | Comparison of airborne multispectral and hyperspectral imagery for estimating grain sorghum yield | |
| GR1009898B (en) | Method of detection and evaluation of the biotic-abiotic stress in cultivations via thermal photographs and use of artificial intelligence | |
| CN113514402B (en) | System and method for predicting chlorophyll content of winter wheat | |
| Fukagawa et al. | Detecting crop growth by a multi-spectral imaging sensor | |
| Dorj et al. | A novel technique for tangerine yield prediction using flower detection algorithm | |
| Izere | Plant Height Estimation Using RTK-GNSS Enabled Unmanned Aerial Vehicle (UAV) Photogrammetry | |
| WO2023233832A1 (en) | Method, program, and information processing device | |
| JP7318768B2 (en) | Crop cultivation support device | |
| CN115541032A (en) | Tobacco plant temperature extraction method based on unmanned aerial vehicle thermal infrared remote sensing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060711 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120613 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |