JP2017131116A - Plant sensor apparatus - Google Patents

Plant sensor apparatus Download PDF

Info

Publication number
JP2017131116A
JP2017131116A JP2016011285A JP2016011285A JP2017131116A JP 2017131116 A JP2017131116 A JP 2017131116A JP 2016011285 A JP2016011285 A JP 2016011285A JP 2016011285 A JP2016011285 A JP 2016011285A JP 2017131116 A JP2017131116 A JP 2017131116A
Authority
JP
Japan
Prior art keywords
plant
measurement
camera
image
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016011285A
Other languages
Japanese (ja)
Inventor
吉田　剛
Takeshi Yoshida
剛 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2016011285A priority Critical patent/JP2017131116A/en
Publication of JP2017131116A publication Critical patent/JP2017131116A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology capable of individually obtaining sensing data relating to a growing condition and image data associated with the sensing data for each target plant to be observed.SOLUTION: According to the present invention, by overlapping the measurement range of a plant sensor 1 having a spectroscopic measurement function and the imaging range of a camera (video) 11 and by synchronizing the operation, the sensing data and the image data of target plants Cr from a spectrometer 10 are obtained at the same time.SELECTED DRAWING: Figure 1

Description

本発明は、植物を観察する技術に関する。   The present invention relates to a technique for observing plants.

従来から、特許文献１に示すように、各種のセンサを用いて植物の生育状態や生育環境を観察する技術が知られている。   Conventionally, as shown in Patent Document 1, a technique for observing the growth state and growth environment of a plant using various sensors is known.

特開２０１３−２３００８８号公報JP 2013-230088 A

従来技術では、センサによるデータと視覚的なデータとを同時に得ることができない。植物の育成状況の把握は、茎や葉の色、伸び具合、張り、瑞々しさといった視覚から得る情報による部分が大きい。   In the prior art, sensor data and visual data cannot be obtained simultaneously. The understanding of plant growth is largely based on visual information such as stem and leaf color, stretch, tension, and freshness.

そこで本発明では、植物の観察において、観察対象となる植物毎に個別に生育状況に係るセンシングデータとそれに関連付けされた画像データを得ることができる技術を提供することを目的とする。   Therefore, an object of the present invention is to provide a technique capable of obtaining sensing data related to the growth state and image data associated therewith for each plant to be observed in the observation of the plant.

本発明では、分光計測機能を有する植物センサの計測範囲とカメラ（ビデオ）の撮影範囲とを重複させ、またその動作を同期させることで、対象となる植物の分光計によるセンシングデータと画像データとを同時に取得する。   In the present invention, the measurement range of the plant sensor having the spectroscopic measurement function and the imaging range of the camera (video) are overlapped, and the operation is synchronized so that the sensing data and image data by the target plant spectrometer are obtained. Get at the same time.

請求項１に記載の発明は、植物を光学的にセンシングする植物用センサと、前記植物用センサのセンシング範囲の少なくとも一部を撮影するカメラとを備え、前記植物用センサと前記カメラとが同期して動作することを特徴とする植物用センサ装置である。   The invention according to claim 1 includes a plant sensor that optically senses a plant and a camera that captures at least a part of a sensing range of the plant sensor, and the plant sensor and the camera are synchronized. It is a sensor device for plants characterized by operating as above.

請求項２に記載の発明は、請求項１に記載の発明において、前記植物用センサの光軸と前記カメラの光軸が同じ方向を向いていることを特徴とする。   The invention described in claim 2 is characterized in that, in the invention described in claim 1, the optical axis of the plant sensor and the optical axis of the camera are directed in the same direction.

請求項３に記載の発明は、請求項１または２に記載の発明において、前記植物用センサが計測した前記植物の計測データと前記カメラが撮影した前記植物の画像データとが関連付けされて記憶される記憶装置を備えることを特徴とする。   The invention according to claim 3 is the invention according to claim 1 or 2, wherein the measurement data of the plant measured by the plant sensor and the image data of the plant photographed by the camera are stored in association with each other. And a storage device.

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記カメラが撮影した画像中に前記植物用センサがセンシングの対象とする植物が写っているか否かが判定され、前記植物が前記画像中に写っている場合に前記植物用センサによる前記植物のセンシングが行われることを特徴とする。   Invention of Claim 4 WHEREIN: In the invention as described in any one of Claims 1-3, whether the plant which the said sensor for plants senses is reflected in the image which the said camera image | photographed. Is detected, and the plant is sensed by the plant sensor when the plant is reflected in the image.

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記カメラは、前記植物を立体写真計測するためのステレオペア画像の撮影を行うことを特徴とする請求項１〜４のいずれか一項に記載の植物用センサ装置。   The invention according to claim 5 is the invention according to any one of claims 1 to 4, wherein the camera captures a stereo pair image for measuring a stereoscopic photograph of the plant. The plant sensor apparatus as described in any one of Claims 1-4.

植物センサ装置としては、例えば、特開２０１２−２４７２３５号公報に記載された技術を利用可能である。好ましい態様として、植物センサ装置は、生育状況測定対象を照射すべく第１波長の第１測定光を出射する第１発光部と、前記生育状況測定対象を照射すべく第２波長の第２測定光を出射する第２発光部と、前記生育状況測定対象による前記各測定光の反射光を受光して受光信号を出力する受光部と、前記第１発光部からの出射と前記第２発光部からの出射とを異なるタイミングで発光制御する制御部と、前記第１発光部からの第１測定光の第１出射光路と、前記第２発光部からの第２測定光の第２出射光路と、を合流する光路合流手段と、該光路合流手段と、第１測定光および第２測定光を前記生育状況測定対象へ向けて出射する出射部と、を接続する共通出射光路とを備える。   As a plant sensor apparatus, the technique described in Unexamined-Japanese-Patent No. 2012-247235 can be utilized, for example. As a preferred embodiment, the plant sensor device includes a first light emitting unit that emits a first measurement light having a first wavelength to irradiate a growth state measurement target, and a second measurement of a second wavelength that irradiates the growth state measurement target. A second light emitting unit that emits light; a light receiving unit that receives reflected light of each measurement light by the growth state measurement target and outputs a light reception signal; and an emission from the first light emitting unit and the second light emitting unit A control unit that controls emission at different timings from the emission from the first emission light path, the first emission light path of the first measurement light from the first light emission part, and the second emission light of the second measurement light from the second light emission part A common emission optical path connecting the optical path merging means for merging the path, the optical path merging means, and an emission section for emitting the first measurement light and the second measurement light toward the growth state measurement target. Prepare.

前記共通出射光路は、少なくとも一部が光ファイバにより形成されていてもよい。前記光ファイバは、モードスクランブラ処理が施されていてもよい。前記出射部は、出射光軸に直交する平面で見て一方向のみに屈折力を持つ光学部材を有し、該光学部材は、前記出射光軸回りに回転可能に保持されていてもよい。前記共通出射光路は、前記光ファイバよりも前記出射部側に、通過する第１測定光および第２測定光の一部を測定光出力制御部へ向けて分岐する光束分岐手段を有していてもよい。   The common emission optical path may be at least partially formed by an optical fiber. The optical fiber may be subjected to a mode scrambler process. The emission part may include an optical member having a refractive power in only one direction when viewed in a plane orthogonal to the emission optical axis, and the optical member may be held rotatably around the emission optical axis. The common emission optical path has a light beam branching unit for branching a part of the first measurement light and the second measurement light passing therethrough toward the measurement light output control unit closer to the emission unit than the optical fiber. May be.

分光による成分数値の生育状態情報に、カメラ（ビデオ）による目視可能情報が関連付けされて記録され、作業現場に行かなくても生育状態を視覚的に把握できる。すなわち、カメラの画像データから、目視による観察対象植物の識別、当該植物の生育状態の把握が可能となり、同時に分光計測データから当該植物の生育状態を数値化した情報が得られる。このため、その場にいなくても現場に則した詳しい生育状態が把握できる。   Visible information by a camera (video) is recorded in association with the growth state information of component numerical values by spectroscopy, and the growth state can be visually grasped without going to the work site. That is, it is possible to visually identify the plant to be observed and grasp the growth state of the plant from the image data of the camera, and at the same time, information obtained by quantifying the growth state of the plant from the spectroscopic measurement data can be obtained. For this reason, even if you are not on the spot, you can grasp the detailed growth state according to the site.

例えば、作業未経験者であっても、記録された分光による成分数値の情報と画像データから、熟練者に状況判断をあおぐことができ、植物の生育に必要な知識を習得し植物生育に必要な技術、技能の上達が早められ、後継者育成にも役立てることができる。また、データを蓄積しておけば過去の状況を把握して、現在及び将来の作業計画に役立てる事が出来る。   For example, even an inexperienced person can learn the situation necessary for an expert from the recorded spectral component value information and image data, acquire knowledge necessary for plant growth, and is necessary for plant growth. The advancement of technology and skills can be accelerated, and it can be used to train successors. In addition, if data is accumulated, the past situation can be grasped and used for current and future work plans.

実施形態の説明図である。It is explanatory drawing of embodiment. 実施形態のブロック図である。It is a block diagram of an embodiment. 実施形態のブロック図である。It is a block diagram of an embodiment.

（第１の実施形態）
図１には、複合センサ１が示されている。複合センサ１は、分光計１０とカメラ１１を複合した構成を有している。分光計１０とカメラ１１は、分光計測を行なう範囲と撮影の範囲が少なくとも一部で重なる（好ましくは、極力一致する）ように同じ方向に向けて固定されている。分光計１０とカメラ１１は、同期して動作する。ここで、同期して動作するというのは、（１）同時に動作する場合、（２）時間差を持って動作するが分光計１０による分光の対象とカメラ１１による撮影の対象が同一である場合が挙げられる。要は、分光計１０による分光の対象とカメラ１１による撮影の対象が同一となるようにすることが重要である。分光計１０とカメラ１１は、トラクターＴＲに固定され、トラクターＴＲは移動しながら、複合センサ１を用いた植物Ｃｒの観察（分光測定と画像観察）を行う。 (First embodiment)
FIG. 1 shows a composite sensor 1. The composite sensor 1 has a configuration in which a spectrometer 10 and a camera 11 are combined. The spectrometer 10 and the camera 11 are fixed in the same direction so that the spectral measurement range and the imaging range overlap at least partially (preferably coincide as much as possible). The spectrometer 10 and the camera 11 operate in synchronization. Here, the synchronous operation means that (1) the operation is performed simultaneously, (2) the operation is performed with a time difference, but the object of spectroscopy by the spectrometer 10 and the object of imaging by the camera 11 may be the same. Can be mentioned. In short, it is important that the target of spectroscopy by the spectrometer 10 and the target of photographing by the camera 11 are the same. The spectrometer 10 and the camera 11 are fixed to the tractor TR, and the plant Cr is observed (spectral measurement and image observation) using the composite sensor 1 while the tractor TR moves.

分光計１０は、第１測定光Ｐ１と第２測定光Ｐ２とを同一の照射領域に照射可能である。なお、この照射領域は、撮影範囲がＬのカメラ１１によって撮影される。分光計については、特開２０１２−２４７２３５号公報に記載された技術を利用可能である。   The spectrometer 10 can irradiate the same irradiation region with the first measurement light P1 and the second measurement light P2. In addition, this irradiation area | region is image | photographed with the camera 11 whose imaging range is L. For the spectrometer, the technique described in JP 2012-247235 A can be used.

分光計１０は、第１測定光Ｐ１を発光する発光装置、第１測定光Ｐ１の反射光を検出する受光装置、第２測定光Ｐ２を発光する発光装置、第２測定光Ｐ２の反射光を検出する受光装置を備える。   The spectrometer 10 includes a light emitting device that emits the first measurement light P1, a light receiving device that detects the reflected light of the first measurement light P1, a light emitting device that emits the second measurement light P2, and a reflected light of the second measurement light P2. A light receiving device for detection is provided.

第１測定光Ｐ１と第２測定光Ｐ２とは、互いに異なる波長に設定されている。第１測定光Ｐ１および第２測定光Ｐ２における波長とは、各測定光のスペクトルにおいて強度がピーク値となる波長をいう。例えば、第１測定光Ｐ１の波長として７３５ｎｍ、第２測定光Ｐ２の波長として８０８ｎｍが選択される。   The first measurement light P1 and the second measurement light P2 are set to different wavelengths. The wavelengths in the first measurement light P1 and the second measurement light P2 are wavelengths at which the intensity has a peak value in the spectrum of each measurement light. For example, 735 nm is selected as the wavelength of the first measurement light P1, and 808 nm is selected as the wavelength of the second measurement light P2.

分光計１０は、第１測定光Ｐ１および第２測定光Ｐ２を測定対象とする植物Ｃｒに照射し、その反射光を検出する。この反射光の検出情報に基づき、後述する計測部で第１測定光Ｐ１および第２測定光Ｐ２に対する植物Ｃｒから反射率を取得し、更に育成状態に関する情報が取得される。反射率は、照射光の光量と検出した反射光の光量を比較することで得られる。   The spectrometer 10 irradiates the plant Cr whose measurement target is the first measurement light P1 and the second measurement light P2, and detects the reflected light. Based on the detection information of the reflected light, the measurement unit described later acquires the reflectance from the plant Cr with respect to the first measurement light P1 and the second measurement light P2, and further acquires information on the growing state. The reflectance is obtained by comparing the amount of irradiation light with the amount of detected reflected light.

第１測定光Ｐ１および第２測定光Ｐ２に対する植物Ｃｒの反射率に基づき、植物の生育状況を判断できる。例えば、第１測定光Ｐ１として赤の波長帯域の光を用い、第２測定光Ｐ２として赤外の波長帯域の光を用いて、植物Ｃｒの第１測定光Ｐ１および第２測定光Ｐ２に対するそれぞれの反射率を取得する。この赤の波長帯域の第１測定光Ｐ１の反射率（Ｒとする）と、赤外の波長帯域の第２測定光Ｐ２の反射率（ＩＲとする）と、を用いることにより、当該生育状況測定対象とする植物の生育状況（例えば、そこに含まれる栄養素の量）を示す正規化差植生指数（ＮＤＶＩ）を求めることができる。この正規化差植生指数は、（ＮＤＶＩ＝（ＩＲ−Ｒ）／（ＩＲ＋Ｒ））で表される。正規化差植生指数から、当該植物の育成状態を定量的に評価できる。例えば、予め特定の栄養素の含有量とＤＶＩの関係を取得しておくことで、計測値から得られたＮＤＶＩから当該栄養素の含有量を推定できる。   Based on the reflectance of the plant Cr with respect to the first measurement light P1 and the second measurement light P2, the growth state of the plant can be determined. For example, using light in the red wavelength band as the first measurement light P1, and using light in the infrared wavelength band as the second measurement light P2, each of the first measurement light P1 and the second measurement light P2 of the plant Cr Get the reflectance of. By using the reflectance (referred to as R) of the first measurement light P1 in the red wavelength band and the reflectance (referred to as IR) of the second measurement light P2 in the infrared wavelength band, the growth situation A normalized difference vegetation index (NDVI) indicating the growth status of the plant to be measured (for example, the amount of nutrients contained therein) can be obtained. This normalized difference vegetation index is represented by (NDVI = (IR−R) / (IR + R)). From the normalized difference vegetation index, the growing state of the plant can be quantitatively evaluated. For example, by acquiring the relationship between the content of a specific nutrient and DVI in advance, the content of the nutrient can be estimated from NDVI obtained from the measured value.

カメラ１１は、分光器１０と同じ方向に向けて固定されており、第１測定光Ｐ１と第２測定光Ｐ２が照射される領域と重なる領域Ｌを撮影する。撮影する画像は静止画でも動画でもよい。カメラ１１の光軸は、分光器１０の光軸と同じ方向に設定されている。カメラ１１は、分光器１０と同期して起動し、撮影を行う。すなわち、分光器１０が動作する際、カメラ１１が撮影を行い、分光計測する対象物の画像をカメラ１１が撮影する。この動作により、対象となる植物のＮＤＶＩ値と当該植物の画像データとが関連付けされた状態で得られる。   The camera 11 is fixed in the same direction as the spectroscope 10, and images a region L that overlaps the region irradiated with the first measurement light P1 and the second measurement light P2. The image to be taken may be a still image or a moving image. The optical axis of the camera 11 is set in the same direction as the optical axis of the spectrometer 10. The camera 11 is activated in synchronization with the spectroscope 10 and performs photographing. That is, when the spectroscope 10 operates, the camera 11 captures an image of the object to be spectrally measured. This operation is obtained in a state where the NDVI value of the target plant and the image data of the plant are associated with each other.

図１２には、複合センサ１の計測処理（ＮＤＶＩ値を得るための処理）と複合センサ１の動作制御を行う計測・制御部２００が示されている。計測・制御部２００は、コンピュータとして機能するハードウェアであり、計測部２０１、同期制御部２０２、記憶部２０３を備えている。計測・制御部２００は、専用のハードウェアで構成することも可能であるが、汎用のコンピュータに図示する機能部の機能を実行するプログラムをインストールし、当該コンピュータを計測・制御部２００として用いることも可能である。   FIG. 12 shows a measurement / control unit 200 that performs measurement processing (processing for obtaining an NDVI value) of the composite sensor 1 and operation control of the composite sensor 1. The measurement / control unit 200 is hardware that functions as a computer, and includes a measurement unit 201, a synchronization control unit 202, and a storage unit 203. The measurement / control unit 200 may be configured with dedicated hardware, but a program for executing the functions of the functional units illustrated in the general-purpose computer is installed, and the computer is used as the measurement / control unit 200. Is also possible.

計測部２０１は、分光器１０の出力に基づき測定対象物（植物Ｃｒ）の測定光に対する反射率の算出、当該反射率に基づく正規化差植生指数（ＮＤＶＩ）の算出を行う。同期制御部２０２は、分光器１０の動作（分光計測）とカメラ１１の動作（撮影動作）を同期して行うための制御を行う。例えば、分光器１０の計測を３秒間隔で行うように設定されている場合、その動作に同期してカメラ１１が撮影を行う制御が同期制御部２０２で行われる。   The measurement unit 201 calculates the reflectance of the measurement object (plant Cr) with respect to the measurement light based on the output of the spectroscope 10, and calculates the normalized difference vegetation index (NDVI) based on the reflectance. The synchronization control unit 202 performs control for synchronizing the operation of the spectrometer 10 (spectral measurement) and the operation of the camera 11 (imaging operation). For example, when the spectroscope 10 is set to perform measurement at intervals of 3 seconds, the synchronization control unit 202 performs control in which the camera 11 performs photographing in synchronization with the operation.

記憶部２０３は、計測・制御部２００で扱う各種のデータおよび計測・制御部２００で得られたデータを記憶する。また、計測制御部２００を動かすプログラムを記憶する。記録部２０３は、半導体メモリやハードディスク装置が用いられる。記憶部２０３として外部記憶手段を用いることもできる。記憶部２０３として、ＰＣ、モバイル機器、携帯電話等を用いることもできる。また、記憶部２０３として、ＵＳＢ半導体メモリ、携帯型ハードディスク装置等の専用の情報記憶装置を用いることもできる。   The storage unit 203 stores various data handled by the measurement / control unit 200 and data obtained by the measurement / control unit 200. In addition, a program for moving the measurement control unit 200 is stored. As the recording unit 203, a semiconductor memory or a hard disk device is used. External storage means can also be used as the storage unit 203. As the storage unit 203, a PC, a mobile device, a mobile phone, or the like can be used. As the storage unit 203, a dedicated information storage device such as a USB semiconductor memory or a portable hard disk device can be used.

計測部２０１は、測定時刻、正規化差植生指数、対象となった植物の画像データを取得する。これらのデータは、互いに関連付けされて記憶部２０３に記憶される。例えば、記憶２０３には、カメラ１１が撮影した画像、各画像の撮影時刻、撮影された植物の正規化差植生指数が関連付けされて記憶される。   The measurement unit 201 acquires the measurement time, the normalized difference vegetation index, and the image data of the target plant. These data are stored in the storage unit 203 in association with each other. For example, the image stored by the camera 11, the image capturing time of each image, and the normalized difference vegetation index of the imaged plant are stored in the storage 203 in association with each other.

（変形例）
この例では、予め計測の対象となる植物の画像データを記憶部２０３に記憶しておく。そして、トラクターＴＲを走行させながら、カメラ１１は連続撮影（例えば、１秒間隔の撮影）を行う。カメラ１１が撮影した画像は、公知の画像解析技術およびマッチング処理技術を用いて解析され、予め記憶部２０３に記憶している計測対象植物の画像が当該撮影画像内に写っているか否かの判定が行われる。この判定は、計測部２０１で行われる。 (Modification)
In this example, image data of a plant to be measured is stored in the storage unit 203 in advance. Then, the camera 11 performs continuous shooting (for example, shooting at intervals of 1 second) while running the tractor TR. The image captured by the camera 11 is analyzed using a known image analysis technique and matching processing technique, and it is determined whether or not the image of the measurement target plant stored in advance in the storage unit 203 is included in the captured image. Is done. This determination is performed by the measurement unit 201.

カメラ１１が計測対象植物を撮影した場合に、それを契機として、カメラ１１に同期する形で分光器１０が動作し、当該計測対象植物の正規化差植生指数を取得する。   When the camera 11 captures the measurement target plant, the spectroscope 10 operates in synchronization with the camera 11 and acquires the normalized difference vegetation index of the measurement target plant.

この態様によれば、複合センサ１の無駄な動作が抑制される。また、特定の植物を選択しての撮影とセンシングが可能となる。   According to this aspect, the useless operation of the composite sensor 1 is suppressed. In addition, photographing and sensing can be performed by selecting a specific plant.

（むすび）
本発明によれば、生育状況測定対象である植物等の単体毎の詳細な画像を分光分析で取得する画像と同期させ、または同軸に取得し記録することで、植物等の単体毎の可視画像を詳細に観察、検査することができ、作業現場に行かなくても生育状態を把握することができ、作業現場が山間部か、海岸近辺であるのか、現場に則した詳しい生育状態を把握することができ、また記録された分光による成分数値の情報と画像データから、作業未経験者が生育状況を改善させたいときに、熟練の作業者に状況判断をあおぐことができ、現在及び将来の作業計画に役立てることができるデータが得られる。 (Musubi)
According to the present invention, a detailed image for each single unit of a plant or the like that is a growth state measurement target is synchronized with an image acquired by spectroscopic analysis, or acquired and recorded coaxially, so that a visible image for each single unit of a plant or the like Can be observed and inspected in detail, and the growth state can be grasped without going to the work site, and whether the work site is in a mountainous area or near the coast, grasp the detailed growth state according to the site In addition, it is possible for the inexperienced person to improve the growth situation from the component spectral information and image data obtained from the recorded spectrum. Data that can be used for planning is obtained.

（第２の実施形態）
カメラを用いて異なる複数の視点からステレオ撮影を行うことで、撮影対象物の三次元位置情報を得ることができる（例えば、特開２０１３−１８６８１６号公報参照）。第１の実施形態では、トタクターＴＲが移動しながら、植物Ｃｒの撮影を特定の時間間隔で連続的に行う。この場合、異なる時刻に撮影した画像において、同じ植物Ｃｒが写っているものを複数選択し、この複数の画像の中の２つをステレオペア画像として、植物Ｃｒの立体計測を行なうことができる。植物Ｃｒの立体計測を行なうことで、植物Ｃｒの成育状態を計測できる。例えば、稲や麦の根元から先端までの長さの計測、キャベツやリンゴの直径の計測、茄子の立体形状の定量的な計測が可能となる。 (Second Embodiment)
By performing stereo shooting from a plurality of different viewpoints using a camera, it is possible to obtain three-dimensional position information of a shooting target (see, for example, JP 2013-186816 A). In the first embodiment, the plant Cr is continuously photographed at specific time intervals while the tactor TR moves. In this case, it is possible to select a plurality of images showing the same plant Cr in images taken at different times, and perform two-dimensional measurement of the plant Cr using two of the plurality of images as a stereo pair image. By performing the three-dimensional measurement of the plant Cr, the growth state of the plant Cr can be measured. For example, it is possible to measure the length from the root to the tip of rice or wheat, measure the diameter of cabbage or apple, and quantitatively measure the three-dimensional shape of the eggplant.

通常の２次元画像からも植物の大凡の寸法の推定は可能である。しかしながら、例えばカメラの方向に向かって延びている茎の長さを２次元画像から推定することは誤差が大きく適切でない。これに対して、ステレオペア画像を用いた立体写真計測では、撮影対象各部の三次元座標が得られるので、２次元写真画像を用いた場合に比較して精度よく寸法の計測を行なえる。   It is possible to estimate the approximate size of a plant from a normal two-dimensional image. However, for example, estimating the length of the stem extending in the direction of the camera from the two-dimensional image has a large error and is not appropriate. On the other hand, in the stereoscopic photo measurement using the stereo pair image, the three-dimensional coordinates of each part to be imaged can be obtained, so that the dimensions can be measured with higher accuracy than when the two-dimensional photo image is used.

図３には、本実施形態における計測・制御部３００のブロック図が示されている。計測・制御部３００は、図２の計測・制御部２００に画像を用いた三次計測の機能を付加したものである。計測・制御部３００は、図２に示す構成に加えてステレオ画像取得部２０４、特徴点抽出部２０５、対応関係特定部２０６、三次元位置算出部２０７および三次元モデル作成部２０８を備えている。   FIG. 3 shows a block diagram of the measurement / control unit 300 in the present embodiment. The measurement / control unit 300 is obtained by adding a tertiary measurement function using an image to the measurement / control unit 200 of FIG. The measurement / control unit 300 includes a stereo image acquisition unit 204, a feature point extraction unit 205, a correspondence relationship specification unit 206, a 3D position calculation unit 207, and a 3D model creation unit 208 in addition to the configuration shown in FIG. .

ステレオ画像取得部２０４、特徴点抽出部２０５、対応関係特定部２０６および三次元位置算出部２０７については、例えば特開２０１３−１８６８１６号公報に記載されている。また、三次元モデル作成部２０８については、例えば特開２０１２−２３０５９４号公報や特開２０１４−３５７０２号公報に記載されている。   The stereo image acquisition unit 204, the feature point extraction unit 205, the correspondence relationship specifying unit 206, and the three-dimensional position calculation unit 207 are described in, for example, Japanese Patent Laid-Open No. 2013-186816. The three-dimensional model creation unit 208 is described in, for example, Japanese Patent Application Laid-Open Nos. 2012-230594 and 2014-35702.

以下、各機能部について簡単に説明する。なお、計測部２０１、同期制御部２０２および記憶部２０３については、図２で関連して説明したのと同じである。   Hereinafter, each functional unit will be briefly described. Note that the measurement unit 201, the synchronization control unit 202, and the storage unit 203 are the same as those described in relation to FIG.

ステレオ画像取得部２０４は、同一の植物Ｃｒを写した２つのペア画像をステレオペア画像として選択する。例えば、トラクターＴＲを移動させながら連続撮影した場合に、時間軸上で隣接する２枚の画像をステレオペア画像として選択する。この場合、選択されるステレオペア画像の両方に計測対象となる植物Ｃｒが写るようにトラクターＴＲの速度およびカメラ１１による撮影間隔を設定する。   The stereo image acquisition unit 204 selects two pair images obtained by copying the same plant Cr as stereo pair images. For example, when continuous shooting is performed while moving the tractor TR, two adjacent images on the time axis are selected as stereo pair images. In this case, the speed of the tractor TR and the shooting interval by the camera 11 are set so that the plant Cr to be measured appears in both of the selected stereo pair images.

特徴点抽出部２０５は、ステレオ画像取得部２０４が取得したステレオペア画像のそれぞれから特徴点の抽出を行う。対応関係特定部２０６は、それぞれ特徴点の抽出が行われたステレオペア画像間で対応する特徴点の特定を行う。   The feature point extraction unit 205 extracts feature points from each of the stereo pair images acquired by the stereo image acquisition unit 204. The correspondence specifying unit 206 specifies corresponding feature points between stereo pair images from which feature points have been extracted.

三次元位置算出部２０７は、ステレオペア画像間で対応関係が特定された特徴点の三次元位置の算出を行う。この処理は、三角測量の原理を用いて行われる。三次元モデル作成部２０８は、三次元位置が特定された特徴点に基づく三次元モデルの作成を行う。三次元モデル作成部２０８では、計測対象の植物Ｃｒの三次元モデルを作成する。   The three-dimensional position calculation unit 207 calculates the three-dimensional position of the feature point for which the correspondence relationship is specified between the stereo pair images. This process is performed using the principle of triangulation. The three-dimensional model creation unit 208 creates a three-dimensional model based on the feature points where the three-dimensional position is specified. The three-dimensional model creation unit 208 creates a three-dimensional model of the plant Cr to be measured.

本実施形態において、カメラ１１と分光器１０は同期して動作する。この際、ステレオペア画像を構成する２つ画像（勿論、３以上の画像を用いて立体写真測量を行うことも可能である）の少なくとも一つの画像の撮影に同期して分光器１０による植物Ｃｒの分光計測が行われる。なお、カメラ１１による撮影と分光器１０による計測が同一の対象物に対して行われればよいので、この条件が満たされるのであれば、カメラ１１による撮影と分光器１０による計測のタイミングに多少のずれがあってもよい。   In the present embodiment, the camera 11 and the spectroscope 10 operate in synchronization. At this time, the plant Cr by the spectroscope 10 is synchronized with the photographing of at least one of the two images constituting the stereo pair image (of course, it is possible to perform stereophotogrammetry using three or more images). Spectral measurement is performed. In addition, since it is sufficient that the photographing with the camera 11 and the measurement with the spectroscope 10 are performed on the same object, if this condition is satisfied, the timing of the photographing with the camera 11 and the measurement with the spectroscope 10 may be slightly different. There may be a gap.

本実施形態によれば、植物Ｃｒの測定時刻、正規化差植生指数、画像データ、三次元モデルのデータが得られる。これらのデータは、互いに関連付けされて記憶部２０３に記憶される。例えば、記憶２０３には、カメラ１１が撮影した画像、各画像の撮影時刻、撮影された植物の正規化差植生指数、撮影された植物の三次元モデルが関連付けされて記憶される。   According to this embodiment, the measurement time of a plant Cr, the normalized difference vegetation index, image data, and three-dimensional model data are obtained. These data are stored in the storage unit 203 in association with each other. For example, the storage 203 stores an image captured by the camera 11, a capturing time of each image, a normalized difference vegetation index of the captured plant, and a captured three-dimensional model of the plant.

例えば、特定の間隔（１日間隔や３日間隔）でトラクターＴＲを走行させての計測を行ない、その都度、対象となる植物Ｃｒの画像、撮影時刻、正規化差植生指数、三次元モデルのデータを取得する。この場合、各データの時系列変化を見ることで、栄養状態の変化、茎の長さが実の大きさといった寸法の変化、画像から分かる色や見た目の状態の変化を総合的に見ることができる。   For example, measurement is performed by running the tractor TR at a specific interval (one day interval or three day interval), and each time an image of the target plant Cr, shooting time, normalized difference vegetation index, three-dimensional model Get the data. In this case, by looking at the time-series changes of each data, it is possible to comprehensively see changes in nutritional state, dimensional changes such as the actual length of the stem, and changes in color and appearance from the image. it can.

このデータは、インターネット回線等を利用して遠隔地に伝送できるので、植物Ｃｒを栽培する農地から離れた遠隔地で当該植物Ｃｒの育成状況の観察が可能となる。特に、三次元モデルは、画面上で回転させることができるので、視点を変えての植物Ｃｒの観察が可能となり、育成状態を立体的に把握することが可能となる。   Since this data can be transmitted to a remote place using an internet line or the like, it is possible to observe the growth status of the plant Cr at a remote place away from the farmland where the plant Cr is grown. In particular, since the three-dimensional model can be rotated on the screen, the plant Cr can be observed from different viewpoints, and the growing state can be grasped three-dimensionally.

本実施形態において、複数台（少なくとも２台）のカメラを用いてステレオ写真画像を得ることも可能である。この場合、ステレオペア写真を構成する２枚の写真画像が同時に得られる。また、植物Ｃｒを動画撮影し、この動画を構成するフレーム画像からステレオペア写真を構成する画像を抜き出してもよい。   In this embodiment, it is also possible to obtain a stereo photographic image using a plurality of (at least two) cameras. In this case, two photographic images constituting a stereo pair photograph can be obtained simultaneously. Alternatively, the plant Cr may be taken as a movie, and an image constituting the stereo pair photograph may be extracted from the frame images constituting the movie.

１…複合センサ、１０…分光器、１１…カメラ、ＴＲ…トラクター、Ｃｒ…計測対象の植物。

DESCRIPTION OF SYMBOLS 1 ... Composite sensor, 10 ... Spectroscope, 11 ... Camera, TR ... Tractor, Cr ... Plant to be measured.

Claims (5)

植物を光学的にセンシングする植物用センサと、
前記植物用センサのセンシング範囲の少なくとも一部を撮影するカメラと
を備え、
前記植物用センサと前記カメラとが同期して動作することを特徴とする植物用センサ装置。 A plant sensor for optically sensing plants;
A camera for photographing at least a part of the sensing range of the plant sensor,
The plant sensor device, wherein the plant sensor and the camera operate synchronously. 前記植物用センサの光軸と前記カメラの光軸が同じ方向を向いていることを特徴とする請求項１に記載の植物用センサ装置。   The plant sensor device according to claim 1, wherein an optical axis of the plant sensor and an optical axis of the camera are in the same direction. 前記植物用センサが計測した前記植物の計測データと前記カメラが撮影した前記植物の画像データとが関連付けされて記憶される記憶装置を備えることを特徴とする請求項１または２に記載の植物用センサ装置。   The plant measurement data according to claim 1 or 2, further comprising a storage device that stores the measurement data of the plant measured by the plant sensor and the image data of the plant photographed by the camera in association with each other. Sensor device. 前記カメラが撮影した画像中に前記植物用センサがセンシングの対象とする植物が写っているか否かが判定され、
前記植物が前記画像中に写っている場合に前記植物用センサによる前記植物のセンシングが行われることを特徴とする請求項１〜３のいずれか一項に記載の植物用センサ装置。 It is determined whether or not a plant to be sensed by the plant sensor is captured in an image captured by the camera,
The plant sensor device according to any one of claims 1 to 3, wherein the plant is sensed by the plant sensor when the plant is reflected in the image. 前記カメラは、前記植物を立体写真計測するためのステレオペア画像の撮影を行うことを特徴とする請求項１〜４のいずれか一項に記載の植物用センサ装置。

The plant sensor device according to any one of claims 1 to 4, wherein the camera captures a stereo pair image for measuring a three-dimensional photograph of the plant.

JP2016011285A 2016-01-25 2016-01-25 Plant sensor apparatus Pending JP2017131116A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016011285A JP2017131116A (en) 2016-01-25 2016-01-25 Plant sensor apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016011285A JP2017131116A (en) 2016-01-25 2016-01-25 Plant sensor apparatus

Publications (1)

Publication Number Publication Date
JP2017131116A true JP2017131116A (en) 2017-08-03

Family

ID=59501721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016011285A Pending JP2017131116A (en) 2016-01-25 2016-01-25 Plant sensor apparatus

Country Status (1)

Country Link
JP (1) JP2017131116A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101935008B1 (en) * 2017-12-08 2019-01-03 함영국 Distribution and Management Method for agricultural products using growth information of agricultural products
JP2019088252A (en) * 2017-11-16 2019-06-13 株式会社クボタ Mobile vehicle
JP2019106910A (en) * 2017-12-18 2019-07-04 株式会社オーガニックｎｉｃｏ Growth state measuring apparatus of crops being cultivated
KR20190117832A (en) * 2018-03-26 2019-10-17 제주대학교 산학협력단 Sympathetic Companion Plant Robot System

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04329340A (en) * 1991-05-01 1992-11-18 Tokyu Constr Co Ltd Activity measuring method for plant
JPH07502408A (en) * 1992-01-01 1995-03-16 マーセン，　ローベルト Plant optical quality control and/or classification method and device
JP2001318053A (en) * 2000-05-10 2001-11-16 Shizuoka Prefecture Quality evaluation device of plant body and breeding selection method and quality evaluation method
JP2007143490A (en) * 2005-11-29 2007-06-14 Yamaguchi Univ Method for diagnosing vegetation with balloon aerial photography multiband sensing
US20070289207A1 (en) * 2005-12-21 2007-12-20 May George A Expert system for controlling plant growth in a contained environment
JP2012005453A (en) * 2010-06-28 2012-01-12 Idec Corp Plant cultivation device, and method for cultivation of plant
JP2012247235A (en) * 2011-05-26 2012-12-13 Topcon Corp Sensor device for plant
JP2014183788A (en) * 2013-03-25 2014-10-02 Sony Corp Information processing system, and information processing method of information processing system, imaging device and imaging method, and program
JP2015065965A (en) * 2013-10-01 2015-04-13 井関農機株式会社 Cultivation device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04329340A (en) * 1991-05-01 1992-11-18 Tokyu Constr Co Ltd Activity measuring method for plant
JPH07502408A (en) * 1992-01-01 1995-03-16 マーセン，　ローベルト Plant optical quality control and/or classification method and device
JP2001318053A (en) * 2000-05-10 2001-11-16 Shizuoka Prefecture Quality evaluation device of plant body and breeding selection method and quality evaluation method
JP2007143490A (en) * 2005-11-29 2007-06-14 Yamaguchi Univ Method for diagnosing vegetation with balloon aerial photography multiband sensing
US20070289207A1 (en) * 2005-12-21 2007-12-20 May George A Expert system for controlling plant growth in a contained environment
JP2012005453A (en) * 2010-06-28 2012-01-12 Idec Corp Plant cultivation device, and method for cultivation of plant
JP2012247235A (en) * 2011-05-26 2012-12-13 Topcon Corp Sensor device for plant
JP2014183788A (en) * 2013-03-25 2014-10-02 Sony Corp Information processing system, and information processing method of information processing system, imaging device and imaging method, and program
JP2015065965A (en) * 2013-10-01 2015-04-13 井関農機株式会社 Cultivation device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019088252A (en) * 2017-11-16 2019-06-13 株式会社クボタ Mobile vehicle
JP7026489B2 (en) 2017-11-16 2022-02-28 株式会社クボタ Work vehicle and lawn management system
KR101935008B1 (en) * 2017-12-08 2019-01-03 함영국 Distribution and Management Method for agricultural products using growth information of agricultural products
JP2019106910A (en) * 2017-12-18 2019-07-04 株式会社オーガニックｎｉｃｏ Growth state measuring apparatus of crops being cultivated
KR20190117832A (en) * 2018-03-26 2019-10-17 제주대학교 산학협력단 Sympathetic Companion Plant Robot System
KR102116259B1 (en) * 2018-03-26 2020-05-29 제주대학교 산학협력단 Sympathetic Companion Plant Robot System

Similar Documents

Publication Publication Date Title
US8374438B1 (en) Visual template-based thermal inspection system
EP3073894B1 (en) Corrected 3d imaging
JP6377863B2 (en) Enhancement of depth map representation by reflection map representation
EP3225966B1 (en) Laser scanning leak detection and visualization apparatus
JP2017131116A (en) Plant sensor apparatus
WO2011021128A3 (en) Method and system for image analysis
JP6364777B2 (en) Image data acquisition system and image data acquisition method
US10317311B2 (en) Laser scanning leak detection and visualization apparatus
CN104634277B (en) Capture apparatus and method, three-dimension measuring system, depth computing method and equipment
US11494888B2 (en) Work terminal, oil leakage detection apparatus, and oil leakage detection method
CN105286785A (en) Multispectral medical imaging devices and methods thereof
JP2017037075A (en) Borehole inspection device
CN110132989A (en) A kind of distress in concrete detection device, method and terminal system
KR20170091677A (en) Method and system for identifying an individual with increased body temperature
CN108475145A (en) Pattern recognition device, image-recognizing method and image identification unit
WO2019062430A1 (en) System and method for acquiring depth information, camera module and electronic device
JP6601489B2 (en) Imaging system, imaging apparatus, imaging method, and imaging program
US20210344833A1 (en) Inspection workflow using object recognition and other techniques
US20240100626A1 (en) Laser working system for performing a working process on a workpiece by means of a laser beam and method for monitoring a working process on a workpiece by means of a laser beam
WO2018235476A1 (en) Information processing device, information processing method and program
WO2021084907A1 (en) Image processing device, image processing method, and image processing program
US11085753B2 (en) System and method for use in remote sensing
JP2012208046A (en) Plant species identification method and plant species identification device
CN110045382A (en) Processing method, device, equipment, server and the system of vehicle damage detection
KR20150072049A (en) Object recognition apparatus using spectrometer and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200923