WO2021100430A1 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- WO2021100430A1 WO2021100430A1 PCT/JP2020/040522 JP2020040522W WO2021100430A1 WO 2021100430 A1 WO2021100430 A1 WO 2021100430A1 JP 2020040522 W JP2020040522 W JP 2020040522W WO 2021100430 A1 WO2021100430 A1 WO 2021100430A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- area
- rate
- image
- information processing
- map
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 118
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000008635 plant growth Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000003384 imaging method Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 60
- 230000012010 growth Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 69
- 230000008569 process Effects 0.000 description 50
- 241000196324 Embryophyta Species 0.000 description 29
- 238000003860 storage Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 25
- 238000012544 monitoring process Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 230000035784 germination Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000009331 sowing Methods 0.000 description 5
- 238000003306 harvesting Methods 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- ZLSWBLPERHFHIS-UHFFFAOYSA-N Fenoprop Chemical compound OC(=O)C(C)OC1=CC(Cl)=C(Cl)C=C1Cl ZLSWBLPERHFHIS-UHFFFAOYSA-N 0.000 description 2
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000003501 hydroponics Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01C—PLANTING; SOWING; FERTILISING
- A01C21/00—Methods of fertilising, sowing or planting
- A01C21/005—Following a specific plan, e.g. pattern
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
Definitions
- This technology is related to information processing equipment, information processing methods, and programs, and is particularly related to technology that presents information suitable for field management.
- Replanting means replanting (re-sowing, etc.) when the plant has already been planted.
- Patent Document 1 discloses a technique for imaging a field and performing remote sensing of a vegetation state.
- this disclosure proposes a technology that enables appropriate information to be presented for prompt replant decision.
- the information processing device has a calculation unit that calculates the rate related to plant growth from sensing data, and sample position images that are arranged according to the sensing position of each sensing data in the map area of the user interface screen. It is provided with a user interface control unit that controls display in an image mode determined according to a rate calculated from sensing data.
- the sensing data is, for example, various data sensed for a field. For example, image data obtained by imaging a field, data from sensors such as a thermo sensor and an ultrasonic sensor, and the like.
- the field includes a wide range of agricultural lands where crops are cultivated, such as cultivated lands, cultivated lands, hydroponic cultivated lands, and greenhouse cultivated lands.
- the rate related to plant growth is broadly rate information about plant growth, such as the percentage of crops that have germinated after planting, and the percentage of crops that are growing normally.
- the term “crops” refers to those intended for artificial harvesting, but the term “plants” as used herein includes, for example, fruit trees and weeds in addition to crops.
- the sample position image is an image for displaying a user interface indicating the position where the image data of the sample is captured on the map image or the captured position in the field. This sample position image is displayed in an image mode according to the rate.
- the image aspect refers to elements constituting the sample position image such as color, brightness, shape, and contour line.
- the sample position image as the image displayed on the user interface may be a text or numerical image, a color-only image, or an image of any other aspect.
- the sensing data is image data obtained by imaging a field
- the rate is the number of crops per unit area obtained from the image data and the unit of the image data with respect to the imaging region. It is considered that it is the ratio to the number of planting instructions per area.
- the tractor When planting in a field, the tractor is given information (number of planting instructions) that indicates the number of seeds / strains / seedlings of crops per acre, for example, for each location in the field to be planted, and the planting is executed. Let me. The ratio of the number of crops per unit area calculated based on the image data of actual germination / growth to the number of such planting instructions is defined as the rate for crop growth.
- the sensing data is image data obtained by imaging a field
- the rate is the number of crops per unit area obtained from the image data and the unit of the image data with respect to the imaging region. It is considered that it is the ratio to the actual number of plants planted per area.
- the ratio of the number of crops per unit area calculated based on the image data to the actual number of plants planted by the tractor is defined as the rate for crop growth.
- the sensing data is image data obtained by imaging a field
- the rate is determined by the number of crops per unit area obtained from the image data and the unit of the image data with respect to the imaging region. It is possible to select whether to use the ratio to the number of planting instructions per area or the ratio of the number of crops per unit area obtained from the image data to the actual number of planting per unit area with respect to the imaging area of the image data. It is possible that it has been done. That is, it is possible to select whether the value that serves as a reference for the rate as the germination rate is the number of planting instructions for the tractor or the actual number of plants planted by the tractor.
- the user interface control unit displays a rate map image showing differences in values used for calculating the rate in the field together with the sample position image in the map area. It is conceivable to control the operation. For example, the number of planting instructions for the tractor, which is the reference value of the rate, or the actual number of planting may differ depending on the location of the field.
- a rate map image as an image to be displayed on the user interface is displayed together with the sample position image.
- the rate map image is also an image displayed on the user interface, and may be a text or numerical image, a color-only image, or any other form of image.
- the user interface control unit controls to display an area definition image that defines an area divided in the field in the map area.
- an area definition image for example, an image such as a grid pattern is displayed in the map area so that the user can recognize the definition of each area divided in the field.
- the user interface control unit displays each area shown in the area definition image in an image mode determined according to the rate calculated for the area. It is conceivable to control the interface.
- Each area defined in the area definition image is displayed in an image mode according to the rate.
- the image aspect refers to an element that constitutes an area-defined image such as a grid pattern, such as color, brightness, and contour line.
- the calculation unit calculates the rate of each area shown in the area definition image by interpolation calculation using the rate related to the growth of crops for the sensing data related to the area. It is possible to calculate.
- the rate of each area defined by the area definition image is calculated using the rate for sensing data such as related image data such as an image of the vicinity of the center point of the area.
- the sensing data related to one area which refers to the rate related to the growth of crops in the interpolation calculation, is sensing within a predetermined distance from the center point of the one area. It can be data.
- the rate of the area is calculated by interpolation calculation using the rate of the image data captured within a predetermined distance from the center point of the area.
- the sensing data related to one area which refers to the rate related to the growth of the crop in the interpolation calculation, is determined in the order in which the imaging area is closer to the center point of the one area. It can be considered to be numerical sensing data.
- the rate of the area is calculated by interpolation calculation using the rates of a predetermined number of sensing data in the order in which the imaging area is closer to the center point of the area.
- the calculation unit refers to sensing data related to an area in which the number of planting instructions or the actual number of plantings is the same as that of the one area. It is conceivable to perform the interpolation calculation by weighting the rate of. If there is related sensing data, for example, image data that captures an area with the same number of planting instructions or actual number of plants as the area, the rate of the image data is weighted and interpolation calculation is performed to determine the rate of the area. calculate.
- the user interface control unit performs interface control for performing the setting operation of the area definition image.
- the size of the area defined in the area definition image can be specified by the user.
- the user interface control unit performs interface control for designating a replant candidate area for each area defined in the area definition image. For example, the user can make any area a replant candidate on the area definition image.
- the user interface control unit performs interface control for designating a replant candidate area for each area defined in the area definition image, and also performs interface control for designating the replant candidate area. It is conceivable to control the presentation of cost information regarding the replant according to the designated operation of. For example, if the user sets an arbitrary area as a replant candidate area on the area definition image, the cost is presented accordingly.
- the user interface control unit performs interface control that enables each area defined in the area definition image to be individually designated as a replant candidate area. For example, the user can specify by clicking an arbitrary area on the area definition image.
- the user interface control unit performs interface control that enables a plurality of areas to be designated as replant candidate areas by a range designation operation on the area definition image. .. For example, by specifying a range on the area definition image, the user can specify a plurality of areas included in the range.
- the information processing apparatus includes a file generation unit that generates a replant instruction file according to the determination of the replant execution area in the area definition image. For example, the user sets an arbitrary area as a replant candidate on the area definition image, and then generates an instruction file for executing the replant according to determining the area to be replanted by a predetermined operation.
- the user interface control unit controls to present the determination result of whether or not to replant each area shown in the area definition image. It is determined whether or not each area defined in the area definition image should be replanted, and the determination result is shown. For example, each area is displayed in an image mode according to the determination result.
- the image aspect refers to elements that make up the grid image, such as color, brightness, and contour lines.
- the information processing method related to this technology calculates the rate related to plant growth from the sensing data, and in the map area of the user interface screen, sample position images arranged according to the sensing position of each sensing data are obtained from each sensing data. Control is performed to display the image in an image mode determined according to the calculated rate.
- the information processing apparatus can present information suitable for the replant judgment.
- the program according to the present technology is a program that causes an information processing apparatus to execute the processing of the above method. This facilitates the realization of an information processing device that presents information suitable for replant judgment.
- “Stand” refers to each of the crops (plants) planted and germinated in the field.
- the "number of stands” or “STAND COUNT” is the number of stands measured from the image data.
- “Population” refers to the number of stands converted from the number of stands measured from image data per unit area (for example, 1 acre). This population can also be regarded as the germination rate when considered in terms of unit area.
- the "stand rate” indicates the ratio of grown crops such as the germination rate per unit area, and in the present embodiment, per unit area shown in the rate map (indicated rate map or actual rate map) described later. It is the ratio of the number of stands (population) per unit area to the number of planting instructions and the number of actual planting. The stand rate can be said to be the germination achievement rate.
- FIG. 1 shows an information processing device 1 constituting a sensing system and an imaging device 220 mounted on a small flying object 200 such as a drone. Also shown is a tractor 270 for planting.
- the aircraft body 200 can move over the field 300 by, for example, radio control by the operator, autopilot, or the like.
- An imaging device 220 is set in the flying object 200 so as to image, for example, below.
- the image pickup device 220 periodically performs, for example, still image imaging.
- one captured image captures a part of the field 300.
- a discrete region in the field 300 may be imaged as a sensing sample to obtain a plurality of image data.
- the image data as a still image for each captured image is also referred to as a “sample”.
- the image pickup device 220 mounted on the flying object 200 includes a visible light image sensor (an image sensor that captures visible light of R (red), G (green), and B (blue)), NIR (Near Infra Red: near infrared region). ) Cameras for image imaging, multi-spectrum cameras that capture images in multiple wavelength bands, hyper-spectrum cameras, Fourier Transform Infrared Spectroscopy (FTIR), infrared sensors, etc. are assumed. Will be done. Of course, a plurality of types of cameras (sensors) may be mounted on the flying object 200.
- FTIR Fourier Transform Infrared Spectroscopy
- NDVI Normalized Difference Vegetation Index
- NDVI is a vegetation index that indicates plant-likeness, and can be used as an index that indicates the distribution status and activity of vegetation.
- Tag information is added to the image obtained by being captured by the image pickup device 220.
- the tag information includes imaging date and time information, position information (latitude / longitude information) as GPS (Global Positioning System) data, flight altitude information of the flying object 200 at the time of imaging, and imaging device information (individual identification information and model of the camera). Information, etc.), information on each image data (information on image size, wavelength, imaging parameters, etc.), etc. are included.
- the image data and tag information captured by the image pickup device 220 mounted on the flying object 200 are acquired by the information processing device 1.
- image data and tag information are transferred by wireless communication or network communication between the image pickup device 220 and the information processing device 1.
- the network for example, the Internet, a home network, a LAN (Local Area Network), a satellite communication network, and various other networks are assumed.
- image data and tag information are passed to the information processing device 1 in such a manner that the recording medium (for example, a memory card) mounted on the image pickup device 220 is read by the information processing device 1.
- the information processing device 1 uses image data and tag information to generate analysis information for the field 300 as a measurement target.
- the analysis result is presented to the user as an image.
- the crops copied to the image data are counted, and based on the count, for example, the number of crops, the number of crops per unit area, the germination rate, the predicted yield, the crop ratio, etc. are used for the management of the field 300. It is possible to generate information that can be presented to the user.
- the information processing device 1 also performs execution control of displaying the position of each sample (image data) on the map image including the field 300 and displaying information about the replant.
- the information processing device 1 is realized as, for example, a PC (Personal Computer), an FPGA (Field-Programmable Gate Array), or a terminal device such as a smartphone or tablet. Although the information processing device 1 is separate from the image pickup device 220 in FIG. 1, for example, an arithmetic unit (microcomputer or the like) serving as the information processing device 1 may be provided in the unit including the image pickup device 220. ..
- a portion to be "wax" in the field 300 is automatically determined on the image data, and the crops planted are counted based on the determination.
- the wax is a line on which a crop is planted, and for example, a ridge formed for seed planting in a field 300 is also a kind of wax.
- the line formed when seeds are sown on flat ground is also low, not limited to the one in which the soil is raised like a ridge.
- the planting line formed when sowing seeds with a tractor (sowing machine) is called a row.
- FIG. 2 schematically shows the wax 301 formed in the field 300.
- the field 300 is imaged by the imaging device 220 while the flying object 200 is moving, but each part is imaged at an appropriate timing, for example, as in the imaging ranges SP1 and SP2 in the figure.
- the image data of the imaging range SP1 and the image data of the imaging range SP2 are obtained by the imaging device 220 as a one-frame still image captured image, and these are taken into the information processing device 1 as samples.
- FIG. 2 shows a linear row 301
- the row 301 is not always a straight line.
- the linear wax 301 may bend at the edge of the field 300 or the like.
- the row 301 may be partially curved, or the row 301 may be formed in a spiral shape or a concentric circle shape, for example.
- the tractor 270 plants seeds and the like (seed, seedlings, strains, etc.) in the field 300.
- the tractor 270 automatically travels and plants based on, for example, planting instruction data provided by the information processing device 1.
- planting instruction data provided by the information processing device 1.
- the above-mentioned wax 301 is formed in the field 300.
- a computer device is mounted on the tractor 270, and the computer device controls traveling and planting operations based on instruction data.
- a computer device imports a data file containing planting instruction data (rate map data including the number of planting instructions per unit area for each location) as shown in an instruction rate map described later, and the instruction data is obtained.
- the running and planting operation of the tractor 270 is controlled based on the above. Further, the actual results of planting work by the tractor 270 (the actual number of plantings per unit area for each location) are provided to the information processing apparatus 1 as actual data.
- Information processing device configuration> The information processing device 1 that acquires and processes image data from the image pickup device 220 in the above sensing system will be described.
- FIG. 3 shows the hardware configuration of the information processing device 1.
- the information processing device 1 includes a CPU (Central Processing Unit) 51, a ROM (Read Only Memory) 52, and a RAM (Random Access Memory) 53.
- the CPU 51 executes various processes according to the program stored in the ROM 52 or the program loaded from the storage unit 59 into the RAM 53.
- the RAM 53 also appropriately stores data and the like necessary for the CPU 51 to execute various processes.
- the CPU 51, ROM 52, and RAM 53 are connected to each other via the bus 54.
- An input / output interface 55 is also connected to the bus 54.
- the input / output interface 55 can be connected to a display unit 56 composed of a liquid crystal panel or an organic EL (Electroluminescence) panel, an input unit 57 composed of a keyboard, a mouse, etc., a speaker 58, a storage unit 59, a communication unit 60, and the like.
- a display unit 56 composed of a liquid crystal panel or an organic EL (Electroluminescence) panel
- an input unit 57 composed of a keyboard, a mouse, etc.
- a speaker 58 a storage unit 59
- a communication unit 60 and the like.
- the display unit 56 may be integrated with the information processing device 1 or may be a separate device.
- the display unit 56 displays captured images, various calculation results, and the like on the display screen based on the instructions of the CPU 51. Further, the display unit 56 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on the instruction of the CPU 51.
- GUI Graphic User Interface
- the input unit 57 means an input device used by a user who uses the information processing device 1.
- various controls and operation devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, and remote controller are assumed.
- the user's operation is detected by the input unit 57, and the signal corresponding to the input operation is interpreted by the CPU 51.
- the storage unit 59 is composed of a storage medium such as an HDD (Hard Disk Drive) or a solid-state memory.
- the storage unit 59 stores, for example, image data, tag information, and various other information captured by the image pickup device 220.
- the storage unit 59 is also used to store program data for various processes.
- the communication unit 60 performs communication processing via a network including the Internet and communication with devices in various peripheral parts.
- the communication unit 60 may be, for example, a communication device that communicates with the image pickup apparatus 220 or the tractor 270.
- a drive 61 is also connected to the input / output interface 55 as needed, and a storage device 62 such as a memory card is attached to the input / output interface 55 to write or read data.
- a storage device 62 such as a memory card
- the computer program read from the storage device 62 is installed in the storage unit 59 as needed, and the data processed by the CPU 51 is stored.
- the drive 61 may be a recording / playback drive for a removable storage medium such as a magnetic disk, an optical disk, or a magneto-optical disk. These magnetic disks, optical disks, magneto-optical disks, and the like are also aspects of the storage device 62.
- the information processing device 1 of the embodiment is not limited to the information processing device (computer device) 1 having a hardware configuration as shown in FIG. 3 being configured as a single unit, and a plurality of computer devices are systematized. It may be configured.
- the plurality of computer devices may be systematized by a LAN or the like, or may be arranged in a remote place by a VPN (Virtual Private Network) or the like using the Internet or the like.
- the plurality of computer devices may include computer devices that can be used by cloud computing services.
- the information processing device 1 of FIG. 3 can be realized as a stationary type, a notebook type or the like personal computer, or a mobile terminal such as a tablet terminal or a smartphone.
- an electronic device such as a measuring device, a television device, a monitoring device, an imaging device, and an equipment management device having a function as the information processing device 1 can also be equipped with the information processing device 1 of the present embodiment.
- the information processing device 1 having such a hardware configuration has a calculation function by the CPU 51, a storage function by the ROM 52, the RAM 53, and the storage unit 59, a data acquisition function by the communication unit 60 and the drive 61, and an output function by the display unit 56 and the like.
- the functional configuration as shown in FIG. 4 is provided.
- the information processing device 1 includes an image acquisition unit 2, a calculation unit 5, a user interface control unit 6 (hereinafter, "user interface” is referred to as "UI"), a recording control unit 7, a communication control unit 8, and the communication control unit 8 shown in FIG.
- a file generation unit 9 is provided.
- These processing functions are realized by software started by the CPU 51.
- the program constituting the software is downloaded from the network or read from the storage device 62 (for example, a removable storage medium) and installed in the information processing device 1 of FIG. Alternatively, the program may be stored in advance in the storage unit 59 or the like. Then, when the program is started in the CPU 51, the functions of the above-mentioned parts are exhibited. Further, the calculation progress and result storage of each function are realized by using, for example, the storage area of the RAM 53 or the storage area of the storage unit 59.
- the image acquisition unit 2 is a function of acquiring image data as a processing target and tag information associated with the image data.
- the image data captured by the image pickup apparatus 220 is stored in a storage unit 59 or the like, but the CPU 51 reads out the specific image data and targets it for calculation processing.
- the calculation unit 5 performs various calculations based on the image data. For example, the calculation unit 5 detects the crop in the image data obtained by imaging the field 300, that is, the image data processed by the image acquisition unit 2, and the row 301 (row 301 is copied on the image) in the image data. The part) is determined based on the result of crop detection. Then, the number of stands is calculated by counting the crop portion on the row. By counting the number of stands after detecting the row 301, weeds and the like outside the row can be excluded from the count, and highly accurate counting becomes possible. Further, the calculation unit 5 calculates the number of crops per unit area (for example, 1 acre) (population), germination rate (stand rate), predicted yield, and replant based on the count number of crops shown in the image data. Calculate costs and so on.
- the UI control unit 6 is, for example, a function of performing display control of the display unit 56, acquisition processing of operation information input by the input unit 57, and the like. That is, the UI control unit 6 presents an image and information calculated by the calculation unit 5, recognizes a user operation, and the like. In particular, the UI control unit 6 controls the number of stands, the stand rate, and the display for setting the area of the replant on the map image. Specifically, the UI control unit 6 determines, in the map area of the UI screen, a sample position image arranged according to the imaging position of each image data according to the rate calculated from each image data. Control the display with.
- the file generation unit 9 is a function of generating an instruction file including instruction data for the replant when the area to be replanted is determined by the user operation using the UI screen. This instruction file is provided to the tractor 270.
- the recording control unit 7 includes various information such as the number of stands calculated by the calculation unit 5, population, stand rate, predicted yield, cost information, UI screen setting information, and instructions generated by the file generation unit 9. This is a function for controlling the storage of files and the like in the storage unit 59.
- the communication control unit 8 is a function that controls the communication unit 60 to transmit the information by the calculation unit 5 and the file generation unit 9 as described above to an external device.
- FIG. 5 shows an example of a working procedure for farm management.
- step S1 a flight of the flying object 200 on the field 300 is performed, and an image is captured by the imaging device 220. As a result, a large number of image data as samples are obtained.
- the information processing device 1 acquires image data.
- the information processing device 1 captures image data captured during flight by wired or wireless communication from the image pickup device 220 or delivery of a storage device 62 such as a memory card.
- the information processing device 1 stores image data in, for example, a storage unit 59.
- step S3 the information processing device 1 performs an analysis process based on the image data. For example, stand counting using each image data is performed. A specific processing example will be described later as a preparatory processing.
- the information processing device 1 presents the status of the field 300 and various information to the user (for example, the staff of the farm) on the UI screen in order to determine the replant, and responds to the user's operation. Specifically, it performs processing such as presenting information for considering whether or not the user will replant, which area to replant, and accepting the designation of the area where the replant is assumed.
- step S6 When a replant is performed as a result of input / output on the UI screen, the process proceeds from step S5 to step S6, and the information processing apparatus 1 generates an instruction file including a ROI (Region of Interest) for the replant. I do.
- This instruction file is provided to the tractor 270, and the ROI is information indicating the area to be replanted.
- step S7 the information processing device 1 exports the instruction file.
- the tractor 270 receives the instruction file, the actual replanting is then performed.
- the information processing apparatus 1 of the present embodiment presents information suitable for the user's replant determination, particularly in the input / output on the UI screen of step S4.
- a specific example of the UI screen will be described below.
- FIG. 6 shows an example of a UI screen displayed on, for example, a display unit 56 or the like.
- FIG. 6 shows a map image displayed on the UI screen, but does not particularly present information for replanting.
- a map area 21 is prepared on the UI screen.
- a map image including the field 300 is displayed in the map area 21.
- FIG. 6 merely shows a state in which a map around the field 300 is displayed.
- the scale of the map image in the map area 21 can be arbitrarily set by the user by the enlargement / reduction button 28. Further, the range displayed on the map in the map area 21 can be moved by the user by dragging the cursor 90 or the like.
- a map selection unit 22 is provided on the UI screen, and for example, a pull-down menu enables the user to select a rate map.
- the rate map is an indicated rate map or an actual rate map, which will be described later.
- the UI screen is provided with a map display check box 23, a count display check box 24, a rate display check box 25, and a grid display check box 26.
- the rate map display and the stand count display are provided, respectively. It is possible to select whether to display the stand rate or the grid.
- the UI screen is provided with a date and time selection unit 27, and for example, a pull-down menu allows the user to select the date and time (date and time of flight / imaging) of the sample to be processed.
- the UI screen is provided with a grid generation button 30, a rate calculation button 31, and an ROI generation button 32, which can be operated by the user.
- the grid generation button 30 is a button for performing an operation for setting a grid, which will be described later.
- the rate calculation button 31 is a button for instructing the calculation of the stand rate.
- the ROI generation button 32 is a button for performing an operation for generating an instruction file. An example of the display state and processing according to the operation of each button will be described later.
- the UI screen is provided with a population display unit 35, a stand rate display unit 36, and a sample image display unit 37.
- the population display unit 35 displays the population of the sample.
- the stand rate display unit 36 displays the number of stands for the sample.
- An image about the sample is displayed on the sample image display unit 37. Specific examples of each will be described later.
- FIG. 7 shows a state in which the indicated rate map 351 is displayed in the map area 21.
- the rate map selected by the map selection unit 22 is displayed at that time.
- the map selection unit 22 has selected “Variable Rate Map 2019” indicating the indicated rate map 351. Therefore, when the map display check box 23 is checked on, the indicated rate corresponding to “Variable Rate Map 2019” is selected.
- Map 351 is displayed.
- another rate map is selected in the map selection unit 22, another rate map is displayed by checking on the map display check box 23.
- FIG. 8 shows an example in which the actual rate map 352 corresponding to “As Applied Map 2019” is displayed in the map area 21 because “As Applied Map 2019” indicating the actual rate map is selected in the map selection unit 22. Is.
- the indicated rate map 351 shown in FIG. 7 shows the number of planting instructions for each area in the field 300
- the actual rate map 352 in FIG. 8 shows the actual number of planting for each area in the field 300.
- the number of planting instructions is set as the number of stands per unit area (for example, 1 acre).
- the number of planting instructions may be different for each area such as 10 acres and 100 acres.
- the number of stands per unit area that is, population
- the number of stands (population) per unit area is set to "30000" in a certain area.
- It is a map showing the number of planting instructions formulated in the plan of. That is, it is a map showing the value of the population instructed to the tractor 270 at the time of planting for each district in the field 300.
- the actual rate map 352 shows the actual results of planting performed by the tractor 270 in response to the instructions shown in the indicated rate map 351.
- the tractor 270 is planted in each area according to the number of planting instructions per unit area indicated in the instruction file, but a slight deviation occurs depending on the performance of the tractor 270 and the position detection accuracy.
- the actual rate map 352 shows the number of plants per unit area (the actual number of plants planted) as a result of planting. Therefore, the boundary between the indicated rate map 351 and the actual rate map 352 may be slightly deviated.
- each district is color-coded according to the number of stands per unit area. Although not shown, color-coded displays such as green, yellow, and red are displayed. As a result, the user can easily recognize the number of planting instructions or the number of actual planting in each district.
- FIG. 9 shows an example in which a circular sample position mark 350 is shown in the map area 21 as an example, and the sample position mark 350 is displayed in a display mode according to the population.
- the user checks on the count display check box 24 such a sample position mark 350 is displayed.
- FIG. 9 in order to avoid complication of the figure, only a part of the sample position mark is designated by the reference numeral “350”. The same applies to the other figures.
- Each of the sample position marks 350 shown as a circular image in the map area 21 indicates the imaging position of one sample (image data), that is, the position of the imaging device 220 at the time of imaging.
- the sample position mark 350 may indicate the position where the image was taken, that is, the position of the image-imaging range SP1, SP2, etc. on the field 300 side. Since the imaging is performed, for example, periodically during the flight of the flying object 200 as described above, each sample position mark 350 will be displayed at each position so as to indicate the flight trajectory.
- each sample position mark 350 is color-coded according to the population. For example, green (white part in the figure), yellow (hatched part in the figure), and red (black part in the figure) are color-coded.
- the population at each sample position mark 350 is a value obtained by converting the number of stands calculated from the image data of the sample position mark 350 into the number of stands per unit area such as one acre.
- the imaging range based on one image data is a very small range when viewed from the entire field 300.
- the number of stands is calculated from the image data of the imaging range SP1, and the number of stands varies depending on the size of the imaging range SP1.
- the population of the imaging range SP1 can be obtained by obtaining the ratio of the area of the imaging range SP1 to the unit area and multiplying the ratio by the number of stands calculated from the image.
- the sample position mark 350 is color-coded according to such population. Of course, it depends on the type of crop, but for example, if the population is 35,000 or more, it is displayed in green, if it is less than 35,000 and 33,000 or more, it is displayed in yellow, and if it is less than 33,000, it is displayed in red. It should be noted that the three stages of color coding are only an example. With such a color-coded display, the user can confirm the population at each sample position, that is, the growth state such as germination.
- FIG. 10 shows an example in which a circular sample position mark 350 is shown in the map area 21 and the sample position mark 350 is displayed according to the stand rate.
- the rate display check box 25 When the user checks on the rate display check box 25, such a sample position mark 350 is displayed.
- each sample position mark 350 shown as a circular image in the map area 21 is assumed to indicate an imaging position of one sample (image data).
- each sample position mark 350 is color-coded according to the stand rate. For example, green (white circle in the figure), yellow (shaded circle in the figure), and red (black circle in the figure) are displayed in different colors.
- the stand rate at each sample position mark 350 can be considered as a ratio of the population calculated from the image data of the sample position mark 350 to the population planned at that location.
- the planned population is the number of planting instructions shown in the indicated rate map 351 and the actual number of plantings shown in the actual rate map 352. That is, the number of crops that are planned to grow.
- the stand rate is 100%. If the population calculated from the image data is 34,000 at the place where the number of stands per unit area is instructed to be 35,000, the stand rate is 97%.
- the sample position mark 350 is color-coded according to such a stand rate. For example, if the stand rate is 98% or more, it is green (white circle in the figure), if it is less than 98% and 90% or more, it is yellow (shaded circle in the figure), if it is less than 90%, it is red (black circle in the figure) , And so on, are displayed in different colors. It should be noted that the three stages of color coding are only an example. With such a color-coded display, the user can confirm the stand rate at each sample position, for example, the germination rate.
- the stand rate is calculated based on the planned population at each sample position.
- This criterion is the planned population at the sample position shown in the indicated rate map 351 (the number of planting instructions per unit area) or the planned population at the sample position shown in the actual rate map 352 (planting actual per unit area). Number). The user can select which one to use as a reference.
- the calculation of the stand rate corresponding to each of the sample position marks 350 is performed when the user operates the rate calculation button 31.
- the selection dialog 34 is displayed as shown in FIG. 11, and the user can select the reference rate map by, for example, a pull-down menu.
- the pull-down menu displays the indicated rate map 351 with the name "Variable Rate Map 2019” and the actual rate map 352 with the name "As Applied Map 2019", and the user selects an arbitrary rate map. it can.
- the CPU 51 calculates the stand rate corresponding to each sample position mark 350 according to the selection, and performs color-coded display as shown in FIG.
- the entire field 300 may be calculated as a uniform value.
- the present invention is not limited to the pull-down menu, and the user may be able to select the rate map in another manner such as providing an input form for numerical data so that the user can select it.
- FIG. 12 shows a case where the user checks on both the map display check box 23 and the count display check box 24.
- the selected rate map for example, the indicated rate map 351
- the sample position mark 350 color-coded by population is superimposed and displayed. This makes it easy for the user to compare the population planned for each district with the population calculated from the image data (actual population).
- FIG. 13 shows a case where the user checks on both the map display check box 23 and the rate display check box 25.
- the selected rate map for example, the indicated rate map 351
- the sample position mark 350 color-coded by the stand rate is displayed on the map area 21. This makes it easy for the user to compare the population planned for each district with the stand rate at the position of each image data.
- the population display by the sample position mark 350 in FIG. 12 is a color-coded display based on the number of stands, and the stand rate display by the sample position mark 350 in FIG. 13 is a color-coded display based on the rate, so their meanings are different. Information. By displaying these arbitrarily, the user can easily grasp the situation of the field 300.
- FIGS. 12 and 13 show an example in which the sample position mark 350 is superimposed on the rate map, as shown in FIG. 14, the sample position mark 350 and the rate map (for example, the indicated rate map 351) are displayed. It may be displayed separately. Alternatively, the user may be able to select whether to display the images separately as shown in FIG. 14 or to display them in an overlapping manner as shown in FIGS. 12 and 13.
- FIG. 15 shows a case where the user specifies one sample position mark 350 while the population is displayed by the sample position mark 350. For example, suppose that the user clicks while the cursor 90 is in contact with one sample position mark 350, and performs an operation of designating one sample position mark 350. In this case, the population display unit 35 displays the population value for the designated sample position mark 350. The figure shows an example in which the population value "31000" is displayed as "31K".
- the sample image display unit 37 displays an image corresponding to the sample position mark 350, that is, an image related to imaging at the position of the sample position mark 350.
- an example in which the RGB image 41, the stand count image 42, and the NDVI image 43 are displayed is shown.
- the RGB image 41 is, for example, an image captured when the image pickup apparatus 220 is an RGB camera.
- the NDVI image 43 is an image of the NDVI obtained from R and NIR.
- the stand count image 42 is, for example, an image processed for calculating a stand.
- the user can also magnify these images. For example, by performing an operation such as clicking the portion of the RGB image 41, the RGB image 41 is enlarged and displayed as shown in FIG. By operating the end button 45, the user can end the enlarged display and return to the state shown in FIG. With the display as shown in FIGS. 15 and 16, the user can confirm the population value or the image at an arbitrary location (the location of the sample position mark 350). In other words, more detailed information can be confirmed than the rough population by color coding of the sample position mark 350.
- FIG. 17 shows a case where the user specifies one sample position mark 350 while the stand rate is displayed by the sample position mark 350.
- the population display unit 35 displays the population for the designated sample position mark 350
- the stand rate display unit 36 further displays the population.
- the stand rate is displayed with.
- the figure shows an example in which the population value "32000" is displayed as “32K” and the stand rate "88.9%” is displayed.
- the sample image display unit 37 displays an image corresponding to the sample position mark 350, for example, an RGB image 41, a stand count image 42, an NDVI image 43, and the like. Further, when these images are specified, the enlarged display of the images is performed as in the cases of FIGS. 15 and 16 above. In the case of FIG. 17, the user can confirm the value of the stand rate in addition to the rough stand rate by color coding of the sample position mark 350.
- FIG. 18 shows a state in which the grid 355 of the grid pattern is displayed in the map area 21.
- This grid 355 is an area definition image, and is a display that defines the area of the field 300 by the lines of the grid. That is, each area divided into the field 300 is presented to the user as a range partitioned by a grid (lattice box).
- the grid 355 is mainly used to specify the area to be replanted.
- Each area represented by the grid 355 box is displayed in an image mode determined according to the stand rate calculated for the area, here color-coded. It should be noted that each area of the grid 355 and each sample (image data indicated by the sample position mark 350) do not necessarily correspond to each other in a ratio of 1: 1. Therefore, the stand rate of each area of the grid 355 is calculated by an interpolation calculation or the like using a nearby sample position mark 350 or the like. Specific examples will be described later.
- each area of the grid 355 is, for example, green if the stand rate is 98% or more (white box in the figure), yellow if it is less than 98% and 90% or more (shaded box in the figure), less than 90%. If so, it will be displayed in different colors, such as red (black box in the figure). It should be noted that the color coding in three stages is only an example. With such a color-coded display, the user can confirm the stand rate in each area defined by the grid 355.
- the user can set the size of the frame.
- a setting dialog 33 for setting the grid size is displayed as shown in FIG. With this setting dialog 33, the user can arbitrarily set the size of one side of the grid.
- the grid 355 displayed as shown in FIG. 18 is an image of a grid pattern forming a box of the size set in this way.
- the calculation button 71 When the grid 355 is displayed, as shown in the figure, the calculation button 71, the planning cost display unit 72, the selected area display unit 73, the average population display unit 74, the average stand rate display unit 75, and the replant cost display unit. Part 76 appears. However, when the areas on the grid 355 are not selected, specific numerical values are not displayed in these areas as shown in FIG.
- FIG. 20 shows a case where the user checks on both the grid display check box 26 and the rate display check box 25.
- the sample position mark 350 and the grid 355, which are color-coded by the stand rate, are superimposed and displayed in the map area 21. This is an image that makes it easy for the user to understand the relationship between each area defined by the grid 355 and the sample position.
- FIG. 21 shows a case where the user checks on both the grid display check box 26 and the map display check box 23.
- the selected rate map for example, the indicated rate map 351
- the grid 355 is superimposed and displayed. This is an image that allows the user to simultaneously confirm the population planned for each district and the area defined by the grid 355.
- FIG. 22 shows a case where the user checks on the grid display check box 26, the map display check box 23, and the rate display check box 25 together.
- the selected rate map for example, the indicated rate map 351
- the grid 355 is superimposed
- the sample position mark 350 color-coded by the stand rate is superimposed. ..
- This is an image that allows the user to simultaneously confirm the population planned for each district, the area defined by the grid 355, and the sample position.
- the rate map, the grid 355, and the sample position marks color-coded by population are used. 350 will be displayed in an overlapping manner.
- the grid 355 and the sample position mark 350 color-coded by population are displayed in an overlapping manner.
- both the count display check box 24 and the rate display check box 25 can be checked on, in which case the sample position mark 350 is colored according to either the stand rate or the population.
- the count display check box 24 and the rate display check box 25 may not be checked on at the same time.
- FIG. 23 shows a replant candidate area designation operation using the grid 355.
- the grid 355. For example, when the user clicks one area with the cursor 90, one replant candidate area is selected. In that case, as shown in the figure, it is shown that the box in the area is in the selected state, for example, by becoming a thick line. Of course, you may change the color or highlight it to indicate that it is in the selected state.
- FIG. 24 shows an example in which neighboring areas are sequentially selected by clicking or the like. The user can arbitrarily select an area in this way and use it as a replant candidate area. Further, FIG. 25 shows a state in which the user has selected another eight areas as replant candidate areas.
- the selected area display unit 73, the average population display unit 74, the average stand rate display unit 75, and the replant cost display unit 76 are specified according to the area selection.
- the numerical value is displayed. For example, as shown in FIG. 23, when one area is selected, numerical values are displayed on the selected area display unit 73, the average population display unit 74, and the average stand rate display unit 75 according to the selected state. That is, the selected area display unit 73 displays the area in the selected state, the average population display unit 74 displays the average population value of the selected area, and the average stand rate display unit 75 displays the average stand rate of the selected area.
- these numerical values become values corresponding to the plurality of areas.
- the planning cost display unit 72 allows the user to input a unit area, for example, a replant cost per acre.
- a unit area for example, a replant cost per acre.
- the replant cost display unit 76 for example, as shown in FIG. 25, the replant cost according to the area of the selected area is displayed based on the replant cost per acre.
- the total area, average population, and average stand rate of the replant candidate area are displayed by the user's area selection, and the cost is displayed by the user. Can select an area while checking the cost and the like.
- a predetermined calculation window (not shown) is displayed, and various conditions such as region, date and time, current population, and target population can be input to instruct calculation execution. it can. As a result, whether or not to replant is calculated, and the judgment result is displayed. The user can make a replant execution decision by referring to such a display.
- the ROI generation button 32 is a button operated by the user when the replant candidate area is confirmed as the area to be replanted. For example, when the user wants to perform a replant with the replant candidate area selected as shown in FIG. 25, the user operates the ROI generation button 32. As a result, one or more areas designated as replant candidate areas are determined as areas to be replanted, and an instruction file for that purpose is generated. After that, the instruction file generated by the information processing apparatus 1 is exported and handed over to the tractor 270, so that the replanting work by the tractor 270 can be executed.
- the user selects the areas (mass) shown by the grid 355 one by one, but as shown in FIG. 26, the range is specified. It may be possible to select all at once. For example, by dragging the cursor 90 from the position of the broken line (cursor 90P), a plurality of areas can be specified. By doing so, it is possible to facilitate the selection operation of the replant candidate area.
- an operation method is also conceivable in which a slider, an input frame, etc. are prepared on the UI screen, and the user inputs a stand rate that serves as a threshold value, so that an area whose stand rate is below the threshold value is selected as a replant candidate area. ..
- FIG. 27 shows a process executed by the CPU 51 of the information processing device 1 for each sample after the image data as a sample is taken in. This process is realized by the CPU 51 having a function shown in FIG. 4, mainly a function as a calculation unit 5.
- the CPU 51 specifies the image data to be processed in step S101. That is, one of the images taken aerial by the image pickup device 220 mounted on the flying object 200 is specified as a processing target.
- the image data in this case may be color image data obtained by an RGB (red, green, blue) camera, or image data as IR (near infrared) data and R (red) data. Further, it may be the above-mentioned NDVI image data obtained from IR (near infrared) data and R (red) data.
- step S102 the CPU 51 performs a process of calculating the number of stands for the image data to be processed. That is, the crop part is detected from the image and the number of the crop is counted.
- Various methods for calculating the number of stands can be considered, but for example, it is preferable to detect the row 301 in the image and detect the plant growing on the row 301.
- the counting process of the number of stands detects a part determined to be a crop from the image and counts it.
- G pixel detection is assumed as a detection method when using an image captured by an RGB camera. Since the crop is mainly composed of leaves and the leaves are generally green, the green region is detected from the RGB color image. Regarding the detection of the green region, for example, it is sufficient to compare each component of RGB in a certain pixel in the image and detect only the pixel having the highest G (green). Alternatively, RGB is converted into a space of lightness, saturation, and hue such as HSV. Then, a pixel having a hue within the region may be detected by providing a region having a width in green of the hue value.
- NDVI which is an index showing the distribution of crops (plants), is calculated from near infrared and red, and has a range of ⁇ 1. Crop has a high NDVI value, and soil has a low NDVI. Therefore, an NDVI image may be created from the IR data and the R data, the pixels of the crop portion may be detected by the threshold processing, and the pixels may be counted. If the NDVI image already exists, the pixels of the crop portion may be detected by the threshold processing. Plants can be detected by these G pixel detection and NDVI threshold detection, and by considering the detection of wax 301 and the planting interval of crops as described above, it is possible to count excluding weeds.
- the CPU 51 calculates the population in step S103.
- the CPU 51 obtains the area of the imaging range of the image to be processed.
- the area can be calculated from the altitude information of the flying object 200 at the time of imaging and the angle of view information of the imaging device 220.
- the ratio to the unit area is found, and the ratio is multiplied by the number of stands to calculate the population.
- the unit area may be calculated from the ratio of the specific length on the image to the actual length using image recognition. As previously mentioned
- step S104 the CPU 51 sets the display mode according to the population value. This is a process of setting the color of the sample position mark 350 at the time of population display as shown in FIG. 9 for the image data to be processed.
- step S105 the CPU 51 sets the mapping. That is, the latitude / longitude information is read from the tag information attached to the image data, and the sample position mark 350 is set as a position to be displayed in the map area 21.
- step S106 the CPU 51 performs a storage process. That is, for the image data to be processed as one sample, the number of stands, the population value, the color of the sample position mark 350, the setting of the display position, and the like are stored. As a result, when the display is requested on the above-mentioned UI screen, the sample position mark 350 can be displayed according to the population.
- step S107 the CPU 51 determines whether or not the above processing has been completed for all the samples, and if there is an unprocessed sample, returns to step S101 and performs the same processing on the unprocessed sample.
- the processing for all the samples is completed, the preparatory processing of FIG. 27 is completed.
- the "all samples" referred to here may be all of the image data captured in one flight, but may be all of the necessary samples selected in advance. For example, useless image data may be captured at the beginning or end of the flight, or the vehicle may go out of the field 300 during the flight process. It is not necessary to perform the processing of FIG. 27 even for the image data in such a case.
- the sample position mark 350 for each sample can be displayed in the map area 21 in a color corresponding to the population.
- FIGS. 28 to 35 show UI processing performed by the CPU 51 by the function of the UI control unit 6, and a calculation unit 5, a file generation unit 9, a recording control unit 7, and a communication control unit in the process.
- the processing performed by the functions of No. 8 is divided and shown.
- the connections of the flowcharts are shown by the symbols “c1” to “c5”.
- the UI processing shown in FIGS. 28 to 32 is a processing performed in the steps S4 to SS6 of FIG. 5, and is a UI screen display and user operation as described in FIGS. 6 to 27. It is a process that realizes the correspondence of.
- the information processing device 1 starts displaying the UI image in step S200 of FIG. 28.
- the CPU 51 causes the display unit 56 and the like to execute the display as shown in FIG.
- the UI image may be displayed according to the on / off state of the check box at the time of the previous UI image display.
- the CPU 51 repeatedly executes the monitoring process from step S201 to step S219 in FIG. 32 during the display control of the UI image.
- each monitoring process from step S201 in FIG. 28 to step S219 in FIG. 32 is collectively referred to as a “monitoring loop”.
- step S201 of FIG. 28 the CPU 51 determines that the UI display has ended. For example, the CPU 51 determines that the UI display has ended in response to an end operation by the user or the occurrence of some kind of end trigger, performs a UI image display end process in step S230, and ends a series of UI control processes.
- step S202 the CPU 51 monitors the rate map selection operation.
- the CPU 51 proceeds from step S202 to step S231 and performs a process corresponding to the selection operation.
- the map selection unit 22 displays a pull-down menu and detects a selection operation.
- the CPU 51 proceeds from step S232 to step S233 to change the rate map in the selected state. For example, what had been selected in the indicated rate map 351 until then is switched to the selected state of the actual rate map 352. If the user does not instruct the rate map change even after performing the pull-down menu display operation or the like, the CPU 51 returns to the monitoring loop from step S232.
- step S203 the CPU 51 monitors the operation of the rate calculation button 31.
- the CPU 51 proceeds from step S203 to step S240 and controls the display of the selection dialog 34 as shown in FIG.
- step S241 the CPU 51 proceeds from step S241 to step S244, ends the selection dialog 34, and returns to the monitoring loop.
- step S242 the CPU 51 proceeds from step S242 to step S243 to perform the rate calculation process.
- This rate calculation process is a process for obtaining the stand rate for each sample.
- An example of rate calculation processing is shown in FIG.
- the CPU 51 specifies a sample (image data) to be calculated in step S301. This is a process of specifying one of the samples displayed as the sample position mark 350 as the target of the calculation process.
- step S302 the CPU 51 acquires a population value according to the position of the sample to be calculated from the currently selected rate map (for example, either the indicated rate map 351 or the actual rate map 352). This is the target population. That is, the planned population at the location of the sample.
- step S303 the CPU 51 obtains the stand rate from the population obtained in the preparatory process for the sample to be calculated and the value of the target population.
- step S304 the CPU 51 sets the display mode according to the stand rate value. This is a process of setting the color of the sample position mark 350 at the time of rate display for the image data to be processed.
- step S305 the CPU 51 performs storage processing. That is, for the image data to be calculated as one sample, the stand rate value, the color setting of the sample position mark 350 at the time of rate display, and the like are stored.
- step S306 the CPU 51 determines whether or not the above processing has been completed for all the samples to be calculated, and if there is an unprocessed sample, returns to step S301 and performs the same processing for the unprocessed sample. Do.
- the rate calculation processing of FIG. 33 is completed.
- the sample position mark 350 can be displayed in a color corresponding to the stand rate for each sample. That is, when the rate display as shown in FIG. 10 is requested on the above-mentioned UI screen, the sample position mark 350 can be displayed according to the stand rate.
- step S243 of FIG. 28 the CPU 51 proceeds to step S244, ends the selection dialog 34, and returns to the monitoring loop.
- step S204 of FIG. 29 the CPU 51 monitors the operation of the grid generation button 30.
- the CPU 51 proceeds from step S204 to step S250 and controls the display of the setting dialog 33 as shown in FIG.
- step S251 to step S254 ends the setting dialog 33, and returns to the monitoring loop.
- the CPU 51 proceeds from step S252 to step S253 to perform the grid setting process.
- This grid setting process is a process of setting the size of the grid 355 box, setting each area divided into the field 300, and obtaining the stand rate of each area.
- An example of grid setting processing is shown in FIG.
- the CPU 51 sets the grid size in step S401. That is, the size of the grid is set according to the user input in the setting dialog 33.
- the CPU 51 identifies an area to be calculated. The area is represented by a single box on the grid 355. Then, a plurality of boxes are set by the grid as the grid 355, and one of them is specified as the calculation target.
- step S403 the CPU 51 calculates the stand rate of the area to be calculated (the grid 355 box) by the interpolation process.
- a reverse distance weighting method using a sample related to the area can be used. That is, the rate of the area to be calculated is calculated by the inverse distance weighting method using the stand rate of the image data related to the area.
- sample collection and calculation used in the inverse distance weighting method There are several possible examples of sample collection and calculation used in the inverse distance weighting method.
- FIG. 35A shows three areas AR1, AR2, and AR3 as areas defined by the grid 355.
- the area AR1 is the target of the stand rate calculation.
- the range of the distance d1 from the center point of the area AR1 is shown by the circle CC.
- the surrounding samples are indicated by sample position marks 350X, 350Y, and 350Z.
- the samples in the circle CC indicated by the sample position marks 350X, 350Y, and 350Z are used as the samples related to the area AR1 to be calculated.
- the stand rates for area AR1 are calculated using the stand rates of these samples.
- FIG. 35B shows three samples (sample position marks 350X, 350Y, 350Z) in ascending order from the center point of the area AR1 to be calculated.
- the stand rates for area AR1 are calculated using the stand rates of these samples.
- the samples according to the first example and the second example are used, but it is an example in which a specific sample is weighted. That is, among the image data related to one area to be calculated, the interpolation calculation is performed by weighting the rate of the image data obtained by imaging the area in which the number of planting instructions or the actual number of planting is the same as that of one area.
- the indicated rate map 351 is superimposed on the image of FIG. 35B.
- the area AR1 and the sample shown by the sample position mark 350X have the same number of planting instructions shown in the indicated rate map 351. Therefore, the stand rate of each sample indicated by the sample position marks 350X, 350Y, and 350Z is used, and the stand rate of the sample of the sample position mark 350X is weighted to calculate the stand rate of the area AR1.
- step S403 of FIG. 34 the CPU 51 performs interpolation calculation in the above example, and calculates the stand rate for the target area by the inverse distance weighting method.
- step S404 the CPU 51 sets the display mode according to the calculated stand rate value. This is a process of setting the color of the area to be calculated when displaying the grid 355.
- step S405 the CPU 51 performs a storage process. That is, the grid size, the color setting of the area to be calculated, and the like are stored.
- step S406 the CPU 51 determines whether or not the stand rate calculation has been completed for all the areas to be calculated, and if there is an uncalculated area, returns to step S402 and performs the same processing for the unprocessed area. Do.
- the grid setting processing of FIG. 34 is completed. At this point, it is possible to display the grid 355 color-coded for each area as shown in FIG.
- step S253 of FIG. 29 the CPU 51 proceeds to step S254, ends the setting dialog 33, and returns to the monitoring loop.
- step S205 the CPU 51 monitors the enlargement or reduction operation by the enlargement / reduction button 28. When it is detected that the user has performed the enlargement operation or the reduction operation, the CPU 51 proceeds from step S205 to step S261 to control the enlargement or reduction of the display of the map image in the map area 21. Then return to the monitoring loop.
- the rate map, the sample position mark 350, or the grid 355 is displayed on the map image in the map area 21, they are also enlarged or reduced according to the map image.
- step S206 the CPU 51 monitors an operation for scrolling the map, such as a drag operation in the map area 21.
- the CPU 51 proceeds from step S206 to step S262 to scroll the map image in the map area 21. Then return to the monitoring loop.
- the rate map, the sample position mark 350, or the grid 355 is displayed on the map image in the map area 21, they are also moved according to the map image.
- step S207 of FIG. 30 the CPU 51 monitors the check-on operation of the map display check box 23.
- the CPU 51 proceeds from step S207 to step S263, and in the map area 21, either the currently selected rate map (for example, the indicated rate map 351 or the actual rate map 352). Is controlled to display. Then return to the monitoring loop.
- step S208 the CPU 51 monitors the check-off operation of the map display check box 23. When it is detected that the user has performed the check-off operation, the CPU 51 proceeds to step S208 and step S264, and controls to end the display of the rate map on the map area 21. Then return to the monitoring loop.
- step S209 the CPU 51 monitors the check-on operation of the count display check box 24. When it is detected that the user has performed the check-on operation, the CPU 51 proceeds from step S209 to step S265 to control the map area 21 to display the sample position mark 350 color-set by population. Then return to the monitoring loop.
- step S210 the CPU 51 monitors the check-off operation of the count display check box 24. When it is detected that the user has performed the check-off operation, the CPU 51 proceeds from step S210 to step S266, and controls to end the display of the sample position mark 350 color-set by population in the map area 21. Then return to the monitoring loop.
- step S211 the CPU 51 monitors the check-on operation of the rate display check box 25.
- the CPU 51 proceeds from step S211 to step S267, and controls the map area 21 to display the sample position mark 350 whose color is set by the stand rate. Then return to the monitoring loop.
- step S212 the CPU 51 monitors the check-off operation of the rate display check box 25. When it is detected that the user has performed the check-off operation, the CPU 51 proceeds from step S212 to step S268 and controls to end the display of the sample position mark 350 whose color is set by the stand rate in the map area 21. Then return to the monitoring loop.
- step S213 of FIG. 31 the CPU 51 monitors the check-on operation of the grid display check box 26.
- the CPU 51 proceeds from step S213 to step S269 and controls to display the grid 355 in the map area 21.
- each area of the grid 355 is displayed in a state where the color is set by the grid setting process of FIG. 34 described above. Then return to the monitoring loop.
- the display of the grid 355 requires that the grid setting process has been performed first. Therefore, even if the user performs a check-on operation of the grid display check box 26 before operating the grid generation button 30, it is conceivable that the check-on operation is invalidated.
- step S214 the CPU 51 monitors the check-off operation of the grid display check box 26. When it is detected that the user has performed the check-off operation, the CPU 51 proceeds from step S214 to step S270 and controls to end the display of the grid 355 in the map area 21. Then return to the monitoring loop.
- step S215 the CPU 51 monitors an operation in which any of the displayed sample position marks 350 is designated (clicked or the like).
- the CPU 51 detects an operation in which a certain sample position mark 350 is designated, the CPU 51 proceeds from step S215 to step S271 and controls to display the details of the sample position mark 350. For example, as illustrated in FIGS. 15 and 17, detailed numerical values are displayed on the population display unit 35 and the stand rate display unit 36, and an image corresponding to the sample position mark 350 is displayed on the sample image display unit 37. .. Then return to the monitoring loop.
- the user may perform an operation of designating the image.
- the CPU 51 monitors the image designation operation in step S216.
- the CPU 51 detects an operation in which a certain image is designated, the CPU 51 proceeds from step S216 to step S272, and controls to enlarge and display the designated image as shown in FIG.
- the CPU 51 monitors the operation of the end button 45, and when the operation of the end button 45 is detected, returns to the monitoring loop from step S273.
- step S217 the CPU 51 monitors the area selection operation of the grid 355. For example, an area click operation as described in FIGS. 25 and 26, or a range designation operation as described in FIG. 28. Alternatively, some other selection operation may be used.
- the CPU 51 proceeds from step S217 to step S280 to execute a display indicating that the selected state has been set as the selection corresponding display. For example, as shown in FIG. 25, the frame of the area is displayed with a thick line.
- step S281 the CPU 51 temporarily sets the designated area as a replant candidate area.
- step S282 the CPU 51 calculates the replant-related value. For example, the calculation of the numerical value displayed on the selected area display unit 73, the average population display unit 74, and the average stand rate display unit, and the calculation of the cost value displayed on the replant cost display unit 76 according to the input of the planning cost display unit 72. And so on. In addition, window display and calculation according to the calculation button 71 are also performed. In step S283, the CPU 51 controls the display of these calculation results. Then return to the monitoring loop.
- step S218 of FIG. 32 the CPU 51 monitors the operation of the ROI generation button 32.
- the CPU 51 proceeds from step S218 to step S290 to generate an instruction file including instruction data of the replant area.
- This is a process of determining one or a plurality of areas set as replant candidate areas at that time as areas to be replanted and generating an instruction file for the tractor 270 for executing the replant.
- step S291 the CPU 51 performs a process of saving the generated instruction file. Then return to the monitoring loop.
- step S219 the CPU 51 monitors the export operation.
- the CPU 51 proceeds from step S219 to step S292 to output the instruction file. For example, it is an output process for handing over to the tractor 270. Then return to the monitoring loop.
- the CPU 51 performs the process of FIG. 37 instead of, for example, FIG. 31 described above. That is, the process of step S275 is performed after the process of step S269.
- the CPU 51 sets a replant recommended area and controls to display it clearly as a recommended area 360 on the grid 355.
- a recommended area 360 For example, an area where the stand rate is equal to or less than a predetermined value is an area for which replanting is recommended.
- those areas are designated as areas for which replanting is recommended.
- the setting of this recommended area may be executed, for example, when performing the grid setting process of FIG. 34.
- the user can confirm the area to be replanted when the grid 355 is displayed, and the replant determination becomes easy.
- the information processing apparatus 1 of the embodiment has a calculation unit 5 that calculates a rate (for example, a stand rate) related to crop growth from image data obtained by imaging a field 300, and a map area 21 of a UI screen, where each image data is captured.
- a UI control unit 6 that controls to display the sample position mark 350 arranged according to the image in an image mode (for example, a color determined according to the rate) determined according to the rate calculated from each image data. I have. For example, when the rate display check box 25 is checked and the rate is displayed as shown in FIGS. 10 and 13, a sample position image indicating the sample position is displayed on the map area 21, but each sample position image is displayed.
- the sample position image is a circular sample position mark 350, and the color is different depending on the stand rate.
- the mark shape may be different depending on the stand rate, such as square / triangle / circular.
- the brightness may be different depending on the stand rate.
- the image mode may have different colors, brightness, and shapes depending on the stand rate.
- the image is displayed in three stages according to the stand rate, but it may be divided into two stages or four or more stages, and each sample position image may be displayed in a different image mode.
- An example of a stand rate was given as a rate related to crop growth, but the example of the rate is not limited to this.
- various rate calculations according to the type of crop, growing environment, planting environment, etc. such as flowering rate, growth rate, and sun leaf rate (ratio of the area of leaves in the sun), and a display mode for expressing them can be considered.
- the field 300 may be not only a cultivated land of an outdoor farmland but also a land for hydroponics or house cultivation, and the technique of the embodiment is used for presenting information on crops grown in various places.
- the technique of the embodiment can also be used for presenting sensing results regarding the growth of, for example, fruit trees and weeds. Therefore, it can also be applied to remote sensing for forests, vacant lots, and the like.
- the sensing data it is assumed that the image image data is captured by the imaging device 220, but of course, the detection data of various sensors such as the detection data by the thermo sensor and the detection data by the ultrasonic sensor is assumed. Further, the technique of the embodiment can be applied not only to plants but also to sensing the quality of soil in a field 300 or the like.
- the stand rate is an example in which the number of crops per unit area obtained from the image data is the ratio of the number of planting instructions per unit area to the imaging area of the image data.
- the indicated rate map 351 has information on the number of planting instructions per acre for each location in the field 300, the rate of the number of stands per unit area with respect to the number of planting instructions per unit area as the rate for crop growth. Can be sought.
- this as the stand rate it becomes possible to check the germination / growth rate of the farm staff at each location of the field 300 with respect to the original intention of the farm staff on the UI screen.
- the stand rate is an example of the ratio of the number of crops per unit area obtained from the image data to the actual number of plants planted per unit area with respect to the imaging area of the image data. If there is information on the actual number of plants planted per acre for each location in the field 300 as the actual rate map, the rate of the number of stands per unit area to the actual number of planted plants per unit area is used as the rate for crop growth. Can be sought. By using this as a stand rate, it becomes possible to check the germination / growth rate with respect to the actual number of plants planted in each place of the field 300 on the UI screen.
- the stand rate is the ratio of the number of crops per unit area obtained from the image data to the number of planting instructions per unit area with respect to the imaging area of the image data, or per unit area obtained from the image data.
- An example was given in which it was possible to select whether to use the ratio of the number of crops and the actual number of planted plants per unit area to the imaging area of the image data. That is, it is possible to select whether the reference value of the rate is the number of planting instructions according to the indicated rate map 351 or the actual number of plants planted according to the actual rate map 352.
- the user can select the indicated rate map 351 and the actual rate map 352 and display them in the map area 21 (see FIGS. 7 and 8), or use them as a reference for rate calculation. That is, the standard of the rate to be calculated can be selected according to the purpose of the user.
- the UI control unit 6 describes an example in which the UI control unit 6 controls to display the rate map image showing the difference in the values used for calculating the stand rate in the field 300 together with the sample position mark 350 in the map area 21. It was. For example, as shown in FIGS. 12 and 13, by displaying the sample position mark 350 together with the indicated rate map 351 or the actual rate map 352, the user recognizes each area indicated by the rate map, and the population status and the stand rate. The situation can be confirmed by the sample position mark 350. Therefore, information is presented so that it is easy to grasp the growth situation in each place of the field 300.
- the UI control unit 6 has described an example in which the map area 21 controls to display the grid 355 as an area definition image that defines an area divided in the field 300.
- a grid pattern grid 355 is displayed as an area definition image.
- each area divided into the field 300 is presented to the user as a range (lattice box) partitioned by the lattice.
- the area definition image is a grid pattern image (grid-like image), and a square area is defined as a grid box.
- a triangle, a rectangle, a polygon of a pentagon or more, or a curve is used.
- the shape may be an image in which an area is defined.
- the UI control unit 6 has described an example in which each area represented by the grid 355 is controlled so as to be displayed in an image mode determined according to the rate calculated for the area. For example, as shown in FIGS. 18, 20, 21, 21 and the like, each box (that is, each area) of the grid 355 is displayed in a color corresponding to the rate calculated for that area.
- each box (that is, each area) of the grid 355 is displayed in a color corresponding to the rate calculated for that area.
- the user can clearly and easily know the state of germination and the like in each area. This is extremely useful information when considering the location to be replanted. That is, the user can devise a replant concept using the grid 355.
- the color of each area indicated by the box is different depending on the rate, but the image mode is not limited to the image mode in which the rate is presented depending on the color.
- the image mode is not limited to the image mode in which the rate is presented depending on the color.
- the color of the box is displayed in three stages according to the rate, but it may be divided into two stages or four or more stages so that each area is displayed in a different image mode.
- the calculation unit 5 has described an example of calculating the rate of each area shown by the grid 355 by interpolation calculation using the rate related to the growth of crops for the image data related to the area (FIG. 34). reference).
- the grid 355 By displaying the grid 355 as an area definition image in different colors according to the stand rate, for example, the growth status of each area can be recognized at a glance, and the stand rate is the sensing of the related sample (image data, etc.). It can be calculated using the rate for data).
- the stand rate is the sensing of the related sample (image data, etc.). It can be calculated using the rate for data).
- the image data as each sample may be the image data obtained by discretely capturing the inside of the field 300. In other words, it is not necessary to image the entire field 300, and discrete imaging is sufficient. Therefore, the processing load during flight is reduced, the amount of data is reduced by reducing the number of image data (samples), and the processing efficiency is improved by these. Can be realized.
- the sensing data related to one area to be calculated which refers to the stand rate in the interpolation calculation
- the stand rate of each area indicated by the grid 355 box is calculated by performing interpolation calculation from the stand rates of all sample position images within a predetermined distance d1 from the center point of the area to obtain an accurate stand rate. Can be calculated.
- the sensing data related to one area to be calculated which refers to the stand rate in the interpolation calculation
- the stand rate of each area indicated by the grid 355 box can be calculated with high accuracy by performing interpolation calculation from the stand rates of a predetermined number of samples in the order closer to the center point of the area. Further, in this case, a predetermined number of samples used for the calculation can always be secured.
- the calculation unit 5 captures the sensing data (image data) in which the number of planting instructions or the actual number of planting is the same as that of one area among the sensing data (image data) related to one area to be calculated.
- An example of performing an interpolation calculation by weighting the rate of data) has been described (see FIG. 35C). Since the image data of the area where the number of planting instructions or the actual number of planting is the same is similar to the area for which the rate is calculated, the rate for the image data is expected to be close to the rate of the area. Will be done. Therefore, by weighting, the rate calculation of the area can be made more accurate.
- the UI control unit 6 has described an example of performing interface control for performing a setting operation of the grid 355.
- the setting dialog 33 of FIG. 19 is presented so that the user can specify the size of one side of the grid 355, which is an area definition image.
- the area can be set according to the convenience of the user, and the grid 355 suitable for the replant plan can be displayed.
- the UI control unit 6 has described an example of performing interface control for performing a designated operation as a replant candidate area for each area defined by the grid 355.
- replant candidate area candidates can be set by designating the grid 355 box or specifying the range. The user can select the replant location while checking the rate presentation by color for each area, and can realize an interface suitable for the replant concept.
- the UI control unit 6 performs interface control for performing a designated operation as a replant candidate area for each area defined by the grid 355, and responds to the designated operation of the replant candidate area.
- An example of controlling to present cost information about a replant was described. For example, as described with reference to FIGS. 23 to 26, the cost is displayed when considering the replant candidate area. This allows the user to think about the scope of replanting and whether or not to execute it with reference to the cost.
- the information processing device 1 can provide the user with extremely useful information when considering the replant.
- the UI control unit 6 has described an example of performing interface control that enables each area defined by the grid 355 to be individually designated as a replant candidate area. For example, as described with reference to FIGS. 23 and 24, by designating the grid 355 box, the area to be replanted can be selected, which is suitable for the work of considering the range to be replanted.
- the UI control unit 6 has described an example of performing interface control that enables a plurality of areas to be designated as replant candidate areas by a range designation operation on the image of the grid 355. For example, by specifying the range as described with reference to FIG. 26, a plurality of areas to be replanted can be easily specified.
- the information processing apparatus 1 of the embodiment includes a file generation unit 9 that generates a replant instruction file according to the determination of the replant execution area on the grid 355 (see step S290 in FIG. 32).
- file data including the ROI to be transferred to the tractor 270 is generated. That is, a control file for executing the planned replant using the grid 355 on the UI screen is automatically generated.
- the file output in step S292 in FIG. 32 is the output to the tractor 270, it is also conceivable to generate an instruction file for re-flight of the flying object 200 and transfer it to the flying object 200 as control data. For example, this technique can be applied to confirm the situation by re-imaging the area designated as the replant candidate area.
- the UI control unit 6 has described an example in which the UI control unit 6 controls to present the determination result of whether or not to replant each area indicated by the grid 355. That is, an example of displaying the recommended area 360 of the replant has been described. For example, as described with reference to FIGS. 36 and 37, the display is such that the area for which replanting is recommended is clearly indicated. This serves as a guide for the user to make a replant execution decision and area selection, and also facilitates the user's replant execution decision and area selection.
- the image pickup device 220 is mounted on an air vehicle 200 capable of radio control or autopilot.
- the air vehicle 200 capable of radio control or autopilot include so-called drones, small radio-controlled fixed-wing aircraft, and small radio-controlled helicopters.
- the information processing device 1 calculates a rate (stand rate, etc.) related to the growth of the crop from the image data obtained by imaging the field 300, and the map area 21 of the UI screen captures each image data.
- This is a program for executing a control process of displaying a sample position mark 350 arranged according to a position in an image mode determined according to a rate calculated from each image data. That is, it is a program that causes the information processing apparatus to execute the processes described in FIGS. 27 to 34 and 36.
- Such a program facilitates the realization of the information processing device 1 of the present embodiment.
- a program can be stored in advance in a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
- a removable recording medium such as a semiconductor memory, a memory card, an optical disk, a magneto-optical disk, or a magnetic disk.
- a removable recording medium can be provided as so-called package software.
- it can also be downloaded from a download site via a network such as a LAN or the Internet.
- the present technology can also adopt the following configurations.
- a calculation unit that calculates the rate related to plant growth from sensing data
- User interface control that controls the display of sample position images arranged according to the sensing position of each sensing data in the map area of the user interface screen in an image mode determined according to the rate calculated from each sensing data.
- the sensing data is image data obtained by capturing an image of a field.
- the rate is The number of crops per unit area obtained from image data and
- the information processing apparatus according to (1) above which is the ratio of the image data to the number of planting instructions per unit area with respect to the imaging region.
- the sensing data is image data obtained by capturing an image of a field.
- the rate is The number of crops per unit area obtained from image data and The information processing apparatus according to (1) above, which is the ratio of the image data to the actual number of plantings per unit area with respect to the imaging region.
- the sensing data is image data obtained by capturing an image of a field.
- the rate Whether it is the ratio of the number of crops per unit area obtained from the image data to the number of planting instructions per unit area with respect to the imaging area of the image data. Whether it is the ratio of the number of crops per unit area obtained from the image data to the actual number of plants planted per unit area with respect to the imaging area of the image data.
- the information processing apparatus according to (1) above wherein the information processing apparatus can be selected.
- the user interface control unit The information according to any one of (1) to (4) above, in which the rate map image presenting the difference in the values used for calculating the rate in the field is controlled to be displayed together with the sample position image in the map area. Processing equipment. (6) The user interface control unit The information processing apparatus according to any one of (1) to (5) above, which controls to display an area definition image that defines an area divided in the field in the map area. (7) The user interface control unit The information processing apparatus according to (6) above, wherein each area shown in the area definition image is controlled so as to be displayed in an image mode determined according to a rate calculated for the area.
- the calculation unit The information processing apparatus according to (7) above, wherein the rate of each area shown in the area definition image is calculated by interpolation calculation using the rate related to the growth of crops for the sensing data related to the area.
- the sensing data related to one area which refers to the rate related to the growth of the crop in the interpolation calculation, is The information processing device according to (8) above, which is sensing data obtained by sensing within a predetermined distance from the center point of the one area.
- the sensing data related to one area which refers to the rate related to the growth of the crop in the interpolation calculation, is The information processing apparatus according to (8) above, wherein the imaging region is a predetermined number of sensing data in the order closer to the center point of the one area.
- the calculation unit performs the interpolation calculation by weighting the rate of the sensing data that senses the area in which the number of planting instructions or the actual number of plantings is the same as that of the one area among the sensing data related to the one area.
- the information processing apparatus according to any one of (8) to (10) above.
- the user interface control unit The information processing apparatus according to any one of (6) to (11) above, which controls an interface for setting an area definition image.
- (13) The user interface control unit The information processing apparatus according to any one of (6) to (12) above, which controls an interface for designating a replant candidate area for each area defined in the area definition image.
- the user interface control unit For each area defined in the area definition image, interface control for performing a replant candidate area designation operation is performed, and control for presenting cost information regarding the replant in response to the replant candidate area designation operation being performed.
- the information processing apparatus according to (13) above.
- the user interface control unit The information processing apparatus according to (13) or (14) above, which controls an interface so that each area defined in the area definition image can be individually designated as a replant candidate area.
- the user interface control unit The information processing apparatus according to any one of (13) to (15) above, which controls an interface so that a plurality of areas can be designated as replant candidate areas by a range designation operation on the area definition image.
- the information processing apparatus comprising a file generation unit that generates a replant instruction file according to determination of a replant execution area in the area definition image.
- the user interface control unit The information processing apparatus according to any one of (6) to (17) above, which controls to present a determination result of whether or not to replant each area shown in the area definition image.
- (19) Calculate the rate of plant growth from the sensing data An information processing method that controls the display of sample position images arranged according to the sensing position of each sensing data in the map area of the user interface screen in an image mode determined according to the rate calculated from each sensing data. ..
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Environmental Sciences (AREA)
- Soil Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Forests & Forestry (AREA)
- Ecology (AREA)
- Botany (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Animal Husbandry (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
情報処理装置が、センシングデータから植物の生育に関するレートを算出し、ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行うようにする。
Description
本技術は情報処理装置、情報処理方法、プログラムに関し、特に圃場の管理に適した情報を提示する技術に関する。
近年、農場の大規模化によって、作物の自動植え付けが行われるようになってきている。自動植え付けにおいて、作物が正しく植え付けされたか、あるいは、作物が期待通りに育成しているかを確認するのは非常に重要である。作物が期待通りに植え付け、育成されていない箇所がある場合は、農場のスタッフは再植え付け(リプラント)を行うか否かの判断も行わなければならない。再植え付け(リプラント)とは、既に植え付けたところで植え替え(再度の播種等)を行うことである。
一方で、ドローン等の飛行体に搭載したカメラなどによる空からの撮像技術の発達で、大規模農場において、人手で農地を見回る作業を省き、作業の簡略化、自動化する試みがなされている。上記した植え付けの不具合の検出もこのような空撮技術によって自動化が行われるようになってきている。
特許文献1には、圃場を撮像し、植生状態のリモートセンシングを行う技術に関して開示されている。
特許文献1には、圃場を撮像し、植生状態のリモートセンシングを行う技術に関して開示されている。
ところで、植え付けの不具合の確認は撮像された画像から可能ではあるが、実際には、不具合と言っても各箇所で程度の違いが有り、全ての箇所でリプラントが必要となるものでもない。またリプラントにも当然コストがかかるものであり、例えば発芽した数が若干予定よりは少なくても、リプラントせずにそのまま育てる方が良い場合もある。もちろんコストをかけてもリプラントした方が良い場合もある。
またリプラントの判断は早い時期に行いたいという要望がある。収穫の際の都合を考えると、既に発芽している部分と、リプラントする部分とでの作物の生育の差をあまり生じさせずに、一緒に収穫したいためである。
これらのことから本開示では、迅速なリプラント判断のために適切な情報が提示されるようにする技術を提案する。
本技術に係る情報処理装置は、センシングデータから植物の生育に関するレートを算出する算出部と、ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行うユーザインタフェース制御部と、を備える。
センシングデータとは、例えば圃場についてセンシングした各種のデータである。例えば圃場を撮像した画像データ、サーモセンサ、超音波センサ等のセンサからのデータ等である。圃場とは、作物の栽培地、耕作地、水耕栽培地、ハウス栽培地等の農作物の栽培等を行う農地を広く含む。
植物の生育に関するレートとは、広く植物の生育についてのレート情報であるが、例えば植え付け後に発芽した作物の割合など、正常に生長している作物の割合などである。なお「作物」とは人為的に収穫を目的としたものを指すが、ここでいう「植物」とは、作物以外にも、例えば果実の木々、雑草なども含む。
またサンプルポジション画像とは、マップ画像上でサンプルの画像データを撮像した位置又は圃場内の撮像された位置を示すユーザインタフェース表示のための画像である。このサンプルポジション画像を、レートに応じた画像態様で表示させる。画像態様とは、色、輝度、形状、輪郭線などサンプルポジション画像を構成する要素を指す。またユーザインタフェース表示される画像としてのサンプルポジション画像は、テキストや数値の画像、色のみの画像、その他のどのような態様の画像であってもよい。
センシングデータとは、例えば圃場についてセンシングした各種のデータである。例えば圃場を撮像した画像データ、サーモセンサ、超音波センサ等のセンサからのデータ等である。圃場とは、作物の栽培地、耕作地、水耕栽培地、ハウス栽培地等の農作物の栽培等を行う農地を広く含む。
植物の生育に関するレートとは、広く植物の生育についてのレート情報であるが、例えば植え付け後に発芽した作物の割合など、正常に生長している作物の割合などである。なお「作物」とは人為的に収穫を目的としたものを指すが、ここでいう「植物」とは、作物以外にも、例えば果実の木々、雑草なども含む。
またサンプルポジション画像とは、マップ画像上でサンプルの画像データを撮像した位置又は圃場内の撮像された位置を示すユーザインタフェース表示のための画像である。このサンプルポジション画像を、レートに応じた画像態様で表示させる。画像態様とは、色、輝度、形状、輪郭線などサンプルポジション画像を構成する要素を指す。またユーザインタフェース表示される画像としてのサンプルポジション画像は、テキストや数値の画像、色のみの画像、その他のどのような態様の画像であってもよい。
上記した本技術に係る情報処理装置においては、前記センシングデータは圃場を撮像した画像データであり、前記レートは、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率であることが考えられる。
圃場に植え付けを行う場合は、植え付けを行う圃場内の場所毎に例えば1エーカーあたりの作物の種子/株/苗などの植え付け数を指示する情報(植え付け指示数)をトラクターに与え、植え付けを実行させる。そのような植え付け指示数に対して、実際に発芽/生長して画像データに基づいて算出された単位面積あたりの作物数の比率を、作物の生育に関するレートとする。
圃場に植え付けを行う場合は、植え付けを行う圃場内の場所毎に例えば1エーカーあたりの作物の種子/株/苗などの植え付け数を指示する情報(植え付け指示数)をトラクターに与え、植え付けを実行させる。そのような植え付け指示数に対して、実際に発芽/生長して画像データに基づいて算出された単位面積あたりの作物数の比率を、作物の生育に関するレートとする。
上記した本技術に係る情報処理装置においては、前記センシングデータは圃場を撮像した画像データであり、前記レートは、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率であることが考えられる。
トラクターによって行われた実際の植え付け数に対して、画像データに基づいて算出された単位面積あたりの作物数の比率を、作物の生育に関するレートとする。
トラクターによって行われた実際の植え付け数に対して、画像データに基づいて算出された単位面積あたりの作物数の比率を、作物の生育に関するレートとする。
上記した本技術に係る情報処理装置においては、前記センシングデータは圃場を撮像した画像データであり、前記レートを、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とするか、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とするかを選択可能とされていることが考えられる。
即ち発芽率としてのレートの基準となる値を、トラクターに対する植え付け指示数とするか、トラクターによる植え付け実績数とするかを選択できるようにする。
即ち発芽率としてのレートの基準となる値を、トラクターに対する植え付け指示数とするか、トラクターによる植え付け実績数とするかを選択できるようにする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記マップ領域で、圃場内における前記レートの算出に用いる値の異同を提示するレートマップ画像を、前記サンプルポジション画像とともに表示させる制御を行うことが考えられる。
例えばレートの基準となる値であるトラクターに対する植え付け指示数、もしくは植え付け実績数は、圃場の場所毎に異なる場合がある。それをユーザインタフェース上で表示する画像としてのレートマップ画像がサンプルポジション画像とともに表示されるようにする。レートマップ画像もユーザインタフェース表示される画像であり、テキストや数値の画像、色のみの画像、その他のどのような態様の画像であってもよい。
例えばレートの基準となる値であるトラクターに対する植え付け指示数、もしくは植え付け実績数は、圃場の場所毎に異なる場合がある。それをユーザインタフェース上で表示する画像としてのレートマップ画像がサンプルポジション画像とともに表示されるようにする。レートマップ画像もユーザインタフェース表示される画像であり、テキストや数値の画像、色のみの画像、その他のどのような態様の画像であってもよい。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記マップ領域で、圃場内を分割したエリアを定義するエリア定義画像を表示させる制御を行うことが考えられる。
エリア定義画像として、例えば格子状のグリッドパターンなどの画像をマップ領域に表示させて、圃場内を分割した各エリアの定義をユーザが認識できるようにする。
エリア定義画像として、例えば格子状のグリッドパターンなどの画像をマップ領域に表示させて、圃場内を分割した各エリアの定義をユーザが認識できるようにする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像で示される各エリアは、そのエリアについて算出されたレートに応じて決定される画像態様で表示されるようにする制御を行うことが考えられる。
エリア定義画像で定義された各エリアは、レートに応じた画像態様で表示されるようにする。この場合、画像態様とは、色、輝度、輪郭線など、グリッドパターンなどのエリア定義画像を構成する要素を指す。
エリア定義画像で定義された各エリアは、レートに応じた画像態様で表示されるようにする。この場合、画像態様とは、色、輝度、輪郭線など、グリッドパターンなどのエリア定義画像を構成する要素を指す。
上記した本技術に係る情報処理装置においては、前記算出部は、前記エリア定義画像で示される各エリアのレートを、そのエリアに関連するセンシングデータについての作物の生育に関するレートを用いた補間演算により算出することが考えられる。
エリア定義画像により定義される各エリアのレートは、例えばエリアの中心点近傍を撮像したものなどの関連する画像データ等のセンシングデータについてのレートを用いて算出する。
エリア定義画像により定義される各エリアのレートは、例えばエリアの中心点近傍を撮像したものなどの関連する画像データ等のセンシングデータについてのレートを用いて算出する。
上記した本技術に係る情報処理装置においては、前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、当該一のエリアの中心点から所定距離以内をセンシングしたセンシングデータであることが考えられる。
例えばエリアの中心点からの所定距離以内を撮像した画像データについてのレートを用いた補間演算で、当該エリアのレートを算出する。
例えばエリアの中心点からの所定距離以内を撮像した画像データについてのレートを用いた補間演算で、当該エリアのレートを算出する。
上記した本技術に係る情報処理装置においては、前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、撮像領域が当該一のエリアの中心点から近い順の所定数のセンシングデータであることが考えられる。
撮像領域がエリアの中心点から近い順に所定数のセンシングデータについてのレートを用いた補間演算で、当該エリアのレートを算出する。
撮像領域がエリアの中心点から近い順に所定数のセンシングデータについてのレートを用いた補間演算で、当該エリアのレートを算出する。
上記した本技術に係る情報処理装置においては、前記算出部は、一のエリアに関連するセンシングデータのうちで、前記一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域をセンシングしたセンシングデータについてのレートに重み付けをして前記補間演算を行うことが考えられる。
関連するセンシングデータ、例えば画像データとして当該エリアと植え付け指示数もしくは植え付け実績数が同じ領域を撮像したものがあれば、その画像データについてのレートに重みを付けて補間演算を行い、エリアのレートを算出する。
関連するセンシングデータ、例えば画像データとして当該エリアと植え付け指示数もしくは植え付け実績数が同じ領域を撮像したものがあれば、その画像データについてのレートに重みを付けて補間演算を行い、エリアのレートを算出する。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像の設定操作を行うためのインタフェース制御を行うことが考えられる。
例えばエリア定義画像で定義されるエリアのサイズなどをユーザが指定できるようにする。
例えばエリア定義画像で定義されるエリアのサイズなどをユーザが指定できるようにする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行うことが考えられる。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補とすることができるようにする。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補とすることができるようにする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行うとともに、リプラント候補エリアの指定操作が行われることに応じて、リプラントに関するコスト情報を提示する制御を行うことが考えられる。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補エリアとすると、それに応じたコスト提示が行われるようにする。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補エリアとすると、それに応じたコスト提示が行われるようにする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像で定義される各エリアを個別にリプラント候補エリアとして指定可能とするインタフェース制御を行うことが考えられる。
例えばユーザがエリア定義画像上で、任意のエリアをクリックするなどにより指定可能とする。
例えばユーザがエリア定義画像上で、任意のエリアをクリックするなどにより指定可能とする。
上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記エリア定義画像上で範囲指定操作により、複数のエリアをリプラント候補エリアとして指定可能とするインタフェース制御を行うことが考えられる。
例えばユーザがエリア定義画像上で範囲指定することで、その範囲に含まれる複数のエリアを指定可能とする。
例えばユーザがエリア定義画像上で範囲指定することで、その範囲に含まれる複数のエリアを指定可能とする。
上記した本技術に係る情報処理装置においては、前記エリア定義画像におけるリプラント実行エリアの確定に応じて、リプラント指示ファイルを生成するファイル生成部を備えることが考えられる。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補としたうえで、所定操作でリプラントするエリアを確定させることに応じて、リプラント実行のための指示ファイルを生成する。
例えばユーザがエリア定義画像上で、任意のエリアをリプラント候補としたうえで、所定操作でリプラントするエリアを確定させることに応じて、リプラント実行のための指示ファイルを生成する。
前記ユーザインタフェース制御部は、前記エリア定義画像で示される各エリアについて、リプラントすべきか否かの判定結果を提示する制御を行うことが考えられる。
エリア定義画像で定義された各エリアについてリプラントすべきか否かの判定を行い、判定結果が示されるようにする。例えば各エリアが、判定結果に応じた画像態様で表示されるようにする。この場合、画像態様とは、色、輝度、輪郭線など、グリッド画像を構成する要素を指す。
エリア定義画像で定義された各エリアについてリプラントすべきか否かの判定を行い、判定結果が示されるようにする。例えば各エリアが、判定結果に応じた画像態様で表示されるようにする。この場合、画像態様とは、色、輝度、輪郭線など、グリッド画像を構成する要素を指す。
本技術に係る情報処理方法は、センシングデータから植物の生育に関するレートを算出し、ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行う。
これにより情報処理装置においてリプラント判断に適した情報提示が行われるようにする。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これによりリプラント判断に適した情報提示を行う情報処理装置の実現が容易となる。
これにより情報処理装置においてリプラント判断に適した情報提示が行われるようにする。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これによりリプラント判断に適した情報提示を行う情報処理装置の実現が容易となる。
以下、実施の形態を次の順序で説明する。
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.作業手順>
<4.ユーザインタフェース画面>
<5.実施の形態の準備処理>
<6.第1の実施の形態のユーザインタフェース処理>
<7.第2の実施の形態のユーザインタフェース処理>
<8.まとめ及び変形例>
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.作業手順>
<4.ユーザインタフェース画面>
<5.実施の形態の準備処理>
<6.第1の実施の形態のユーザインタフェース処理>
<7.第2の実施の形態のユーザインタフェース処理>
<8.まとめ及び変形例>
ここで実施の形態で用いる一部の用語について説明しておく。
「スタンド」とは、圃場において植え付けされ発芽した作物(プラント)の1つ1つを表す。
「スタンド数」或いは「スタンドカウント(STAND COUNT)」とは、画像データから計測されたスタンドの数である。
「ポピュレーション」とは、画像データから計測されたスタンド数を、単位面積(例えば1エーカー)あたりに換算したスタンド数を指す。このポピュレーションは単位面積で考えた場合の発芽率ととらえることもできる。
「スタンドレート」とは、単位面積あたりの発芽率などの生長した作物の割合を示すもので、本実施の形態では、後述するレートマップ(指示レートマップや実績レートマップ)に示される単位面積あたりの植え付け指示数や植え付け実績数に対する単位面積あたりのスタンド数(ポピュレーション)の割合となる。スタンドレートは発芽達成率ともいえる。
「スタンド」とは、圃場において植え付けされ発芽した作物(プラント)の1つ1つを表す。
「スタンド数」或いは「スタンドカウント(STAND COUNT)」とは、画像データから計測されたスタンドの数である。
「ポピュレーション」とは、画像データから計測されたスタンド数を、単位面積(例えば1エーカー)あたりに換算したスタンド数を指す。このポピュレーションは単位面積で考えた場合の発芽率ととらえることもできる。
「スタンドレート」とは、単位面積あたりの発芽率などの生長した作物の割合を示すもので、本実施の形態では、後述するレートマップ(指示レートマップや実績レートマップ)に示される単位面積あたりの植え付け指示数や植え付け実績数に対する単位面積あたりのスタンド数(ポピュレーション)の割合となる。スタンドレートは発芽達成率ともいえる。
<1.センシングシステムの構成>
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成する情報処理装置1と、例えばドローンのような小型の飛行体200に搭載された撮像装置220を示している。また植え付けを行うトラクター270も示している。
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成する情報処理装置1と、例えばドローンのような小型の飛行体200に搭載された撮像装置220を示している。また植え付けを行うトラクター270も示している。
飛行体200は、例えば操作者の無線操縦、或いは自動操縦等により、圃場300の上空を移動することができる。
飛行体200には撮像装置220が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置220は例えば定期的に静止画撮像を行う。
飛行体200には撮像装置220が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置220は例えば定期的に静止画撮像を行う。
なお、飛行体200が比較的低空(例えば高度10mから20m程度など)で飛行することで、1枚の撮像画像は、圃場300の一部が写るものとなる。
短時間間隔で静止画撮像を行うことで、撮像した各画像のスティッチ処理を行って、圃場全体を映し出した合成画像を得ることもできる。しかし本実施の形態のセンシングの場合は、必ずしもそのようなことは必要なく、例えば圃場300において離散的な領域が、センシングのサンプルとして撮像されて複数の画像データが得られればよい。
以下では、撮像された一枚毎の静止画としての画像データを「サンプル」とも呼ぶ。
短時間間隔で静止画撮像を行うことで、撮像した各画像のスティッチ処理を行って、圃場全体を映し出した合成画像を得ることもできる。しかし本実施の形態のセンシングの場合は、必ずしもそのようなことは必要なく、例えば圃場300において離散的な領域が、センシングのサンプルとして撮像されて複数の画像データが得られればよい。
以下では、撮像された一枚毎の静止画としての画像データを「サンプル」とも呼ぶ。
飛行体200に搭載される撮像装置220は、可視光イメージセンサ(R(赤)、G(緑)、B(青)の可視光を撮像するイメージセンサ)、NIR(Near Infra Red:近赤外域)画像撮像用のカメラ、複数の波長帯の画像撮像を行うマルチスペクトラムカメラ(Multi Spectrum Camera)、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計(FTIR:Fourier Transform Infrared Spectroscopy)、赤外線センサなどが想定される。もちろん複数種類のカメラ(センサ)が飛行体200に搭載されてもよい。
マルチスペクトラムカメラとしては、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられることも想定される。NDVIとは植物らしさを表す植生指数であり、植生の分布状況や活性度を示す指標とすることができる。
NDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
NDVI=(NIR-R)/(NIR+R)
として求められる。
マルチスペクトラムカメラとしては、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられることも想定される。NDVIとは植物らしさを表す植生指数であり、植生の分布状況や活性度を示す指標とすることができる。
NDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
NDVI=(NIR-R)/(NIR+R)
として求められる。
撮像装置220で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像時の飛行体200の飛行高度の情報、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
このような飛行体200に装着された撮像装置220により撮像された画像データやタグ情報は情報処理装置1に取得される。
例えば撮像装置220と情報処理装置1の無線通信やネットワーク通信などにより画像データやタグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、LAN(Local Area Network)等、衛星通信網、その他の各種のネットワークが想定される。
或いは撮像装置220に装着されていた記録媒体(例えばメモリカードなど)が情報処理装置1側で読み取られるなどの態様で画像データやタグ情報が情報処理装置1に受け渡される。
例えば撮像装置220と情報処理装置1の無線通信やネットワーク通信などにより画像データやタグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、LAN(Local Area Network)等、衛星通信網、その他の各種のネットワークが想定される。
或いは撮像装置220に装着されていた記録媒体(例えばメモリカードなど)が情報処理装置1側で読み取られるなどの態様で画像データやタグ情報が情報処理装置1に受け渡される。
情報処理装置1は画像データやタグ情報を用いて、圃場300を計測対象とした分析情報を生成する。また分析結果をユーザに対して、画像として提示する処理を行う。
具体的には、画像データに写された作物のカウント等を行い、それに基づいて、例えば作物数、単位面積あたりの作物数、発芽率、予測収穫量、作物割合など、圃場300の管理に用いることができる情報を生成し、ユーザに提示することができる。
また情報処理装置1は、圃場300を含むマップ画像上で、各サンプル(画像データ)の位置を提示する表示や、リプラントに関する情報の表示の実行制御も行う。
具体的には、画像データに写された作物のカウント等を行い、それに基づいて、例えば作物数、単位面積あたりの作物数、発芽率、予測収穫量、作物割合など、圃場300の管理に用いることができる情報を生成し、ユーザに提示することができる。
また情報処理装置1は、圃場300を含むマップ画像上で、各サンプル(画像データ)の位置を提示する表示や、リプラントに関する情報の表示の実行制御も行う。
情報処理装置1は、例えばPC(Personal Computer)やFPGA(Field-Programmable Gate Array)、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
なお、図1では情報処理装置1は撮像装置220とは別体のものとしているが、例えば撮像装置220を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
なお、図1では情報処理装置1は撮像装置220とは別体のものとしているが、例えば撮像装置220を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
本実施の形態のセンシングシステムの場合、例えば画像データ上で圃場300における「ロウ」とされる箇所を自動的に決定し、その決定に基づいて作付けされた作物のカウントを行う。
ロウとは、作物が植え付けられたラインのことであり、例えば圃場300において種植えのために形成される畝もロウの一種である。また特に畝のように土を盛り上げた状態としたものに限らず、平地に種を蒔いていったときに形成されるラインもロウである。例えばトラクター(播種機)で種まきをしたときに形成される、植え付けのラインがロウと呼ばれる。
ロウとは、作物が植え付けられたラインのことであり、例えば圃場300において種植えのために形成される畝もロウの一種である。また特に畝のように土を盛り上げた状態としたものに限らず、平地に種を蒔いていったときに形成されるラインもロウである。例えばトラクター(播種機)で種まきをしたときに形成される、植え付けのラインがロウと呼ばれる。
図2には、圃場300に形成されたロウ301を模式的に示している。例えば種まきから日にちが立つことで、種が発芽して、図のように作物の葉が並んでいるラインがロウ301となる。
本実施の形態の場合、飛行体200が移動しながら撮像装置220によって圃場300が撮像されていくが、適宜タイミングで例えば図中の撮像範囲SP1、SP2のように、各所が撮像されることになる。例えば1フレームの静止画撮像画像として撮像範囲SP1の画像データや、撮像範囲SP2の画像データが撮像装置220によって得られていき、これらがそれぞれサンプルとして情報処理装置1に取り込まれる。
本実施の形態の場合、飛行体200が移動しながら撮像装置220によって圃場300が撮像されていくが、適宜タイミングで例えば図中の撮像範囲SP1、SP2のように、各所が撮像されることになる。例えば1フレームの静止画撮像画像として撮像範囲SP1の画像データや、撮像範囲SP2の画像データが撮像装置220によって得られていき、これらがそれぞれサンプルとして情報処理装置1に取り込まれる。
なお、図2では直線状のロウ301を示しているが、ロウ301は、必ずしも常に直線とは限らない。直線状のロウ301が圃場300の端などで曲がる場合がある。また圃場300の形状や種まきの際の経路、障害物などにより、ロウ301は一部がカーブする場合もあるし、例えばスパイラル状、同心円状にロウ301が形成される場合もある。
トラクター270は、圃場300に種子等(種子や苗や株など)の植え付けを行う。トラクター270は例えば情報処理装置1から提供される植え付けの指示データに基づいて自動走行し植え付けを行う。これにより圃場300に上述のロウ301が形成される。
トラクター270にはコンピュータ装置が搭載されており、そのコンピュータ装置は指示データに基づいて走行や植え付け動作の制御を行う。例えばコンピュータ装置は、後述する指示レートマップで示されるような植え付けの指示データ(箇所毎の単位面積あたりの植え付け指示数を含むレートマップデータ)を含むデータファイルがインポートされることで、その指示データに基づいてトラクター270の走行及び植え付け動作を制御する。
またトラクター270による植え付け作業の実績(箇所毎の単位面積あたりの植え付け実績数)は、実績データとして情報処理装置1に提供される。
トラクター270にはコンピュータ装置が搭載されており、そのコンピュータ装置は指示データに基づいて走行や植え付け動作の制御を行う。例えばコンピュータ装置は、後述する指示レートマップで示されるような植え付けの指示データ(箇所毎の単位面積あたりの植え付け指示数を含むレートマップデータ)を含むデータファイルがインポートされることで、その指示データに基づいてトラクター270の走行及び植え付け動作を制御する。
またトラクター270による植え付け作業の実績(箇所毎の単位面積あたりの植え付け実績数)は、実績データとして情報処理装置1に提供される。
<2.情報処理装置の構成>
以上のセンシングシステムにおいて撮像装置220からの画像データを取得して処理を行う情報処理装置1について説明する。
以上のセンシングシステムにおいて撮像装置220からの画像データを取得して処理を行う情報処理装置1について説明する。
図3は情報処理装置1のハードウエア構成を示している。情報処理装置1は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
入出力インタフェース55には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなる表示部56、キーボード、マウスなどよりなる入力部57、スピーカ58、記憶部59、通信部60などが接続可能である。
表示部56は情報処理装置1と一体でも良いし別体の機器でもよい。
表示部56では、CPU51の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
表示部56では、CPU51の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入力部57は、情報処理装置1を使用するユーザが用いる入力デバイスを意味する。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
記憶部59は例えばHDD(Hard Disk Drive)や固体メモリなどの記憶媒体より構成される。記憶部59には、例えば撮像装置220により撮像された画像データやタグ情報、その他の各種情報が記憶される。また各種処理のためのプログラムデータの格納にも記憶部59は用いられる。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
この通信部60は例えば撮像装置220やトラクター270との通信を行う通信デバイスとされる場合もある。
この通信部60は例えば撮像装置220やトラクター270との通信を行う通信デバイスとされる場合もある。
入出力インタフェース55にはまた、必要に応じてドライブ61が接続され、メモリカード等のストレージデバイス62が装着され、データの書込や読出が行われる。
例えばストレージデバイス62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス62の一態様である。
例えばストレージデバイス62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス62の一態様である。
なお、実施の形態の情報処理装置1は、図3のようなハードウエア構成の情報処理装置(コンピュータ装置)1が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図3の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
またこの図3の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
例えばこのようなハードウエア構成の情報処理装置1では、CPU51による演算機能や、ROM52、RAM53、記憶部59による記憶機能、通信部60やドライブ61によるデータ取得機能、表示部56などによる出力機能を有し、インストールされたソフトウエアが機能することで、図4のような機能構成を備えるようにされる。
即ち情報処理装置1には図4に示す画像取得部2、算出部5、ユーザインタフェース制御部6(以下「ユーザインタフェース」を「UI」と表記する)、記録制御部7、通信制御部8、ファイル生成部9が設けられる。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス62(例えばリムーバブル記憶媒体)から読み出されたりして図3の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各機能の演算経過や結果の記憶は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス62(例えばリムーバブル記憶媒体)から読み出されたりして図3の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各機能の演算経過や結果の記憶は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
画像取得部2は、処理対象としての画像データ及び画像データに付随するタグ情報を取得する機能である。例えば撮像装置220で撮像された画像データは、記憶部59などに保存されるが、CPU51が特定の画像データを読み出して、計算処理の対象とする。
算出部5は、画像データに基づいて各種の算出を行う。例えば算出部5は、圃場300を撮像した画像データ、即ち画像取得部2が処理対象とした画像データ内で作物検出を行い、その画像データ内でロウ301(画像上でロウ301が写されている部分)を作物検出の結果に基づいて決定する。そしてロウ上の作物部分をカウントすることで、スタンド数を算出する。ロウ301を検出したうえでスタンド数をカウントすることで、ロウ外の雑草等をカウントから除外でき、精度の高いカウントが可能となる。
また算出部5は、画像データに写されている作物のカウント数に基づいて単位面積(例えば1エーカーなど)あたりの作物数(ポピュレーション)、発芽率(スタンドレート)、予測収穫量、リプラントコストなどの計算を行う。
また算出部5は、画像データに写されている作物のカウント数に基づいて単位面積(例えば1エーカーなど)あたりの作物数(ポピュレーション)、発芽率(スタンドレート)、予測収穫量、リプラントコストなどの計算を行う。
UI制御部6は、例えば表示部56の表示制御や、入力部57により入力される操作情報の取得処理などを行う機能である。即ちUI制御部6は、画像や算出部5により算出された情報の提示や、ユーザ操作の認識などを行う。特にUI制御部6は、マップ画像上でスタンド数やスタンドレート、リプラントのエリア設定のための表示を実行させる制御を行う。具体的にはUI制御部6は、UI画面のマップ領域で、各画像データの撮像位置に応じて配置されるサンプルポジション画像を、各画像データから算出されたレートに応じて決定される画像態様で表示させる制御を行う。
ファイル生成部9は、UI画面を用いたユーザ操作によりリプラントするエリアが決定された場合に、そのリプラントのための指示データを含む指示ファイルを生成する機能である。この指示ファイルはトラクター270に提供される。
記録制御部7は、算出部5で算出されたスタンド数、ポピュレーション、スタンドレート、予測収穫量、コスト情報、UI画面の設定情報などの各種の情報や、ファイル生成部9により生成された指示ファイルなどを記憶部59へ保存する制御を行う機能である。
通信制御部8は、以上のような算出部5やファイル生成部9による情報を通信部60により外部機器に送信する制御を行う機能である。
通信制御部8は、以上のような算出部5やファイル生成部9による情報を通信部60により外部機器に送信する制御を行う機能である。
<3.作業手順>
図5は農場の管理のための作業手順の例を示している。
ステップS1として、圃場300上での飛行体200のフライトを行い、撮像装置220による画像撮像が行われる。これにより多数のサンプルとしての画像データを得る。
図5は農場の管理のための作業手順の例を示している。
ステップS1として、圃場300上での飛行体200のフライトを行い、撮像装置220による画像撮像が行われる。これにより多数のサンプルとしての画像データを得る。
ステップS2として情報処理装置1が画像データを取得する。例えば撮像装置220からの有線又は無線の通信、或いはメモリカードなどのストレージデバイス62の受け渡しにより、フライト時に撮像した画像データを情報処理装置1が取り込む。情報処理装置1は画像データを例えば記憶部59に格納する。
ステップS3として情報処理装置1は画像データに基づく分析処理を行う。例えば各画像データを用いたスタンドカウントなどが行われる。具体的な処理例は準備処理として後述する。
ステップS4として、情報処理装置1はUI画面でユーザ(例えば農場のスタッフ)に対してリプラント判断のために、圃場300の状況や各種情報を提示するとともにユーザの操作に対応する。具体的にはユーザがリプラントを行うか否か、或いはどのエリアをリプラントするか、などを考えるための情報提示を行ったり、リプラントを想定するエリアの指定を受け付けたりする処理を行う。
UI画面での入出力の結果としてリプラントが行われる場合は、ステップS5からステップS6に進み、情報処理装置1はリプラントのためのROI(Region of Interest :関心領域)を含む指示ファイルを生成する処理を行う。この指示ファイルはトラクター270に提供するもので、ROIはリプラントするエリアを示す情報である。
そしてステップS7で情報処理装置1は指示ファイルをエクスポートする。
指示ファイルをトラクター270が受け取ることで、その後、実際のリプラントが行われる。
そしてステップS7で情報処理装置1は指示ファイルをエクスポートする。
指示ファイルをトラクター270が受け取ることで、その後、実際のリプラントが行われる。
以上の手順のうちで、本実施の形態の情報処理装置1は、特にステップS4のUI画面での入出力において、ユーザのリプラント判断に適した情報提示を行う。
以下、UI画面の具体例を説明していく。
以下、UI画面の具体例を説明していく。
<4.ユーザインタフェース画面>
図6は例えば表示部56等で表示されるUI画面の例を示している。この図6はUI画面上で地図画像を表示しているが、特にリプラントのための情報提示を行っていない状態である。
図6は例えば表示部56等で表示されるUI画面の例を示している。この図6はUI画面上で地図画像を表示しているが、特にリプラントのための情報提示を行っていない状態である。
UI画面には、マップ領域21が用意される。マップ領域21には圃場300を含む地図画像が表示される。この図6では、単に圃場300の周辺地図が表示されている状態を示しているのみである。
マップ領域21における地図画像の縮尺は、拡大縮小ボタン28によりユーザが任意に設定できるようにされる。
またマップ領域21で地図表示される範囲はユーザがカーソル90のドラッグ操作などにより移動させることができるようにされる。
マップ領域21における地図画像の縮尺は、拡大縮小ボタン28によりユーザが任意に設定できるようにされる。
またマップ領域21で地図表示される範囲はユーザがカーソル90のドラッグ操作などにより移動させることができるようにされる。
UI画面には、マップ選択部22が設けられ、例えばプルダウンメニューによりユーザがレートマップを選択する操作が可能とされる。レートマップとは後述する指示レートマップや実績レートマップなどである。
UI画面には、マップ表示チェックボックス23、カウント表示チェックボックス24、レート表示チェックボックス25、グリッド表示チェックボックス26が用意され、ユーザがチェック操作を行うことで、それぞれレートマップ表示、スタンドカウント表示、スタンドレート表示、グリッド表示の有無を選択できるようにされている。
UI画面には、日時選択部27が設けられ、例えばプルダウンメニューにより、ユーザが処理対象のサンプルの日時(フライト/撮像をおこなった日時)を選択できるようにされている。
UI画面には、グリッド生成ボタン30、レート計算ボタン31、ROI生成ボタン32が設けられ、ユーザが操作可能とされる。
グリッド生成ボタン30は後述するグリッドを設定する操作を行うためのボタンである。
レート計算ボタン31はスタンドレートの算出を指示するボタンである。
ROI生成ボタン32は指示ファイル生成のための操作を行うボタンである。
各ボタンの操作に応じた表示状態や処理の例は後述する。
グリッド生成ボタン30は後述するグリッドを設定する操作を行うためのボタンである。
レート計算ボタン31はスタンドレートの算出を指示するボタンである。
ROI生成ボタン32は指示ファイル生成のための操作を行うボタンである。
各ボタンの操作に応じた表示状態や処理の例は後述する。
UI画面にはポピュレーション表示部35、スタンドレート表示部36、サンプル画像表示部37が設けられる。
ポピュレーション表示部35には、サンプルが指定された際に、そのサンプルについてのポピュレーションが表示される。
スタンドレート表示部36には、サンプルが指定された際に、そのサンプルについてのスタンド数が表示される。
サンプル画像表示部37には、サンプルについての画像が表示される。それぞれの具体例は後述する。
ポピュレーション表示部35には、サンプルが指定された際に、そのサンプルについてのポピュレーションが表示される。
スタンドレート表示部36には、サンプルが指定された際に、そのサンプルについてのスタンド数が表示される。
サンプル画像表示部37には、サンプルについての画像が表示される。それぞれの具体例は後述する。
図7はマップ領域21に指示レートマップ351が表示された状態を示している。
ユーザがマップ表示チェックボックス23をチェックオンすることで、その際にマップ選択部22で選択されているレートマップの表示が行われる。この図7は、マップ選択部22で指示レートマップ351を示す「Variable Rate Map 2019」が選択されていることで、マップ表示チェックボックス23のチェックオンにより「Variable Rate Map 2019」に該当する指示レートマップ351が表示されている状態である。
マップ選択部22で他のレートマップが選択されている場合、マップ表示チェックボックス23のチェックオンにより他のレートマップが表示される。図8は、マップ選択部22で実績レートマップを示す「As Applied Map 2019」が選択されていることで、マップ領域21に「As Applied Map 2019」に該当する実績レートマップ352が表示された例である。
ユーザがマップ表示チェックボックス23をチェックオンすることで、その際にマップ選択部22で選択されているレートマップの表示が行われる。この図7は、マップ選択部22で指示レートマップ351を示す「Variable Rate Map 2019」が選択されていることで、マップ表示チェックボックス23のチェックオンにより「Variable Rate Map 2019」に該当する指示レートマップ351が表示されている状態である。
マップ選択部22で他のレートマップが選択されている場合、マップ表示チェックボックス23のチェックオンにより他のレートマップが表示される。図8は、マップ選択部22で実績レートマップを示す「As Applied Map 2019」が選択されていることで、マップ領域21に「As Applied Map 2019」に該当する実績レートマップ352が表示された例である。
図7に示した指示レートマップ351は圃場300内の地区ごとの植え付け指示数を示したもので、図8の実績レートマップ352は圃場300内の地区ごとの植え付け実績数を示したものである。
植え付け指示数は、単位面積(例えば1エーカー)あたりのスタンド数として設定される。
植え付け指示数は、単位面積(例えば1エーカー)あたりのスタンド数として設定される。
圃場300においては、例えば10エーカー、100エーカーなどの地区毎に植え付け指示数が異なるようにされる場合がある。
指示レートマップ351は、ある地区では、単位面積あたりのスタンド数(つまりポピュレーション)を「35000」とし、ある地区では単位面積あたりのスタンド数(ポピュレーション)を「30000」にするなどの、植え付けの計画で策定した植え付け指示数を示したマップである。即ち植え付けの際にトラクター270に指示したポピュレーションの値を、圃場300内の地区ごとに示したマップである。
指示レートマップ351は、ある地区では、単位面積あたりのスタンド数(つまりポピュレーション)を「35000」とし、ある地区では単位面積あたりのスタンド数(ポピュレーション)を「30000」にするなどの、植え付けの計画で策定した植え付け指示数を示したマップである。即ち植え付けの際にトラクター270に指示したポピュレーションの値を、圃場300内の地区ごとに示したマップである。
一方、実績レートマップ352は、指示レートマップ351で示される指示に応じて実際にトラクター270が行った植え付けの実績を示すものである。トラクター270は、各地区で、指示ファイルで示される単位面積あたりの植え付け指示数に沿って植え付けを行うのであるが、トラクター270の性能や位置検出精度などにより、若干のずれが生ずる。実績レートマップ352は、結果として植え付けられた実績としての単位面積あたりの数(植え付け実績数)を示したものである。従って、指示レートマップ351と実績レートマップ352は地区の境界が若干ずれることがある。
図7の指示レートマップ351や図8の実績レートマップ352は、各地区が単位面積あたりのスタンド数に応じて色分け表示される。図示していないが、例えば緑、黄、赤などの色分け表示がされる。
これによりユーザは、各地区での植え付け指示数又は植え付け実績数を容易に認識できることになる。
これによりユーザは、各地区での植え付け指示数又は植え付け実績数を容易に認識できることになる。
なお、地区ごとに単位面積あたりの植え付け指示数を変えるのは、各地区での土壌や地質の都合であったり、植え付けの時期の差であったり、収穫作業の都合であったりするなど、様々な理由による。もちろん、圃場300の全体で同じ植え付け指示数で植え付けを行う場合もある。
次に、図9はマップ領域21に一例として円形のサンプルポジションマーク350を示すとともに、そのサンプルポジションマーク350がポピュレーションに応じた表示態様とされている例である。ユーザがカウント表示チェックボックス24をチェックオンすることで、このようなサンプルポジションマーク350の表示が行われる。
なお、図9では図の煩雑化を避けるため、サンプルポジションマークには一部にのみ符号「350」を付している。他の図も同様とする。
なお、図9では図の煩雑化を避けるため、サンプルポジションマークには一部にのみ符号「350」を付している。他の図も同様とする。
マップ領域21内に円形の画像として示されるそれぞれのサンプルポジションマーク350は、それぞれが1つのサンプル(画像データ)の撮像位置、つまり撮像時の撮像装置220の位置を示すものとされる。或いは、サンプルポジションマーク350は撮像された位置、つまり圃場300側で撮像範囲SP1,SP2などとされた箇所の位置を示すものとされてもよい。
撮像は上述のように飛行体200のフライト中に例えば定期的に行われるため、各サンプルポジションマーク350は、フライト軌跡を示すことになるように各位置に表示されることになる。
撮像は上述のように飛行体200のフライト中に例えば定期的に行われるため、各サンプルポジションマーク350は、フライト軌跡を示すことになるように各位置に表示されることになる。
この場合、各サンプルポジションマーク350は、ポピュレーションに応じて色分け表示される。例えば緑(図では白部分)、黄(図では斜線部)、赤(図では黒部分)の色分け表示がされる。
各サンプルポジションマーク350におけるポピュレーションとは、そのサンプルポジションマーク350の画像データから算出されたスタンド数を例えば1エーカーなどの単位面積あたりのスタンド数に換算した値である。
1つの画像データによる撮像範囲は、図2に撮像範囲SP1,SP2として示したように、圃場300の全体から見ればごく一部の範囲である。例えば撮像範囲SP1の画像データからスタンド数を算出するが、そのスタンド数は、撮像範囲SP1の広さにより変動する。即ち飛行体200の高度、撮像装置220の画角などの条件により変動する。そのため、画像データから算出したスタンド数自体ではなく、それを単位面積あたりに換算したポピュレーションの値を用いる。撮像範囲SP1のポピュレーションは、撮像範囲SP1の面積と単位面積との比を求め、その比を画像から算出したスタンド数に乗算することで求めることができる。
なお面積に関しては、画像上の特定の長さと、実際の長さの比率から算出してもよい。例えば或るロウと或るロウの間の長さを入力(10m)し、画像認識でロウの一定の長さあたりのスタンド数を算出(10mで30個)する。すると30個/(10m×10m)=0.3(スタンド/m2)としてポピュレーションを求めることができる。
各サンプルポジションマーク350におけるポピュレーションとは、そのサンプルポジションマーク350の画像データから算出されたスタンド数を例えば1エーカーなどの単位面積あたりのスタンド数に換算した値である。
1つの画像データによる撮像範囲は、図2に撮像範囲SP1,SP2として示したように、圃場300の全体から見ればごく一部の範囲である。例えば撮像範囲SP1の画像データからスタンド数を算出するが、そのスタンド数は、撮像範囲SP1の広さにより変動する。即ち飛行体200の高度、撮像装置220の画角などの条件により変動する。そのため、画像データから算出したスタンド数自体ではなく、それを単位面積あたりに換算したポピュレーションの値を用いる。撮像範囲SP1のポピュレーションは、撮像範囲SP1の面積と単位面積との比を求め、その比を画像から算出したスタンド数に乗算することで求めることができる。
なお面積に関しては、画像上の特定の長さと、実際の長さの比率から算出してもよい。例えば或るロウと或るロウの間の長さを入力(10m)し、画像認識でロウの一定の長さあたりのスタンド数を算出(10mで30個)する。すると30個/(10m×10m)=0.3(スタンド/m2)としてポピュレーションを求めることができる。
このようなポピュレーションに応じてサンプルポジションマーク350を色分け表示する。もちろん作物の種類などによって異なるが、例えばポピュレーションが35000以上であれば緑、35000未満で33000以上であれば黄色、33000未満であれば赤、といったように色分け表示される。なお、色分け3段階とするのは一例に過ぎない。
このような色分け表示によりユーザは、各サンプル位置でのポピュレーション、つまり発芽などの生育状態を確認できる。
このような色分け表示によりユーザは、各サンプル位置でのポピュレーション、つまり発芽などの生育状態を確認できる。
図10はマップ領域21に円形のサンプルポジションマーク350を示すとともに、そのサンプルポジションマーク350がスタンドレートに応じた表示態様とされている例である。ユーザがレート表示チェックボックス25をチェックオンすることで、このようなサンプルポジションマーク350の表示が行われる。
図9の場合と同様に、マップ領域21内に円形画像として示されるそれぞれのサンプルポジションマーク350は、それぞれが1つのサンプル(画像データ)の撮像位置を示すものとされるが、この図10の場合、各サンプルポジションマーク350は、スタンドレートに応じて色分け表示される。例えば緑(図では白丸)、黄(図では斜線を付した丸)、赤(図では黒丸)の色分け表示がされる。
各サンプルポジションマーク350におけるスタンドレートとは、そのサンプルポジションマーク350の画像データから算出されたポピュレーションの、その箇所で予定していたポピュレーションに対する割合と考えることができる。
予定していたポピュレーションとは、指示レートマップ351で示される植え付け指示数や実績レートマップ352で示される植え付け実績数である。つまり生育することを予定する作物の数である。
例えば単位面積あたりのスタンド数が35000となるように指示していた箇所において、画像データから算出されたポピュレーションが35000であれば、スタンドレートは100%となる。単位面積あたりのスタンド数が35000となるように指示していた箇所において、画像データから算出されたポピュレーションが34000であれば、スタンドレートは97%となる。
各サンプルポジションマーク350におけるスタンドレートとは、そのサンプルポジションマーク350の画像データから算出されたポピュレーションの、その箇所で予定していたポピュレーションに対する割合と考えることができる。
予定していたポピュレーションとは、指示レートマップ351で示される植え付け指示数や実績レートマップ352で示される植え付け実績数である。つまり生育することを予定する作物の数である。
例えば単位面積あたりのスタンド数が35000となるように指示していた箇所において、画像データから算出されたポピュレーションが35000であれば、スタンドレートは100%となる。単位面積あたりのスタンド数が35000となるように指示していた箇所において、画像データから算出されたポピュレーションが34000であれば、スタンドレートは97%となる。
このようなスタンドレートに応じてサンプルポジションマーク350を色分け表示する。例えばスタンドレートが98%以上であれば緑(図では白丸)、98%未満で90%以上であれば黄色(図では斜線を付した丸)、90%未満であれば赤(図では黒丸)、といったように色分け表示される。なお、色分け3段階とするのは一例に過ぎない。
このような色分け表示によりユーザは、各サンプル位置でのスタンドレート、例えば発芽率などを確認できる。
このような色分け表示によりユーザは、各サンプル位置でのスタンドレート、例えば発芽率などを確認できる。
ところでスタンドレートは、各サンプルポジションでの予定のポピュレーションを基準にして算出する。この基準は、指示レートマップ351で示されるサンプルポジションでの予定ポピュレーション(単位面積あたりの植え付け指示数)、或いは実績レートマップ352で示されるサンプルポジションでの予定ポピュレーション(単位面積あたりの植え付け実績数)である。ユーザは、いずれを基準とするかを選択することができる。
処理例としては、このような各サンプルポジションマーク350に対応するスタンドレートの計算は、ユーザがレート計算ボタン31を操作した際に行われるようにすることが考えられる。
ユーザがレート計算ボタン31を操作すると、図11のように選択ダイアログ34が表示され、ユーザは基準とするレートマップを例えばプルダウンメニューにより選択できるようにされる。
例えばプルダウンメニューにより、名称が「Variable Rate Map 2019」とされた指示レートマップ351や、名称が「As Applied Map 2019」とされた実績レートマップ352などが表示され、ユーザは任意のレートマップを選択できる。
CPU51は、選択に応じて、各サンプルポジションマーク350に対応するスタンドレートの計算を行い、図10のように色分け表示を行う。
なお、指示値が一定の場合や、指示データがない場合は、圃場300の全体が一律の値であるとして計算してもよい。
またプルダウンメニューに限らず、数値データの入力フォームを設けてユーザが選択できるようにするなど他の態様でユーザがレートマップ選択できるようにしてもよい。
ユーザがレート計算ボタン31を操作すると、図11のように選択ダイアログ34が表示され、ユーザは基準とするレートマップを例えばプルダウンメニューにより選択できるようにされる。
例えばプルダウンメニューにより、名称が「Variable Rate Map 2019」とされた指示レートマップ351や、名称が「As Applied Map 2019」とされた実績レートマップ352などが表示され、ユーザは任意のレートマップを選択できる。
CPU51は、選択に応じて、各サンプルポジションマーク350に対応するスタンドレートの計算を行い、図10のように色分け表示を行う。
なお、指示値が一定の場合や、指示データがない場合は、圃場300の全体が一律の値であるとして計算してもよい。
またプルダウンメニューに限らず、数値データの入力フォームを設けてユーザが選択できるようにするなど他の態様でユーザがレートマップ選択できるようにしてもよい。
次に図12は、ユーザがマップ表示チェックボックス23とカウント表示チェックボックス24を共にチェックオンした場合を示している。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにポピュレーションによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、画像データから算出されたポピュレーション(実際のポピュレーション)とを比較しやすい画像となる。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにポピュレーションによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、画像データから算出されたポピュレーション(実際のポピュレーション)とを比較しやすい画像となる。
図13は、ユーザがマップ表示チェックボックス23とレート表示チェックボックス25を共にチェックオンした場合を示している。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにスタンドレートによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、各画像データの位置におけるスタンドレートを比較しやすい画像となる。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにスタンドレートによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、各画像データの位置におけるスタンドレートを比較しやすい画像となる。
図12のサンプルポジションマーク350によるポピュレーション表示はスタンド数を基準とした色分け表示であり、図13のサンプルポジションマーク350によるスタンドレート表示はレートを基準とした色分け表示であるため、それぞれ意味が異なる情報である。ユーザはこれらを任意に表示しわけることで圃場300の状況を把握しやすいものとなる。
なお、図12,図13では、サンプルポジションマーク350をレートマップに重ねて表示する例を示したが、図14に示すように、サンプルポジションマーク350とレートマップ(例えば指示レートマップ351)を、分けて表示させるようにしてもよい。
或いは、この図14のように分けて表示を行うことと、図12,図13のように重ねて表示を行うことをユーザが選択できるようにしても良い。
或いは、この図14のように分けて表示を行うことと、図12,図13のように重ねて表示を行うことをユーザが選択できるようにしても良い。
図15では、サンプルポジションマーク350によりポピュレーションを表示している状態で、ユーザが1つのサンプルポジションマーク350を指定した場合を示している。
例えばユーザがカーソル90を1つのサンプルポジションマーク350に当てた状態でクリックするなどとして、1つのサンプルポジションマーク350を指定する操作を行ったとする。
この場合、ポピュレーション表示部35において、指定されたサンプルポジションマーク350についてのポピュレーションの値が表示される。図では「31K」としてポピュレーションの値「31000」が表示されている例を示している。
例えばユーザがカーソル90を1つのサンプルポジションマーク350に当てた状態でクリックするなどとして、1つのサンプルポジションマーク350を指定する操作を行ったとする。
この場合、ポピュレーション表示部35において、指定されたサンプルポジションマーク350についてのポピュレーションの値が表示される。図では「31K」としてポピュレーションの値「31000」が表示されている例を示している。
またサンプル画像表示部37には、当該サンプルポジションマーク350に対応する画像、即ち、サンプルポジションマーク350の位置での撮像に係る画像が表示される。ここではRGB画像41、スタンドカウント画像42、NDVI画像43が表示された例を示している。RGB画像41は例えば撮像装置220がRGBカメラである場合に撮像された画像である。NDVI画像43はR及びNIRから求められたNDVIの画像である。スタンドカウント画像42は例えばスタンド算出のために加工された画像である。
ユーザはこれらの画像を拡大表示させることもできる。例えばRGB画像41の部分をクリックする等の操作を行うことで、図16のようにRGB画像41が拡大表示される。
ユーザは終了ボタン45を操作することで、拡大表示を終了させ、図15の状態に戻すことができる。
この図15,図16のような表示により、ユーザは任意の箇所(サンプルポジションマーク350の箇所)で、ポピュレーションの値を確認したり、画像を確認したりすることができる。つまりサンプルポジションマーク350の色分けによる大まかなポピュレーションよりも詳細な情報を確認できる。
ユーザは終了ボタン45を操作することで、拡大表示を終了させ、図15の状態に戻すことができる。
この図15,図16のような表示により、ユーザは任意の箇所(サンプルポジションマーク350の箇所)で、ポピュレーションの値を確認したり、画像を確認したりすることができる。つまりサンプルポジションマーク350の色分けによる大まかなポピュレーションよりも詳細な情報を確認できる。
図17は、サンプルポジションマーク350によりスタンドレートを表示している状態で、ユーザが1つのサンプルポジションマーク350を指定した場合を示している。
例えばユーザがカーソル90により、1つのサンプルポジションマーク350を指定する操作を行った場合、ポピュレーション表示部35において、指定されたサンプルポジションマーク350についてのポピュレーションが表示され、さらにスタンドレート表示部36でスタンドレートが表示される。図では「32K」としてポピュレーションの値「32000」が表示され、またスタンドレート「88.9%」が表示されている例を示している。
例えばユーザがカーソル90により、1つのサンプルポジションマーク350を指定する操作を行った場合、ポピュレーション表示部35において、指定されたサンプルポジションマーク350についてのポピュレーションが表示され、さらにスタンドレート表示部36でスタンドレートが表示される。図では「32K」としてポピュレーションの値「32000」が表示され、またスタンドレート「88.9%」が表示されている例を示している。
なお、この場合も、サンプル画像表示部37には、当該サンプルポジションマーク350に対応する画像、例えばRGB画像41、スタンドカウント画像42、NDVI画像43などが表示される。また、これらの画像が指定されると画像の拡大表示が行われることも先の図15,図16の場合と同様である。
この図17の場合は、ユーザは、サンプルポジションマーク350の色分けによる大まかなスタンドレートに加えてスタンドレートの値も確認できることになる。
この図17の場合は、ユーザは、サンプルポジションマーク350の色分けによる大まかなスタンドレートに加えてスタンドレートの値も確認できることになる。
図18はマップ領域21に格子パターンのグリッド355が表示された状態を示している。
ユーザがグリッド表示チェックボックス26をチェックオンすることで、このようなグリッド355の表示が行われる。
このグリッド355はエリア定義画像であり、格子の線により圃場300のエリアを定義する表示である。即ち格子で仕切られた範囲(格子の枡)として、圃場300を分割した各エリアがユーザに提示される。
グリッド355は、主にリプラントするエリアを指定するために用いられる。
ユーザがグリッド表示チェックボックス26をチェックオンすることで、このようなグリッド355の表示が行われる。
このグリッド355はエリア定義画像であり、格子の線により圃場300のエリアを定義する表示である。即ち格子で仕切られた範囲(格子の枡)として、圃場300を分割した各エリアがユーザに提示される。
グリッド355は、主にリプラントするエリアを指定するために用いられる。
グリッド355の枡で示される各エリアは、そのエリアについて算出されたスタンドレートに応じて決定される画像態様、ここでは色分けされて表示される。
なお、グリッド355の各エリアと、各サンプル(サンプルポジションマーク350で示される画像データ)は、必ずしも1:1で対応しているわけではない。このため、グリッド355の各エリアのスタンドレートは、近隣のサンプルポジションマーク350等を用いた補間演算などにより算出される。具体例は後述する。
なお、グリッド355の各エリアと、各サンプル(サンプルポジションマーク350で示される画像データ)は、必ずしも1:1で対応しているわけではない。このため、グリッド355の各エリアのスタンドレートは、近隣のサンプルポジションマーク350等を用いた補間演算などにより算出される。具体例は後述する。
そしてグリッド355の各エリアは、例えばスタンドレートが98%以上であれば緑(図では白枡)、98%未満で90%以上であれば黄色(図では斜線を付した枡)、90%未満であれば赤(図では黒枡)、といったように色分け表示される。なお、色分けを3段階とするのは一例に過ぎない。
このような色分け表示によりユーザは、グリッド355で定義される各エリアでのスタンドレートを確認できる。
このような色分け表示によりユーザは、グリッド355で定義される各エリアでのスタンドレートを確認できる。
グリッド355については、ユーザが枠のサイズを設定できる。
ユーザがグリッド生成ボタン30を操作すると、図19のようにグリッドのサイズを設定する設定ダイアログ33が表示される。この設定ダイアログ33により、ユーザはグリッドの一辺のサイズを任意に設定できる。
図18のように表示されるグリッド355は、このように設定されたサイズの枡を形成する格子パターンの画像とされる。
ユーザがグリッド生成ボタン30を操作すると、図19のようにグリッドのサイズを設定する設定ダイアログ33が表示される。この設定ダイアログ33により、ユーザはグリッドの一辺のサイズを任意に設定できる。
図18のように表示されるグリッド355は、このように設定されたサイズの枡を形成する格子パターンの画像とされる。
またグリッド355が表示されているときは、図示のように、計算ボタン71、プランニングコスト表示部72、選択面積表示部73、平均ポピュレーション表示部74、平均スタンドレート表示部75、リプラントコスト表示部76が現れる。
但し、特にグリッド355上のエリアが選択されていないときは、図18のように、これらにおいて具体的な数値の表示は行われない。
但し、特にグリッド355上のエリアが選択されていないときは、図18のように、これらにおいて具体的な数値の表示は行われない。
図20は、ユーザがグリッド表示チェックボックス26とレート表示チェックボックス25を共にチェックオンした場合を示している。
この場合マップ領域21には、スタンドレートによって色分けされたサンプルポジションマーク350とグリッド355が重ねて表示される。
これはユーザにとっては、グリッド355で定義された各エリアとサンプルポジションの関係を理解しやすい画像となる。
この場合マップ領域21には、スタンドレートによって色分けされたサンプルポジションマーク350とグリッド355が重ねて表示される。
これはユーザにとっては、グリッド355で定義された各エリアとサンプルポジションの関係を理解しやすい画像となる。
図21は、ユーザがグリッド表示チェックボックス26とマップ表示チェックボックス23を共にチェックオンした場合を示している。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにグリッド355が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、グリッド355で定義されたエリアを同時に確認できる画像となる。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、さらにグリッド355が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、グリッド355で定義されたエリアを同時に確認できる画像となる。
図22は、ユーザがグリッド表示チェックボックス26とマップ表示チェックボックス23とレート表示チェックボックス25を共にチェックオンした場合を示している。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、グリッド355が重ねて表示され、さらにスタンドレートによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、グリッド355で定義されたエリアと、サンプル位置を同時に確認できる画像となる。
この場合マップ領域21には、選択されているレートマップ(例えば指示レートマップ351)が表示され、グリッド355が重ねて表示され、さらにスタンドレートによって色分けされたサンプルポジションマーク350が重ねて表示される。
これはユーザにとっては、地区ごとに予定したポピュレーションと、グリッド355で定義されたエリアと、サンプル位置を同時に確認できる画像となる。
なお図示は省略するが、ユーザがグリッド表示チェックボックス26とマップ表示チェックボックス23とカウント表示チェックボックス24を共にチェックオンした場合は、レートマップとグリッド355と、ポピュレーションによって色分けされたサンプルポジションマーク350が重ねて表示されることになる。
また、ユーザがグリッド表示チェックボックス26とカウント表示チェックボックス24を共にチェックオンした場合は、グリッド355とポピュレーションによって色分けされたサンプルポジションマーク350が重ねて表示されることになる。
また、ユーザがグリッド表示チェックボックス26とカウント表示チェックボックス24を共にチェックオンした場合は、グリッド355とポピュレーションによって色分けされたサンプルポジションマーク350が重ねて表示されることになる。
また各場合において、カウント表示チェックボックス24とレート表示チェックボックス25を共にチェックオンすることもでき、その場合、サンプルポジションマーク350は、スタンドレートかポピュレーションのいずれかに応じた色とされる。
或いは、カウント表示チェックボックス24とレート表示チェックボックス25は同時にはチェックオンすることができないようにしてもよい。
或いは、カウント表示チェックボックス24とレート表示チェックボックス25は同時にはチェックオンすることができないようにしてもよい。
上述のようにグリッド355は、リプラントするエリアを指定する操作に用いられる。
図23はグリッド355を用いたリプラント候補エリアの指定操作を示している。例えばユーザがカーソル90により1つのエリアをクリック等することで、1つのリプラント候補エリアが選択される。その場合、図示のように、例えば当該エリアの枡が太線になるなどして選択状態になったことが示される。もちろん、色を変えたり、ハイライトさせたりして選択状態となっていることを示しても良い。
図24は、さらに近隣のエリアを順次クリック等で選択状態にした例を示している。
ユーザはこのように任意にエリアを選択し、リプラント候補エリアとすることができる。
また図25は、ユーザが別の8つのエリアをリプラント候補エリアとして選択した状態を示している。
図23はグリッド355を用いたリプラント候補エリアの指定操作を示している。例えばユーザがカーソル90により1つのエリアをクリック等することで、1つのリプラント候補エリアが選択される。その場合、図示のように、例えば当該エリアの枡が太線になるなどして選択状態になったことが示される。もちろん、色を変えたり、ハイライトさせたりして選択状態となっていることを示しても良い。
図24は、さらに近隣のエリアを順次クリック等で選択状態にした例を示している。
ユーザはこのように任意にエリアを選択し、リプラント候補エリアとすることができる。
また図25は、ユーザが別の8つのエリアをリプラント候補エリアとして選択した状態を示している。
1つ以上のエリア選択が行われた状態では、エリアの選択に応じて、選択面積表示部73、平均ポピュレーション表示部74、平均スタンドレート表示部75、リプラントコスト表示部76で具体的な数値の表示が行われる。
例えば図23のように、1つのエリアを選択した状態では、その選択状態に応じて選択面積表示部73、平均ポピュレーション表示部74、平均スタンドレート表示部75でそれぞれ数値が表示される。即ち選択面積表示部73で選択状態の面積、平均ポピュレーション表示部74で選択状態のエリアの平均ポピュレーションの値、平均スタンドレート表示部75で選択状態のエリアの平均スタンドレートが表示される。
図24のように複数のエリアを選択状態としたときには、これらの数値は複数のエリアに応じた値になる。
例えば図23のように、1つのエリアを選択した状態では、その選択状態に応じて選択面積表示部73、平均ポピュレーション表示部74、平均スタンドレート表示部75でそれぞれ数値が表示される。即ち選択面積表示部73で選択状態の面積、平均ポピュレーション表示部74で選択状態のエリアの平均ポピュレーションの値、平均スタンドレート表示部75で選択状態のエリアの平均スタンドレートが表示される。
図24のように複数のエリアを選択状態としたときには、これらの数値は複数のエリアに応じた値になる。
またプランニングコスト表示部72により、ユーザは、単位面積、例えば1エーカーあたりのリプラントコストを入力できる。
リプラントコスト表示部76では、例えば図25に示すように、1エーカーあたりのリプラントコストを基準として選択状態のエリアの面積に応じたリプラントコストが表示される。
この図23,図24,図25の表示例のように、ユーザのエリア選択により、リプラント候補エリアの総面積や平均ポピュレーション、平均スタンドレートが表示され、またコスト表示が行われることで、ユーザは、コスト等を確認しながらエリア選択を行っていくことができる。
リプラントコスト表示部76では、例えば図25に示すように、1エーカーあたりのリプラントコストを基準として選択状態のエリアの面積に応じたリプラントコストが表示される。
この図23,図24,図25の表示例のように、ユーザのエリア選択により、リプラント候補エリアの総面積や平均ポピュレーション、平均スタンドレートが表示され、またコスト表示が行われることで、ユーザは、コスト等を確認しながらエリア選択を行っていくことができる。
また計算ボタン71を操作した場合は、所定の計算ウインドウ(不図示)が表示され、地域、日時、現在のポピュレーション、目標のポピュレーションなどの各種条件を入力し、計算実行を指示することができる。これによりリプラントをすべきか否かが計算され、判定結果が表示される。
ユーザはこのような表示を参考にしてリプラント実行判断ができる。
ユーザはこのような表示を参考にしてリプラント実行判断ができる。
ROI生成ボタン32はリプラント候補エリアをリプラントするエリアとして確定させる際にユーザが操作するボタンとされる。
例えば図25のようにリプラント候補エリアを選択した状態で、リプラントを行いたい場合、ユーザはROI生成ボタン32を操作する。これによりリプラント候補エリアとされた1又は複数のエリアが、リプラントするエリアとして決定され、そのための指示ファイルが生成される。
その後、情報処理装置1が生成した指示ファイルをエクスポートし、トラクター270に受け渡すことで、トラクター270によるリプラント作業が実行可能となる。
例えば図25のようにリプラント候補エリアを選択した状態で、リプラントを行いたい場合、ユーザはROI生成ボタン32を操作する。これによりリプラント候補エリアとされた1又は複数のエリアが、リプラントするエリアとして決定され、そのための指示ファイルが生成される。
その後、情報処理装置1が生成した指示ファイルをエクスポートし、トラクター270に受け渡すことで、トラクター270によるリプラント作業が実行可能となる。
なお、図23,図24,図25の例では、グリッド355で示されるエリア(枡)を、ユーザが1つずつ選択していく操作を行うものとしたが、図26のように範囲指定により一括選択することができるようにしても良い。
例えばカーソル90を破線の位置(カーソル90P)からドラッグ操作することで、複数のエリアを指定できるようにする。このようにすることで、リプラント候補エリアの選択操作を容易化することができる。
また、UI画面にスライダーや入力枠などを用意し、閾値となるスタンドレートをユーザが入力することで、そのスタンドレートが閾値以下のエリアがリプラント候補エリアとして選択されるような操作手法も考えられる。
例えばカーソル90を破線の位置(カーソル90P)からドラッグ操作することで、複数のエリアを指定できるようにする。このようにすることで、リプラント候補エリアの選択操作を容易化することができる。
また、UI画面にスライダーや入力枠などを用意し、閾値となるスタンドレートをユーザが入力することで、そのスタンドレートが閾値以下のエリアがリプラント候補エリアとして選択されるような操作手法も考えられる。
<5.実施の形態の準備処理>
以上のようなUI画面を実現するための情報処理装置1の処理例を説明していく。
まずここでは、図5のステップS3の段階で行われる準備処理について図27で説明する。
図27は、情報処理装置1のCPU51が、サンプルとしての画像データを取り込んだ後に、その各サンプルについて実行する処理を示している。この処理はCPU51が図4に示した機能、主に算出部5としての機能を備えることで実現される。
以上のようなUI画面を実現するための情報処理装置1の処理例を説明していく。
まずここでは、図5のステップS3の段階で行われる準備処理について図27で説明する。
図27は、情報処理装置1のCPU51が、サンプルとしての画像データを取り込んだ後に、その各サンプルについて実行する処理を示している。この処理はCPU51が図4に示した機能、主に算出部5としての機能を備えることで実現される。
CPU51はステップS101で処理対象の画像データを特定する。即ち飛行体200に搭載された撮像装置220で空撮された画像の1つを処理対象として特定する。この場合の画像データは、RGB(赤、緑、青)カメラによるカラー画像データでもよいし、IR(近赤外)データ及びR(赤)データとしての画像データでもよい。またIR(近赤外)データ及びR(赤)データから求められる上述したNDVI画像データであってもよい。
ステップS102でCPU51は、処理対象とした画像データについてスタンド数を算出する処理を行う。即ち画像から作物部分を検出し、その作物の数をカウントする。
このスタンド数の算出処理の手法は各種考えられるが、例えば画像内でロウ301を検出し、ロウ301上に生えている植物を検出することが好適である。また作物はロウ301上である程度決まった間隔で並ぶため、その間隔も考慮してカウントすることが望ましい。このようなカウントを行うことで、雑草等に関わらず、比較的精度良くスタンド数をカウントできる。
このスタンド数の算出処理の手法は各種考えられるが、例えば画像内でロウ301を検出し、ロウ301上に生えている植物を検出することが好適である。また作物はロウ301上である程度決まった間隔で並ぶため、その間隔も考慮してカウントすることが望ましい。このようなカウントを行うことで、雑草等に関わらず、比較的精度良くスタンド数をカウントできる。
なお、スタンド数のカウント処理は、画像から作物と判定される部分を検出し、それをカウントすることになる。例えばRGBカメラで撮像した画像を用いる場合の検出手法としてはG画素検出が想定される。
作物は主に葉で構成され、葉は一般的に、緑色をしているので、RGBのカラー画像から緑色の領域を検出する。緑色の領域の検出については、例えば、画像中のある画素におけるRGBの各成分を比較して、G(緑)が一番高い画素のみを検出すればよい。
あるいは、RGBをHSVなどの明度、彩度、色相の空間に変換する。そして、色相値の緑色にある幅を持った領域を設けることによって、領域内の色相を持つ画素を検出してもよい。
作物は主に葉で構成され、葉は一般的に、緑色をしているので、RGBのカラー画像から緑色の領域を検出する。緑色の領域の検出については、例えば、画像中のある画素におけるRGBの各成分を比較して、G(緑)が一番高い画素のみを検出すればよい。
あるいは、RGBをHSVなどの明度、彩度、色相の空間に変換する。そして、色相値の緑色にある幅を持った領域を設けることによって、領域内の色相を持つ画素を検出してもよい。
また近赤外と赤を撮像した画像を用いる場合の検出手法としてNDVI画像に対する閾値検出の手法がある。
作物(植物)の分布を示す指数であるNDVIは近赤外と赤から計算され、±1の値域をとり、作物はNDVI値が高く、土壌などはNDVIが低い。そのためIRデータとRデータからNDVI画像を作成し、閾値処理によって作物部分の画素を検出し、それをカウントすればよい。
なお既にNDVI画像が存在する場合は、閾値処理によって作物部分の画素を検出すればよい。
これらのG画素検出やNDVI閾値検出により植物が検出できるが、その上で上述のようにロウ301の検出や作物の植え付け間隔を考慮することで、雑草を除いたカウントが可能となる。
作物(植物)の分布を示す指数であるNDVIは近赤外と赤から計算され、±1の値域をとり、作物はNDVI値が高く、土壌などはNDVIが低い。そのためIRデータとRデータからNDVI画像を作成し、閾値処理によって作物部分の画素を検出し、それをカウントすればよい。
なお既にNDVI画像が存在する場合は、閾値処理によって作物部分の画素を検出すればよい。
これらのG画素検出やNDVI閾値検出により植物が検出できるが、その上で上述のようにロウ301の検出や作物の植え付け間隔を考慮することで、雑草を除いたカウントが可能となる。
スタンド数をカウントしたら、CPU51はステップS103でポピュレーションを算出する。この場合、CPU51は処理対象の画像の撮像範囲の面積を求める。面積は撮像時の飛行体200の高度情報や撮像装置220の画角の情報から算出できる。撮像範囲の面積を求めたら、単位面積との比を求め、その比をスタンド数に乗算することで、ポピュレーションを算出する。もちろん単位面積については、画像認識をもちいて画像上の特定の長さと、実際の長さの比率から算出してもよい。
前述したように
前述したように
ステップS104でCPU51は、ポピュレーションの値に応じた表示態様設定を行う。これは、当該処理対象の画像データについての図9のようなポピュレーション表示の際のサンプルポジションマーク350の色を設定する処理となる。
ステップS105でCPU51は、マッピング設定を行う。即ち画像データに付随するタグ情報から緯度・経度の情報を読み出し、マップ領域21でサンプルポジションマーク350を表示させる位置として設定する。
ステップS105でCPU51は、マッピング設定を行う。即ち画像データに付随するタグ情報から緯度・経度の情報を読み出し、マップ領域21でサンプルポジションマーク350を表示させる位置として設定する。
ステップS106でCPU51は記憶処理を行う。即ち1つのサンプルとして処理対象とした画像データについて、スタンド数、ポピュレーションの値、サンプルポジションマーク350の色や表示位置の設定等を記憶する。
これにより、上述のUI画面で表示が求められたときに、ポピュレーションに応じたサンプルポジションマーク350の表示ができるようになる。
これにより、上述のUI画面で表示が求められたときに、ポピュレーションに応じたサンプルポジションマーク350の表示ができるようになる。
ステップS107でCPU51は、全てのサンプルにつき、以上の処理を完了したか否かを判定し、未処理のサンプルがあれば、ステップS101に戻って、未処理のサンプルについて同様の処理を行う。
全てのサンプルについて処理を終えたら、図27の準備処理を終了する。
なお、ここで言う「全てのサンプル」とは、1フライトで撮像された画像データの全てでも良いが、予め選定した必要なサンプルの全てであってもよい。例えば飛び始めや飛び終わりでは無用な画像データが撮像されていることもあり、またフライト過程で圃場300外に出てしまうことなどもある。そのような場合の画像データについてまで図27の処理を行う必要はない。
全てのサンプルについて処理を終えたら、図27の準備処理を終了する。
なお、ここで言う「全てのサンプル」とは、1フライトで撮像された画像データの全てでも良いが、予め選定した必要なサンプルの全てであってもよい。例えば飛び始めや飛び終わりでは無用な画像データが撮像されていることもあり、またフライト過程で圃場300外に出てしまうことなどもある。そのような場合の画像データについてまで図27の処理を行う必要はない。
図27の準備処理を行うことで、各サンプルについてのサンプルポジションマーク350を、マップ領域21で、ポピュレーションに応じた色で表示させることが可能となる。
<6.第1の実施の形態のユーザインタフェース処理>
続いて情報処理装置1が行うUI処理について図28から図35を用いて説明する。
図28,図29,図30,図31,図32はCPU51がUI制御部6の機能により行うUI処理、及びその過程での算出部5、ファイル生成部9、記録制御部7、通信制御部8の機能により行う処理を分割して示したものである。各図では「c1」から「c5」の記号によりフローチャートのつながりを示している。
そして、この図28から図32に示すUI処理は、図5のステップS4からステップSS6までの段階で行われる処理であって、図6から図27で説明したようなUI画面の表示とユーザ操作の対応を実現する処理である。
続いて情報処理装置1が行うUI処理について図28から図35を用いて説明する。
図28,図29,図30,図31,図32はCPU51がUI制御部6の機能により行うUI処理、及びその過程での算出部5、ファイル生成部9、記録制御部7、通信制御部8の機能により行う処理を分割して示したものである。各図では「c1」から「c5」の記号によりフローチャートのつながりを示している。
そして、この図28から図32に示すUI処理は、図5のステップS4からステップSS6までの段階で行われる処理であって、図6から図27で説明したようなUI画面の表示とユーザ操作の対応を実現する処理である。
情報処理装置1は図28のステップS200でUI画像の表示を開始する。例えばCPU51は図6のような表示を、表示部56等において実行させる。
なお、UI画像の表示開始時点では、前回のUI画像表示の際のチェックボックスのオン/オフ状態等に従って表示をさせるようにしてもよい。
なお、UI画像の表示開始時点では、前回のUI画像表示の際のチェックボックスのオン/オフ状態等に従って表示をさせるようにしてもよい。
CPU51は、UI画像の表示制御中はステップS201から図32のステップS219までの監視処理を繰り返し実行する。以下、図28のステップS201から図32のステップS219までの各監視処理を総称して「監視ループ」という。
図28のステップS201でCPU51は、UI表示終了の判定を行う。例えばCPU51は、ユーザによる終了操作、或いは何らかの終了トリガの発生に応じて、UI表示終了と判定し、ステップS230でUI画像の表示終了処理を行って一連のUI制御処理を終了する。
ステップS202でCPU51は、レートマップ選択操作を監視する。ユーザがマップ選択部22の操作を行ったことを検知したら、CPU51はステップS202からステップS231に進み、選択操作に対応する処理を行う。例えばマップ選択部22でのプルダウンメニュー表示や、選択操作の検出を行う。そしてユーザによるレートマップの現状からの変更の操作を検出した場合、CPU51はステップS232からステップS233に進み、選択状態のレートマップの変更処理を行う。例えばそれまで指示レートマップ351を選択状態としていたものを、実績レートマップ352の選択状態に切り替える。
ユーザがプルダウンメニュー表示の操作等を行っても、結局レートマップ変更指示をしなかった場合は、CPU51はステップS232から監視ループに戻る。
ユーザがプルダウンメニュー表示の操作等を行っても、結局レートマップ変更指示をしなかった場合は、CPU51はステップS232から監視ループに戻る。
ステップS203でCPU51は、レート計算ボタン31の操作を監視する。ユーザがレート計算ボタン31の操作を行ったことを検知したら、CPU51はステップS203からステップS240に進み、図11のように選択ダイアログ34の表示制御を行う。
選択ダイアログ34に対してユーザがキャンセル操作を行ったことを検知した場合は、CPU51はステップS241からステップS244に進み、選択ダイアログ34を終了させて監視ループに戻る。
選択ダイアログ34に対してユーザが基準とするレートマップを選択したうえでOK操作を行ったことを検知したら、CPU51はステップS242からステップS243に進み、レート計算処理を行う。
選択ダイアログ34に対してユーザがキャンセル操作を行ったことを検知した場合は、CPU51はステップS241からステップS244に進み、選択ダイアログ34を終了させて監視ループに戻る。
選択ダイアログ34に対してユーザが基準とするレートマップを選択したうえでOK操作を行ったことを検知したら、CPU51はステップS242からステップS243に進み、レート計算処理を行う。
このレート計算処理は、各サンプルについてのスタンドレートを求める処理となる。レート計算処理例を図33に示す。
CPU51はステップS301で計算対象のサンプル(画像データ)を特定する。これはサンプルポジションマーク350として表示されるサンプルの1つを計算処理の対象として特定する処理となる。
ステップS302でCPU51は、現在選択中とされているレートマップ(例えば指示レートマップ351又は実績レートマップ352のいずれか)から、計算対象としたサンプルの位置に応じたポピュレーションの値を取得し、これをターゲットポピュレーションとする。即ち当該サンプルの場所において予定されるポピュレーションである。
ステップS303でCPU51は、計算対象のサンプルについて準備処理で求めたポピュレーションと、ターゲットポピュレーションの値からスタンドレートを求める。
ステップS304でCPU51は、スタンドレートの値に応じた表示態様設定を行う。これは、当該処理対象の画像データについてのレート表示の際のサンプルポジションマーク350の色を設定する処理となる。
ステップS305でCPU51は記憶処理を行う。即ち1つのサンプルとして計算対象とした画像データについて、スタンドレートの値や、レート表示の際のサンプルポジションマーク350の色の設定等を記憶する。
ステップS306でCPU51は、計算すべき全てのサンプルにつき、以上の処理を完了したか否かを判定し、未処理のサンプルがあれば、ステップS301に戻って、未処理のサンプルについて同様の処理を行う。
必要な全てのサンプルについて処理を終えたら、図33のレート計算処理を終了する。
この時点で、各サンプルについて、スタンドレートに応じた色でサンプルポジションマーク350を表示させることが可能となる。つまり上述のUI画面で図10のようなレート表示が求められたときに、スタンドレートに応じたサンプルポジションマーク350の表示ができるようになる。
必要な全てのサンプルについて処理を終えたら、図33のレート計算処理を終了する。
この時点で、各サンプルについて、スタンドレートに応じた色でサンプルポジションマーク350を表示させることが可能となる。つまり上述のUI画面で図10のようなレート表示が求められたときに、スタンドレートに応じたサンプルポジションマーク350の表示ができるようになる。
図28のステップS243で以上のレート計算処理を行ったら、CPU51はステップS244に進み、選択ダイアログ34を終了させて監視ループに戻る。
図29のステップS204でCPU51は、グリッド生成ボタン30の操作を監視する。ユーザがグリッド生成ボタン30の操作を行ったことを検知したら、CPU51はステップS204からステップS250に進み、図19のように設定ダイアログ33の表示制御を行う。
設定ダイアログ33に対してユーザがキャンセル操作を行ったことを検知した場合は、CPU51はステップS251からステップS254に進み、設定ダイアログ33を終了させて監視ループに戻る。
設定ダイアログ33に対してユーザがグリッドのサイズの値を選択又は入力したうえでOK操作を行ったことを検知したら、CPU51はステップS252からステップS253に進み、グリッド設定処理を行う。
設定ダイアログ33に対してユーザがキャンセル操作を行ったことを検知した場合は、CPU51はステップS251からステップS254に進み、設定ダイアログ33を終了させて監視ループに戻る。
設定ダイアログ33に対してユーザがグリッドのサイズの値を選択又は入力したうえでOK操作を行ったことを検知したら、CPU51はステップS252からステップS253に進み、グリッド設定処理を行う。
このグリッド設定処理は、グリッド355の枡のサイズを設定して、圃場300を分割した各エリアを設定するとともに、各エリアのスタンドレートを求める処理となる。グリッド設定処理例を図34に示す。
CPU51はステップS401でグリッドサイズを設定する。即ち設定ダイアログ33でのユーザ入力に応じて格子のサイズを設定する。
ステップS402でCPU51は、計算対象のエリアを特定する。エリアとは、グリッド355の1つの枡で示される。そしてグリッド355としての格子により複数の枡が設定されるが、その1つを計算対象として特定することになる。
ステップS402でCPU51は、計算対象のエリアを特定する。エリアとは、グリッド355の1つの枡で示される。そしてグリッド355としての格子により複数の枡が設定されるが、その1つを計算対象として特定することになる。
ステップS403でCPU51は、補間処理により、計算対象のエリア(グリッド355の枡)のスタンドレートを算出する。
この算出には、例えばエリアに関連するサンプルを用いた逆距離加重法を用いることができる。
即ち計算対象としたエリアのレートについては、そのエリアに関連する画像データについてのスタンドレートを用い、逆距離加重法で算出する。
逆距離加重法で用いるサンプルの収集や計算に関してはいくつかの例が考えられる。
この算出には、例えばエリアに関連するサンプルを用いた逆距離加重法を用いることができる。
即ち計算対象としたエリアのレートについては、そのエリアに関連する画像データについてのスタンドレートを用い、逆距離加重法で算出する。
逆距離加重法で用いるサンプルの収集や計算に関してはいくつかの例が考えられる。
第1例としては、計算対象である一のエリアに関連するサンプル(画像データ)として、そのエリアの中心点から所定距離以内を撮像した画像データとすることが考えられる。
図35Aにグリッド355で定義されるエリアとして3つのエリアAR1,AR2,AR3を示している。今、エリアAR1がスタンドレートの計算対象であるとする。
エリアAR1の中心点から距離d1の範囲を円CCにより示した。また周辺の各サンプルをサンプルポジションマーク350X、350Y、350Zにより示している。
サンプルポジションマーク350X、350Y、350Zで示される円CC内のサンプルを、計算対象であるエリアAR1に関連するサンプルとする。これらのサンプルのスタンドレートを用いてエリアAR1のスタンドレートを計算する。
図35Aにグリッド355で定義されるエリアとして3つのエリアAR1,AR2,AR3を示している。今、エリアAR1がスタンドレートの計算対象であるとする。
エリアAR1の中心点から距離d1の範囲を円CCにより示した。また周辺の各サンプルをサンプルポジションマーク350X、350Y、350Zにより示している。
サンプルポジションマーク350X、350Y、350Zで示される円CC内のサンプルを、計算対象であるエリアAR1に関連するサンプルとする。これらのサンプルのスタンドレートを用いてエリアAR1のスタンドレートを計算する。
第2例としては、計算対象である一のエリアに関連するサンプル(画像データ)として、そのエリアの中心点から近い順の所定数(例えば3つ)の画像データとすることが考えられる。
図35Bは、計算対象であるエリアAR1の中心点から距離が近い順の3つのサンプル(サンプルポジションマーク350X、350Y、350Z)を示している。これらのサンプルのスタンドレートを用いてエリアAR1のスタンドレートを計算する。
図35Bは、計算対象であるエリアAR1の中心点から距離が近い順の3つのサンプル(サンプルポジションマーク350X、350Y、350Z)を示している。これらのサンプルのスタンドレートを用いてエリアAR1のスタンドレートを計算する。
第3例は、第1例や第2例によるサンプルを用いるのであるが、特定のサンプルに重みを付ける例である。
即ち、計算対象とした一のエリアに関連する画像データのうちで、一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域を撮像した画像データについてのレートに重み付けをして補間演算を行うようにする。
図35Cでは、例えば図35Bの画像に指示レートマップ351を重ねて示している。ここで、エリアAR1と、サンプルポジションマーク350Xで示すサンプルは、指示レートマップ351で示される植え付け指示数が同じである。
そこで、サンプルポジションマーク350X、350Y、350Zで示す各サンプルのスタンドレートを用いるのであるが、サンプルポジションマーク350Xのサンプルのスタンドレートには重み付けをしてエリアAR1のスタンドレートを算出する。
即ち、計算対象とした一のエリアに関連する画像データのうちで、一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域を撮像した画像データについてのレートに重み付けをして補間演算を行うようにする。
図35Cでは、例えば図35Bの画像に指示レートマップ351を重ねて示している。ここで、エリアAR1と、サンプルポジションマーク350Xで示すサンプルは、指示レートマップ351で示される植え付け指示数が同じである。
そこで、サンプルポジションマーク350X、350Y、350Zで示す各サンプルのスタンドレートを用いるのであるが、サンプルポジションマーク350Xのサンプルのスタンドレートには重み付けをしてエリアAR1のスタンドレートを算出する。
図34のステップS403では、CPU51は例えば以上のような例で補間演算を行い、対象としているエリアについてのスタンドレートを逆距離加重法で算出する。
ステップS404でCPU51は、算出したスタンドレートの値に応じた表示態様設定を行う。これは、グリッド355を表示する際の当該計算対象のエリアの色を設定する処理となる。
ステップS405でCPU51は記憶処理を行う。即ちグリッドサイズや、計算対象としたエリアの色の設定等を記憶する。
ステップS406でCPU51は、計算すべき全てのエリアにつき、スタンドレート計算を完了したか否かを判定し、未計算のエリアがあれば、ステップS402に戻って、未処理のエリアについて同様の処理を行う。
グリッド355の全てのエリアについて処理を終えたら、図34のグリッド設定処理を終了する。この時点で、図18のようにエリア毎に色分けしたグリッド355の表示が可能となる。
グリッド355の全てのエリアについて処理を終えたら、図34のグリッド設定処理を終了する。この時点で、図18のようにエリア毎に色分けしたグリッド355の表示が可能となる。
図29のステップS253で以上のグリッド設定処理を行ったら、CPU51はステップS254に進み、設定ダイアログ33を終了させて監視ループに戻る。
ステップS205でCPU51は、拡大縮小ボタン28による拡大又は縮小操作を監視する。ユーザが拡大操作又は縮小操作を行ったことを検知したら、CPU51はステップS205からステップS261に進み、マップ領域21での地図画像の表示の拡大又は縮小の制御を行う。そして監視ループに戻る。
なお、マップ領域21で地図画像上にレートマップ、サンプルポジションマーク350、或いはグリッド355を表示させている場合は、それらも地図画像に合わせて拡大又は縮小させることになる。
なお、マップ領域21で地図画像上にレートマップ、サンプルポジションマーク350、或いはグリッド355を表示させている場合は、それらも地図画像に合わせて拡大又は縮小させることになる。
ステップS206でCPU51は、マップ領域21でのドラッグ操作など、地図をスクロールさせる操作を監視する。ユーザがスクロール操作を行ったことを検知したら、CPU51はステップS206からステップS262に進み、マップ領域21での地図画像のスクロールを行う。そして監視ループに戻る。
なお、マップ領域21で地図画像上にレートマップ、サンプルポジションマーク350、或いはグリッド355を表示させている場合は、それらも地図画像に合わせて移動させることになる。
なお、マップ領域21で地図画像上にレートマップ、サンプルポジションマーク350、或いはグリッド355を表示させている場合は、それらも地図画像に合わせて移動させることになる。
図30のステップS207でCPU51は、マップ表示チェックボックス23のチェックオン操作の監視を行う。ユーザがチェックオン操作を行ったことを検知したら、CPU51はステップS207からステップS263に進み、マップ領域21に、現在選択中とされているレートマップ(例えば指示レートマップ351又は実績レートマップ352のいずれか)を表示させる制御を行う。そして監視ループに戻る。
ステップS208でCPU51は、マップ表示チェックボックス23のチェックオフ操作の監視を行う。ユーザがチェックオフ操作を行ったことを検知したら、CPU51はステップS208らステップS264に進み、マップ領域21上でのレートマップの表示を終了させる制御を行う。そして監視ループに戻る。
ステップS209でCPU51は、カウント表示チェックボックス24のチェックオン操作の監視を行う。ユーザがチェックオン操作を行ったことを検知したら、CPU51はステップS209からステップS265に進み、マップ領域21に、ポピュレーションによって色設定されたサンプルポジションマーク350を表示させる制御を行う。そして監視ループに戻る。
ステップS210でCPU51は、カウント表示チェックボックス24のチェックオフ操作の監視を行う。ユーザがチェックオフ操作を行ったことを検知したら、CPU51はステップS210からステップS266に進み、マップ領域21でのポピュレーションによって色設定されたサンプルポジションマーク350の表示を終了させる制御を行う。そして監視ループに戻る。
ステップS211でCPU51は、レート表示チェックボックス25のチェックオン操作の監視を行う。ユーザがチェックオン操作を行ったことを検知したら、CPU51はステップS211からステップS267に進み、マップ領域21に、スタンドレートによって色設定されたサンプルポジションマーク350を表示させる制御を行う。そして監視ループに戻る。
ステップS212でCPU51は、レート表示チェックボックス25のチェックオフ操作の監視を行う。ユーザがチェックオフ操作を行ったことを検知したら、CPU51はステップS212からステップS268に進み、マップ領域21でのスタンドレートによって色設定されたサンプルポジションマーク350の表示を終了させる制御を行う。そして監視ループに戻る。
図31のステップS213でCPU51は、グリッド表示チェックボックス26のチェックオン操作の監視を行う。ユーザがチェックオン操作を行ったことを検知したら、CPU51はステップS213からステップS269に進み、マップ領域21に、グリッド355を表示させる制御を行う。この場合、グリッド355の各エリアは、上述の図34のグリッド設定処理で色設定された状態で表示されるようにする。そして監視ループに戻る。
なお、グリッド355の表示は、先にグリッド設定処理が行われていることが必要になる。そこで、ユーザがグリッド生成ボタン30を操作する前にグリッド表示チェックボックス26のチェックオン操作を行っても、それを無効とすることが考えられる。
なお、グリッド355の表示は、先にグリッド設定処理が行われていることが必要になる。そこで、ユーザがグリッド生成ボタン30を操作する前にグリッド表示チェックボックス26のチェックオン操作を行っても、それを無効とすることが考えられる。
ステップS214でCPU51は、グリッド表示チェックボックス26のチェックオフ操作の監視を行う。ユーザがチェックオフ操作を行ったことを検知したら、CPU51はステップS214からステップS270に進み、マップ領域21でのグリッド355の表示を終了させる制御を行う。そして監視ループに戻る。
ステップS215でCPU51は、表示されているサンプルポジションマーク350のいずれかが指定(クリック等)される操作の監視を行う。
あるサンプルポジションマーク350が指定される操作を検知したら、CPU51はステップS215からステップS271に進み、そのサンプルポジションマーク350の詳細表示を行うように制御する。例えば図15や図17で例示したように、ポピュレーション表示部35、スタンドレート表示部36で詳細な数値を表示させ、サンプル画像表示部37で、そのサンプルポジションマーク350に対応する画像を表示させる。そして監視ループに戻る。
あるサンプルポジションマーク350が指定される操作を検知したら、CPU51はステップS215からステップS271に進み、そのサンプルポジションマーク350の詳細表示を行うように制御する。例えば図15や図17で例示したように、ポピュレーション表示部35、スタンドレート表示部36で詳細な数値を表示させ、サンプル画像表示部37で、そのサンプルポジションマーク350に対応する画像を表示させる。そして監視ループに戻る。
図15や図17のようにサンプル画像表示部37で画像が表示されている場合、ユーザが画像を指定する操作を行う場合がある。CPU51はステップS216で、画像指定の操作を監視する。
ある画像が指定される操作を検知したら、CPU51はステップS216からステップS272に進み、図16のように、その指定された画像の拡大表示を行うように制御する。
画像拡大表示中は、CPU51は終了ボタン45の操作を監視し、終了ボタン45の操作を検知したら、ステップS273から監視ループに戻る。
ある画像が指定される操作を検知したら、CPU51はステップS216からステップS272に進み、図16のように、その指定された画像の拡大表示を行うように制御する。
画像拡大表示中は、CPU51は終了ボタン45の操作を監視し、終了ボタン45の操作を検知したら、ステップS273から監視ループに戻る。
ステップS217でCPU51は、グリッド355のエリア選択操作を監視する。例えば図25、図26で説明したようなエリアのクリックの操作や、図28で説明したような範囲指定の操作である。或いは、他の何らかの選択操作でも良い。
エリアを選択する操作を検知したら、CPU51はステップS217からステップS280に進み、選択対応表示として、選択状態とされたことを提示する表示を実行させる。例えば図25のようにエリアの枠を太線で表示させるなどである。
ステップS281でCPU51は、当該指定されたエリアをリプラント候補エリアと一時的に設定する。
エリアを選択する操作を検知したら、CPU51はステップS217からステップS280に進み、選択対応表示として、選択状態とされたことを提示する表示を実行させる。例えば図25のようにエリアの枠を太線で表示させるなどである。
ステップS281でCPU51は、当該指定されたエリアをリプラント候補エリアと一時的に設定する。
ステップS282でCPU51は、リプラント関連値の計算を行う。例えば選択面積表示部73、平均ポピュレーション表示部74、平均スタンドレート表示部に表示する数値の計算や、プランニングコスト表示部72の入力に応じたリプラントコスト表示部76に表示するコスト値の計算などを行う。また計算ボタン71に応じたウインドウ表示や計算等も行う。
ステップS283でCPU51はこれらの計算結果の表示制御を行う。そして監視ループに戻る。
ステップS283でCPU51はこれらの計算結果の表示制御を行う。そして監視ループに戻る。
図32のステップS218でCPU51は、ROI生成ボタン32の操作を監視する。ROI生成ボタン32の操作を検知したら、CPU51はステップS218からステップS290に進み、リプラントエリアの指示データを含む指示ファイルを生成する。
これは、その時点でリプラント候補エリアと設定されている1又は複数のエリアを、リプラントするエリアであると確定し、そのリプラント実行のためのトラクター270への指示ファイルを生成する処理である。
ステップS291でCPU51は、生成した指示ファイルを保存する処理を行う。そして監視ループに戻る。
これは、その時点でリプラント候補エリアと設定されている1又は複数のエリアを、リプラントするエリアであると確定し、そのリプラント実行のためのトラクター270への指示ファイルを生成する処理である。
ステップS291でCPU51は、生成した指示ファイルを保存する処理を行う。そして監視ループに戻る。
ステップS219でCPU51は、エクスポート操作を監視する。所定のエクスポート操作を検知したら、CPU51はステップS219からステップS292に進み、指示ファイルの出力処理を行う。例えばトラクター270へ受け渡すための出力処理である。そして監視ループに戻る。
以上の処理が行われることで、上述したUI画像の表示によるユーザへの情報提供が実行され、またユーザの操作に応じたリプラントのための指示ファイル生成が行われることになる。
なお以上の処理例は一例であり、他の処理例も考えられる。また説明の都合上、UI画面及び操作検出についての全ての処理を示したものではなく、実際には他の処理も行われる。
なお以上の処理例は一例であり、他の処理例も考えられる。また説明の都合上、UI画面及び操作検出についての全ての処理を示したものではなく、実際には他の処理も行われる。
<7.第2の実施の形態のユーザインタフェース処理>
第2の実施の形態として、グリッド355においてリプラントするエリアのレコメンデーションを行う例を説明する。
例えばグリッド355を表示させる際に、図36に示すようにリプラントの推奨エリア360を提示するようにする。
例えばCPU51は、スタンドレートが低いエリア、或いはスタンドレートが低くある程度かたまったエリアなどを判定しておき、グリッド355を表示する際に、ユーザに対してリプラントを勧めるエリアとして推奨エリア360を表示させる。
第2の実施の形態として、グリッド355においてリプラントするエリアのレコメンデーションを行う例を説明する。
例えばグリッド355を表示させる際に、図36に示すようにリプラントの推奨エリア360を提示するようにする。
例えばCPU51は、スタンドレートが低いエリア、或いはスタンドレートが低くある程度かたまったエリアなどを判定しておき、グリッド355を表示する際に、ユーザに対してリプラントを勧めるエリアとして推奨エリア360を表示させる。
この場合CPU51は、例えば上述の図31に変えて図37の処理を行う。即ちステップS269の処理の後にステップS275の処理を行うようにする。
CPU51はステップS275の処理で、リプラント推奨エリアを設定し、これをグリッド355上で推奨エリア360として明示する表示をさせる制御を行う。
例えばスタンドレートが所定値以下のエリアを、リプラントを推奨するエリアとする。或いはスタンドレートが所定値以下のエリアが所定数以上隣接していた場合、それらのエリアを、リプラントを推奨するエリアとする。
なお、この推奨エリアの設定は、例えば図34のグリッド設定処理を行う際に実行しておいてもよい。
CPU51はステップS275の処理で、リプラント推奨エリアを設定し、これをグリッド355上で推奨エリア360として明示する表示をさせる制御を行う。
例えばスタンドレートが所定値以下のエリアを、リプラントを推奨するエリアとする。或いはスタンドレートが所定値以下のエリアが所定数以上隣接していた場合、それらのエリアを、リプラントを推奨するエリアとする。
なお、この推奨エリアの設定は、例えば図34のグリッド設定処理を行う際に実行しておいてもよい。
推奨エリア360を提示することで、ユーザはグリッド355を表示させた際に、リプラントすべきエリアを確認でき、リプラント判断が容易となる。
<8.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、圃場300を撮像した画像データから作物の生育に関するレート(例えばスタンドレート)を算出する算出部5と、UI画面のマップ領域21で、各画像データの撮像位置に応じて配置されるサンプルポジションマーク350を、各画像データから算出されたレートに応じて決定される画像態様(例えばレートに応じて決定される色)で表示させる制御を行うUI制御部6を備えている。
例えば図10や図13のようにレート表示チェックボックス25がチェックされてレート表示が行われる場合、マップ領域21上で、サンプルポジションを示すサンプルポジション画像が表示されるが、各サンプルポジション画像が、それらの撮像範囲を含むエリアについて算出されたスタンドレートによって異なる色で表示される。
これによりユーザ(例えば農場のスタッフ)は、圃場300の各サンプルポジション近辺の発芽や生育の状態を明確且つ容易に知ることができる。これはリプラントの判断に極めて有用な情報となる。
なお上記例ではサンプルポジション画像を円形のサンプルポジションマーク350とし、スタンドレートにより色が異なるものとしたが、スタンドレートによりマーク形状が正方形/三角形/円形等で異なるようにしてもよい。また、同じマーク形状であってもスタンドレートにより輝度が異なるようにしてもよい。もちろんスタンドレートに応じて色、輝度、形状が複合的に異なる画像態様としてもよい。
また上記例ではスタンドレートに応じて3段階に分けて表示させたが、2段階、或いは4段階以上に分け、各サンプルポジション画像を、異なる画像態様で表示させるようにしてもよい。
作物の生育に関するレートとしてスタンドレートの例を挙げたが、レートの例はこれに限られない。例えば開花率、成長率、陽葉率(日の当たる葉の面積の割合)など、作物の種別や生育環境、植え付け環境などに応じた多様なレート算出及びそれを表現する表示態様が考えられる。
なお圃場300としては、野外農地の耕作地のみでなく、水耕栽培やハウス栽培などの用地であってもよく、各種の場所で生育される作物に関する情報提示に、実施の形態の技術を用いることができる。
また実施の形態の技術は作物以外にも、例えば果実の木々、雑草などの生育に関するセンシング結果の提示などにも用いることができる。従って森林、空き地などに対するリモートセンシングに適用することもできる。
センシングデータの例としては撮像装置220による撮像画像データであるとしたが、もちろんこれに限らず、サーモセンサによる検出データ、超音波センサによる検出データ等、各種のセンサの検出データが想定される。
さらに実施の形態の技術は、植物に限らず圃場300等の土壌の質のセンシングなどにも応用することができる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、圃場300を撮像した画像データから作物の生育に関するレート(例えばスタンドレート)を算出する算出部5と、UI画面のマップ領域21で、各画像データの撮像位置に応じて配置されるサンプルポジションマーク350を、各画像データから算出されたレートに応じて決定される画像態様(例えばレートに応じて決定される色)で表示させる制御を行うUI制御部6を備えている。
例えば図10や図13のようにレート表示チェックボックス25がチェックされてレート表示が行われる場合、マップ領域21上で、サンプルポジションを示すサンプルポジション画像が表示されるが、各サンプルポジション画像が、それらの撮像範囲を含むエリアについて算出されたスタンドレートによって異なる色で表示される。
これによりユーザ(例えば農場のスタッフ)は、圃場300の各サンプルポジション近辺の発芽や生育の状態を明確且つ容易に知ることができる。これはリプラントの判断に極めて有用な情報となる。
なお上記例ではサンプルポジション画像を円形のサンプルポジションマーク350とし、スタンドレートにより色が異なるものとしたが、スタンドレートによりマーク形状が正方形/三角形/円形等で異なるようにしてもよい。また、同じマーク形状であってもスタンドレートにより輝度が異なるようにしてもよい。もちろんスタンドレートに応じて色、輝度、形状が複合的に異なる画像態様としてもよい。
また上記例ではスタンドレートに応じて3段階に分けて表示させたが、2段階、或いは4段階以上に分け、各サンプルポジション画像を、異なる画像態様で表示させるようにしてもよい。
作物の生育に関するレートとしてスタンドレートの例を挙げたが、レートの例はこれに限られない。例えば開花率、成長率、陽葉率(日の当たる葉の面積の割合)など、作物の種別や生育環境、植え付け環境などに応じた多様なレート算出及びそれを表現する表示態様が考えられる。
なお圃場300としては、野外農地の耕作地のみでなく、水耕栽培やハウス栽培などの用地であってもよく、各種の場所で生育される作物に関する情報提示に、実施の形態の技術を用いることができる。
また実施の形態の技術は作物以外にも、例えば果実の木々、雑草などの生育に関するセンシング結果の提示などにも用いることができる。従って森林、空き地などに対するリモートセンシングに適用することもできる。
センシングデータの例としては撮像装置220による撮像画像データであるとしたが、もちろんこれに限らず、サーモセンサによる検出データ、超音波センサによる検出データ等、各種のセンサの検出データが想定される。
さらに実施の形態の技術は、植物に限らず圃場300等の土壌の質のセンシングなどにも応用することができる。
実施の形態では、スタンドレートは、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とする例を挙げた。
指示レートマップ351として、圃場300内の場所毎の1エーカーあたりの植え付け指示数の情報が存在する場合、作物の生育に関するレートとして、単位面積あたりの植え付け指示数に対する単位面積あたりのスタンド数のレートを求めることができる。
これをスタンドレートとすることで、圃場300の各場所での、農場スタッフの当初の目論見に対する発芽/生長したレートをUI画面で確認できるようになる。
指示レートマップ351として、圃場300内の場所毎の1エーカーあたりの植え付け指示数の情報が存在する場合、作物の生育に関するレートとして、単位面積あたりの植え付け指示数に対する単位面積あたりのスタンド数のレートを求めることができる。
これをスタンドレートとすることで、圃場300の各場所での、農場スタッフの当初の目論見に対する発芽/生長したレートをUI画面で確認できるようになる。
実施の形態では、スタンドレートは、画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とする例を挙げた。
実績レートマップとして、圃場300内の場所毎の1エーカーあたりの植え付け実績数の情報が存在する場合、作物の生育に関するレートとして、単位面積あたりの植え付け実績数に対する単位面積あたりのスタンド数のレートを求めることができる。
これをスタンドレートとすることで、圃場300の各場所での、植え付け実績数に対する発芽/生長したレートをUI画面で確認できるようになる。
実績レートマップとして、圃場300内の場所毎の1エーカーあたりの植え付け実績数の情報が存在する場合、作物の生育に関するレートとして、単位面積あたりの植え付け実績数に対する単位面積あたりのスタンド数のレートを求めることができる。
これをスタンドレートとすることで、圃場300の各場所での、植え付け実績数に対する発芽/生長したレートをUI画面で確認できるようになる。
実施の形態では、スタンドレートを、画像データから求められる単位面積あたりの作物数とその画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とするか、画像データから求められる単位面積あたりの作物数とその画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とするか、を選択可能とする例を挙げた。
即ちレートの基準となる値を、指示レートマップ351による植え付け指示数とするか、実績レートマップ352による植え付け実績数とするかを、選択できるようにした。
ユーザは、指示レートマップ351と実績レートマップ352を選択してマップ領域21に表示させたり(図7,図8参照)、レート計算の基準としたりすることができる。つまりユーザの目的に応じて算出するレートの基準を選ぶことができる。
即ちレートの基準となる値を、指示レートマップ351による植え付け指示数とするか、実績レートマップ352による植え付け実績数とするかを、選択できるようにした。
ユーザは、指示レートマップ351と実績レートマップ352を選択してマップ領域21に表示させたり(図7,図8参照)、レート計算の基準としたりすることができる。つまりユーザの目的に応じて算出するレートの基準を選ぶことができる。
実施の形態では、UI制御部6は、マップ領域21で、圃場300内におけるスタンドレートの算出に用いる値の異同を提示するレートマップ画像を、サンプルポジションマーク350とともに表示させる制御を行う例を述べた。
例えば図12や図13のように、指示レートマップ351又は実績レートマップ352とともにサンプルポジションマーク350を表示させることで、ユーザはレートマップで示される各領域を認識しながら、ポピュレーション状況やスタンドレート状況を、サンプルポジションマーク350により確認できる。従って圃場300の各場所での生育状況を把握し易い情報提示が行われるものとなる。
例えば図12や図13のように、指示レートマップ351又は実績レートマップ352とともにサンプルポジションマーク350を表示させることで、ユーザはレートマップで示される各領域を認識しながら、ポピュレーション状況やスタンドレート状況を、サンプルポジションマーク350により確認できる。従って圃場300の各場所での生育状況を把握し易い情報提示が行われるものとなる。
実施の形態では、UI制御部6は、マップ領域21で、圃場300内を分割したエリアを定義するエリア定義画像としてグリッド355を表示させる制御を行う例を述べた。
例えば図18、図20、図21等のように、エリア定義画像として、格子パターン状のグリッド355が表示される。これにより格子で仕切られた範囲(格子の枡)として、圃場300を分割した各エリアがユーザに提示される。
なお上記例では、エリア定義画像をグリッドパターン画像(格子状の画像)とし、格子の枡として正方形のエリアが定義される例としたが、三角形、長方形、5角形以上の多角形、或いは曲線を有する形状として、エリアが定義されるような画像でもよい。
例えば図18、図20、図21等のように、エリア定義画像として、格子パターン状のグリッド355が表示される。これにより格子で仕切られた範囲(格子の枡)として、圃場300を分割した各エリアがユーザに提示される。
なお上記例では、エリア定義画像をグリッドパターン画像(格子状の画像)とし、格子の枡として正方形のエリアが定義される例としたが、三角形、長方形、5角形以上の多角形、或いは曲線を有する形状として、エリアが定義されるような画像でもよい。
実施の形態では、UI制御部6は、グリッド355で示される各エリアは、そのエリアについて算出されたレートに応じて決定される画像態様で表示されるようにする制御を行う例を述べた。
例えば図18、図20、図21等のように、グリッド355の各枡(つまり各エリア)は、そのエリアについて算出されたレートに応じた色で表示される。これによりユーザは、各エリアの発芽等の状態を明確且つ容易に知ることができる。これはリプラントする箇所を検討する際に極めて有用な情報となる。即ちユーザは、グリッド355を用いて、リプラントの構想を練ることができる。
なおグリッド355の画像態様として、枡で示される各エリアがレートにより色が異なるようにしたが、色によってレートを提示する画像態様に限られない。例えば枡や輪郭線の輝度を異なるようにすることや、枡の輪郭線の種類や色を異なるようにすることも考えられる。
また上記例では、枡の色をレートに応じて3段階に分けて表示させたが、2段階、或いは4段階以上に分け、各エリアが異なる画像態様で表示されるようにしても。
例えば図18、図20、図21等のように、グリッド355の各枡(つまり各エリア)は、そのエリアについて算出されたレートに応じた色で表示される。これによりユーザは、各エリアの発芽等の状態を明確且つ容易に知ることができる。これはリプラントする箇所を検討する際に極めて有用な情報となる。即ちユーザは、グリッド355を用いて、リプラントの構想を練ることができる。
なおグリッド355の画像態様として、枡で示される各エリアがレートにより色が異なるようにしたが、色によってレートを提示する画像態様に限られない。例えば枡や輪郭線の輝度を異なるようにすることや、枡の輪郭線の種類や色を異なるようにすることも考えられる。
また上記例では、枡の色をレートに応じて3段階に分けて表示させたが、2段階、或いは4段階以上に分け、各エリアが異なる画像態様で表示されるようにしても。
実施の形態では、算出部5は、グリッド355で示される各エリアのレートを、そのエリアに関連する画像データについての作物の生育に関するレートを用いた補間演算により算出する例を述べた(図34参照)。
エリア定義画像としてのグリッド355がスタンドレートに応じて例えば色分け表示されることで、各エリアの生育状況が一目で認識できるようになるが、そのスタンドレートは、関連するサンプル(画像データ等のセンシングデータ)についてのレートを用いて求めることができる。これにより、各サンプルの撮像領域とグリッド355により分割設定されたエリアが完全に一致していなくても、グリッド355で示される各エリアについて精度のよいレート表現を行うことができる。
またこれによれば、各サンプルとしての画像データは、圃場300内を離散的に撮像した画像データでもよいということになる。つまり圃場300内をくまなく撮像する必要ななく、離散的な撮像でよいため、フライト時の処理負担の削減、画像データ(サンプル)の数の削減によるデータ量の削減、これらによる処理の効率化を実現できる。
エリア定義画像としてのグリッド355がスタンドレートに応じて例えば色分け表示されることで、各エリアの生育状況が一目で認識できるようになるが、そのスタンドレートは、関連するサンプル(画像データ等のセンシングデータ)についてのレートを用いて求めることができる。これにより、各サンプルの撮像領域とグリッド355により分割設定されたエリアが完全に一致していなくても、グリッド355で示される各エリアについて精度のよいレート表現を行うことができる。
またこれによれば、各サンプルとしての画像データは、圃場300内を離散的に撮像した画像データでもよいということになる。つまり圃場300内をくまなく撮像する必要ななく、離散的な撮像でよいため、フライト時の処理負担の削減、画像データ(サンプル)の数の削減によるデータ量の削減、これらによる処理の効率化を実現できる。
実施の形態では、補間演算でスタンドレートを参照する、計算対象の一のエリアに関連するセンシングデータは、当該一のエリアの中心点から所定距離以内を撮像した画像データとする例を述べた(図35A参照)。
グリッド355の枡で示される各エリアのスタンドレートは、そのエリアの中心点から所定距離d1内の全てのサンプルポジション画像のスタンドレートから補間演算を行って算出することで、精度のよいスタンドレートを算出できる。
グリッド355の枡で示される各エリアのスタンドレートは、そのエリアの中心点から所定距離d1内の全てのサンプルポジション画像のスタンドレートから補間演算を行って算出することで、精度のよいスタンドレートを算出できる。
実施の形態では、補間演算でスタンドレートを参照する、計算対象の一のエリアに関連するセンシングデータは、撮像領域が当該一のエリアの中心点から近い順の所定数の画像データとする例を述べた(図35B参照)。
グリッド355の枡で示される各エリアのスタンドレートは、そのエリアの中心点から近い順の所定数のサンプルのスタンドレートから補間演算を行って算出することで、精度のよいスタンドレートを算出できる。また、この場合、算出に用いるサンプルを必ず所定数確保できる。
グリッド355の枡で示される各エリアのスタンドレートは、そのエリアの中心点から近い順の所定数のサンプルのスタンドレートから補間演算を行って算出することで、精度のよいスタンドレートを算出できる。また、この場合、算出に用いるサンプルを必ず所定数確保できる。
実施の形態では、算出部5は、計算対象の一のエリアに関連するセンシングデータ(画像データ)のうちで、一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域を撮像したセンシングデータ(画像データ)についてのレートに重み付けをして補間演算を行う例を述べた(図35C参照)。
植え付け指示数もしくは植え付け実績数が同じである領域を撮像した画像データは、レートを計算するエリアと条件が近似しているため、その画像データについてのレートは、当該エリアのレートに近いことが予想される。そこで、重み付けを行うことで、エリアのレート算出を、より精度の高いものとすることができる。
植え付け指示数もしくは植え付け実績数が同じである領域を撮像した画像データは、レートを計算するエリアと条件が近似しているため、その画像データについてのレートは、当該エリアのレートに近いことが予想される。そこで、重み付けを行うことで、エリアのレート算出を、より精度の高いものとすることができる。
実施の形態では、UI制御部6は、グリッド355の設定操作を行うためのインタフェース制御を行う例を述べた。
例えば図19の設定ダイアログ33を提示して、ユーザがエリア定義画像であるグリッド355の枡の一辺のサイズを指定できるようにしている。これによりユーザの都合に応じたエリア設定が可能となり、リプラント計画に適したグリッド355の表示ができる。
例えば図19の設定ダイアログ33を提示して、ユーザがエリア定義画像であるグリッド355の枡の一辺のサイズを指定できるようにしている。これによりユーザの都合に応じたエリア設定が可能となり、リプラント計画に適したグリッド355の表示ができる。
実施の形態では、UI制御部6は、グリッド355で定義される各エリアについて、リプラント候補エリアとして指定操作を行うためのインタフェース制御を行う例を述べた。
例えば図23から図26で説明したように、グリッド355の枡を指定したり、範囲指定をしたりすることで、リプラント候補エリア候補が設定できる。
ユーザは、各エリアについて色などによるレート提示を確認しながら、リプラント箇所を選んでいくことができ、リプラント構想に適したインタフェースを実現できる。
例えば図23から図26で説明したように、グリッド355の枡を指定したり、範囲指定をしたりすることで、リプラント候補エリア候補が設定できる。
ユーザは、各エリアについて色などによるレート提示を確認しながら、リプラント箇所を選んでいくことができ、リプラント構想に適したインタフェースを実現できる。
実施の形態では、UI制御部6は、グリッド355で定義される各エリアについて、リプラント候補エリアとして指定操作を行うためのインタフェース制御を行うとともに、リプラント候補エリアの指定操作が行われることに応じて、リプラントに関するコスト情報を提示する制御を行う例を述べた。
例えば図23から図26で説明したように、リプラント候補エリアを検討する際に、コスト表示が行われる。これによりユーザは、リプラントの範囲や実行有無を、コストを参照しながら考えることができる。情報処理装置1はユーザに対して、リプラントを考慮する際に極めて有用な情報提供ができることになる。
例えば図23から図26で説明したように、リプラント候補エリアを検討する際に、コスト表示が行われる。これによりユーザは、リプラントの範囲や実行有無を、コストを参照しながら考えることができる。情報処理装置1はユーザに対して、リプラントを考慮する際に極めて有用な情報提供ができることになる。
実施の形態では、UI制御部6は、グリッド355で定義される各エリアを個別にリプラント候補エリアとして指定可能とするインタフェース制御を行う例を述べた。
例えば図23、図24で説明したように、グリッド355の枡を指定することで、リプラントするエリアを選択していくことができ、リプラントする範囲を考える作業に適している。
例えば図23、図24で説明したように、グリッド355の枡を指定することで、リプラントするエリアを選択していくことができ、リプラントする範囲を考える作業に適している。
実施の形態では、UI制御部6は、グリッド355の画像上で範囲指定操作により、複数のエリアをリプラント候補エリアとして指定可能とするインタフェース制御を行う例を述べた。
例えば図26で説明したように範囲指定を行うことで、リプラントする複数のエリアを容易に指定できる。
例えば図26で説明したように範囲指定を行うことで、リプラントする複数のエリアを容易に指定できる。
実施の形態の情報処理装置1は、グリッド355におけるリプラント実行エリアの確定に応じて、リプラント指示ファイルを生成するファイル生成部9を備える(図32のステップS290参照)。
これによりトラクター270に転送するROIを含むファイルデータが生成される。つまりUI画面上でグリッド355を用いて計画したリプラントを実行するための制御ファイルが自動生成されることになる。
なお図32のステップS292でのファイル出力は、トラクター270に対する出力としたが、飛行体200の再飛行のための指示ファイルを生成し、飛行体200に制御データとして転送することも考えられる。
例えばリプラント候補エリアとされた区域を再度撮像させて状況を確認する場合にも本技術を適用できる。
これによりトラクター270に転送するROIを含むファイルデータが生成される。つまりUI画面上でグリッド355を用いて計画したリプラントを実行するための制御ファイルが自動生成されることになる。
なお図32のステップS292でのファイル出力は、トラクター270に対する出力としたが、飛行体200の再飛行のための指示ファイルを生成し、飛行体200に制御データとして転送することも考えられる。
例えばリプラント候補エリアとされた区域を再度撮像させて状況を確認する場合にも本技術を適用できる。
第2の実施の形態では、UI制御部6は、グリッド355で示される各エリアについて、リプラントすべきか否かの判定結果を提示する制御を行う例を述べた。即ちリプラントの推奨エリア360を表示させる例を述べた。
例えば図36、図37で説明したように、リプラントを推奨するエリアを明示するような表示が行われるようにする。これは、ユーザによるリプラント実行判断やエリア選択のガイドとなるとともに、ユーザのリプラント実行判断やエリア選択を容易化できることにもなる。
例えば図36、図37で説明したように、リプラントを推奨するエリアを明示するような表示が行われるようにする。これは、ユーザによるリプラント実行判断やエリア選択のガイドとなるとともに、ユーザのリプラント実行判断やエリア選択を容易化できることにもなる。
実施の形態では、撮像装置220は、無線操縦又は自動操縦が可能な飛行体200に搭載されている例を挙げた。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
実施の形態のプログラムは、情報処理装置1に、圃場300を撮像した画像データから作物の生育に関するレート(スタンドレート等)を算出する処理と、UI画面のマップ領域21で、各画像データの撮像位置に応じて配置されるサンプルポジションマーク350を、各画像データから算出されたレートに応じて決定される画像態様で表示させる制御処理とを実行させるプログラムである。
即ち図27から図34や図36で説明した処理を情報処理装置に実行させるプログラムである。
即ち図27から図34や図36で説明した処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより本実施の形態の情報処理装置1の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
センシングデータから植物の生育に関するレートを算出する算出部と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行うユーザインタフェース制御部と、を備えた
情報処理装置。
(2)
前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率である
上記(1)に記載の情報処理装置。
(3)
前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率である
上記(1)に記載の情報処理装置。
(4)
前記センシングデータは圃場を撮像した画像データであり、
前記レートを、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とするか、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とするか、
を選択可能とされている
上記(1)に記載の情報処理装置。
(5)
前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内における前記レートの算出に用いる値の異同を提示するレートマップ画像を、前記サンプルポジション画像とともに表示させる制御を行う
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内を分割したエリアを定義するエリア定義画像を表示させる制御を行う
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアは、そのエリアについて算出されたレートに応じて決定される画像態様で表示されるようにする制御を行う
上記(6)に記載の情報処理装置。
(8)
前記算出部は、
前記エリア定義画像で示される各エリアのレートを、そのエリアに関連するセンシングデータについての作物の生育に関するレートを用いた補間演算により算出する
上記(7)に記載の情報処理装置。
(9)
前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
当該一のエリアの中心点から所定距離以内をセンシングしたセンシングデータである
上記(8)に記載の情報処理装置。
(10)
前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
撮像領域が当該一のエリアの中心点から近い順の所定数のセンシングデータである
上記(8)に記載の情報処理装置。
(11)
前記算出部は、一のエリアに関連するセンシングデータのうちで、前記一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域をセンシングしたセンシングデータについてのレートに重み付けをして前記補間演算を行う
上記(8)から(10)のいずれかに記載の情報処理装置。
(12)
前記ユーザインタフェース制御部は、
前記エリア定義画像の設定操作を行うためのインタフェース制御を行う
上記(6)から(11)のいずれかに記載の情報処理装置。
(13)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行う
上記(6)から(12)のいずれかに記載の情報処理装置。
(14)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行うとともに、リプラント候補エリアの指定操作が行われることに応じて、リプラントに関するコスト情報を提示する制御を行う
上記(13)に記載の情報処理装置。
(15)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアを個別にリプラント候補エリアとして指定可能とするインタフェース制御を行う
上記(13)又は(14)に記載の情報処理装置。
(16)
前記ユーザインタフェース制御部は、
前記エリア定義画像上で範囲指定操作により、複数のエリアをリプラント候補エリアとして指定可能とするインタフェース制御を行う
上記(13)から(15)のいずれかに記載の情報処理装置。
(17)
前記エリア定義画像におけるリプラント実行エリアの確定に応じて、リプラント指示ファイルを生成するファイル生成部を備える
上記(6)から(16)のいずれかに記載の情報処理装置。
(18)
前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアについて、リプラントすべきか否かの判定結果を提示する制御を行う
上記(6)から(17)のいずれかに記載の情報処理装置。
(19)
センシングデータから植物の生育に関するレートを算出し、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行う
情報処理方法。
(20)
センシングデータから植物の生育に関するレートを算出する処理と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御処理と、
を情報処理装置に実行させるプログラム。
(1)
センシングデータから植物の生育に関するレートを算出する算出部と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行うユーザインタフェース制御部と、を備えた
情報処理装置。
(2)
前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率である
上記(1)に記載の情報処理装置。
(3)
前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率である
上記(1)に記載の情報処理装置。
(4)
前記センシングデータは圃場を撮像した画像データであり、
前記レートを、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とするか、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とするか、
を選択可能とされている
上記(1)に記載の情報処理装置。
(5)
前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内における前記レートの算出に用いる値の異同を提示するレートマップ画像を、前記サンプルポジション画像とともに表示させる制御を行う
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内を分割したエリアを定義するエリア定義画像を表示させる制御を行う
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアは、そのエリアについて算出されたレートに応じて決定される画像態様で表示されるようにする制御を行う
上記(6)に記載の情報処理装置。
(8)
前記算出部は、
前記エリア定義画像で示される各エリアのレートを、そのエリアに関連するセンシングデータについての作物の生育に関するレートを用いた補間演算により算出する
上記(7)に記載の情報処理装置。
(9)
前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
当該一のエリアの中心点から所定距離以内をセンシングしたセンシングデータである
上記(8)に記載の情報処理装置。
(10)
前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
撮像領域が当該一のエリアの中心点から近い順の所定数のセンシングデータである
上記(8)に記載の情報処理装置。
(11)
前記算出部は、一のエリアに関連するセンシングデータのうちで、前記一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域をセンシングしたセンシングデータについてのレートに重み付けをして前記補間演算を行う
上記(8)から(10)のいずれかに記載の情報処理装置。
(12)
前記ユーザインタフェース制御部は、
前記エリア定義画像の設定操作を行うためのインタフェース制御を行う
上記(6)から(11)のいずれかに記載の情報処理装置。
(13)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行う
上記(6)から(12)のいずれかに記載の情報処理装置。
(14)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行うとともに、リプラント候補エリアの指定操作が行われることに応じて、リプラントに関するコスト情報を提示する制御を行う
上記(13)に記載の情報処理装置。
(15)
前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアを個別にリプラント候補エリアとして指定可能とするインタフェース制御を行う
上記(13)又は(14)に記載の情報処理装置。
(16)
前記ユーザインタフェース制御部は、
前記エリア定義画像上で範囲指定操作により、複数のエリアをリプラント候補エリアとして指定可能とするインタフェース制御を行う
上記(13)から(15)のいずれかに記載の情報処理装置。
(17)
前記エリア定義画像におけるリプラント実行エリアの確定に応じて、リプラント指示ファイルを生成するファイル生成部を備える
上記(6)から(16)のいずれかに記載の情報処理装置。
(18)
前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアについて、リプラントすべきか否かの判定結果を提示する制御を行う
上記(6)から(17)のいずれかに記載の情報処理装置。
(19)
センシングデータから植物の生育に関するレートを算出し、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行う
情報処理方法。
(20)
センシングデータから植物の生育に関するレートを算出する処理と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御処理と、
を情報処理装置に実行させるプログラム。
1 情報処理装置
2 画像取得部
5 算出部
6 UI制御部
7 記録制御部
8 通信制御部
9 ファイル生成部
21 マップ領域
22 マップ選択部
23 マップ表示チェックボックス
24 カウント表示チェックボックス
25 レート表示チェックボックス
26 グリッド表示チェックボックス
27 日時選択部
28 拡大縮小ボタン
30 グリッド生成ボタン
31 レート計算ボタン
32 ROI生成ボタン
35 ポピュレーション表示部
36 スタンドレート表示部
37 サンプル画像表示部
51 CPU
71 計算ボタン
72 プランニングコスト表示部
73 選択面積表示部
74 平均ポピュレーション表示部
75 平均スタンドレート表示部
76 リプラントコスト表示部
200 飛行体
220 撮像装置
270 トラクター
300 圃場
350 サンプルポジションマーク
351 指示レートマップ
352 実績レートマップ
355 グリッド
360 推奨エリア
2 画像取得部
5 算出部
6 UI制御部
7 記録制御部
8 通信制御部
9 ファイル生成部
21 マップ領域
22 マップ選択部
23 マップ表示チェックボックス
24 カウント表示チェックボックス
25 レート表示チェックボックス
26 グリッド表示チェックボックス
27 日時選択部
28 拡大縮小ボタン
30 グリッド生成ボタン
31 レート計算ボタン
32 ROI生成ボタン
35 ポピュレーション表示部
36 スタンドレート表示部
37 サンプル画像表示部
51 CPU
71 計算ボタン
72 プランニングコスト表示部
73 選択面積表示部
74 平均ポピュレーション表示部
75 平均スタンドレート表示部
76 リプラントコスト表示部
200 飛行体
220 撮像装置
270 トラクター
300 圃場
350 サンプルポジションマーク
351 指示レートマップ
352 実績レートマップ
355 グリッド
360 推奨エリア
Claims (20)
- センシングデータから植物の生育に関するレートを算出する算出部と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行うユーザインタフェース制御部と、を備えた
情報処理装置。 - 前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率である
請求項1に記載の情報処理装置。 - 前記センシングデータは圃場を撮像した画像データであり、
前記レートは、
画像データから求められる単位面積あたりの作物数と、
その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率である
請求項1に記載の情報処理装置。 - 前記センシングデータは圃場を撮像した画像データであり、
前記レートを、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け指示数との比率とするか、
画像データから求められる単位面積あたりの作物数と、その画像データの撮像領域に対する単位面積あたりの植え付け実績数との比率とするか、
を選択可能とされている
請求項1に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内における前記レートの算出に用いる値の異同を提示するレートマップ画像を、前記サンプルポジション画像とともに表示させる制御を行う
請求項1に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記マップ領域で、圃場内を分割したエリアを定義するエリア定義画像を表示させる制御を行う
請求項1に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアは、そのエリアについて算出されたレートに応じて決定される画像態様で表示されるようにする制御を行う
請求項6に記載の情報処理装置。 - 前記算出部は、
前記エリア定義画像で示される各エリアのレートを、そのエリアに関連するセンシングデータについての作物の生育に関するレートを用いた補間演算により算出する
請求項7に記載の情報処理装置。 - 前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
当該一のエリアの中心点から所定距離以内をセンシングしたセンシングデータである
請求項8に記載の情報処理装置。 - 前記補間演算で作物の生育に関するレートを参照する、一のエリアに関連するセンシングデータは、
撮像領域が当該一のエリアの中心点から近い順の所定数のセンシングデータである
請求項8に記載の情報処理装置。 - 前記算出部は、一のエリアに関連するセンシングデータのうちで、前記一のエリアと植え付け指示数もしくは植え付け実績数が同じ領域をセンシングしたセンシングデータについてのレートに重み付けをして前記補間演算を行う
請求項8に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像の設定操作を行うためのインタフェース制御を行う
請求項6に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行う
請求項6に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアについて、リプラント候補エリアの指定操作を行うためのインタフェース制御を行うとともに、リプラント候補エリアの指定操作が行われることに応じて、リプラントに関するコスト情報を提示する制御を行う
請求項13に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像で定義される各エリアを個別にリプラント候補エリアとして指定可能とするインタフェース制御を行う
請求項13に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像上で範囲指定操作により、複数のエリアをリプラント候補エリアとして指定可能とするインタフェース制御を行う
請求項13に記載の情報処理装置。 - 前記エリア定義画像におけるリプラント実行エリアの確定に応じて、リプラント指示ファイルを生成するファイル生成部を備える
請求項6に記載の情報処理装置。 - 前記ユーザインタフェース制御部は、
前記エリア定義画像で示される各エリアについて、リプラントすべきか否かの判定結果を提示する制御を行う
請求項6に記載の情報処理装置。 - センシングデータから植物の生育に関するレートを算出し、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御を行う
情報処理方法。 - センシングデータから植物の生育に関するレートを算出する処理と、
ユーザインタフェース画面のマップ領域で、各センシングデータのセンシング位置に応じて配置されるサンプルポジション画像を、各センシングデータから算出されたレートに応じて決定される画像態様で表示させる制御処理と、
を情報処理装置に実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20889288.5A EP4064182A4 (en) | 2019-11-18 | 2020-10-28 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US17/775,870 US20220405863A1 (en) | 2019-11-18 | 2020-10-28 | Information processing device, information processing method, and program |
JP2021558253A JPWO2021100430A1 (ja) | 2019-11-18 | 2020-10-28 | |
CN202080078364.5A CN114730437A (zh) | 2019-11-18 | 2020-10-28 | 信息处理设备、信息处理方法和程序 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208267 | 2019-11-18 | ||
JP2019-208267 | 2019-11-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021100430A1 true WO2021100430A1 (ja) | 2021-05-27 |
Family
ID=75980653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/040522 WO2021100430A1 (ja) | 2019-11-18 | 2020-10-28 | 情報処理装置、情報処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220405863A1 (ja) |
EP (1) | EP4064182A4 (ja) |
JP (1) | JPWO2021100430A1 (ja) |
CN (1) | CN114730437A (ja) |
WO (1) | WO2021100430A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332461A (zh) * | 2021-12-29 | 2022-04-12 | 江苏业派生物科技有限公司 | 智慧农业用虫害远程检测***及方法 |
JP7113555B1 (ja) | 2021-08-30 | 2022-08-05 | 亮志 西ヶ谷 | 果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024133848A1 (en) * | 2022-12-23 | 2024-06-27 | Basf Agro Trademarks Gmbh | Method for providing control data, a crop failure map and/or a replanting map |
CN117130414B (zh) * | 2023-10-24 | 2023-12-29 | 南京生动科技有限公司 | 智能控制方法及控制*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
WO2016035149A1 (ja) * | 2014-09-02 | 2016-03-10 | 富士通株式会社 | 収穫量記録方法、収穫量記録プログラムおよび収穫量記録装置 |
WO2018034166A1 (ja) * | 2016-08-17 | 2018-02-22 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラム |
WO2019107179A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 情報処理装置、情報処理方法、および植生管理システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130174040A1 (en) * | 2011-12-30 | 2013-07-04 | Jerome Dale Johnson | Methods, apparatus and systems for generating, updating and executing a crop-planting plan |
US20140089045A1 (en) * | 2012-09-27 | 2014-03-27 | Superior Edge, Inc. | Methods, apparatus and systems for determining stand population, stand consistency and stand quality in an agricultural crop and alerting users |
US9489576B2 (en) * | 2014-03-26 | 2016-11-08 | F12 Solutions, LLC. | Crop stand analysis |
US10719787B2 (en) * | 2016-10-31 | 2020-07-21 | Basf Agro Trademarks Gmbh | Method for mapping crop yields |
-
2020
- 2020-10-28 US US17/775,870 patent/US20220405863A1/en active Pending
- 2020-10-28 CN CN202080078364.5A patent/CN114730437A/zh active Pending
- 2020-10-28 JP JP2021558253A patent/JPWO2021100430A1/ja active Pending
- 2020-10-28 EP EP20889288.5A patent/EP4064182A4/en active Pending
- 2020-10-28 WO PCT/JP2020/040522 patent/WO2021100430A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
WO2016035149A1 (ja) * | 2014-09-02 | 2016-03-10 | 富士通株式会社 | 収穫量記録方法、収穫量記録プログラムおよび収穫量記録装置 |
WO2018034166A1 (ja) * | 2016-08-17 | 2018-02-22 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラム |
WO2019107179A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 情報処理装置、情報処理方法、および植生管理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4064182A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7113555B1 (ja) | 2021-08-30 | 2022-08-05 | 亮志 西ヶ谷 | 果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法 |
JP2023034345A (ja) * | 2021-08-30 | 2023-03-13 | 亮志 西ヶ谷 | 果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法 |
CN114332461A (zh) * | 2021-12-29 | 2022-04-12 | 江苏业派生物科技有限公司 | 智慧农业用虫害远程检测***及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4064182A4 (en) | 2023-01-25 |
US20220405863A1 (en) | 2022-12-22 |
JPWO2021100430A1 (ja) | 2021-05-27 |
CN114730437A (zh) | 2022-07-08 |
EP4064182A1 (en) | 2022-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021100430A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US11944043B2 (en) | Systems and methods for image capture and analysis of agricultural fields | |
CN113167779B (zh) | 使用数字图像和机器学习模型对田地异常绘制地图 | |
JP7086203B2 (ja) | 植物体耕作データ測定方法、作業経路計画方法及び装置、システム | |
JP2022508939A (ja) | 植物の写真を分類することにより植物病の感染を検出すること | |
JP4202328B2 (ja) | 作業決定支援装置および方法、並びに記録媒体 | |
CN107148633A (zh) | 用于使用无人机***进行农艺和农业监测的方法 | |
CN111542849A (zh) | 捕获植物性状的地面真实化标签的方法和*** | |
JP7299213B2 (ja) | 情報処理装置 | |
CN111985724B (zh) | 一种农作物产量预估的方法、装置、设备及存储介质 | |
JP7081536B2 (ja) | 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置 | |
JPWO2019082519A1 (ja) | 情報処理装置、情報処理方法、プログラム、情報処理システム | |
Roslin et al. | Smartphone Application Development for Rice Field Management Through Aerial Imagery and Normalised Difference Vegetation Index (NDVI) Analysis. | |
JP2019153109A (ja) | 農業管理予測システム、農業管理予測方法、及びサーバ装置 | |
US20200304699A1 (en) | System and method for automatic control of exposure time in an imaging instrument | |
WO2019235240A1 (ja) | 情報処理装置 | |
WO2022209284A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2021149355A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2021177192A1 (ja) | パス生成方法、パス生成装置、プログラム | |
WO2021100429A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US20240268274A1 (en) | Systems and methods for image capture and analysis of agricultural fields | |
Ferțu et al. | The revolution of traditional agriculture toward intelligent agriculture with the help of agricultural drones | |
JP2021163007A (ja) | 計測システム、計測方法および計測用プログラム | |
KR20230079750A (ko) | 드론 영상을 이용한 사료작물 건물수량 예측 및 관리시스템 | |
CN112565726A (zh) | 作业处方图的确定方法、作业控制方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20889288 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021558253 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020889288 Country of ref document: EP Effective date: 20220620 |