WO2024048143A1 - 分析装置、分析方法、およびプログラム - Google Patents

分析装置、分析方法、およびプログラム Download PDF

Info

Publication number
WO2024048143A1
WO2024048143A1 PCT/JP2023/027297 JP2023027297W WO2024048143A1 WO 2024048143 A1 WO2024048143 A1 WO 2024048143A1 JP 2023027297 W JP2023027297 W JP 2023027297W WO 2024048143 A1 WO2024048143 A1 WO 2024048143A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference area
plant
markers
analysis
Prior art date
Application number
PCT/JP2023/027297
Other languages
English (en)
French (fr)
Inventor
祥宇 曾
心一 細見
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2024048143A1 publication Critical patent/WO2024048143A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general

Definitions

  • the present invention relates to technology for acquiring information regarding the growth status of plants.
  • Patent Document 1 describes a method for educating farmers by linking photographed images of crops before processing, photographed images of crops after processing, and processing details. The technology used is disclosed.
  • growth information information regarding the growth status of the plants. For example, by obtaining growth information, it becomes possible to easily judge whether a plant's growth is slow or too advanced, and to perform tasks such as top-dressing and leaf removal in an appropriate manner. .
  • the present invention was made in view of the above-mentioned circumstances, and an object of the present invention is to provide a technique that allows accurate growth information to be easily obtained.
  • the present invention employs the following method.
  • a first aspect of the present invention provides an acquisition means for acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant;
  • the invention is characterized by comprising a setting means for setting a reference area based on the plurality of markers, and an analysis means for acquiring information regarding the growth state of the plant by analyzing the inside of the reference area of each of the plurality of images.
  • growth information can be easily obtained by a simple task of inputting a plurality of captured images. Further, growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted. Furthermore, by using multiple images taken from multiple directions, it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
  • the plant may be a plant with multilayered leaves (or buds, flowers, fruits, etc.).
  • leaves, buds, flowers, fruits, etc. are likely to be hidden behind other leaves in the photographed image.
  • the layer is, for example, the part where the leaf expands and goes around.
  • the angle of 120 degrees is called the leaf spread angle.
  • Strawberry leaves usually consist of three leaflets and a petiole, and are attached to the crown with a 2/5 phyllotaxis (leaf expansion angle of 144 degrees), and when viewed from above, the first leaf and the sixth leaf. The leaves overlap. Therefore, the first leaf to the fifth leaf may be defined as the first layer leaves, and the sixth leaf to the second layer may be defined as the leaves.
  • the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image, and the analysis means
  • the leaf area which is the total area of the leaves
  • the number of layers formed by the leaf is determined.
  • the leaf area may be adjusted based on the number of layers.
  • the first image may be taken as an image taken from approximately directly above the plant.
  • the second image may be taken as an image of the plant taken from an angle. Since the area of another leaf hidden behind leaves cannot be obtained from the first image, a highly accurate leaf area may not be obtained.
  • the number of layers formed by the leaf cannot be determined with high precision from the first image.
  • the number of layers can be determined with high precision from the second image.
  • the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image, and detecting an object that is a flower, fruit, or bud from a reference area; detecting an object that is not shown in the first image from a reference area of the second image;
  • the number of objects within the reference area may be determined by adding the number of objects detected from the second image to the number of objects detected. Although objects that are (partially or completely) hidden behind leaves or the like cannot be detected from the first image, such objects can be detected from the second image.
  • the number of objects can be calculated with high accuracy. value can be obtained.
  • the plurality of images include a first image taken from substantially directly above the ridge designated by the plurality of markers, and a second image taken from a predetermined side of the ridge, and the setting means includes:
  • a reference area on the predetermined side of the plurality of markers may be set as the reference area of the second image.
  • the area on the predetermined side from the multiple markers (the nearer side when viewed from the camera position when capturing the second image) is more important than the area surrounded by the multiple markers.
  • the layers formed by the leaves are clearly visible. Therefore, by setting a reference region on a predetermined side from a plurality of markers, it becomes possible to analyze the inside of the reference region and determine the number of layers with high precision.
  • the marker may have multiple colors. This allows the marker to stand out. Since the marker stands out, it is possible to detect the marker from the photographed image with high precision, and in turn, it is possible to set the reference area with high precision.
  • the plurality of colors may include black and red. By doing this, you can easily mark the marker even if the soil on the ground is bright, bright vinyl such as white is spread on the ground, or there are many leaves (green) of plants around the marker. It can make you stand out.
  • the plurality of markers may include a marker of the first aspect and a marker of the second aspect different from the first aspect.
  • the marker may be installed at a height that the plant cannot reach. By doing so, the marker will not be hidden by plants in the photographed image, so the marker can be detected from the photographed image with high accuracy, and the reference area can be set with high accuracy.
  • the marker may be a circle, a ring, a combination of a circle and a ring with the same center, or a combination of multiple rings with the same center.
  • the ratio between the interval between the plurality of markers in the photographed image and the actual interval between the plurality of markers corresponds to the ratio between the size of each part of the plant in the photographed image and the actual size of each part of the plant. Therefore, the analysis means may determine the actual size of each part of the plant from the size of each part of the plant in the image based on the intervals between the plurality of markers in the image. In this way, highly accurate information on the actual size of each part of the plant can be obtained.
  • the setting means sets, for each of the plurality of images, a plurality of reference regions having different positional relationships with the plurality of markers, and the analysis means sets each of the plurality of images for each of the positional relationships.
  • the reference area may be analyzed and the analysis results for each positional relationship may be integrated to obtain information regarding the growth state. By doing so, it is possible to obtain highly accurate growth information by assuming the manner in which the characteristics of plant parts appear.
  • the information regarding the growth state may include information regarding vegetative growth.
  • the information regarding the growth state may include information regarding reproductive growth. Vegetative growth is the growth that produces stems and leaves, and reproductive growth is the growth that produces buds, flowers, fruits, etc.
  • the analysis means may detect at least one of a leaf, a bud, a flower, and a fruit from the reference area.
  • the plurality of images include a first image taken from a direction where the angle with respect to the ground is approximately 90 degrees, a third image taken from a direction where the angle is smaller than 90 degrees, and a direction where the angle is larger than 90 degrees. It may also include a fourth image taken from.
  • the third image may be an image taken from a direction where the angle is approximately 45 degrees, and the fourth image may be an image taken from a direction where the angle is approximately 135 degrees.
  • the fourth image is an image taken from a first side of the ridge where the plant is planted, and the fourth image is an image taken from a second side of the ridge opposite to the first side. The image may be taken from.
  • first image upper leaves, buds, flowers, and fruits (leaves, buds, flowers, and fruits that are not hidden) can be detected with high accuracy. Furthermore, the size of leaves and the like can be calculated with high precision from the first image. From the third and fourth images, lower leaves, buds, flowers, and fruits (other leaves, buds, flowers, and fruits hidden behind leaves in the first image) are detected with high accuracy. can do. Further, from the third image and the fourth image, the number of layers formed by leaves etc. can be determined with high accuracy.
  • Each of the third image and the fourth image is an example of the second image described above.
  • the setting means includes, for the first image, a first reference area surrounded by the plurality of markers, a second reference area on the first side from the plurality of markers, and a second reference area on the first side from the plurality of markers. to set a third reference area on the second side, set the first reference area and the second reference area for the third image, and set the first reference area and the second reference area for the fourth image.
  • the first reference area and the third reference area may be set.
  • the third image in the third reference area (the back side of the target plant), parts of the target plant may not be shown in a large size, or other plants may be shown. That is, in the third image, the information within the third reference area has low reliability. Similarly, in the fourth image, the information within the second reference area has low reliability. Highly accurate growth information can be obtained by not setting a reference area where the reliability of the obtained information is low.
  • a second aspect of the present invention includes the step of acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant; , a step of setting a reference region based on the plurality of markers, and a step of acquiring information regarding the growth state of the plant by analyzing the reference region of each of the plurality of images. provide a method.
  • the present invention can be understood as an analysis device or analysis system having at least a part of the above configuration or function.
  • the present invention also provides an analysis method that includes at least a part of the above processing or a method for controlling an analysis system, a program for causing a computer to execute these methods, or a computer that non-temporarily records such a program. It can also be regarded as a readable recording medium.
  • FIG. 1 is a block diagram showing an example of the configuration of an analysis device to which the present invention is applied.
  • FIG. 2 is a schematic diagram showing an example of layers formed by leaves.
  • FIG. 3 is a block diagram showing a configuration example of an analysis system according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram showing an example of a photographing situation and a marker according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing an example of a photographed image according to an embodiment of the present invention.
  • FIG. 6 is a flowchart showing an example of the processing flow of the PC according to the embodiment of the present invention.
  • growth information When growing plants, it is very important to obtain information regarding the growth status of the plants (growth information). For example, by obtaining growth information, it becomes possible to easily judge whether a plant's growth is slow or too advanced, and to perform tasks such as top-dressing and leaf removal in an appropriate manner. .
  • growth information was obtained manually or visually, such as by measuring the length of leaves with a ruler, so it was not easy to obtain growth information.
  • the accuracy of the growth information was insufficient, and it was sometimes difficult to determine the appropriate work to be performed next.
  • FIG. 1 is a block diagram showing a configuration example of an analysis device 100 to which the present invention is applied.
  • the analysis device 100 includes an acquisition section 101, a setting section 102, and an analysis section 103.
  • the acquisition unit 101 acquires a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant.
  • the setting unit 102 sets a reference area based on a plurality of markers for each of the plurality of images acquired by the acquisition unit 101.
  • the analysis unit 103 acquires information regarding the growth state of the plant (growth information) by analyzing the reference area of each of the plurality of captured images acquired by the acquisition unit 101.
  • the acquisition unit 101 is an example of an acquisition unit
  • the setting unit 102 is an example of a setting unit
  • the analysis unit 103 is an example of an analysis unit.
  • growth information can be easily obtained by a simple task of inputting a plurality of captured images. Further, growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted. Furthermore, by using multiple images taken from multiple directions, it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
  • the plant may be a plant with multilayered leaves (or buds, flowers, fruits, etc.), and may be, for example, a broad-leaved multi-tiered phyllotactic plant.
  • Broad-leaved multi-tiered plants are plants that produce wide leaves (broad leaves), stems that grow upwards from the ground, and multiple nodes on the stem, each node containing a leaf (or bud, flower, or fruit). etc.) are produced.
  • “Broad leaf” refers to wide leaves
  • multi-stage phyllotaxis” refers to the arrangement of leaves made at each node of the stem that grows upward. In the case of plants with multi-layered leaves, the leaves, buds, flowers, fruits, etc.
  • the layer is, for example, the part where the leaf expands and goes around.
  • the leaves unfold in 1/3 phyllotaxis the leaves unfold in a 120 degree rotation, and when three leaves unfold, they rotate once, so the three leaves are defined as one layer. You may. At this time, the angle of 120 degrees is called the leaf spread angle.
  • strawberry leaves usually consist of three leaflets and a petiole, and are attached to the crown with a 2/5 phyllotaxis (leaf expansion angle of 144 degrees), and when viewed from above, The first leaf and the sixth leaf overlap. Therefore, the first leaf to the fifth leaf may be defined as the first layer leaves, and the sixth leaf to the second layer may be defined as the leaves.
  • the plurality of images acquired by the acquisition unit 101 may include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at an angle different from the first image. .
  • the analysis unit 103 then analyzes the reference area of the first image to determine the leaf area, which is the total area of the leaves, and analyzes the reference area of the second image to determine the leaf area.
  • the number of layers formed by the leaf may be determined and the leaf area may be adjusted based on the number of layers.
  • the first image may be taken as an image taken from approximately directly above the plant.
  • the second image may be taken as an image of the plant taken from an angle. Since the area of another leaf hidden behind leaves cannot be obtained from the first image, a highly accurate leaf area may not be obtained.
  • the number of layers formed by the leaf cannot be determined with high precision from the first image.
  • the number of layers can be determined with high precision from the second image.
  • the analysis unit 103 detects objects such as flowers, fruits, or buds from the reference area of the first image, and detects objects that are not shown in the first image from the reference area of the second image. It's okay.
  • the analysis unit 103 may then determine the number of objects in the reference area by adding the number of objects detected from the second image to the number of objects detected from the first image. Although objects that are (partially or completely) hidden behind leaves or the like cannot be detected from the first image, such objects can be detected from the second image. By taking into account not only the objects detected in the first image but also the objects detected in the second image (objects that cannot be detected in the first image), the number of objects can be calculated with high accuracy. value can be obtained.
  • the first image may be taken as an image taken from approximately directly above the ridge designated by a plurality of markers.
  • the second image may be taken as an image taken from a predetermined side of the ridge.
  • the setting unit 102 may set a reference area on a predetermined side from a plurality of markers as the reference area of the second image.
  • the area on the predetermined side from the multiple markers (the nearer side when viewed from the camera position when capturing the second image) is more important than the area surrounded by the multiple markers.
  • the layers formed by the leaves are clearly visible. Therefore, by setting a reference region on a predetermined side from a plurality of markers, it becomes possible to analyze the inside of the reference region and determine the number of layers with high precision.
  • FIG. 3 is a block diagram showing an example of the configuration of the analysis system according to this embodiment.
  • the analysis system includes a camera 30 (imaging device) and a PC 300 (personal computer; analysis device). Camera 30 and PC 300 are connected to each other by wire or wirelessly. Camera 30 is used to photograph plants.
  • the PC 300 analyzes the image taken by the camera 30 and outputs the analysis result.
  • the analysis results are displayed on a display unit or stored in a storage unit, for example.
  • the camera 30 does not need to be fixed and may be a portable camera.
  • the PC 300 is assumed to be a separate device from the camera 30, but the PC 300 may be built into the camera 30.
  • the display unit and storage unit described above may or may not be part of the PC 300.
  • the installation location of the PC 300 is not particularly limited.
  • the PC 300 may or may not be installed in the same room as the camera 30.
  • the PC 300 may or may not be a computer on the cloud.
  • PC 300 may be a smartphone, a tablet, or the like.
  • the PC 300 has an input section 310, a control section 320, a storage section 330, and an output section 340.
  • the input unit 310 acquires an image taken by the camera 30 and outputs it to the control unit 320.
  • the control unit 320 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each component and performs various information processing.
  • the control unit 320 analyzes the captured image of the camera 30 and outputs the analysis result to the output unit 340.
  • the storage unit 330 stores programs executed by the control unit 320, various data used by the control unit 320, and the like.
  • the storage unit 330 is an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the output unit 340 acquires the analysis result of the captured image from the control unit 320 and outputs it to a display unit, a storage unit, or the like.
  • the control unit 320 will be explained in more detail.
  • the control unit 320 includes an acquisition unit 321, a setting unit 322, and an analysis unit 323.
  • the acquisition unit 321 acquires the captured image of the camera 30 from the input unit 310 and outputs it to the setting unit 322.
  • a plurality of images are acquired, each of which is taken from a plurality of directions, in a range including a plant and a plurality of markers installed in advance around the plant.
  • the acquisition unit 321 is an example of an acquisition means.
  • the marker may have multiple colors. This allows the marker to stand out. Since the marker stands out, it is possible to detect the marker from the photographed image with high precision, and in turn, it is possible to set the reference area with high precision.
  • the plurality of colors may include black and red. By doing this, you can easily mark the marker even if the soil on the ground is bright, bright vinyl such as white is spread on the ground, or there are many leaves (green) of plants around the marker. It can make you stand out.
  • the plurality of markers may include a marker of the first aspect and a marker of the second aspect different from the first aspect.
  • the marker may be placed at a height that plants cannot reach. By doing so, the marker will not be hidden by plants in the photographed image, so the marker can be detected from the photographed image with high accuracy, and the reference area can be set with high accuracy.
  • the marker may be a circle, a ring, a combination of a circle and a ring with the same center, or a combination of multiple rings with the same center.
  • markers 41 to 44 arranged in two rows and two columns are installed in advance, as shown in FIG.
  • the markers 41 and 42 have a black circle surrounded by a red ring and a black ring
  • the markers 43 and 44 have a red circle surrounded by a black ring.
  • the acquisition unit 321 acquires the following three photographed images.
  • both the third image and the fourth image may be acquired, or only one of the third image and the fourth image may be acquired. That is, two images, the first image and the third image, may be acquired, or two images, the first image and the fourth image, may be acquired.
  • Each of the third image and the fourth image is an example of the second image described above. ⁇ The first image taken from a direction where the angle to the ground (shooting angle) is approximately 90 degrees. ⁇ The third image taken from a direction where the shooting angle is smaller than 90 degrees. ⁇ Photographed from a direction where the shooting angle is larger than 90 degrees.
  • the third image is an image photographed from a direction with a photographing angle of approximately 45 degrees
  • the fourth image is an image photographed from a direction with a photographing angle of approximately 135 degrees.
  • the third image is an image taken from the first side (front side) of the ridge where the plants are planted
  • the fourth image is an image taken from the ridge opposite to the first side. This is an image taken from the 2nd side (back side).
  • FIG. 4 also shows how the image was taken.
  • FIG. 5 shows a photographed image 51 that is an example of a first image, a photographed image 52 that is an example of a third image, and a photographed image 53 that is an example of a fourth image.
  • first image upper leaves, buds, flowers, and fruits (leaves, buds, flowers, and fruits that are not hidden) can be detected with high accuracy. Furthermore, the size of leaves and the like can be calculated with high precision from the first image. From the third and fourth images, lower leaves, buds, flowers, and fruits (other leaves, buds, flowers, and fruits hidden behind leaves in the first image) are detected with high accuracy. can do. Further, from the third image and the fourth image, the number of layers formed by leaves etc. can be determined with high accuracy.
  • the setting unit 322 sets a reference area based on a plurality of markers for each of the plurality of photographed images acquired by the acquisition unit 321, and sets the plurality of photographed images and information on the reference area set for each photographed image. It is output to the analysis section 323.
  • the setting unit 322 detects a plurality of markers from the captured image and sets an area surrounded by the plurality of markers as a reference area.
  • the setting unit 322 is an example of a setting means.
  • the analysis unit 323 acquires information regarding the growth state of the plant (growth information) by analyzing the reference area of each of the plurality of captured images acquired by the acquisition unit 321. The analysis unit 323 then outputs the growth information to the output unit 340.
  • Growth information may include information regarding vegetative growth or may include information regarding reproductive growth. Vegetative growth is the growth that produces stems and leaves, and reproductive growth is the growth that produces buds, flowers, fruits, etc.
  • the analysis unit 323 may detect at least one of a leaf, a bud, a flower, and a fruit from the reference area. Growth information includes the number of leaves, number of buds, number of flowers, number of fruits, leaf condition (size, etc.), bud condition, flower condition, fruit condition, and their temporal changes (temporal change rate). It may be an index (level) indicating whether the growth of the plant is delayed or too advanced, or it may be other information.
  • the control unit 320 (for example, the analysis unit 323) may determine the work to be performed next based on the growth information.
  • the ratio between the interval between multiple markers in the captured image and the actual interval between multiple markers is determined by the size of each part of the plant (leaves, buds, flowers, fruits, etc.) in the captured image and the actual size of each part of the plant. corresponds to the ratio of Therefore, the analysis unit 323 may determine the actual size of each part of the plant from the size of each part of the plant in the captured image based on the intervals between the plurality of markers in the captured image. In this way, highly accurate information on the actual size of each part of the plant can be obtained.
  • the setting unit 322 may set a plurality of reference regions having different positional relationships with the plurality of markers for each of the plurality of captured images.
  • the analysis unit 323 may analyze the reference areas of each of the plurality of photographed images for each of the above-mentioned positional relationships, and may acquire growth information by integrating the analysis results for each positional relationship. By doing so, it is possible to obtain highly accurate growth information by assuming the manner in which the characteristics of plant parts appear. For example, highly accurate information can be obtained as information regarding whether or not the actual distribution is appropriate.
  • the setting unit 322 may set the reference area as shown in FIG. 5.
  • a first reference area 54, a second reference area 55, and a third reference area 56 are set for a photographed image 51 (a first image whose photographing angle is approximately 90 degrees).
  • the third reference area 56 is not set for the photographed image 52 (the third image whose photographing angle is smaller than 90 degrees (approximately 45 degrees)), and the first reference area 54 and the third reference area 56 are not set.
  • Two reference areas 55 are set.
  • the second reference area 55 is not set for the photographed image 53 (the fourth image whose photographing angle is larger than 90 degrees (approximately 135 degrees)), and the first reference area 54 is and a third reference area 56 are set.
  • the first reference area 54 is an area surrounded by a plurality of markers, specifically a rectangular area with four markers 41 to 44 as vertices.
  • the second reference area 55 is an area on the first side (front side of the ridge) from the plurality of markers, specifically, a straight line passing through the markers 41 and 44, a straight line passing through the markers 42 and 43, a straight line passing between the markers 41 and This is an area surrounded by a straight line passing through the marker 42 and the lower side of the photographed image.
  • the third reference area 56 is an area on the second side (inner side of the ridge) from the plurality of markers, specifically, a straight line passing through the markers 41 and 44, a straight line passing through the markers 42 and 43, and a straight line passing between the markers 43 and 43. This is an area surrounded by a straight line passing through the marker 44 and the upper end of the photographed image.
  • the third reference area 56 (the back side of the target plant) may not show a large part of the target plant, or may be affected by other plants (plants planted in the adjacent ridge). etc.) may be photographed. That is, in the captured image 52, the information within the third reference area 56 has low reliability. Similarly, in the photographed image 53 (fourth image), the information within the second reference area 55 has low reliability. Highly accurate growth information can be obtained by not setting a reference area where the reliability of the obtained information is low.
  • FIG. 6 is a flowchart showing an example of the processing flow of the PC 300.
  • the acquisition unit 321 acquires an image captured by the camera 30 from the input unit 310 (step S601). For example, photographed images 51 to 53 in FIG. 5 are acquired.
  • the setting unit 322 detects a plurality of markers from the captured image acquired in step S601 (step S602). For example, markers 41 to 44 are detected from each of the photographed images 51 to 53 in FIG. 5.
  • the setting unit 322 sets a reference area for the captured image based on the marker detected in step S602 (step S603). For example, a first reference area 54, a second reference area 55, and a third reference area 56 are set for the captured image 51 in FIG. 5. Then, a first reference area 54 and a second reference area 55 are set for the photographed image 52, and a first reference area 54 and a third reference area 56 are set for the photographed image 53.
  • the analysis unit 323 acquires growth information by analyzing the reference area set in step S603 (step S604).
  • step S604 will be specifically explained with reference to FIG. Note that the following processing is just an example, and may be changed as appropriate depending on the information desired to be obtained.
  • the analysis unit 323 analyzes the inside of the first reference area 54 of the captured image 51 and calculates (determines) the leaf area of the first reference area 54.
  • a green area may be specified by image processing, and the total area (total number of pixels, etc.) of the specified area may be calculated as the leaf area.
  • image processing for example, an area where the intensity of the G signal of the RGB signals is equal to or higher than a predetermined value is specified as a green area.
  • the method for calculating the leaf area is not limited to this, and the leaf area may be calculated using various methods that have been proposed.
  • the leaf area determined by analyzing the inside of the first reference area 54 of the photographed image 51 is the area of the leaf shown in the first reference area 54 of the photographed image 51;
  • the area of other leaves hidden in the image 51 is not taken into account.
  • the analysis unit 323 uses at least one of the captured images 52 and 53 in order to consider the area of the hidden leaf. Here, it is assumed that both photographed images 52 and 53 are used.
  • the analysis unit 323 analyzes the inside of the first reference area 54 of the photographed image 52 and determines the number of layers formed by leaves. For example, the number of layers may be determined by detecting layers by matching using a predetermined template representing how leaves form layers. As described above, the number of leaves per layer is determined by the leaf expansion angle, and the leaf expansion angle is predetermined for each plant item. Therefore, in matching, a different template is used for each leaf expansion angle (for each item). Similarly, the analysis unit 323 analyzes the inside of the first reference area 54 of the photographed image 53 to determine the number of layers formed by leaves.
  • the analysis unit 323 adjusts the leaf area determined by analyzing the inside of the first reference area 54 of the captured image 51 based on the determined number of layers (at least one of the two numbers of layers).
  • the final leaf area of the first reference area 54 is obtained.
  • the analysis unit 323 multiplies the average value of the two determined numbers of layers (average number of layers) by the leaf area (directly above leaf area) determined by analyzing the inside of the first reference area 54 of the captured image 51.
  • the final leaf area of the first reference area 54 may be calculated.
  • the analysis unit 323 calculates the final leaf area of the first reference region 54 by multiplying the right upper leaf area by the average number of layers and a count (less than 1) depending on the plant species. good.
  • the analysis unit 323 analyzes the inside of the second reference area 55 of the captured image 51 and calculates (determines) the leaf area of the second reference area 55.
  • the analysis unit 323 also analyzes the second reference area 55 of the captured image 52 to determine the number of layers formed by leaves. Then, the analysis unit 323 multiplies the determined number of layers by the leaf area determined by analyzing the second reference region 55 of the photographed image 51 to calculate the final leaf area of the second reference region 55. do.
  • the analysis unit 323 analyzes the inside of the third reference area 56 of the captured image 51 and calculates (determines) the leaf area of the third reference area 56.
  • the analysis unit 323 also analyzes the third reference area 56 of the captured image 53 to determine the number of layers formed by leaves. Then, the analysis unit 323 multiplies the determined number of layers by the leaf area determined by analyzing the third reference region 56 of the photographed image 51 to calculate the final leaf area of the third reference region 56. do.
  • the second reference area 55 of the photographed image 52 shows the lateral edge of the plant, so the layer formed by the leaves is better seen than in the first reference area 54 of the photographed image 52 or the photographed image 53.
  • the reliability of the number of layers (second number of layers) determined by analyzing the inside of the second reference area 55 of the photographed image 52 is determined by analyzing the inside of the first reference area 54 of the photographed image 52 and the photographed image 53.
  • the reliability is higher than the reliability of the number of layers (first number of layers) determined by Therefore, if the second number of layers is different from the first number of layers, the first reference area 54 may be adjusted based on them.
  • the leaf area of the first reference area 54 (the final leaf area mentioned above) is multiplied by the ratio of the second number of layers to the first number of layers (second number of layers/first number of layers). You may.
  • the third reference area 56 of the photographed image 53 shows the lateral edge of the plant, so the layer formed by the leaves is more visible than the first reference area 54 of the photographed image 52 or the photographed image 53. Photographs well (clearly). Therefore, the reliability of the number of layers (third layer number) determined by analyzing the inside of the third reference area 56 of the photographed image 53 is determined by analyzing the inside of the first reference area 54 of the photographed image 52 and the photographed image 53. The reliability is higher than the reliability of the number of layers (first number of layers) determined by Therefore, if the third number of layers is different from the first number of layers, the first reference area 54 may be adjusted based on them. For example, the leaf area of the first reference area 54 (the final leaf area mentioned above) is multiplied by the ratio of the third number of layers to the first number of layers (third number of layers/first number of layers). You may.
  • the analysis unit 323 may also calculate the total value of the leaf area of the first reference area 54, the leaf area of the second reference area 55, and the leaf area of the third reference area 56.
  • the analysis unit 323 detects bud candidates from the first reference area 54 of the captured image 51, the first reference area 54 of the captured image 52, and the first reference area 54 of the captured image 53. Then, the analysis unit 323 performs matching and determines bud candidates detected from all of the captured images 51 to 53 as buds. Further, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the first reference area 54.
  • the analysis unit 323 detects bud candidates from the second reference area 55 of the captured image 51 and the second reference area 55 of the captured image 52. Then, the analysis unit 323 performs matching and determines the bud candidates detected from both the photographed image 51 and the photographed image 52 as buds. Furthermore, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the second reference area 55.
  • the analysis unit 323 detects bud candidates from the third reference area 56 of the captured image 51 and the third reference area 56 of the captured image 53. Then, the analysis unit 323 performs matching and determines the bud candidates detected from both the photographed image 51 and the photographed image 53 as buds. Furthermore, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the third reference area 56.
  • analysis unit 323 may calculate the total value of the number of buds in the first reference area 54, the number of buds in the second reference area 55, and the number of buds in the third reference area 56.
  • step S604 the output unit 340 outputs the result of the analysis in step S604 (for example, growth information) to the display unit, storage unit, etc. (step S605).
  • growth information can be easily obtained without manual or visual inspection.
  • growth information can be easily obtained by a simple task of inputting a plurality of captured images.
  • growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted.
  • multiple images taken from multiple directions it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
  • acquisition means (101, 321) for acquiring a plurality of images taken from a plurality of directions, respectively, of a range including a plant and a plurality of markers installed in advance around the plant;
  • Setting means (102, 322) for setting a reference area based on the plurality of markers for each of the plurality of images;
  • An analysis device (100, 300) characterized in that it has an analysis means (103, 323) that acquires information regarding the growth state of the plant by analyzing a reference region of each of the plurality of images.
  • the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image,
  • the analysis means (103, 323) Determining a leaf area, which is a total value of leaf areas, by analyzing the reference area of the first image; determining the number of layers formed by the leaf by analyzing the reference area of the second image;
  • the analysis device (100, 300) according to appendix 1 or 2, wherein the leaf area is adjusted based on the number of layers.
  • the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image,
  • the analysis means (103, 323) detecting an object that is a flower, fruit, or bud from the reference area of the first image; detecting the object that is not shown in the first image from a reference area of the second image; Supplementary note 1 or 2, characterized in that the number of objects in the reference area is determined by adding the number of objects detected from the second image to the number of objects detected from the first image. (100, 300).
  • the plurality of images include a first image taken from substantially directly above the ridge designated by the plurality of markers, and a second image taken from a predetermined side of the ridge,
  • the analysis device 100,300).
  • the analysis means (103, 323) is characterized in that the analysis means (103, 323) determines the actual size of each part of the plant from the size of each part of the plant in the image based on the intervals between the plurality of markers in the image.
  • the analysis device (100, 300) according to any one of Supplementary Notes 1 to 10.
  • the setting means (102, 322) sets a plurality of reference regions having mutually different positional relationships with the plurality of markers for each of the plurality of images,
  • the analysis means (103, 323) Analyzing the reference area of each of the plurality of images for each positional relationship,
  • the analysis device (100, 300) according to any one of Supplementary Notes 1 to 11, characterized in that the analysis results for each positional relationship are integrated to obtain information regarding the growth state.
  • the plurality of images include a first image taken from a direction where the angle with respect to the ground is approximately 90 degrees, a third image taken from a direction where the angle is smaller than 90 degrees, and a direction where the angle is larger than 90 degrees.
  • the analysis device (100, 300) according to appendix 1 or 2, characterized in that the analysis device (100, 300) includes a fourth image taken from.
  • the third image is an image taken from a direction where the angle is approximately 45 degrees
  • the analysis device (100, 300) according to appendix 16 wherein the fourth image is an image taken from a direction where the angle is approximately 135 degrees.
  • the third image is an image taken from the first side of the ridge where the plant is planted,
  • the setting means (102, 322) With respect to the first image, a first reference area surrounded by the plurality of markers, a second reference area on the first side from the plurality of markers, and a second reference area from the plurality of markers to the second reference area. Set a third reference area on the side, setting the first reference area and the second reference area for the third image;
  • the analysis device (100, 300) according to appendix 18, wherein the first reference area and the third reference area are set for the fourth image.
  • ⁇ Additional note 20> a step of acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers pre-installed around the plant (S601); setting a reference area based on the plurality of markers for each of the plurality of images (S603); An analysis method comprising the step of acquiring information regarding the growth state of the plant by analyzing the reference area of each of the plurality of images (S604).
  • Analysis device 101 Acquisition section 102: Setting section 103: Analysis section 300: PC (Analysis device) 310: Input section 320: Control section 330: Storage section 340: Output section 321: Acquisition section 322: Setting section 323: Analysis section 30: Camera 41-44: Marker 51-53: Photographed image 54: First reference area 55 :Second reference area 56:Third reference area

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)

Abstract

正確な生育情報を得ることのできる技術を提供する。分析装置が、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有する。

Description

分析装置、分析方法、およびプログラム
　本発明は、植物の生育状態に関する情報を取得する技術に関する。
　農業に関する様々な技術が提案されており、例えば、特許文献１には、処理前の作物の撮影画像、処理後の農作物の撮影画像、および処理内容を互いに紐づけて、農業従事者の教育に利用する技術が開示されている。
　植物を育てるうえで、当該植物の生育状態に関する情報（生育情報）を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。
特開２０２１－２１８２２号公報
　しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることがでなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。
　本発明は、上記実情に鑑みなされたものであって、正確な生育情報を容易に得ることのできる技術を提供することを目的とする。
　上記目的を達成するために、本発明は、以下の方法を採用する。
　本発明の第一側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有することを特徴とする分析装置を提供する。
　上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
　前記植物は、多層で葉（または蕾、花、実など）が作られる植物であるとしてもよい。そのような植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。１／３の葉序で葉が展開する場合は、１２０度ずつ回るように葉が展開し、３枚の葉が展開すると一回りするため、当該３枚の葉の部分を１つの層と定義してもよい。このとき、１２０度の角度は、展葉角度などと呼ばれる。苺の葉は、通常、３枚の小葉と葉柄からなり、２／５の葉序（展葉角度１４４度）で冠部に着生し、上から見たときに１番目の葉と６番目の葉が重なる。そのため、１番目の葉から５番目の葉までを１層目の葉と定義し、６番目の葉から２層目の葉と定義してもよい。
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、前記分析手段は、前記第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、前記第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、前記層の数に基づいて、前記葉面積を調整するとしてもよい。第１の画像は、植物を略真上から撮影した画像と捉えてもよい。第２の画像は、植物を斜めから撮影した画像と捉えてもよい。第１の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第１の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第２の画像からは層の数を高精度に判断することができる。第２の画像から高精度に判断された層の数を活用して、第１の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、前記第１の画像の参照領域から、花、実、または蕾である対象物を検出し、前記第２の画像の参照領域から、前記第１の画像に写っていない前記対象物を検出し、前記第１の画像から検出された前記対象物の数に、前記第２の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断するとしてもよい。第１の画像からは、葉などに（一部または全体が）隠れている対象物を検出できないが、そのような対象物は第２の画像から検出することができる。第１の画像から検出された対象物だけでなく、第２の画像から検出された対象物（第１の画像からは検出できない対象物）を加味することで、対象物の数として、正確性の高い値を得ることができる。
　前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第１の画像と、前記畝の所定の側から撮影した第２の画像とを含み、前記設定手段は、前記第２の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定するとしてもよい。このような第２の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側（第２の画像を撮影する際のカメラの位置から見て手前側）の領域の方が、葉が形成する層がよく（明りょう）に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。
　前記マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、前記複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉（緑）が多く存在する場合などおいても、マーカーを目立たせることができる。
　前記複数のマーカーは、第１の態様のマーカーと、前記第１の態様とは異なる第２の態様のマーカーとを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。
　前記マーカーは、前記植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。
　前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。
　撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。
　植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側（脇）にできる。そのため、前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、前記分析手段は、前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。
　前記生育状態に関する情報は、栄養成長に関する情報を含むとしてもよい。前記生育状態に関する情報は、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像、前記角度が９０度よりも小さい方向から撮影した第３の画像、および前記角度が９０度よりも大きい方向から撮影した第４の画像を含むとしてもよい。前記第３の画像は、前記角度が略４５度の方向から撮影した画像であり、前記第４の画像は、前記角度が略１３５度の方向から撮影した画像であるとしてもよい。前記第４の画像は、前記植物が植えられた畝の第１の側から撮影した画像であり、前記第４の画像は、前記畝の、前記第１の側とは反対の第２の側から撮影した画像であるとしてもよい。第１の画像からは、上側の葉や蕾、花、実（隠れていない葉や蕾、花、実）を高精度に検出することができる。また、第１の画像からは、葉などのサイズを高精度に算出することができる。第３の画像と第４の画像とからは、下側の葉や蕾、花、実（第１の画像で葉などに隠れている別の葉や蕾、花、実）を高精度に検出することができる。また、第３の画像と第４の画像とからは、葉などが形成している層の数を高精度に判断することができる。第３の画像と第４の画像のそれぞれは、上述した第２の画像の一例である。
　前記設定手段は、前記第１の画像に対して、前記複数のマーカーに囲まれた第１の参照領域、前記複数のマーカーから前記第１の側の第２の参照領域、および前記複数のマーカーから前記第２の側の第３の参照領域を設定し、前記第３の画像に対して、前記第１の参照領域および前記第２の参照領域を設定し、前記第４の画像に対して、前記第１の参照領域および前記第３の参照領域を設定するとしてもよい。第３の画像において、第３の参照領域（対象の植物の奥側）は、対象の植物の部位が大きく写らなかったり、他の植物が写ったりする。つまり、第３の画像において、第３の参照領域内の情報は信頼度が低い。同様に、第４の画像において、第２の参照領域内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。
　本発明の第二側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップとを有することを特徴とする分析方法を提供する。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する分析装置または分析システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む分析方法または分析システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、正確な生育情報を得ることができる。
図１は、本発明が適用された分析装置の構成例を示すブロック図である。 図２は、葉が形成する層の一例を示す模式図である。 図３は、本発明の実施形態に係る分析システムの構成例を示すブロック図である。 図４は、本発明の実施形態に係る撮影の様子とマーカーの一例を示す模式図である。 図５は、本発明の実施形態に係る撮影画像の一例を示す模式図である。 図６は、本発明の実施形態に係るＰＣの処理フロー例を示すフローチャートである。
　＜適用例＞
　本発明の適用例について説明する。
　植物を育てるうえで、当該植物の生育状態に関する情報（生育情報）を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることができなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。
　図１は、本発明が適用された分析装置１００の構成例を示すブロック図である。分析装置１００は、取得部１０１、設定部１０２、および分析部１０３を有する。取得部１０１は、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する。設定部１０２は、取得部１０１によって取得された複数の画像それぞれに対し、複数のマーカーに基づく参照領域を設定する。分析部１０３は、取得部１０１によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報（生育情報）を取得する。取得部１０１は取得手段の一例であり、設定部１０２は設定手段の一例であり、分析部１０３は分析手段の一例である。
　上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
　ここで、植物は、多層で葉（または蕾、花、実など）が作られる植物であるとしてもよく、例えば広葉多段葉序型植物であってもよい。広葉多段葉序型植物は、幅の広い葉（広葉）が作られる植物であり、茎が地面から上に伸び、茎に複数の節が作られ、各節で葉（または蕾、花、実など）が作られる植物である。「広葉」は、幅の広い葉を意味し、「多段葉序」は、上に伸びる茎の各節で作られる葉などの並びを意味する。多層で葉などが作られる植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した図１の構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。１／３の葉序で葉が展開する場合は、１２０度ずつ回るように葉が展開し、３枚の葉が展開すると一回りするため、当該３枚の葉の部分を１つの層と定義してもよい。このとき、１２０度の角度は、展葉角度などと呼ばれる。図２に示すように、苺の葉は、通常、３枚の小葉と葉柄からなり、２／５の葉序（展葉角度１４４度）で冠部に着生し、上から見たときに１番目の葉と６番目の葉が重なる。そのため、１番目の葉から５番目の葉までを１層目の葉と定義し、６番目の葉から２層目の葉と定義してもよい。
　取得部１０１が取得する複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、第１の画像とは異なる角度で撮影した第２の画像とを含むとしてもよい。そして、分析部１０３は、第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、層の数に基づいて、葉面積を調整するとしてもよい。第１の画像は、植物を略真上から撮影した画像と捉えてもよい。第２の画像は、植物を斜めから撮影した画像と捉えてもよい。第１の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第１の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第２の画像からは層の数を高精度に判断することができる。第２の画像から高精度に判断された層の数を活用して、第１の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。
　分析部１０３は、第１の画像の参照領域から、花、実、または蕾である対象物を検出し、第２の画像の参照領域から、第１の画像に写っていない対象物を検出してもよい。そして、分析部１０３は、第１の画像から検出された対象物の数に、第２の画像から検出された対象物の数を加算して、参照領域内の対象物の数を判断するとしてもよい。第１の画像からは、葉などに（一部または全体が）隠れている対象物を検出できないが、そのような対象物は第２の画像から検出することができる。第１の画像から検出された対象物だけでなく、第２の画像から検出された対象物（第１の画像からは検出できない対象物）を加味することで、対象物の数として、正確性の高い値を得ることができる。
　第１の画像は、複数のマーカーで指定された畝の略真上から撮影した画像と捉えてもよい。第２の画像は、畝の所定の側から撮影した画像と捉えてもよい。設定部１０２は、第２の画像の参照領域として、複数のマーカーから所定の側の参照領域を設定するとしてもよい。このような第２の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側（第２の画像を撮影する際のカメラの位置から見て手前側）の領域の方が、葉が形成する層がよく（明りょう）に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。
　＜実施形態＞
　本発明の実施形態について説明する。
　図３は、本実施形態に係る分析システムの構成例を示すブロック図である。分析システムは、カメラ３０（撮像装置）とＰＣ３００（パーソナルコンピュータ；分析装置）を有する。カメラ３０とＰＣ３００は有線または無線で互いに接続される。カメラ３０は、植物を撮影するために使用される。ＰＣ３００は、カメラ３０の撮影画像を分析し、分析結果を出力する。分析結果は、例えば表示部に表示されたり、記憶部に格納されたりする。
　なお、カメラ３０は固定されていなくてもよく、持ち運び可能なカメラであってもよい。本実施形態ではＰＣ３００がカメラ３０とは別体の装置であるものとするが、ＰＣ３００はカメラ３０に内蔵されてもよい。上述した表示部や記憶部は、ＰＣ３００の一部であってもよいし、そうでなくてもよい。また、ＰＣ３００の設置場所は特に限定されない。例えば、ＰＣ３００はカメラ３０と同じ部屋に設置されてもよいし、そうでなくてもよい。ＰＣ３００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。ＰＣ３００は、スマートフォンやタブレットなどであってもよい。
　ＰＣ３００は、入力部３１０、制御部３２０、記憶部３３０、および出力部３４０を有する。入力部３１０は、カメラ３０の撮影画像を取得し、制御部３２０へ出力する。制御部３２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。本実施形態では、制御部３２０は、カメラ３０の撮影画像を分析し、分析結果を出力部３４０へ出力する。記憶部３３０は、制御部３２０で実行されるプログラムや、制御部３２０で使用される各種データなどを記憶する。例えば、記憶部３３０は、ハードディスクドライブやソリッドステートドライブなどの補助記憶装置である。出力部３４０は、撮影画像の分析結果を制御部３２０から取得し、表示部や記憶部などへ出力する。
　制御部３２０について、より詳細に説明する。制御部３２０は、取得部３２１、設定部３２２、および分析部３２３を有する。
　取得部３２１は、カメラ３０の撮影画像を入力部３１０から取得し、設定部３２２へ出力する。本実施形態では、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像が取得される。取得部３２１は取得手段の一例である。
　マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉（緑）が多く存在する場合などおいても、マーカーを目立たせることができる。
　複数のマーカーは、第１の態様のマーカー、および第１の態様とは異なる第２の態様のマーカーを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。
　マーカーは、植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。
　マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。
　マーカーの数は特に限定されないが、本実施形態では、図４に示すように２行２列の４つのマーカー４１～４４が予め設置されているとする。マーカー４１，４２は、黒い円を赤い円環と黒い円環で囲んだ態様を有し、マーカー４３，４４は、赤い円を黒い円環で囲んだ態様を有する。
　撮影画像の数や、撮影方向などは特に限定されないが、本実施形態では、取得部３２１は、以下の３つの撮影画像を取得するとする。なお、第３の画像と第４の画像の両方を取得してもよいが、第３の画像と第４の画像の一方のみを取得してもよい。つまり、第１の画像と第３の画像との２枚の画像を取得してもよいし、第１の画像と第４の画像との２枚の画像を取得してもよい。第３の画像と第４の画像のそれぞれは、上述した第２の画像の一例である。
　・地面に対する角度（撮影角度）が略９０度の方向から撮影した第１の画像
　・撮影角度が９０度よりも小さい方向から撮影した第３の画像
　・撮影角度が９０度よりも大きい方向から撮影した第４の画像
　本実施形態では、第３の画像は、撮影角度が略４５度の方向から撮影した画像であり、第４の画像は、撮影角度が略１３５度の方向から撮影した画像であるとする。換言すれば、第３の画像は、植物が植えられた畝の第１の側（手前側）から撮影した画像であり、第４の画像は、畝の、第１の側とは反対の第２の側（奥側）から撮影した画像である。図４には、撮影の様子も示されている。図５に、第１の画像の一例である撮影画像５１、第３の画像の一例である撮影画像５２、および第４の画像の一例である撮影画像５３を示す。
　第１の画像からは、上側の葉や蕾、花、実（隠れていない葉や蕾、花、実）を高精度に検出することができる。また、第１の画像からは、葉などのサイズを高精度に算出することができる。第３の画像と第４の画像とからは、下側の葉や蕾、花、実（第１の画像で葉などに隠れている別の葉や蕾、花、実）を高精度に検出することができる。また、第３の画像と第４の画像とからは、葉などが形成している層の数を高精度に判断することができる。
　設定部３２２は、取得部３２１によって取得された複数の撮影画像それぞれに対し、複数のマーカーに基づく参照領域を設定し、複数の撮影画像と、各撮影画像に設定した参照領域の情報とを、分析部３２３へ出力する。例えば、設定部３２２は、撮影画像から複数のマーカーを検出し、複数のマーカーで囲まれた領域を参照領域として設定する。設定部３２２は設定手段の一例である。
　分析部３２３は、取得部３２１によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報（生育情報）を取得する。そして、分析部３２３は、生育情報を出力部３４０へ出力する。生育情報は、栄養成長に関する情報を含むとしてもよいし、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。分析部３２３は、参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。生育情報は、葉の数や、蕾の数、花の数、実の数、葉の状態（サイズなど）、蕾の状態、花の状態、実の状態、それらの時間変化（時間変化率）などであってもよいし、植物の生育が遅れているか否かや、進み過ぎているか否かなどを示す指標（レベル）であってもよいし、他の情報であってもよい。制御部３２０（例えば分析部３２３）は、生育情報から、次に行うべき作業などを判断してもよい。
　撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部（葉や蕾、花、実など）のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、分析部３２３は、撮影画像における複数のマーカーの間隔に基づいて、撮影画像における植物の各部のサイズから、植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。
　植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側（脇）にできる。そのため、設定部３２２は、複数の撮影画像それぞれに対し、複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定してもよい。そして、分析部３２３は、上記の位置関係ごとに、複数の撮影画像それぞれの参照領域内を分析し、位置関係ごとの分析結果を総合して、生育情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。例えば、実の分布が適切か否かに関する情報として、正確性の高い情報を得ることができる。
　設定部３２２は、図５に示すように参照領域を設定してもよい。図５では、撮影画像５１（撮影角度が略９０度である第１の画像）に対して、第１の参照領域５４、第２の参照領域５５、および第３の参照領域５６が設定されている。撮影画像５２（撮影角度が９０度よりも小さい（略４５度である）第３の画像）に対しては、第３の参照領域５６は設定されておらず、第１の参照領域５４および第２の参照領域５５が設定されている。そして、撮影画像５３（撮影角度が９０度よりも大きい（略１３５度である）第４の画像）に対しては、第２の参照領域５５は設定されておらず、第１の参照領域５４および第３の参照領域５６が設定されている。
　第１の参照領域５４は、複数のマーカーに囲まれた領域、具体的には４つのマーカー４１～４４を頂点とする四角形の領域である。第２の参照領域５５は、複数のマーカーから第１の側（畝の手前側）の領域、具体的にはマーカー４１とマーカー４４を通る直線、マーカー４２とマーカー４３を通る直線、マーカー４１とマーカー４２を通る直線、および撮影画像の下辺に囲まれた領域である。第３の参照領域５６は、複数のマーカーから第２の側（畝の奥側）の領域、具体的にはマーカー４１とマーカー４４を通る直線、マーカー４２とマーカー４３を通る直線、マーカー４３とマーカー４４を通る直線、および撮影画像の上端に囲まれた領域である。
　撮影画像５２（第３の画像）において、第３の参照領域５６（対象の植物の奥側）は、対象の植物の部位が大きく写らなかったり、他の植物（隣の畝に植えられた植物など）が写ったりする。つまり、撮影画像５２において、第３の参照領域５６内の情報は信頼度が低い。同様に、撮影画像５３（第４の画像）において、第２の参照領域５５内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。
　図６は、ＰＣ３００の処理フロー例を示すフローチャートである。
　まず、取得部３２１は、カメラ３０の撮影画像を入力部３１０から取得する（ステップＳ６０１）。例えば、図５の撮影画像５１～５３が取得される。
　次に、設定部３２２は、ステップＳ６０１で取得された撮影画像から、複数のマーカーを検出する（ステップＳ６０２）。例えば、図５の撮影画像５１～５３それぞれから、マーカー４１～４４が検出される。
　次に、設定部３２２は、ステップＳ６０２で検出したマーカーに基づいて、撮影画像に対して参照領域を設定する（ステップＳ６０３）。例えば、図５の撮影画像５１に対して第１の参照領域５４、第２の参照領域５５、および第３の参照領域５６が設定される。そして、撮影画像５２に対して第１の参照領域５４と第２の参照領域５５が設定され、撮影画像５３に対して第１の参照領域５４と第３の参照領域５６が設定される。
　次に、分析部３２３は、ステップＳ６０３で設定された参照領域内を分析することで、生育情報を取得する（ステップＳ６０４）。
　ステップＳ６０４の処理について、図５を参照して具体的に説明する。なお、以下の処理はあくまで一例であり、得たい情報などに依って適宜変更され得る。
　まず、葉面積（葉の面積の合計値）の判断方法について説明する。
　例えば、分析部３２３は、撮影画像５１の第１の参照領域５４内を解析して、第１の参照領域５４の葉面積を算出（判断）する。例えば、緑の領域を画像処理で特定し、特定した領域の総面積（総画素数など）を葉面積として算出してもよい。画像処理では、例えば、ＲＧＢ信号のうちのＧ信号の強度が所定値以上の領域が、緑の領域として特定される。葉面積の算出方法はこれに限られず、提案されている様々な方法で葉面積を算出してよい。
　しかし、撮影画像５１の第１の参照領域５４内を解析して判断される葉面積は、撮影画像５１の第１の参照領域５４に写っている葉の面積であり、当該葉面積では、撮影画像５１で葉などに隠れている別の葉の面積は考慮されていない。分析部３２３は、隠れている葉の面積を考慮するために、撮影画像５２，５３の少なくとも一方を用いる。ここでは、撮影画像５２，５３の両方を用いるとする。
　分析部３２３は、撮影画像５２の第１の参照領域５４内を解析して、葉が形成している層の数を判断する。例えば、葉が層を形成している様子を表す所定のテンプレートを用いたマッチングにより層を検出して、層の数を判断してもよい。上述したように、１層あたりの葉の枚数は展葉角度によって決まり、展葉角度は植物の品目ごとに予め決まっている。そのため、マッチングでは、展葉角度ごと（品目ごと）に異なるテンプレートが使用される。同様に、分析部３２３は、撮影画像５３の第１の参照領域５４内を解析して、葉が形成している層の数を判断する。そして、分析部３２３は、判断した層数（２つの層数の少なくともいずれか）に基づいて、撮影画像５１の第１の参照領域５４内を解析して判断した葉面積を調整することにより、第１の参照領域５４の最終的な葉面積を取得する。例えば、分析部３２３は、判断した２つの層数の平均値（平均層数）を、撮影画像５１の第１の参照領域５４内を解析して判断した葉面積（真上葉面積）に乗算し、第１の参照領域５４の最終的な葉面積を算出してもよい。分析部３２３は、真上葉面積に、平均層数と、植物種に応じた計数（１未満）とを乗算することにより、第１の参照領域５４の最終的な葉面積を算出してもよい。
　次に、分析部３２３は、撮影画像５１の第２の参照領域５５内を解析して、第２の参照領域５５の葉面積を算出（判断）する。また、分析部３２３は、撮影画像５２の第２の参照領域５５内を解析して、葉が形成している層の数を判断する。そして、分析部３２３は、判断した層数を、撮影画像５１の第２の参照領域５５内を解析して判断した葉面積に乗算し、第２の参照領域５５の最終的な葉面積を算出する。
　同様に、分析部３２３は、撮影画像５１の第３の参照領域５６内を解析して、第３の参照領域５６の葉面積を算出（判断）する。また、分析部３２３は、撮影画像５３の第３の参照領域５６内を解析して、葉が形成している層の数を判断する。そして、分析部３２３は、判断した層数を、撮影画像５１の第３の参照領域５６内を解析して判断した葉面積に乗算し、第３の参照領域５６の最終的な葉面積を算出する。
　なお、撮影画像５２の第２の参照領域５５には、植物の横側の端部が写るため、撮影画像５２や撮影画像５３の第１の参照領域５４よりも、葉が形成する層がよく（明りょうに）写る。したがって、撮影画像５２の第２の参照領域５５内を解析して判断した層数（第２の層数）の信頼度は、撮影画像５２や撮影画像５３の第１の参照領域５４内を解析して判断した層数（第１の層数）の信頼度よりも高い。そこで、第２の層数が第１の層数と異なる場合には、それらに基づいて第１の参照領域５４を調整してもよい。例えば、第１の参照領域５４の葉面積（上述した最終的な葉面積）に、第１の層数に対する第２の層数の割合（第２の層数／第１の層数）を乗算してもよい。
　同様に、撮影画像５３の第３の参照領域５６には、植物の横側の端部が写るため、撮影画像５２や撮影画像５３の第１の参照領域５４よりも、葉が形成する層がよく（明りょうに）写る。したがって、撮影画像５３の第３の参照領域５６内を解析して判断した層数（第３の層数）の信頼度は、撮影画像５２や撮影画像５３の第１の参照領域５４内を解析して判断した層数（第１の層数）の信頼度よりも高い。そこで、第３の層数が第１の層数と異なる場合には、それらに基づいて第１の参照領域５４を調整してもよい。例えば、第１の参照領域５４の葉面積（上述した最終的な葉面積）に、第１の層数に対する第３の層数の割合（第３の層数／第１の層数）を乗算してもよい。
　また、分析部３２３は、第１の参照領域５４の葉面積、第２の参照領域５５の葉面積、および第３の参照領域５６の葉面積の合計値を算出してもよい。
　次に、蕾の数の判断方法について説明する。花や実などの数も、同様の方法で判断できる。
　例えば、分析部３２３は、撮影画像５１の第１の参照領域５４、撮影画像５２の第１の参照領域５４、および撮影画像５３の第１の参照領域５４から、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１～５３の全てから検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第１の参照領域５４の蕾の数である。
　同様に、分析部３２３は、撮影画像５１の第２の参照領域５５と、撮影画像５２の第２の参照領域５５とから、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１と撮影画像５２の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第２の参照領域５５の蕾の数である。
　同様に、分析部３２３は、撮影画像５１の第３の参照領域５６と、撮影画像５３の第３の参照領域５６とから、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１と撮影画像５３の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第３の参照領域５６の蕾の数である。
　なお、分析部３２３は、第１の参照領域５４の蕾の数、第２の参照領域５５の蕾の数、および第３の参照領域５６の蕾の数の合計値を算出してもよい。
　図６の説明に戻る。ステップＳ６０４の次に、出力部３４０は、ステップＳ６０４の分析の結果（例えば生育情報）を、表示部や記憶部などへ出力する（ステップＳ６０５）。
　以上述べたように、本実施形態によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
　＜付記１＞
　植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段（１０１，３２１）と、
　前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段（１０２，３２２）と、
　前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段（１０３，３２３）と
を有することを特徴とする分析装置（１００，３００）。
　＜付記２＞
　前記植物は、多層で葉が作られる植物である
ことを特徴とする付記１に記載の分析装置（１００，３００）。
　＜付記３＞
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
　前記分析手段（１０３，３２３）は、
　　前記第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
　　前記第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
　　前記層の数に基づいて、前記葉面積を調整する
ことを特徴とする付記１または２に記載の分析装置（１００，３００）。
　＜付記４＞
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
　前記分析手段（１０３，３２３）は、
　　前記第１の画像の参照領域から、花、実、または蕾である対象物を検出し、
　　前記第２の画像の参照領域から、前記第１の画像に写っていない前記対象物を検出し、
　　前記第１の画像から検出された前記対象物の数に、前記第２の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
ことを特徴とする付記１または２に記載の分析装置（１００，３００）。
　＜付記５＞
　前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第１の画像と、前記畝の所定の側から撮影した第２の画像とを含み、
　前記設定手段（１０２，３２２）は、前記第２の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
ことを特徴とする付記１または２に記載の分析装置（１００，３００）。
　＜付記６＞
　前記マーカーは、複数の色を有する
ことを特徴とする付記１から５の何れか一つに記載の分析装置（１００，３００）。
　＜付記７＞
　前記複数の色は、黒と赤を含む
ことを特徴とする付記６に記載の分析装置（１００，３００）。
　＜付記８＞
　前記複数のマーカーは、第１の態様のマーカーと、前記第１の態様とは異なる第２の態様のマーカーとを含む
ことを特徴とする付記１から７の何れか一つに記載の分析装置（１００，３００）。
　＜付記９＞
　前記マーカーは、前記植物が到達しない高さに設置される
ことを特徴とする付記１から８の何れか一つに記載の分析装置（１００，３００）。
　＜付記１０＞
　前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせである
ことを特徴とする付記１から９の何れか一つに記載の分析装置（１００，３００）。
　＜付記１１＞
　前記分析手段（１０３，３２３）は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
ことを特徴とする付記１から１０の何れか一つに記載の分析装置（１００，３００）。
　＜付記１２＞
　前記設定手段（１０２，３２２）は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
　前記分析手段（１０３，３２３）は、
　　前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
　　前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
ことを特徴とする付記１から１１の何れか一つに記載の分析装置（１００，３００）。
　＜付記１３＞
　前記生育状態に関する情報は、栄養成長に関する情報を含む
ことを特徴とする付記１から１２の何れか一つに記載の分析装置（１００，３００）。
　＜付記１４＞
　前記生育状態に関する情報は、生殖成長に関する情報を含む
ことを特徴とする付記１から１３の何れか一つに記載の分析装置（１００，３００）。
　＜付記１５＞
　前記分析手段（１０３，３２３）は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
ことを特徴とする付記１から１４の何れか一つに記載の分析装置（１００，３００）。
　＜付記１６＞
　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像、前記角度が９０度よりも小さい方向から撮影した第３の画像、および前記角度が９０度よりも大きい方向から撮影した第４の画像を含む
ことを特徴とする付記１または２に記載の分析装置（１００，３００）。
　＜付記１７＞
　前記第３の画像は、前記角度が略４５度の方向から撮影した画像であり、
　前記第４の画像は、前記角度が略１３５度の方向から撮影した画像である
ことを特徴とする付記１６に記載の分析装置（１００，３００）。
　＜付記１８＞
　前記第３の画像は、前記植物が植えられた畝の第１の側から撮影した画像であり、
　前記第４の画像は、前記畝の、前記第１の側とは反対の第２の側から撮影した画像である
ことを特徴とする付記１６に記載の分析装置（１００，３００）。
　＜付記１９＞
　前記設定手段（１０２，３２２）は、
　　前記第１の画像に対して、前記複数のマーカーに囲まれた第１の参照領域、前記複数のマーカーから前記第１の側の第２の参照領域、および前記複数のマーカーから前記第２の側の第３の参照領域を設定し、
　　前記第３の画像に対して、前記第１の参照領域および前記第２の参照領域を設定し、
　　前記第４の画像に対して、前記第１の参照領域および前記第３の参照領域を設定することを特徴とする付記１８に記載の分析装置（１００，３００）。
　＜付記２０＞
　植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップ（Ｓ６０１）と、
　前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップ（Ｓ６０３）と、
　前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップ（Ｓ６０４）と
を有することを特徴とする分析方法。
　＜付記２１＞
　付記２０に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。
　１００：分析装置　１０１：取得部　１０２：設定部　１０３：分析部
　３００：ＰＣ（分析装置）
　３１０：入力部　３２０：制御部　３３０：記憶部　３４０：出力部
　３２１：取得部　３２２：設定部　３２３：分析部
　３０：カメラ　４１～４４：マーカー　５１～５３：撮影画像
　５４：第１の参照領域　５５：第２の参照領域　５６：第３の参照領域

Claims (21)

  1. 　植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、
    　前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、
    　前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段と
    を有することを特徴とする分析装置。
  2. 　前記植物は、多層で葉が作られる植物である
    ことを特徴とする請求項１に記載の分析装置。
  3. 　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
    　前記分析手段は、
    　　前記第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
    　　前記第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
    　　前記層の数に基づいて、前記葉面積を調整する
    ことを特徴とする請求項１または２に記載の分析装置。
  4. 　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
    　前記分析手段は、
    　　前記第１の画像の参照領域から、花、実、または蕾である対象物を検出し、
    　　前記第２の画像の参照領域から、前記第１の画像に写っていない前記対象物を検出し、
    　　前記第１の画像から検出された前記対象物の数に、前記第２の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
    ことを特徴とする請求項１または２に記載の分析装置。
  5. 　前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第１の画像と、前記畝の所定の側から撮影した第２の画像とを含み、
    　前記設定手段は、前記第２の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
    ことを特徴とする請求項１または２に記載の分析装置。
  6. 　前記マーカーは、複数の色を有する
    ことを特徴とする請求項１または２に記載の分析装置。
  7. 　前記複数の色は、黒と赤を含む
    ことを特徴とする請求項６に記載の分析装置。
  8. 　前記複数のマーカーは、第１の態様のマーカーと、前記第１の態様とは異なる第２の態様のマーカーとを含む
    ことを特徴とする請求項１または２に記載の分析装置。
  9. 　前記マーカーは、前記植物が到達しない高さに設置される
    ことを特徴とする請求項１または２に記載の分析装置。
  10. 　前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせである
    ことを特徴とする請求項１または２に記載の分析装置。
  11. 　前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
    ことを特徴とする請求項１または２に記載の分析装置。
  12. 　前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
    　前記分析手段は、
    　　前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
    　　前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
    ことを特徴とする請求項１または２に記載の分析装置。
  13. 　前記生育状態に関する情報は、栄養成長に関する情報を含む
    ことを特徴とする請求項１または２に記載の分析装置。
  14. 　前記生育状態に関する情報は、生殖成長に関する情報を含む
    ことを特徴とする請求項１または２に記載の分析装置。
  15. 　前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
    ことを特徴とする請求項１または２に記載の分析装置。
  16. 　前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像、前記角度が９０度よりも小さい方向から撮影した第３の画像、および前記角度が９０度よりも大きい方向から撮影した第４の画像を含む
    ことを特徴とする請求項１または２に記載の分析装置。
  17. 　前記第３の画像は、前記角度が略４５度の方向から撮影した画像であり、
    　前記第４の画像は、前記角度が略１３５度の方向から撮影した画像である
    ことを特徴とする請求項１６に記載の分析装置。
  18. 　前記第３の画像は、前記植物が植えられた畝の第１の側から撮影した画像であり、
    　前記第４の画像は、前記畝の、前記第１の側とは反対の第２の側から撮影した画像である
    ことを特徴とする請求項１６に記載の分析装置。
  19. 　前記設定手段は、
    　　前記第１の画像に対して、前記複数のマーカーに囲まれた第１の参照領域、前記複数のマーカーから前記第１の側の第２の参照領域、および前記複数のマーカーから前記第２の側の第３の参照領域を設定し、
    　　前記第３の画像に対して、前記第１の参照領域および前記第２の参照領域を設定し、
    　　前記第４の画像に対して、前記第１の参照領域および前記第３の参照領域を設定することを特徴とする請求項１８に記載の分析装置。
  20. 　植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、
    　前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、
    　前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップと
    を有することを特徴とする分析方法。
  21. 　請求項２０に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2023/027297 2022-08-31 2023-07-26 分析装置、分析方法、およびプログラム WO2024048143A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022137915A JP2024033962A (ja) 2022-08-31 2022-08-31 分析装置、分析方法、およびプログラム
JP2022-137915 2022-08-31

Publications (1)

Publication Number Publication Date
WO2024048143A1 true WO2024048143A1 (ja) 2024-03-07

Family

ID=90099161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027297 WO2024048143A1 (ja) 2022-08-31 2023-07-26 分析装置、分析方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024033962A (ja)
WO (1) WO2024048143A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193582A (ja) * 2018-05-01 2019-11-07 株式会社クボタ 植物栽培装置
JP2020099215A (ja) * 2018-12-20 2020-07-02 三菱重工機械システム株式会社 植物管理システム
US20200279374A1 (en) * 2019-02-28 2020-09-03 Iunu, Inc. Automated plant disease detection
JP2022170060A (ja) * 2021-04-28 2022-11-10 株式会社天地人 生育状況評価システム、生育状況評価装置、生育状況評価方法及びプログラム
JP2023035479A (ja) * 2021-09-01 2023-03-13 国立研究開発法人農業・食品産業技術総合研究機構 農業用シートおよび植物の計測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193582A (ja) * 2018-05-01 2019-11-07 株式会社クボタ 植物栽培装置
JP2020099215A (ja) * 2018-12-20 2020-07-02 三菱重工機械システム株式会社 植物管理システム
US20200279374A1 (en) * 2019-02-28 2020-09-03 Iunu, Inc. Automated plant disease detection
JP2022170060A (ja) * 2021-04-28 2022-11-10 株式会社天地人 生育状況評価システム、生育状況評価装置、生育状況評価方法及びプログラム
JP2023035479A (ja) * 2021-09-01 2023-03-13 国立研究開発法人農業・食品産業技術総合研究機構 農業用シートおよび植物の計測方法

Also Published As

Publication number Publication date
JP2024033962A (ja) 2024-03-13

Similar Documents

Publication Publication Date Title
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
US10747999B2 (en) Methods and systems for pattern characteristic detection
He et al. A novel 3D imaging system for strawberry phenotyping
Hall et al. Characterising and mapping vineyard canopy using high-spatial-resolution aerial multispectral images
US20210311187A1 (en) Systems and methods for tagging and linking acoustic images
EP2736318B1 (en) Plant growth kinetics captured by motion tracking
US20210142484A1 (en) Information processing apparatus, information processing method, and storage medium
EP4064182A1 (en) Information processing device, information processing method, and program
KR101974638B1 (ko) 식물 영상 처리 장치 및 방법
KR102095539B1 (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
KR20200020209A (ko) 포장 단위별 다분광 영상 히스토그램 패턴 분석을 통한 작물 생육 모니터링 장치
JP2023553443A (ja) 植物検出及び表示システム
US9342895B2 (en) Device and method for detecting a plant against a background using photographs with different levels of brightness
Meivel et al. Monitoring of potato crops based on multispectral image feature extraction with vegetation indices
WO2024048143A1 (ja) 分析装置、分析方法、およびプログラム
KR102531781B1 (ko) 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법
Hearst Remote sensing of soybean canopy cover, color, and visible indicators of moisture stress using imagery from unmanned aircraft systems
Narayanan et al. Improving soybean breeding using UAS measurements of physiological maturity
CN108122224A (zh) 一种测算树冠郁闭度的***
KR102114384B1 (ko) 영상기반 작물 생육데이터 측정 모바일 앱 및 그 디바이스
Sandino et al. Method for estimating leaf coverage in strawberry plants using digital image processing
Susko et al. Quantifying cereal crop movement through hemispherical video analysis of agricultural plots
Schneider et al. Towards predicting vine yield: Conceptualization of 3d grape models and derivation of reliable physical and morphological parameters
KR20200080432A (ko) 딸기의 이미지 분석을 통한 생육 진단 방법
Vescovi et al. Detection of human-induced land cover changes in a savannah landscape in Ghana: I. Change detection and quantification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23859912

Country of ref document: EP

Kind code of ref document: A1