WO2024048143A1 - 分析装置、分析方法、およびプログラム - Google Patents
分析装置、分析方法、およびプログラム Download PDFInfo
- Publication number
- WO2024048143A1 WO2024048143A1 PCT/JP2023/027297 JP2023027297W WO2024048143A1 WO 2024048143 A1 WO2024048143 A1 WO 2024048143A1 JP 2023027297 W JP2023027297 W JP 2023027297W WO 2024048143 A1 WO2024048143 A1 WO 2024048143A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- reference area
- plant
- markers
- analysis
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 121
- 230000012010 growth Effects 0.000 claims abstract description 81
- 241000196324 Embryophyta Species 0.000 claims description 103
- 239000003550 marker Substances 0.000 claims description 39
- 235000013399 edible fruits Nutrition 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 8
- 230000001850 reproductive effect Effects 0.000 claims description 6
- 230000009105 vegetative growth Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 241000220223 Fragaria Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 235000016623 Fragaria vesca Nutrition 0.000 description 2
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
Definitions
- the present invention relates to technology for acquiring information regarding the growth status of plants.
- Patent Document 1 describes a method for educating farmers by linking photographed images of crops before processing, photographed images of crops after processing, and processing details. The technology used is disclosed.
- growth information information regarding the growth status of the plants. For example, by obtaining growth information, it becomes possible to easily judge whether a plant's growth is slow or too advanced, and to perform tasks such as top-dressing and leaf removal in an appropriate manner. .
- the present invention was made in view of the above-mentioned circumstances, and an object of the present invention is to provide a technique that allows accurate growth information to be easily obtained.
- the present invention employs the following method.
- a first aspect of the present invention provides an acquisition means for acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant;
- the invention is characterized by comprising a setting means for setting a reference area based on the plurality of markers, and an analysis means for acquiring information regarding the growth state of the plant by analyzing the inside of the reference area of each of the plurality of images.
- growth information can be easily obtained by a simple task of inputting a plurality of captured images. Further, growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted. Furthermore, by using multiple images taken from multiple directions, it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
- the plant may be a plant with multilayered leaves (or buds, flowers, fruits, etc.).
- leaves, buds, flowers, fruits, etc. are likely to be hidden behind other leaves in the photographed image.
- the layer is, for example, the part where the leaf expands and goes around.
- the angle of 120 degrees is called the leaf spread angle.
- Strawberry leaves usually consist of three leaflets and a petiole, and are attached to the crown with a 2/5 phyllotaxis (leaf expansion angle of 144 degrees), and when viewed from above, the first leaf and the sixth leaf. The leaves overlap. Therefore, the first leaf to the fifth leaf may be defined as the first layer leaves, and the sixth leaf to the second layer may be defined as the leaves.
- the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image, and the analysis means
- the leaf area which is the total area of the leaves
- the number of layers formed by the leaf is determined.
- the leaf area may be adjusted based on the number of layers.
- the first image may be taken as an image taken from approximately directly above the plant.
- the second image may be taken as an image of the plant taken from an angle. Since the area of another leaf hidden behind leaves cannot be obtained from the first image, a highly accurate leaf area may not be obtained.
- the number of layers formed by the leaf cannot be determined with high precision from the first image.
- the number of layers can be determined with high precision from the second image.
- the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image, and detecting an object that is a flower, fruit, or bud from a reference area; detecting an object that is not shown in the first image from a reference area of the second image;
- the number of objects within the reference area may be determined by adding the number of objects detected from the second image to the number of objects detected. Although objects that are (partially or completely) hidden behind leaves or the like cannot be detected from the first image, such objects can be detected from the second image.
- the number of objects can be calculated with high accuracy. value can be obtained.
- the plurality of images include a first image taken from substantially directly above the ridge designated by the plurality of markers, and a second image taken from a predetermined side of the ridge, and the setting means includes:
- a reference area on the predetermined side of the plurality of markers may be set as the reference area of the second image.
- the area on the predetermined side from the multiple markers (the nearer side when viewed from the camera position when capturing the second image) is more important than the area surrounded by the multiple markers.
- the layers formed by the leaves are clearly visible. Therefore, by setting a reference region on a predetermined side from a plurality of markers, it becomes possible to analyze the inside of the reference region and determine the number of layers with high precision.
- the marker may have multiple colors. This allows the marker to stand out. Since the marker stands out, it is possible to detect the marker from the photographed image with high precision, and in turn, it is possible to set the reference area with high precision.
- the plurality of colors may include black and red. By doing this, you can easily mark the marker even if the soil on the ground is bright, bright vinyl such as white is spread on the ground, or there are many leaves (green) of plants around the marker. It can make you stand out.
- the plurality of markers may include a marker of the first aspect and a marker of the second aspect different from the first aspect.
- the marker may be installed at a height that the plant cannot reach. By doing so, the marker will not be hidden by plants in the photographed image, so the marker can be detected from the photographed image with high accuracy, and the reference area can be set with high accuracy.
- the marker may be a circle, a ring, a combination of a circle and a ring with the same center, or a combination of multiple rings with the same center.
- the ratio between the interval between the plurality of markers in the photographed image and the actual interval between the plurality of markers corresponds to the ratio between the size of each part of the plant in the photographed image and the actual size of each part of the plant. Therefore, the analysis means may determine the actual size of each part of the plant from the size of each part of the plant in the image based on the intervals between the plurality of markers in the image. In this way, highly accurate information on the actual size of each part of the plant can be obtained.
- the setting means sets, for each of the plurality of images, a plurality of reference regions having different positional relationships with the plurality of markers, and the analysis means sets each of the plurality of images for each of the positional relationships.
- the reference area may be analyzed and the analysis results for each positional relationship may be integrated to obtain information regarding the growth state. By doing so, it is possible to obtain highly accurate growth information by assuming the manner in which the characteristics of plant parts appear.
- the information regarding the growth state may include information regarding vegetative growth.
- the information regarding the growth state may include information regarding reproductive growth. Vegetative growth is the growth that produces stems and leaves, and reproductive growth is the growth that produces buds, flowers, fruits, etc.
- the analysis means may detect at least one of a leaf, a bud, a flower, and a fruit from the reference area.
- the plurality of images include a first image taken from a direction where the angle with respect to the ground is approximately 90 degrees, a third image taken from a direction where the angle is smaller than 90 degrees, and a direction where the angle is larger than 90 degrees. It may also include a fourth image taken from.
- the third image may be an image taken from a direction where the angle is approximately 45 degrees, and the fourth image may be an image taken from a direction where the angle is approximately 135 degrees.
- the fourth image is an image taken from a first side of the ridge where the plant is planted, and the fourth image is an image taken from a second side of the ridge opposite to the first side. The image may be taken from.
- first image upper leaves, buds, flowers, and fruits (leaves, buds, flowers, and fruits that are not hidden) can be detected with high accuracy. Furthermore, the size of leaves and the like can be calculated with high precision from the first image. From the third and fourth images, lower leaves, buds, flowers, and fruits (other leaves, buds, flowers, and fruits hidden behind leaves in the first image) are detected with high accuracy. can do. Further, from the third image and the fourth image, the number of layers formed by leaves etc. can be determined with high accuracy.
- Each of the third image and the fourth image is an example of the second image described above.
- the setting means includes, for the first image, a first reference area surrounded by the plurality of markers, a second reference area on the first side from the plurality of markers, and a second reference area on the first side from the plurality of markers. to set a third reference area on the second side, set the first reference area and the second reference area for the third image, and set the first reference area and the second reference area for the fourth image.
- the first reference area and the third reference area may be set.
- the third image in the third reference area (the back side of the target plant), parts of the target plant may not be shown in a large size, or other plants may be shown. That is, in the third image, the information within the third reference area has low reliability. Similarly, in the fourth image, the information within the second reference area has low reliability. Highly accurate growth information can be obtained by not setting a reference area where the reliability of the obtained information is low.
- a second aspect of the present invention includes the step of acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant; , a step of setting a reference region based on the plurality of markers, and a step of acquiring information regarding the growth state of the plant by analyzing the reference region of each of the plurality of images. provide a method.
- the present invention can be understood as an analysis device or analysis system having at least a part of the above configuration or function.
- the present invention also provides an analysis method that includes at least a part of the above processing or a method for controlling an analysis system, a program for causing a computer to execute these methods, or a computer that non-temporarily records such a program. It can also be regarded as a readable recording medium.
- FIG. 1 is a block diagram showing an example of the configuration of an analysis device to which the present invention is applied.
- FIG. 2 is a schematic diagram showing an example of layers formed by leaves.
- FIG. 3 is a block diagram showing a configuration example of an analysis system according to an embodiment of the present invention.
- FIG. 4 is a schematic diagram showing an example of a photographing situation and a marker according to an embodiment of the present invention.
- FIG. 5 is a schematic diagram showing an example of a photographed image according to an embodiment of the present invention.
- FIG. 6 is a flowchart showing an example of the processing flow of the PC according to the embodiment of the present invention.
- growth information When growing plants, it is very important to obtain information regarding the growth status of the plants (growth information). For example, by obtaining growth information, it becomes possible to easily judge whether a plant's growth is slow or too advanced, and to perform tasks such as top-dressing and leaf removal in an appropriate manner. .
- growth information was obtained manually or visually, such as by measuring the length of leaves with a ruler, so it was not easy to obtain growth information.
- the accuracy of the growth information was insufficient, and it was sometimes difficult to determine the appropriate work to be performed next.
- FIG. 1 is a block diagram showing a configuration example of an analysis device 100 to which the present invention is applied.
- the analysis device 100 includes an acquisition section 101, a setting section 102, and an analysis section 103.
- the acquisition unit 101 acquires a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers installed in advance around the plant.
- the setting unit 102 sets a reference area based on a plurality of markers for each of the plurality of images acquired by the acquisition unit 101.
- the analysis unit 103 acquires information regarding the growth state of the plant (growth information) by analyzing the reference area of each of the plurality of captured images acquired by the acquisition unit 101.
- the acquisition unit 101 is an example of an acquisition unit
- the setting unit 102 is an example of a setting unit
- the analysis unit 103 is an example of an analysis unit.
- growth information can be easily obtained by a simple task of inputting a plurality of captured images. Further, growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted. Furthermore, by using multiple images taken from multiple directions, it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
- the plant may be a plant with multilayered leaves (or buds, flowers, fruits, etc.), and may be, for example, a broad-leaved multi-tiered phyllotactic plant.
- Broad-leaved multi-tiered plants are plants that produce wide leaves (broad leaves), stems that grow upwards from the ground, and multiple nodes on the stem, each node containing a leaf (or bud, flower, or fruit). etc.) are produced.
- “Broad leaf” refers to wide leaves
- multi-stage phyllotaxis” refers to the arrangement of leaves made at each node of the stem that grows upward. In the case of plants with multi-layered leaves, the leaves, buds, flowers, fruits, etc.
- the layer is, for example, the part where the leaf expands and goes around.
- the leaves unfold in 1/3 phyllotaxis the leaves unfold in a 120 degree rotation, and when three leaves unfold, they rotate once, so the three leaves are defined as one layer. You may. At this time, the angle of 120 degrees is called the leaf spread angle.
- strawberry leaves usually consist of three leaflets and a petiole, and are attached to the crown with a 2/5 phyllotaxis (leaf expansion angle of 144 degrees), and when viewed from above, The first leaf and the sixth leaf overlap. Therefore, the first leaf to the fifth leaf may be defined as the first layer leaves, and the sixth leaf to the second layer may be defined as the leaves.
- the plurality of images acquired by the acquisition unit 101 may include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at an angle different from the first image. .
- the analysis unit 103 then analyzes the reference area of the first image to determine the leaf area, which is the total area of the leaves, and analyzes the reference area of the second image to determine the leaf area.
- the number of layers formed by the leaf may be determined and the leaf area may be adjusted based on the number of layers.
- the first image may be taken as an image taken from approximately directly above the plant.
- the second image may be taken as an image of the plant taken from an angle. Since the area of another leaf hidden behind leaves cannot be obtained from the first image, a highly accurate leaf area may not be obtained.
- the number of layers formed by the leaf cannot be determined with high precision from the first image.
- the number of layers can be determined with high precision from the second image.
- the analysis unit 103 detects objects such as flowers, fruits, or buds from the reference area of the first image, and detects objects that are not shown in the first image from the reference area of the second image. It's okay.
- the analysis unit 103 may then determine the number of objects in the reference area by adding the number of objects detected from the second image to the number of objects detected from the first image. Although objects that are (partially or completely) hidden behind leaves or the like cannot be detected from the first image, such objects can be detected from the second image. By taking into account not only the objects detected in the first image but also the objects detected in the second image (objects that cannot be detected in the first image), the number of objects can be calculated with high accuracy. value can be obtained.
- the first image may be taken as an image taken from approximately directly above the ridge designated by a plurality of markers.
- the second image may be taken as an image taken from a predetermined side of the ridge.
- the setting unit 102 may set a reference area on a predetermined side from a plurality of markers as the reference area of the second image.
- the area on the predetermined side from the multiple markers (the nearer side when viewed from the camera position when capturing the second image) is more important than the area surrounded by the multiple markers.
- the layers formed by the leaves are clearly visible. Therefore, by setting a reference region on a predetermined side from a plurality of markers, it becomes possible to analyze the inside of the reference region and determine the number of layers with high precision.
- FIG. 3 is a block diagram showing an example of the configuration of the analysis system according to this embodiment.
- the analysis system includes a camera 30 (imaging device) and a PC 300 (personal computer; analysis device). Camera 30 and PC 300 are connected to each other by wire or wirelessly. Camera 30 is used to photograph plants.
- the PC 300 analyzes the image taken by the camera 30 and outputs the analysis result.
- the analysis results are displayed on a display unit or stored in a storage unit, for example.
- the camera 30 does not need to be fixed and may be a portable camera.
- the PC 300 is assumed to be a separate device from the camera 30, but the PC 300 may be built into the camera 30.
- the display unit and storage unit described above may or may not be part of the PC 300.
- the installation location of the PC 300 is not particularly limited.
- the PC 300 may or may not be installed in the same room as the camera 30.
- the PC 300 may or may not be a computer on the cloud.
- PC 300 may be a smartphone, a tablet, or the like.
- the PC 300 has an input section 310, a control section 320, a storage section 330, and an output section 340.
- the input unit 310 acquires an image taken by the camera 30 and outputs it to the control unit 320.
- the control unit 320 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each component and performs various information processing.
- the control unit 320 analyzes the captured image of the camera 30 and outputs the analysis result to the output unit 340.
- the storage unit 330 stores programs executed by the control unit 320, various data used by the control unit 320, and the like.
- the storage unit 330 is an auxiliary storage device such as a hard disk drive or a solid state drive.
- the output unit 340 acquires the analysis result of the captured image from the control unit 320 and outputs it to a display unit, a storage unit, or the like.
- the control unit 320 will be explained in more detail.
- the control unit 320 includes an acquisition unit 321, a setting unit 322, and an analysis unit 323.
- the acquisition unit 321 acquires the captured image of the camera 30 from the input unit 310 and outputs it to the setting unit 322.
- a plurality of images are acquired, each of which is taken from a plurality of directions, in a range including a plant and a plurality of markers installed in advance around the plant.
- the acquisition unit 321 is an example of an acquisition means.
- the marker may have multiple colors. This allows the marker to stand out. Since the marker stands out, it is possible to detect the marker from the photographed image with high precision, and in turn, it is possible to set the reference area with high precision.
- the plurality of colors may include black and red. By doing this, you can easily mark the marker even if the soil on the ground is bright, bright vinyl such as white is spread on the ground, or there are many leaves (green) of plants around the marker. It can make you stand out.
- the plurality of markers may include a marker of the first aspect and a marker of the second aspect different from the first aspect.
- the marker may be placed at a height that plants cannot reach. By doing so, the marker will not be hidden by plants in the photographed image, so the marker can be detected from the photographed image with high accuracy, and the reference area can be set with high accuracy.
- the marker may be a circle, a ring, a combination of a circle and a ring with the same center, or a combination of multiple rings with the same center.
- markers 41 to 44 arranged in two rows and two columns are installed in advance, as shown in FIG.
- the markers 41 and 42 have a black circle surrounded by a red ring and a black ring
- the markers 43 and 44 have a red circle surrounded by a black ring.
- the acquisition unit 321 acquires the following three photographed images.
- both the third image and the fourth image may be acquired, or only one of the third image and the fourth image may be acquired. That is, two images, the first image and the third image, may be acquired, or two images, the first image and the fourth image, may be acquired.
- Each of the third image and the fourth image is an example of the second image described above. ⁇ The first image taken from a direction where the angle to the ground (shooting angle) is approximately 90 degrees. ⁇ The third image taken from a direction where the shooting angle is smaller than 90 degrees. ⁇ Photographed from a direction where the shooting angle is larger than 90 degrees.
- the third image is an image photographed from a direction with a photographing angle of approximately 45 degrees
- the fourth image is an image photographed from a direction with a photographing angle of approximately 135 degrees.
- the third image is an image taken from the first side (front side) of the ridge where the plants are planted
- the fourth image is an image taken from the ridge opposite to the first side. This is an image taken from the 2nd side (back side).
- FIG. 4 also shows how the image was taken.
- FIG. 5 shows a photographed image 51 that is an example of a first image, a photographed image 52 that is an example of a third image, and a photographed image 53 that is an example of a fourth image.
- first image upper leaves, buds, flowers, and fruits (leaves, buds, flowers, and fruits that are not hidden) can be detected with high accuracy. Furthermore, the size of leaves and the like can be calculated with high precision from the first image. From the third and fourth images, lower leaves, buds, flowers, and fruits (other leaves, buds, flowers, and fruits hidden behind leaves in the first image) are detected with high accuracy. can do. Further, from the third image and the fourth image, the number of layers formed by leaves etc. can be determined with high accuracy.
- the setting unit 322 sets a reference area based on a plurality of markers for each of the plurality of photographed images acquired by the acquisition unit 321, and sets the plurality of photographed images and information on the reference area set for each photographed image. It is output to the analysis section 323.
- the setting unit 322 detects a plurality of markers from the captured image and sets an area surrounded by the plurality of markers as a reference area.
- the setting unit 322 is an example of a setting means.
- the analysis unit 323 acquires information regarding the growth state of the plant (growth information) by analyzing the reference area of each of the plurality of captured images acquired by the acquisition unit 321. The analysis unit 323 then outputs the growth information to the output unit 340.
- Growth information may include information regarding vegetative growth or may include information regarding reproductive growth. Vegetative growth is the growth that produces stems and leaves, and reproductive growth is the growth that produces buds, flowers, fruits, etc.
- the analysis unit 323 may detect at least one of a leaf, a bud, a flower, and a fruit from the reference area. Growth information includes the number of leaves, number of buds, number of flowers, number of fruits, leaf condition (size, etc.), bud condition, flower condition, fruit condition, and their temporal changes (temporal change rate). It may be an index (level) indicating whether the growth of the plant is delayed or too advanced, or it may be other information.
- the control unit 320 (for example, the analysis unit 323) may determine the work to be performed next based on the growth information.
- the ratio between the interval between multiple markers in the captured image and the actual interval between multiple markers is determined by the size of each part of the plant (leaves, buds, flowers, fruits, etc.) in the captured image and the actual size of each part of the plant. corresponds to the ratio of Therefore, the analysis unit 323 may determine the actual size of each part of the plant from the size of each part of the plant in the captured image based on the intervals between the plurality of markers in the captured image. In this way, highly accurate information on the actual size of each part of the plant can be obtained.
- the setting unit 322 may set a plurality of reference regions having different positional relationships with the plurality of markers for each of the plurality of captured images.
- the analysis unit 323 may analyze the reference areas of each of the plurality of photographed images for each of the above-mentioned positional relationships, and may acquire growth information by integrating the analysis results for each positional relationship. By doing so, it is possible to obtain highly accurate growth information by assuming the manner in which the characteristics of plant parts appear. For example, highly accurate information can be obtained as information regarding whether or not the actual distribution is appropriate.
- the setting unit 322 may set the reference area as shown in FIG. 5.
- a first reference area 54, a second reference area 55, and a third reference area 56 are set for a photographed image 51 (a first image whose photographing angle is approximately 90 degrees).
- the third reference area 56 is not set for the photographed image 52 (the third image whose photographing angle is smaller than 90 degrees (approximately 45 degrees)), and the first reference area 54 and the third reference area 56 are not set.
- Two reference areas 55 are set.
- the second reference area 55 is not set for the photographed image 53 (the fourth image whose photographing angle is larger than 90 degrees (approximately 135 degrees)), and the first reference area 54 is and a third reference area 56 are set.
- the first reference area 54 is an area surrounded by a plurality of markers, specifically a rectangular area with four markers 41 to 44 as vertices.
- the second reference area 55 is an area on the first side (front side of the ridge) from the plurality of markers, specifically, a straight line passing through the markers 41 and 44, a straight line passing through the markers 42 and 43, a straight line passing between the markers 41 and This is an area surrounded by a straight line passing through the marker 42 and the lower side of the photographed image.
- the third reference area 56 is an area on the second side (inner side of the ridge) from the plurality of markers, specifically, a straight line passing through the markers 41 and 44, a straight line passing through the markers 42 and 43, and a straight line passing between the markers 43 and 43. This is an area surrounded by a straight line passing through the marker 44 and the upper end of the photographed image.
- the third reference area 56 (the back side of the target plant) may not show a large part of the target plant, or may be affected by other plants (plants planted in the adjacent ridge). etc.) may be photographed. That is, in the captured image 52, the information within the third reference area 56 has low reliability. Similarly, in the photographed image 53 (fourth image), the information within the second reference area 55 has low reliability. Highly accurate growth information can be obtained by not setting a reference area where the reliability of the obtained information is low.
- FIG. 6 is a flowchart showing an example of the processing flow of the PC 300.
- the acquisition unit 321 acquires an image captured by the camera 30 from the input unit 310 (step S601). For example, photographed images 51 to 53 in FIG. 5 are acquired.
- the setting unit 322 detects a plurality of markers from the captured image acquired in step S601 (step S602). For example, markers 41 to 44 are detected from each of the photographed images 51 to 53 in FIG. 5.
- the setting unit 322 sets a reference area for the captured image based on the marker detected in step S602 (step S603). For example, a first reference area 54, a second reference area 55, and a third reference area 56 are set for the captured image 51 in FIG. 5. Then, a first reference area 54 and a second reference area 55 are set for the photographed image 52, and a first reference area 54 and a third reference area 56 are set for the photographed image 53.
- the analysis unit 323 acquires growth information by analyzing the reference area set in step S603 (step S604).
- step S604 will be specifically explained with reference to FIG. Note that the following processing is just an example, and may be changed as appropriate depending on the information desired to be obtained.
- the analysis unit 323 analyzes the inside of the first reference area 54 of the captured image 51 and calculates (determines) the leaf area of the first reference area 54.
- a green area may be specified by image processing, and the total area (total number of pixels, etc.) of the specified area may be calculated as the leaf area.
- image processing for example, an area where the intensity of the G signal of the RGB signals is equal to or higher than a predetermined value is specified as a green area.
- the method for calculating the leaf area is not limited to this, and the leaf area may be calculated using various methods that have been proposed.
- the leaf area determined by analyzing the inside of the first reference area 54 of the photographed image 51 is the area of the leaf shown in the first reference area 54 of the photographed image 51;
- the area of other leaves hidden in the image 51 is not taken into account.
- the analysis unit 323 uses at least one of the captured images 52 and 53 in order to consider the area of the hidden leaf. Here, it is assumed that both photographed images 52 and 53 are used.
- the analysis unit 323 analyzes the inside of the first reference area 54 of the photographed image 52 and determines the number of layers formed by leaves. For example, the number of layers may be determined by detecting layers by matching using a predetermined template representing how leaves form layers. As described above, the number of leaves per layer is determined by the leaf expansion angle, and the leaf expansion angle is predetermined for each plant item. Therefore, in matching, a different template is used for each leaf expansion angle (for each item). Similarly, the analysis unit 323 analyzes the inside of the first reference area 54 of the photographed image 53 to determine the number of layers formed by leaves.
- the analysis unit 323 adjusts the leaf area determined by analyzing the inside of the first reference area 54 of the captured image 51 based on the determined number of layers (at least one of the two numbers of layers).
- the final leaf area of the first reference area 54 is obtained.
- the analysis unit 323 multiplies the average value of the two determined numbers of layers (average number of layers) by the leaf area (directly above leaf area) determined by analyzing the inside of the first reference area 54 of the captured image 51.
- the final leaf area of the first reference area 54 may be calculated.
- the analysis unit 323 calculates the final leaf area of the first reference region 54 by multiplying the right upper leaf area by the average number of layers and a count (less than 1) depending on the plant species. good.
- the analysis unit 323 analyzes the inside of the second reference area 55 of the captured image 51 and calculates (determines) the leaf area of the second reference area 55.
- the analysis unit 323 also analyzes the second reference area 55 of the captured image 52 to determine the number of layers formed by leaves. Then, the analysis unit 323 multiplies the determined number of layers by the leaf area determined by analyzing the second reference region 55 of the photographed image 51 to calculate the final leaf area of the second reference region 55. do.
- the analysis unit 323 analyzes the inside of the third reference area 56 of the captured image 51 and calculates (determines) the leaf area of the third reference area 56.
- the analysis unit 323 also analyzes the third reference area 56 of the captured image 53 to determine the number of layers formed by leaves. Then, the analysis unit 323 multiplies the determined number of layers by the leaf area determined by analyzing the third reference region 56 of the photographed image 51 to calculate the final leaf area of the third reference region 56. do.
- the second reference area 55 of the photographed image 52 shows the lateral edge of the plant, so the layer formed by the leaves is better seen than in the first reference area 54 of the photographed image 52 or the photographed image 53.
- the reliability of the number of layers (second number of layers) determined by analyzing the inside of the second reference area 55 of the photographed image 52 is determined by analyzing the inside of the first reference area 54 of the photographed image 52 and the photographed image 53.
- the reliability is higher than the reliability of the number of layers (first number of layers) determined by Therefore, if the second number of layers is different from the first number of layers, the first reference area 54 may be adjusted based on them.
- the leaf area of the first reference area 54 (the final leaf area mentioned above) is multiplied by the ratio of the second number of layers to the first number of layers (second number of layers/first number of layers). You may.
- the third reference area 56 of the photographed image 53 shows the lateral edge of the plant, so the layer formed by the leaves is more visible than the first reference area 54 of the photographed image 52 or the photographed image 53. Photographs well (clearly). Therefore, the reliability of the number of layers (third layer number) determined by analyzing the inside of the third reference area 56 of the photographed image 53 is determined by analyzing the inside of the first reference area 54 of the photographed image 52 and the photographed image 53. The reliability is higher than the reliability of the number of layers (first number of layers) determined by Therefore, if the third number of layers is different from the first number of layers, the first reference area 54 may be adjusted based on them. For example, the leaf area of the first reference area 54 (the final leaf area mentioned above) is multiplied by the ratio of the third number of layers to the first number of layers (third number of layers/first number of layers). You may.
- the analysis unit 323 may also calculate the total value of the leaf area of the first reference area 54, the leaf area of the second reference area 55, and the leaf area of the third reference area 56.
- the analysis unit 323 detects bud candidates from the first reference area 54 of the captured image 51, the first reference area 54 of the captured image 52, and the first reference area 54 of the captured image 53. Then, the analysis unit 323 performs matching and determines bud candidates detected from all of the captured images 51 to 53 as buds. Further, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the first reference area 54.
- the analysis unit 323 detects bud candidates from the second reference area 55 of the captured image 51 and the second reference area 55 of the captured image 52. Then, the analysis unit 323 performs matching and determines the bud candidates detected from both the photographed image 51 and the photographed image 52 as buds. Furthermore, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the second reference area 55.
- the analysis unit 323 detects bud candidates from the third reference area 56 of the captured image 51 and the third reference area 56 of the captured image 53. Then, the analysis unit 323 performs matching and determines the bud candidates detected from both the photographed image 51 and the photographed image 53 as buds. Furthermore, the analysis unit 323 determines, among the candidates that are not determined to be buds in the matching, candidates whose reliability (likelihood of a bud) is equal to or higher than a threshold value to be a bud. The determined number of buds is the number of buds in the third reference area 56.
- analysis unit 323 may calculate the total value of the number of buds in the first reference area 54, the number of buds in the second reference area 55, and the number of buds in the third reference area 56.
- step S604 the output unit 340 outputs the result of the analysis in step S604 (for example, growth information) to the display unit, storage unit, etc. (step S605).
- growth information can be easily obtained without manual or visual inspection.
- growth information can be easily obtained by a simple task of inputting a plurality of captured images.
- growth information can be obtained by setting a reference area based on a plurality of markers set in advance and analyzing the inside of the reference area. In this way, even if the shooting range changes, highly accurate growth information can be obtained by focusing on the same area, such as the ridge where the plant was planted.
- multiple images taken from multiple directions it is possible to find other leaves, buds, flowers, fruits, etc. that are hidden behind leaves in one photographed image, and to improve accuracy. You can obtain high growth information. For example, in an image taken of a plant from almost directly above, there are parts hidden by leaves etc., but these parts can be confirmed with an image taken of the plant from an angle to obtain highly accurate growth information. Can be done.
- acquisition means (101, 321) for acquiring a plurality of images taken from a plurality of directions, respectively, of a range including a plant and a plurality of markers installed in advance around the plant;
- Setting means (102, 322) for setting a reference area based on the plurality of markers for each of the plurality of images;
- An analysis device (100, 300) characterized in that it has an analysis means (103, 323) that acquires information regarding the growth state of the plant by analyzing a reference region of each of the plurality of images.
- the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image,
- the analysis means (103, 323) Determining a leaf area, which is a total value of leaf areas, by analyzing the reference area of the first image; determining the number of layers formed by the leaf by analyzing the reference area of the second image;
- the analysis device (100, 300) according to appendix 1 or 2, wherein the leaf area is adjusted based on the number of layers.
- the plurality of images include a first image taken from a direction at an angle of approximately 90 degrees with respect to the ground, and a second image taken at a different angle from the first image,
- the analysis means (103, 323) detecting an object that is a flower, fruit, or bud from the reference area of the first image; detecting the object that is not shown in the first image from a reference area of the second image; Supplementary note 1 or 2, characterized in that the number of objects in the reference area is determined by adding the number of objects detected from the second image to the number of objects detected from the first image. (100, 300).
- the plurality of images include a first image taken from substantially directly above the ridge designated by the plurality of markers, and a second image taken from a predetermined side of the ridge,
- the analysis device 100,300).
- the analysis means (103, 323) is characterized in that the analysis means (103, 323) determines the actual size of each part of the plant from the size of each part of the plant in the image based on the intervals between the plurality of markers in the image.
- the analysis device (100, 300) according to any one of Supplementary Notes 1 to 10.
- the setting means (102, 322) sets a plurality of reference regions having mutually different positional relationships with the plurality of markers for each of the plurality of images,
- the analysis means (103, 323) Analyzing the reference area of each of the plurality of images for each positional relationship,
- the analysis device (100, 300) according to any one of Supplementary Notes 1 to 11, characterized in that the analysis results for each positional relationship are integrated to obtain information regarding the growth state.
- the plurality of images include a first image taken from a direction where the angle with respect to the ground is approximately 90 degrees, a third image taken from a direction where the angle is smaller than 90 degrees, and a direction where the angle is larger than 90 degrees.
- the analysis device (100, 300) according to appendix 1 or 2, characterized in that the analysis device (100, 300) includes a fourth image taken from.
- the third image is an image taken from a direction where the angle is approximately 45 degrees
- the analysis device (100, 300) according to appendix 16 wherein the fourth image is an image taken from a direction where the angle is approximately 135 degrees.
- the third image is an image taken from the first side of the ridge where the plant is planted,
- the setting means (102, 322) With respect to the first image, a first reference area surrounded by the plurality of markers, a second reference area on the first side from the plurality of markers, and a second reference area from the plurality of markers to the second reference area. Set a third reference area on the side, setting the first reference area and the second reference area for the third image;
- the analysis device (100, 300) according to appendix 18, wherein the first reference area and the third reference area are set for the fourth image.
- ⁇ Additional note 20> a step of acquiring a plurality of images taken from a plurality of directions of a range including a plant and a plurality of markers pre-installed around the plant (S601); setting a reference area based on the plurality of markers for each of the plurality of images (S603); An analysis method comprising the step of acquiring information regarding the growth state of the plant by analyzing the reference area of each of the plurality of images (S604).
- Analysis device 101 Acquisition section 102: Setting section 103: Analysis section 300: PC (Analysis device) 310: Input section 320: Control section 330: Storage section 340: Output section 321: Acquisition section 322: Setting section 323: Analysis section 30: Camera 41-44: Marker 51-53: Photographed image 54: First reference area 55 :Second reference area 56:Third reference area
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
Abstract
正確な生育情報を得ることのできる技術を提供する。分析装置が、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有する。
Description
本発明は、植物の生育状態に関する情報を取得する技術に関する。
農業に関する様々な技術が提案されており、例えば、特許文献1には、処理前の作物の撮影画像、処理後の農作物の撮影画像、および処理内容を互いに紐づけて、農業従事者の教育に利用する技術が開示されている。
植物を育てるうえで、当該植物の生育状態に関する情報(生育情報)を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。
しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることがでなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。
本発明は、上記実情に鑑みなされたものであって、正確な生育情報を容易に得ることのできる技術を提供することを目的とする。
上記目的を達成するために、本発明は、以下の方法を採用する。
本発明の第一側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有することを特徴とする分析装置を提供する。
上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報(生育情報)として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
前記植物は、多層で葉(または蕾、花、実など)が作られる植物であるとしてもよい。そのような植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。1/3の葉序で葉が展開する場合は、120度ずつ回るように葉が展開し、3枚の葉が展開すると一回りするため、当該3枚の葉の部分を1つの層と定義してもよい。このとき、120度の角度は、展葉角度などと呼ばれる。苺の葉は、通常、3枚の小葉と葉柄からなり、2/5の葉序(展葉角度144度)で冠部に着生し、上から見たときに1番目の葉と6番目の葉が重なる。そのため、1番目の葉から5番目の葉までを1層目の葉と定義し、6番目の葉から2層目の葉と定義してもよい。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、前記分析手段は、前記第1の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、前記第2の画像の参照領域内を分析することで、葉が形成する層の数を判断し、前記層の数に基づいて、前記葉面積を調整するとしてもよい。第1の画像は、植物を略真上から撮影した画像と捉えてもよい。第2の画像は、植物を斜めから撮影した画像と捉えてもよい。第1の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第1の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第2の画像からは層の数を高精度に判断することができる。第2の画像から高精度に判断された層の数を活用して、第1の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、前記第1の画像の参照領域から、花、実、または蕾である対象物を検出し、前記第2の画像の参照領域から、前記第1の画像に写っていない前記対象物を検出し、前記第1の画像から検出された前記対象物の数に、前記第2の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断するとしてもよい。第1の画像からは、葉などに(一部または全体が)隠れている対象物を検出できないが、そのような対象物は第2の画像から検出することができる。第1の画像から検出された対象物だけでなく、第2の画像から検出された対象物(第1の画像からは検出できない対象物)を加味することで、対象物の数として、正確性の高い値を得ることができる。
前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第1の画像と、前記畝の所定の側から撮影した第2の画像とを含み、前記設定手段は、前記第2の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定するとしてもよい。このような第2の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側(第2の画像を撮影する際のカメラの位置から見て手前側)の領域の方が、葉が形成する層がよく(明りょう)に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。
前記マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、前記複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉(緑)が多く存在する場合などおいても、マーカーを目立たせることができる。
前記複数のマーカーは、第1の態様のマーカーと、前記第1の態様とは異なる第2の態様のマーカーとを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。
前記マーカーは、前記植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。
前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。
撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。
植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側(脇)にできる。そのため、前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、前記分析手段は、前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。
前記生育状態に関する情報は、栄養成長に関する情報を含むとしてもよい。前記生育状態に関する情報は、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像、前記角度が90度よりも小さい方向から撮影した第3の画像、および前記角度が90度よりも大きい方向から撮影した第4の画像を含むとしてもよい。前記第3の画像は、前記角度が略45度の方向から撮影した画像であり、前記第4の画像は、前記角度が略135度の方向から撮影した画像であるとしてもよい。前記第4の画像は、前記植物が植えられた畝の第1の側から撮影した画像であり、前記第4の画像は、前記畝の、前記第1の側とは反対の第2の側から撮影した画像であるとしてもよい。第1の画像からは、上側の葉や蕾、花、実(隠れていない葉や蕾、花、実)を高精度に検出することができる。また、第1の画像からは、葉などのサイズを高精度に算出することができる。第3の画像と第4の画像とからは、下側の葉や蕾、花、実(第1の画像で葉などに隠れている別の葉や蕾、花、実)を高精度に検出することができる。また、第3の画像と第4の画像とからは、葉などが形成している層の数を高精度に判断することができる。第3の画像と第4の画像のそれぞれは、上述した第2の画像の一例である。
前記設定手段は、前記第1の画像に対して、前記複数のマーカーに囲まれた第1の参照領域、前記複数のマーカーから前記第1の側の第2の参照領域、および前記複数のマーカーから前記第2の側の第3の参照領域を設定し、前記第3の画像に対して、前記第1の参照領域および前記第2の参照領域を設定し、前記第4の画像に対して、前記第1の参照領域および前記第3の参照領域を設定するとしてもよい。第3の画像において、第3の参照領域(対象の植物の奥側)は、対象の植物の部位が大きく写らなかったり、他の植物が写ったりする。つまり、第3の画像において、第3の参照領域内の情報は信頼度が低い。同様に、第4の画像において、第2の参照領域内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。
本発明の第二側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップとを有することを特徴とする分析方法を提供する。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する分析装置または分析システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む分析方法または分析システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、正確な生育情報を得ることができる。
<適用例>
本発明の適用例について説明する。
本発明の適用例について説明する。
植物を育てるうえで、当該植物の生育状態に関する情報(生育情報)を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることができなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。
図1は、本発明が適用された分析装置100の構成例を示すブロック図である。分析装置100は、取得部101、設定部102、および分析部103を有する。取得部101は、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する。設定部102は、取得部101によって取得された複数の画像それぞれに対し、複数のマーカーに基づく参照領域を設定する。分析部103は、取得部101によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報(生育情報)を取得する。取得部101は取得手段の一例であり、設定部102は設定手段の一例であり、分析部103は分析手段の一例である。
上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報(生育情報)として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
ここで、植物は、多層で葉(または蕾、花、実など)が作られる植物であるとしてもよく、例えば広葉多段葉序型植物であってもよい。広葉多段葉序型植物は、幅の広い葉(広葉)が作られる植物であり、茎が地面から上に伸び、茎に複数の節が作られ、各節で葉(または蕾、花、実など)が作られる植物である。「広葉」は、幅の広い葉を意味し、「多段葉序」は、上に伸びる茎の各節で作られる葉などの並びを意味する。多層で葉などが作られる植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した図1の構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。1/3の葉序で葉が展開する場合は、120度ずつ回るように葉が展開し、3枚の葉が展開すると一回りするため、当該3枚の葉の部分を1つの層と定義してもよい。このとき、120度の角度は、展葉角度などと呼ばれる。図2に示すように、苺の葉は、通常、3枚の小葉と葉柄からなり、2/5の葉序(展葉角度144度)で冠部に着生し、上から見たときに1番目の葉と6番目の葉が重なる。そのため、1番目の葉から5番目の葉までを1層目の葉と定義し、6番目の葉から2層目の葉と定義してもよい。
取得部101が取得する複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、第1の画像とは異なる角度で撮影した第2の画像とを含むとしてもよい。そして、分析部103は、第1の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、第2の画像の参照領域内を分析することで、葉が形成する層の数を判断し、層の数に基づいて、葉面積を調整するとしてもよい。第1の画像は、植物を略真上から撮影した画像と捉えてもよい。第2の画像は、植物を斜めから撮影した画像と捉えてもよい。第1の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第1の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第2の画像からは層の数を高精度に判断することができる。第2の画像から高精度に判断された層の数を活用して、第1の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。
分析部103は、第1の画像の参照領域から、花、実、または蕾である対象物を検出し、第2の画像の参照領域から、第1の画像に写っていない対象物を検出してもよい。そして、分析部103は、第1の画像から検出された対象物の数に、第2の画像から検出された対象物の数を加算して、参照領域内の対象物の数を判断するとしてもよい。第1の画像からは、葉などに(一部または全体が)隠れている対象物を検出できないが、そのような対象物は第2の画像から検出することができる。第1の画像から検出された対象物だけでなく、第2の画像から検出された対象物(第1の画像からは検出できない対象物)を加味することで、対象物の数として、正確性の高い値を得ることができる。
第1の画像は、複数のマーカーで指定された畝の略真上から撮影した画像と捉えてもよい。第2の画像は、畝の所定の側から撮影した画像と捉えてもよい。設定部102は、第2の画像の参照領域として、複数のマーカーから所定の側の参照領域を設定するとしてもよい。このような第2の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側(第2の画像を撮影する際のカメラの位置から見て手前側)の領域の方が、葉が形成する層がよく(明りょう)に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。
<実施形態>
本発明の実施形態について説明する。
本発明の実施形態について説明する。
図3は、本実施形態に係る分析システムの構成例を示すブロック図である。分析システムは、カメラ30(撮像装置)とPC300(パーソナルコンピュータ;分析装置)を有する。カメラ30とPC300は有線または無線で互いに接続される。カメラ30は、植物を撮影するために使用される。PC300は、カメラ30の撮影画像を分析し、分析結果を出力する。分析結果は、例えば表示部に表示されたり、記憶部に格納されたりする。
なお、カメラ30は固定されていなくてもよく、持ち運び可能なカメラであってもよい。本実施形態ではPC300がカメラ30とは別体の装置であるものとするが、PC300はカメラ30に内蔵されてもよい。上述した表示部や記憶部は、PC300の一部であってもよいし、そうでなくてもよい。また、PC300の設置場所は特に限定されない。例えば、PC300はカメラ30と同じ部屋に設置されてもよいし、そうでなくてもよい。PC300はクラウド上のコンピュータであってもよいし、そうでなくてもよい。PC300は、スマートフォンやタブレットなどであってもよい。
PC300は、入力部310、制御部320、記憶部330、および出力部340を有する。入力部310は、カメラ30の撮影画像を取得し、制御部320へ出力する。制御部320は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)などを含み、各構成要素の制御や、各種情報処理などを行う。本実施形態では、制御部320は、カメラ30の撮影画像を分析し、分析結果を出力部340へ出力する。記憶部330は、制御部320で実行されるプログラムや、制御部320で使用される各種データなどを記憶する。例えば、記憶部330は、ハードディスクドライブやソリッドステートドライブなどの補助記憶装置である。出力部340は、撮影画像の分析結果を制御部320から取得し、表示部や記憶部などへ出力する。
制御部320について、より詳細に説明する。制御部320は、取得部321、設定部322、および分析部323を有する。
取得部321は、カメラ30の撮影画像を入力部310から取得し、設定部322へ出力する。本実施形態では、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像が取得される。取得部321は取得手段の一例である。
マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉(緑)が多く存在する場合などおいても、マーカーを目立たせることができる。
複数のマーカーは、第1の態様のマーカー、および第1の態様とは異なる第2の態様のマーカーを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。
マーカーは、植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。
マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。
マーカーの数は特に限定されないが、本実施形態では、図4に示すように2行2列の4つのマーカー41~44が予め設置されているとする。マーカー41,42は、黒い円を赤い円環と黒い円環で囲んだ態様を有し、マーカー43,44は、赤い円を黒い円環で囲んだ態様を有する。
撮影画像の数や、撮影方向などは特に限定されないが、本実施形態では、取得部321は、以下の3つの撮影画像を取得するとする。なお、第3の画像と第4の画像の両方を取得してもよいが、第3の画像と第4の画像の一方のみを取得してもよい。つまり、第1の画像と第3の画像との2枚の画像を取得してもよいし、第1の画像と第4の画像との2枚の画像を取得してもよい。第3の画像と第4の画像のそれぞれは、上述した第2の画像の一例である。
・地面に対する角度(撮影角度)が略90度の方向から撮影した第1の画像
・撮影角度が90度よりも小さい方向から撮影した第3の画像
・撮影角度が90度よりも大きい方向から撮影した第4の画像
・地面に対する角度(撮影角度)が略90度の方向から撮影した第1の画像
・撮影角度が90度よりも小さい方向から撮影した第3の画像
・撮影角度が90度よりも大きい方向から撮影した第4の画像
本実施形態では、第3の画像は、撮影角度が略45度の方向から撮影した画像であり、第4の画像は、撮影角度が略135度の方向から撮影した画像であるとする。換言すれば、第3の画像は、植物が植えられた畝の第1の側(手前側)から撮影した画像であり、第4の画像は、畝の、第1の側とは反対の第2の側(奥側)から撮影した画像である。図4には、撮影の様子も示されている。図5に、第1の画像の一例である撮影画像51、第3の画像の一例である撮影画像52、および第4の画像の一例である撮影画像53を示す。
第1の画像からは、上側の葉や蕾、花、実(隠れていない葉や蕾、花、実)を高精度に検出することができる。また、第1の画像からは、葉などのサイズを高精度に算出することができる。第3の画像と第4の画像とからは、下側の葉や蕾、花、実(第1の画像で葉などに隠れている別の葉や蕾、花、実)を高精度に検出することができる。また、第3の画像と第4の画像とからは、葉などが形成している層の数を高精度に判断することができる。
設定部322は、取得部321によって取得された複数の撮影画像それぞれに対し、複数のマーカーに基づく参照領域を設定し、複数の撮影画像と、各撮影画像に設定した参照領域の情報とを、分析部323へ出力する。例えば、設定部322は、撮影画像から複数のマーカーを検出し、複数のマーカーで囲まれた領域を参照領域として設定する。設定部322は設定手段の一例である。
分析部323は、取得部321によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報(生育情報)を取得する。そして、分析部323は、生育情報を出力部340へ出力する。生育情報は、栄養成長に関する情報を含むとしてもよいし、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。分析部323は、参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。生育情報は、葉の数や、蕾の数、花の数、実の数、葉の状態(サイズなど)、蕾の状態、花の状態、実の状態、それらの時間変化(時間変化率)などであってもよいし、植物の生育が遅れているか否かや、進み過ぎているか否かなどを示す指標(レベル)であってもよいし、他の情報であってもよい。制御部320(例えば分析部323)は、生育情報から、次に行うべき作業などを判断してもよい。
撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部(葉や蕾、花、実など)のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、分析部323は、撮影画像における複数のマーカーの間隔に基づいて、撮影画像における植物の各部のサイズから、植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。
植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側(脇)にできる。そのため、設定部322は、複数の撮影画像それぞれに対し、複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定してもよい。そして、分析部323は、上記の位置関係ごとに、複数の撮影画像それぞれの参照領域内を分析し、位置関係ごとの分析結果を総合して、生育情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。例えば、実の分布が適切か否かに関する情報として、正確性の高い情報を得ることができる。
設定部322は、図5に示すように参照領域を設定してもよい。図5では、撮影画像51(撮影角度が略90度である第1の画像)に対して、第1の参照領域54、第2の参照領域55、および第3の参照領域56が設定されている。撮影画像52(撮影角度が90度よりも小さい(略45度である)第3の画像)に対しては、第3の参照領域56は設定されておらず、第1の参照領域54および第2の参照領域55が設定されている。そして、撮影画像53(撮影角度が90度よりも大きい(略135度である)第4の画像)に対しては、第2の参照領域55は設定されておらず、第1の参照領域54および第3の参照領域56が設定されている。
第1の参照領域54は、複数のマーカーに囲まれた領域、具体的には4つのマーカー41~44を頂点とする四角形の領域である。第2の参照領域55は、複数のマーカーから第1の側(畝の手前側)の領域、具体的にはマーカー41とマーカー44を通る直線、マーカー42とマーカー43を通る直線、マーカー41とマーカー42を通る直線、および撮影画像の下辺に囲まれた領域である。第3の参照領域56は、複数のマーカーから第2の側(畝の奥側)の領域、具体的にはマーカー41とマーカー44を通る直線、マーカー42とマーカー43を通る直線、マーカー43とマーカー44を通る直線、および撮影画像の上端に囲まれた領域である。
撮影画像52(第3の画像)において、第3の参照領域56(対象の植物の奥側)は、対象の植物の部位が大きく写らなかったり、他の植物(隣の畝に植えられた植物など)が写ったりする。つまり、撮影画像52において、第3の参照領域56内の情報は信頼度が低い。同様に、撮影画像53(第4の画像)において、第2の参照領域55内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。
図6は、PC300の処理フロー例を示すフローチャートである。
まず、取得部321は、カメラ30の撮影画像を入力部310から取得する(ステップS601)。例えば、図5の撮影画像51~53が取得される。
次に、設定部322は、ステップS601で取得された撮影画像から、複数のマーカーを検出する(ステップS602)。例えば、図5の撮影画像51~53それぞれから、マーカー41~44が検出される。
次に、設定部322は、ステップS602で検出したマーカーに基づいて、撮影画像に対して参照領域を設定する(ステップS603)。例えば、図5の撮影画像51に対して第1の参照領域54、第2の参照領域55、および第3の参照領域56が設定される。そして、撮影画像52に対して第1の参照領域54と第2の参照領域55が設定され、撮影画像53に対して第1の参照領域54と第3の参照領域56が設定される。
次に、分析部323は、ステップS603で設定された参照領域内を分析することで、生育情報を取得する(ステップS604)。
ステップS604の処理について、図5を参照して具体的に説明する。なお、以下の処理はあくまで一例であり、得たい情報などに依って適宜変更され得る。
まず、葉面積(葉の面積の合計値)の判断方法について説明する。
例えば、分析部323は、撮影画像51の第1の参照領域54内を解析して、第1の参照領域54の葉面積を算出(判断)する。例えば、緑の領域を画像処理で特定し、特定した領域の総面積(総画素数など)を葉面積として算出してもよい。画像処理では、例えば、RGB信号のうちのG信号の強度が所定値以上の領域が、緑の領域として特定される。葉面積の算出方法はこれに限られず、提案されている様々な方法で葉面積を算出してよい。
しかし、撮影画像51の第1の参照領域54内を解析して判断される葉面積は、撮影画像51の第1の参照領域54に写っている葉の面積であり、当該葉面積では、撮影画像51で葉などに隠れている別の葉の面積は考慮されていない。分析部323は、隠れている葉の面積を考慮するために、撮影画像52,53の少なくとも一方を用いる。ここでは、撮影画像52,53の両方を用いるとする。
分析部323は、撮影画像52の第1の参照領域54内を解析して、葉が形成している層の数を判断する。例えば、葉が層を形成している様子を表す所定のテンプレートを用いたマッチングにより層を検出して、層の数を判断してもよい。上述したように、1層あたりの葉の枚数は展葉角度によって決まり、展葉角度は植物の品目ごとに予め決まっている。そのため、マッチングでは、展葉角度ごと(品目ごと)に異なるテンプレートが使用される。同様に、分析部323は、撮影画像53の第1の参照領域54内を解析して、葉が形成している層の数を判断する。そして、分析部323は、判断した層数(2つの層数の少なくともいずれか)に基づいて、撮影画像51の第1の参照領域54内を解析して判断した葉面積を調整することにより、第1の参照領域54の最終的な葉面積を取得する。例えば、分析部323は、判断した2つの層数の平均値(平均層数)を、撮影画像51の第1の参照領域54内を解析して判断した葉面積(真上葉面積)に乗算し、第1の参照領域54の最終的な葉面積を算出してもよい。分析部323は、真上葉面積に、平均層数と、植物種に応じた計数(1未満)とを乗算することにより、第1の参照領域54の最終的な葉面積を算出してもよい。
次に、分析部323は、撮影画像51の第2の参照領域55内を解析して、第2の参照領域55の葉面積を算出(判断)する。また、分析部323は、撮影画像52の第2の参照領域55内を解析して、葉が形成している層の数を判断する。そして、分析部323は、判断した層数を、撮影画像51の第2の参照領域55内を解析して判断した葉面積に乗算し、第2の参照領域55の最終的な葉面積を算出する。
同様に、分析部323は、撮影画像51の第3の参照領域56内を解析して、第3の参照領域56の葉面積を算出(判断)する。また、分析部323は、撮影画像53の第3の参照領域56内を解析して、葉が形成している層の数を判断する。そして、分析部323は、判断した層数を、撮影画像51の第3の参照領域56内を解析して判断した葉面積に乗算し、第3の参照領域56の最終的な葉面積を算出する。
なお、撮影画像52の第2の参照領域55には、植物の横側の端部が写るため、撮影画像52や撮影画像53の第1の参照領域54よりも、葉が形成する層がよく(明りょうに)写る。したがって、撮影画像52の第2の参照領域55内を解析して判断した層数(第2の層数)の信頼度は、撮影画像52や撮影画像53の第1の参照領域54内を解析して判断した層数(第1の層数)の信頼度よりも高い。そこで、第2の層数が第1の層数と異なる場合には、それらに基づいて第1の参照領域54を調整してもよい。例えば、第1の参照領域54の葉面積(上述した最終的な葉面積)に、第1の層数に対する第2の層数の割合(第2の層数/第1の層数)を乗算してもよい。
同様に、撮影画像53の第3の参照領域56には、植物の横側の端部が写るため、撮影画像52や撮影画像53の第1の参照領域54よりも、葉が形成する層がよく(明りょうに)写る。したがって、撮影画像53の第3の参照領域56内を解析して判断した層数(第3の層数)の信頼度は、撮影画像52や撮影画像53の第1の参照領域54内を解析して判断した層数(第1の層数)の信頼度よりも高い。そこで、第3の層数が第1の層数と異なる場合には、それらに基づいて第1の参照領域54を調整してもよい。例えば、第1の参照領域54の葉面積(上述した最終的な葉面積)に、第1の層数に対する第3の層数の割合(第3の層数/第1の層数)を乗算してもよい。
また、分析部323は、第1の参照領域54の葉面積、第2の参照領域55の葉面積、および第3の参照領域56の葉面積の合計値を算出してもよい。
次に、蕾の数の判断方法について説明する。花や実などの数も、同様の方法で判断できる。
例えば、分析部323は、撮影画像51の第1の参照領域54、撮影画像52の第1の参照領域54、および撮影画像53の第1の参照領域54から、蕾の候補を検出する。そして、分析部323は、マッチングを行い、撮影画像51~53の全てから検出された蕾の候補を、蕾として判断する。さらに、分析部323は、マッチングで蕾と判断されなかった候補のうち、信頼度(蕾らしさ)が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第1の参照領域54の蕾の数である。
同様に、分析部323は、撮影画像51の第2の参照領域55と、撮影画像52の第2の参照領域55とから、蕾の候補を検出する。そして、分析部323は、マッチングを行い、撮影画像51と撮影画像52の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部323は、マッチングで蕾と判断されなかった候補のうち、信頼度(蕾らしさ)が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第2の参照領域55の蕾の数である。
同様に、分析部323は、撮影画像51の第3の参照領域56と、撮影画像53の第3の参照領域56とから、蕾の候補を検出する。そして、分析部323は、マッチングを行い、撮影画像51と撮影画像53の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部323は、マッチングで蕾と判断されなかった候補のうち、信頼度(蕾らしさ)が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第3の参照領域56の蕾の数である。
なお、分析部323は、第1の参照領域54の蕾の数、第2の参照領域55の蕾の数、および第3の参照領域56の蕾の数の合計値を算出してもよい。
図6の説明に戻る。ステップS604の次に、出力部340は、ステップS604の分析の結果(例えば生育情報)を、表示部や記憶部などへ出力する(ステップS605)。
以上述べたように、本実施形態によれば、手作業や目視などを行わずに、植物の生育状態に関する情報(生育情報)として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
<付記1>
植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段(101,321)と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段(102,322)と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段(103,323)と
を有することを特徴とする分析装置(100,300)。
植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段(101,321)と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段(102,322)と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段(103,323)と
を有することを特徴とする分析装置(100,300)。
<付記2>
前記植物は、多層で葉が作られる植物である
ことを特徴とする付記1に記載の分析装置(100,300)。
前記植物は、多層で葉が作られる植物である
ことを特徴とする付記1に記載の分析装置(100,300)。
<付記3>
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段(103,323)は、
前記第1の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
前記第2の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
前記層の数に基づいて、前記葉面積を調整する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段(103,323)は、
前記第1の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
前記第2の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
前記層の数に基づいて、前記葉面積を調整する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
<付記4>
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段(103,323)は、
前記第1の画像の参照領域から、花、実、または蕾である対象物を検出し、
前記第2の画像の参照領域から、前記第1の画像に写っていない前記対象物を検出し、
前記第1の画像から検出された前記対象物の数に、前記第2の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段(103,323)は、
前記第1の画像の参照領域から、花、実、または蕾である対象物を検出し、
前記第2の画像の参照領域から、前記第1の画像に写っていない前記対象物を検出し、
前記第1の画像から検出された前記対象物の数に、前記第2の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
<付記5>
前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第1の画像と、前記畝の所定の側から撮影した第2の画像とを含み、
前記設定手段(102,322)は、前記第2の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第1の画像と、前記畝の所定の側から撮影した第2の画像とを含み、
前記設定手段(102,322)は、前記第2の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
ことを特徴とする付記1または2に記載の分析装置(100,300)。
<付記6>
前記マーカーは、複数の色を有する
ことを特徴とする付記1から5の何れか一つに記載の分析装置(100,300)。
前記マーカーは、複数の色を有する
ことを特徴とする付記1から5の何れか一つに記載の分析装置(100,300)。
<付記7>
前記複数の色は、黒と赤を含む
ことを特徴とする付記6に記載の分析装置(100,300)。
前記複数の色は、黒と赤を含む
ことを特徴とする付記6に記載の分析装置(100,300)。
<付記8>
前記複数のマーカーは、第1の態様のマーカーと、前記第1の態様とは異なる第2の態様のマーカーとを含む
ことを特徴とする付記1から7の何れか一つに記載の分析装置(100,300)。
前記複数のマーカーは、第1の態様のマーカーと、前記第1の態様とは異なる第2の態様のマーカーとを含む
ことを特徴とする付記1から7の何れか一つに記載の分析装置(100,300)。
<付記9>
前記マーカーは、前記植物が到達しない高さに設置される
ことを特徴とする付記1から8の何れか一つに記載の分析装置(100,300)。
前記マーカーは、前記植物が到達しない高さに設置される
ことを特徴とする付記1から8の何れか一つに記載の分析装置(100,300)。
<付記10>
前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせである
ことを特徴とする付記1から9の何れか一つに記載の分析装置(100,300)。
前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせである
ことを特徴とする付記1から9の何れか一つに記載の分析装置(100,300)。
<付記11>
前記分析手段(103,323)は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
ことを特徴とする付記1から10の何れか一つに記載の分析装置(100,300)。
前記分析手段(103,323)は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
ことを特徴とする付記1から10の何れか一つに記載の分析装置(100,300)。
<付記12>
前記設定手段(102,322)は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
前記分析手段(103,323)は、
前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
ことを特徴とする付記1から11の何れか一つに記載の分析装置(100,300)。
前記設定手段(102,322)は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
前記分析手段(103,323)は、
前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
ことを特徴とする付記1から11の何れか一つに記載の分析装置(100,300)。
<付記13>
前記生育状態に関する情報は、栄養成長に関する情報を含む
ことを特徴とする付記1から12の何れか一つに記載の分析装置(100,300)。
前記生育状態に関する情報は、栄養成長に関する情報を含む
ことを特徴とする付記1から12の何れか一つに記載の分析装置(100,300)。
<付記14>
前記生育状態に関する情報は、生殖成長に関する情報を含む
ことを特徴とする付記1から13の何れか一つに記載の分析装置(100,300)。
前記生育状態に関する情報は、生殖成長に関する情報を含む
ことを特徴とする付記1から13の何れか一つに記載の分析装置(100,300)。
<付記15>
前記分析手段(103,323)は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
ことを特徴とする付記1から14の何れか一つに記載の分析装置(100,300)。
前記分析手段(103,323)は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
ことを特徴とする付記1から14の何れか一つに記載の分析装置(100,300)。
<付記16>
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像、前記角度が90度よりも小さい方向から撮影した第3の画像、および前記角度が90度よりも大きい方向から撮影した第4の画像を含む
ことを特徴とする付記1または2に記載の分析装置(100,300)。
前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像、前記角度が90度よりも小さい方向から撮影した第3の画像、および前記角度が90度よりも大きい方向から撮影した第4の画像を含む
ことを特徴とする付記1または2に記載の分析装置(100,300)。
<付記17>
前記第3の画像は、前記角度が略45度の方向から撮影した画像であり、
前記第4の画像は、前記角度が略135度の方向から撮影した画像である
ことを特徴とする付記16に記載の分析装置(100,300)。
前記第3の画像は、前記角度が略45度の方向から撮影した画像であり、
前記第4の画像は、前記角度が略135度の方向から撮影した画像である
ことを特徴とする付記16に記載の分析装置(100,300)。
<付記18>
前記第3の画像は、前記植物が植えられた畝の第1の側から撮影した画像であり、
前記第4の画像は、前記畝の、前記第1の側とは反対の第2の側から撮影した画像である
ことを特徴とする付記16に記載の分析装置(100,300)。
前記第3の画像は、前記植物が植えられた畝の第1の側から撮影した画像であり、
前記第4の画像は、前記畝の、前記第1の側とは反対の第2の側から撮影した画像である
ことを特徴とする付記16に記載の分析装置(100,300)。
<付記19>
前記設定手段(102,322)は、
前記第1の画像に対して、前記複数のマーカーに囲まれた第1の参照領域、前記複数のマーカーから前記第1の側の第2の参照領域、および前記複数のマーカーから前記第2の側の第3の参照領域を設定し、
前記第3の画像に対して、前記第1の参照領域および前記第2の参照領域を設定し、
前記第4の画像に対して、前記第1の参照領域および前記第3の参照領域を設定することを特徴とする付記18に記載の分析装置(100,300)。
前記設定手段(102,322)は、
前記第1の画像に対して、前記複数のマーカーに囲まれた第1の参照領域、前記複数のマーカーから前記第1の側の第2の参照領域、および前記複数のマーカーから前記第2の側の第3の参照領域を設定し、
前記第3の画像に対して、前記第1の参照領域および前記第2の参照領域を設定し、
前記第4の画像に対して、前記第1の参照領域および前記第3の参照領域を設定することを特徴とする付記18に記載の分析装置(100,300)。
<付記20>
植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップ(S601)と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップ(S603)と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップ(S604)と
を有することを特徴とする分析方法。
植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップ(S601)と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップ(S603)と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップ(S604)と
を有することを特徴とする分析方法。
<付記21>
付記20に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。
付記20に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。
100:分析装置 101:取得部 102:設定部 103:分析部
300:PC(分析装置)
310:入力部 320:制御部 330:記憶部 340:出力部
321:取得部 322:設定部 323:分析部
30:カメラ 41~44:マーカー 51~53:撮影画像
54:第1の参照領域 55:第2の参照領域 56:第3の参照領域
300:PC(分析装置)
310:入力部 320:制御部 330:記憶部 340:出力部
321:取得部 322:設定部 323:分析部
30:カメラ 41~44:マーカー 51~53:撮影画像
54:第1の参照領域 55:第2の参照領域 56:第3の参照領域
Claims (21)
- 植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段と
を有することを特徴とする分析装置。 - 前記植物は、多層で葉が作られる植物である
ことを特徴とする請求項1に記載の分析装置。 - 前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段は、
前記第1の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
前記第2の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
前記層の数に基づいて、前記葉面積を調整する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像と、前記第1の画像とは異なる角度で撮影した第2の画像とを含み、
前記分析手段は、
前記第1の画像の参照領域から、花、実、または蕾である対象物を検出し、
前記第2の画像の参照領域から、前記第1の画像に写っていない前記対象物を検出し、
前記第1の画像から検出された前記対象物の数に、前記第2の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第1の画像と、前記畝の所定の側から撮影した第2の画像とを含み、
前記設定手段は、前記第2の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記マーカーは、複数の色を有する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記複数の色は、黒と赤を含む
ことを特徴とする請求項6に記載の分析装置。 - 前記複数のマーカーは、第1の態様のマーカーと、前記第1の態様とは異なる第2の態様のマーカーとを含む
ことを特徴とする請求項1または2に記載の分析装置。 - 前記マーカーは、前記植物が到達しない高さに設置される
ことを特徴とする請求項1または2に記載の分析装置。 - 前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせである
ことを特徴とする請求項1または2に記載の分析装置。 - 前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
前記分析手段は、
前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記生育状態に関する情報は、栄養成長に関する情報を含む
ことを特徴とする請求項1または2に記載の分析装置。 - 前記生育状態に関する情報は、生殖成長に関する情報を含む
ことを特徴とする請求項1または2に記載の分析装置。 - 前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
ことを特徴とする請求項1または2に記載の分析装置。 - 前記複数の画像は、地面に対する角度が略90度の方向から撮影した第1の画像、前記角度が90度よりも小さい方向から撮影した第3の画像、および前記角度が90度よりも大きい方向から撮影した第4の画像を含む
ことを特徴とする請求項1または2に記載の分析装置。 - 前記第3の画像は、前記角度が略45度の方向から撮影した画像であり、
前記第4の画像は、前記角度が略135度の方向から撮影した画像である
ことを特徴とする請求項16に記載の分析装置。 - 前記第3の画像は、前記植物が植えられた畝の第1の側から撮影した画像であり、
前記第4の画像は、前記畝の、前記第1の側とは反対の第2の側から撮影した画像である
ことを特徴とする請求項16に記載の分析装置。 - 前記設定手段は、
前記第1の画像に対して、前記複数のマーカーに囲まれた第1の参照領域、前記複数のマーカーから前記第1の側の第2の参照領域、および前記複数のマーカーから前記第2の側の第3の参照領域を設定し、
前記第3の画像に対して、前記第1の参照領域および前記第2の参照領域を設定し、
前記第4の画像に対して、前記第1の参照領域および前記第3の参照領域を設定することを特徴とする請求項18に記載の分析装置。 - 植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップと
を有することを特徴とする分析方法。 - 請求項20に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022137915A JP2024033962A (ja) | 2022-08-31 | 2022-08-31 | 分析装置、分析方法、およびプログラム |
JP2022-137915 | 2022-08-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024048143A1 true WO2024048143A1 (ja) | 2024-03-07 |
Family
ID=90099161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/027297 WO2024048143A1 (ja) | 2022-08-31 | 2023-07-26 | 分析装置、分析方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024033962A (ja) |
WO (1) | WO2024048143A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193582A (ja) * | 2018-05-01 | 2019-11-07 | 株式会社クボタ | 植物栽培装置 |
JP2020099215A (ja) * | 2018-12-20 | 2020-07-02 | 三菱重工機械システム株式会社 | 植物管理システム |
US20200279374A1 (en) * | 2019-02-28 | 2020-09-03 | Iunu, Inc. | Automated plant disease detection |
JP2022170060A (ja) * | 2021-04-28 | 2022-11-10 | 株式会社天地人 | 生育状況評価システム、生育状況評価装置、生育状況評価方法及びプログラム |
JP2023035479A (ja) * | 2021-09-01 | 2023-03-13 | 国立研究開発法人農業・食品産業技術総合研究機構 | 農業用シートおよび植物の計測方法 |
-
2022
- 2022-08-31 JP JP2022137915A patent/JP2024033962A/ja active Pending
-
2023
- 2023-07-26 WO PCT/JP2023/027297 patent/WO2024048143A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193582A (ja) * | 2018-05-01 | 2019-11-07 | 株式会社クボタ | 植物栽培装置 |
JP2020099215A (ja) * | 2018-12-20 | 2020-07-02 | 三菱重工機械システム株式会社 | 植物管理システム |
US20200279374A1 (en) * | 2019-02-28 | 2020-09-03 | Iunu, Inc. | Automated plant disease detection |
JP2022170060A (ja) * | 2021-04-28 | 2022-11-10 | 株式会社天地人 | 生育状況評価システム、生育状況評価装置、生育状況評価方法及びプログラム |
JP2023035479A (ja) * | 2021-09-01 | 2023-03-13 | 国立研究開発法人農業・食品産業技術総合研究機構 | 農業用シートおよび植物の計測方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024033962A (ja) | 2024-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms | |
US10747999B2 (en) | Methods and systems for pattern characteristic detection | |
He et al. | A novel 3D imaging system for strawberry phenotyping | |
Hall et al. | Characterising and mapping vineyard canopy using high-spatial-resolution aerial multispectral images | |
US20210311187A1 (en) | Systems and methods for tagging and linking acoustic images | |
EP2736318B1 (en) | Plant growth kinetics captured by motion tracking | |
US20210142484A1 (en) | Information processing apparatus, information processing method, and storage medium | |
EP4064182A1 (en) | Information processing device, information processing method, and program | |
KR101974638B1 (ko) | 식물 영상 처리 장치 및 방법 | |
KR102095539B1 (ko) | 인삼의 영상 이미지 분석을 통한 생육량 측정 방법 | |
KR20200020209A (ko) | 포장 단위별 다분광 영상 히스토그램 패턴 분석을 통한 작물 생육 모니터링 장치 | |
JP2023553443A (ja) | 植物検出及び表示システム | |
US9342895B2 (en) | Device and method for detecting a plant against a background using photographs with different levels of brightness | |
Meivel et al. | Monitoring of potato crops based on multispectral image feature extraction with vegetation indices | |
WO2024048143A1 (ja) | 分析装置、分析方法、およびプログラム | |
KR102531781B1 (ko) | 딥러닝 세그멘테이션 인식 기술을 이용한 작물 생장 측정 장치 및 그 방법 | |
Hearst | Remote sensing of soybean canopy cover, color, and visible indicators of moisture stress using imagery from unmanned aircraft systems | |
Narayanan et al. | Improving soybean breeding using UAS measurements of physiological maturity | |
CN108122224A (zh) | 一种测算树冠郁闭度的*** | |
KR102114384B1 (ko) | 영상기반 작물 생육데이터 측정 모바일 앱 및 그 디바이스 | |
Sandino et al. | Method for estimating leaf coverage in strawberry plants using digital image processing | |
Susko et al. | Quantifying cereal crop movement through hemispherical video analysis of agricultural plots | |
Schneider et al. | Towards predicting vine yield: Conceptualization of 3d grape models and derivation of reliable physical and morphological parameters | |
KR20200080432A (ko) | 딸기의 이미지 분석을 통한 생육 진단 방법 | |
Vescovi et al. | Detection of human-induced land cover changes in a savannah landscape in Ghana: I. Change detection and quantification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23859912 Country of ref document: EP Kind code of ref document: A1 |