WO2018078866A1 - コンピュータシステム、植物の診断方法及びプログラム - Google Patents

コンピュータシステム、植物の診断方法及びプログラム Download PDF

Info

Publication number
WO2018078866A1
WO2018078866A1 PCT/JP2016/082301 JP2016082301W WO2018078866A1 WO 2018078866 A1 WO2018078866 A1 WO 2018078866A1 JP 2016082301 W JP2016082301 W JP 2016082301W WO 2018078866 A1 WO2018078866 A1 WO 2018078866A1
Authority
WO
WIPO (PCT)
Prior art keywords
plant
visible light
image
light image
diagnosis
Prior art date
Application number
PCT/JP2016/082301
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2018547088A priority Critical patent/JP6592613B2/ja
Priority to PCT/JP2016/082301 priority patent/WO2018078866A1/ja
Priority to US16/492,443 priority patent/US10685231B2/en
Publication of WO2018078866A1 publication Critical patent/WO2018078866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • A01G7/06—Treatment of growing trees or plants, e.g. for preventing decay of wood, for tingeing flowers or wood, for prolonging the life of plants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3155—Measuring in two spectral ranges, e.g. UV and visible
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Definitions

  • the present invention relates to a computer system for diagnosing a plant by an image, a plant diagnosis method, and a program.
  • Patent Document 1 a configuration for diagnosing whether or not an abnormality has occurred by extracting data relating to the abnormality from an image is disclosed (see Patent Document 1).
  • Patent Document 1 For example, even when an abnormality occurs in a plant and a leaf is discolored, it is difficult to diagnose a difference from the state of a normal plant on the surface. In some cases, it was difficult to make an accurate diagnosis. In addition, when there are a plurality of possible causes for the abnormality determined from the extracted data, it is difficult to make an accurate diagnosis.
  • An object of the present invention is to provide a computer system, a plant diagnosis method, and a program capable of improving the accuracy of plant diagnosis.
  • the present invention provides the following solutions.
  • the present invention includes first image acquisition means for acquiring a visible light image of a plant imaged by a camera; Image analysis means for performing image analysis by comparing the acquired visible light image with the normal visible light image of the plant; As a result of the image analysis, plant specifying means for specifying the type of the plant, As a result of the image analysis, an abnormal part specifying means for specifying an abnormal part of the plant, Environmental data acquisition means for acquiring environmental data in which the plant is placed; First diagnostic means for diagnosing the state of the plant from the identified type, the identified abnormal part, and the acquired environmental data; A computer system is provided.
  • the computer system acquires a visible light image of a plant imaged by a camera, analyzes the acquired visible light image in comparison with a normal visible light image of the plant, and As a result of image analysis, the type of the plant is specified, and as a result of the image analysis, an abnormal part of the plant is specified, environmental data in which the plant is placed is obtained, and the specified type and the specified type are specified. The state of the plant is diagnosed from the abnormal part and the acquired environmental data.
  • the present invention is a computer system category, but also in other categories such as a plant diagnosis method and program, the same actions and effects according to the category are exhibited.
  • FIG. 1 is a diagram showing an outline of a plant diagnosis system 1.
  • FIG. 2 is an overall configuration diagram of the plant diagnosis system 1.
  • FIG. 3 is a functional block diagram of the computer 10.
  • FIG. 4 is a flowchart showing a plant diagnosis process executed by the computer 10.
  • FIG. 5 is a flowchart showing a plant diagnosis process executed by the computer 10.
  • FIG. 6 is a diagram schematically showing an example of visible light image data acquired by the computer 10.
  • FIG. 7 is a diagram schematically showing an example of infrared image data acquired by the computer 10.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the computer 10 specifies a predetermined part in a visible light image.
  • FIG. 9 is a diagram schematically illustrating an example in which the computer 10 specifies a region in an infrared image.
  • FIG. 10 is a diagram illustrating an example of a diagnostic database stored in the computer 10.
  • FIG. 1 is a diagram for explaining an outline of a plant diagnosis system 1 which is a preferred embodiment of the present invention.
  • the plant diagnosis system 1 includes a computer 10 and acquires an image obtained by capturing a plant and diagnoses the state of the plant.
  • the computer 10 is a computing device that is communicably connected to a camera (not shown) such as a visible light camera or an infrared camera, a sensor, or the like.
  • the plant diagnosis system 1 obtains a visible light image from a visible light camera, obtains an infrared image from an infrared camera, and from a sensor, a group consisting of the growing season of the plant, the temperature of the environment where the plant is located, humidity, weather, and precipitation At least one of the environmental data is acquired.
  • the computer 10 acquires a visible light image captured by a camera (not shown) (step S01).
  • the computer 10 acquires a visible light image such as a moving image or a still image of a plant captured by the visible light camera.
  • the computer 10 may acquire an infrared image such as a moving image of a plant or a still image captured by the infrared camera.
  • the visible light camera and the infrared camera may be realized by the same imaging device, or the visible light camera and the infrared camera are the same by placing the visible light camera and the infrared camera side by side or in the vicinity thereof.
  • the subject may be imaged. That is, the visible light camera and the infrared camera image the same object from substantially the same imaging point.
  • the computer 10 performs image analysis by comparing the acquired visible light image with a normal visible light image of a plant (step S02).
  • the computer 10 compares the characteristic amount and color of the acquired visible light image with the characteristic amount and color of the normal visible light image of the plant.
  • the computer 10 compares the characteristic amount and color of the normal visible light image of a plurality of plants with the characteristic amount and color of the acquired visible light image.
  • Various information for identifying the plant such as the type and name of the plant is associated with the feature amount and color of the normal visible light image of the plant.
  • the computer 10 may compare the temperature in addition to the feature amount and color of the acquired visible light image.
  • the computer 10 may acquire an infrared image in addition to the visible light image, extract the temperature of the infrared image, and compare the extracted temperature with the temperature of the normal infrared image of the plant.
  • the computer 10 identifies the type of plant as a result of the image analysis (step S03).
  • the computer 10 identifies the characteristic amount and color of the normal visible light image of the plant that matches the characteristic amount and color of the visible light image acquired this time by the image analysis described above, and is associated with the identified visible light image.
  • the plant type is identified as the plant type present in the visible light image acquired this time.
  • the computer 10 specifies the feature amount or color of the normal visible light image of the plant that approximates or matches the feature amount or color of the acquired visible light image.
  • the computer 10 identifies an abnormal part of the plant as a result of the image analysis (step S04).
  • the computer 10 identifies, as an abnormal part, a part having a characteristic amount or color different from the normal state of the plant among the characteristic amount or color of the acquired visible light image by the image analysis described above.
  • the computer 10 may identify an abnormal part of the plant based on the temperature of the acquired infrared image described above. In this case, the computer 10 compares the extracted temperature with the temperature of the normal infrared image of the plant, based on whether the temperature difference is within a predetermined range, whether it matches the reference temperature, or the like.
  • the part where the temperature is abnormal may be specified as the abnormal part.
  • the computer 10 acquires environmental data (step S05).
  • the computer 10 acquires environmental data on the living environment of at least one plant from the group consisting of the growth period of the plant, the temperature, humidity, weather, and precipitation of the environment where the plant is located from the sensor.
  • the computer 10 diagnoses the state of the plant from the identified plant type, the identified abnormal part, and the acquired environmental data (step S06).
  • the computer 10 diagnoses the state of the plant by referring to a diagnosis database in which plant types, abnormal parts, environmental data, and diagnosis results are linked in advance.
  • the computer 10 executes the diagnosis of the plant by extracting the diagnosis result associated with the type of the plant specified this time, the specified abnormal part, and the acquired environmental data in this diagnosis database. .
  • FIG. 2 is a diagram showing a system configuration of the plant diagnosis system 1 which is a preferred embodiment of the present invention.
  • the plant diagnosis system 1 includes a computer 10 and a public line network (Internet network, third generation, fourth generation communication network, etc.) 5, acquires an image of a plant, and diagnoses the plant.
  • Internet network Internet network, third generation, fourth generation communication network, etc.
  • the plant diagnosis system 1 includes a visible light camera that captures a visible light image such as a moving image of a plant or a still image, and a camera such as an infrared camera that captures an infrared image such as a moving image or a still image of a plant, the growing season of the plant, It is connected to a sensor that detects environmental data about the living environment of at least one plant from the group consisting of the temperature, humidity, weather, and precipitation amount of the environment in which the environment is located.
  • the computer 10 acquires various data from these.
  • the computer 10 is the above-described computing device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like as the control unit 11, and can communicate with other devices (cameras and sensors) as the communication unit 12.
  • a device compatible with WiFi (Wireless Fidelity) compliant with IEEE 802.11 The computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13.
  • the storage unit 13 stores various databases described later.
  • the computer 10 includes, as the processing unit 14, a device for executing various processes such as image processing and state diagnosis.
  • control unit 11 reads a predetermined program, thereby realizing the image data acquisition module 20 and the environment data acquisition module 21 in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. Further, in the computer 10, the control unit 11 reads a predetermined program, so that the visible light image analysis module 40, the infrared image analysis module 41, the temperature analysis module 42, the diagnosis module 43, learning, in cooperation with the processing unit 14. A module 44 is realized.
  • the image data acquisition module 20 acquires image data of a visible light image and an infrared image of a plant (step S10).
  • the image data acquisition module 20 acquires visible light image data that is a visible light image captured by the visible light camera.
  • the image data acquisition module 20 acquires infrared image data that is an infrared image captured by the infrared camera.
  • the image data acquisition module 20 acquires image data at a plurality of time points such as a predetermined time interval or a preset time.
  • the image data acquired by the image data acquisition module 20 is image data captured from the same imaging viewpoint and captured from the same target. In the following description, it is assumed that the computer 10 diagnoses a plant based on image data at a predetermined time.
  • the image data acquisition module 20 may acquire only visible light image data. In this case, the process using infrared image data described later may be omitted and executed.
  • FIG. 6 is a diagram illustrating an example schematically showing plant visible light image data acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires the visible light image 100 indicated by the visible light image data.
  • a plant 110 is shown.
  • the visible light image 100 may include scenery, natural objects, and artifacts other than the plant 110, but is omitted for the sake of simplicity of explanation.
  • the visible light image 100 may include a plurality of plants 110 and different types of plants from the plants 110.
  • FIG. 7 is a diagram illustrating an example schematically showing plant infrared image data acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires an infrared image 200 indicated by the infrared image data.
  • the plant 210 is reflected in the infrared image 200.
  • each temperature is indicated by hatching for convenience.
  • the infrared image 200 may include scenery, natural objects, and artifacts other than the plant 210, but is omitted for the sake of simplicity.
  • the infrared image 200 may include a plurality of plants 210 and different types of plants from the plants 210.
  • the visible light image analysis module 40 performs image analysis on the acquired visible light image (step S11).
  • step S ⁇ b> 11 the visible light image analysis module 40 compares the acquired visible light image with a visible light image in a normal state of the plant stored in the storage module 30 in advance.
  • a visible light image of the normal state of a plant is a part or whole of a plant part such as a flower, a branch, a leaf, a trunk, and a fruit in a healthy state captured by a visible light camera for each kind of plant and individual. It is an image.
  • the storage module 30 stores various information for identifying a plant such as a plant type or an individual in association with the visible light image in a normal state of the plant.
  • the visible light image analysis module 40 extracts feature quantities such as the shape and size of each part of the acquired visible light image and the color of each part. Further, the visible light image analysis module 40 extracts the feature amount and color of each part of the visible light image stored in the storage module 30. The visible light image analysis module 40 compares the feature amount and color extracted from the acquired visible light image with the feature amount and color extracted from the stored visible light image.
  • the visible light image analysis module 40 recognizes the shape of the plant present in the visible light image by performing edge analysis or the like on the acquired visible light image. Further, the visible light image analysis module 40 recognizes the shape of the plant existing in the visible light image by performing edge analysis or the like on the visible light image stored in the storage module 30. The visible light image analysis module 40 compares these shapes. Further, the visible light image analysis module 40 recognizes the RGB value of the visible light image by performing color extraction or the like on the acquired visible light image. Further, the visible light image analysis module 40 recognizes the RGB value of the visible light image by performing color extraction or the like on the visible light image stored in the storage module 30. The visible light image analysis module 40 compares these RGB values.
  • the visible light image analysis module 40 identifies the type of plant based on the result of the image analysis (step S12).
  • step S12 a stored visible light image having a feature amount or color that matches or approximates the feature amount or color is specified based on the feature amount or color extracted from the acquired visible light image.
  • the visible light image analysis module 40 acquires various types of information for identifying plants associated with the visible light image.
  • the visible light image analysis module 40 when the visible light image analysis module 40 recognizes a plurality of plant individuals in the visible light image, the visible light image analysis module 40 performs the above-described processing of step S11 and step S12 on each individual to identify the type of each individual. .
  • the computer 10 may specify the type of plant based on the acquired infrared image.
  • the computer 10 recognizes from the acquired infrared image by comparing the temperature of each part in the acquired infrared image and the temperature of each part in the normal state infrared image of the plant stored in the storage module 30.
  • the stored infrared image having a temperature that matches or approximates the measured temperature may be specified, and the type of plant associated with the specified infrared image may be specified.
  • the computer 10 may execute this process for each individual.
  • the computer 10 may specify the kind of plant based on both the acquired visible light image and infrared image. In this case, what is necessary is just to perform combining the process with respect to the visible light image which the computer 10 mentioned above performs, and the process with respect to an infrared image.
  • the visible light image analysis module 40 identifies regions corresponding to a plurality of predetermined parts of the plant in the visible light image (step S13).
  • the predetermined part is, for example, a part of a structure such as a flower, a branch, a leaf, a trunk, or a fruit, or a part that is set in advance.
  • the visible light image analysis module 40 recognizes the position of a part of the structure or a preset part in the visible light image from the feature amount, and specifies the recognized position as a region corresponding to the predetermined part.
  • the visible light image analysis module 40 recognizes a position in a visible light image of a part of the structure or a preset part from the color, and specifies the recognized position as an area corresponding to the predetermined part.
  • the visible light image analysis module 40 identifies a plurality of regions corresponding to each of a plurality of predetermined parts.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the visible light image analysis module 40 specifies a predetermined part.
  • the visible light image analysis module 40 specifies a region in the visible light image 100 where a predetermined part of a flower, a branch, or a leaf is located based on the extracted feature amount or color.
  • the visible light image analysis module 40 identifies regions of the plant 110 corresponding to the parts of the flowers 300 to 302, the branches 310 to 312 and the leaves 320 to 322.
  • the specified area is indicated by hatching for convenience. This area indicates a part of each part, but may indicate the entire corresponding part. Note that the number, type, and position of the parts to be specified can be changed as appropriate.
  • the visible light image analysis module 40 may perform this process on each individual. Further, the visible light image analysis module 40 may recognize each individual and also recognize the positional relationship of each individual. This may be achieved by recognizing the positional relationship based on the distance from the imaging point, the coordinates in the visible light image, and the like.
  • the infrared image analysis module 41 identifies a region in the infrared image corresponding to the region in the identified visible light image (step S14).
  • the infrared image analysis module 41 compares the visible light image with the infrared image to identify the region of the infrared image corresponding to the region of each part of the identified plant.
  • the infrared image analysis module 41 acquires the position of the region in the visible light image as a coordinate, and specifies the position that matches the acquired coordinate as the region in the infrared image corresponding to the region in the identified visible light image.
  • FIG. 9 is a diagram illustrating an example schematically showing a state in which the infrared image analysis module 41 specifies a region in the infrared image.
  • the region in the infrared image 200 corresponding to the parts of the flowers 300 to 302, branches 310 to 312 and leaves 320 to 322 of the specified plant 110 is specified. This is specified by comparing the position in the visible light image 100 and the position in the infrared image 200.
  • the infrared image analysis module 41 acquires the position coordinates of each part in the visible light image 100, and specifies the position in the infrared image corresponding to the acquired position coordinates as the region in the infrared image corresponding to the region in the visible light image. .
  • the infrared image analysis module 41 identifies the parts of the flowers 210 to 402, branches 410 to 412 and leaves 420 to 422 of the plant 210.
  • the specified area is indicated by hatching for convenience. This area refers to a part or the whole part depending on the part specified in the above-described visible light image. Note that the number, type, and position of the specified parts can be changed as appropriate in accordance with the visible light image.
  • the temperature analysis module 42 analyzes the temperature of the region in the identified infrared image (step S15). In step S15, the temperature analysis module 42 acquires the temperature of each region based on the infrared image, and specifies the temperature of each region.
  • the diagnosis module 43 diagnoses the plant based on the temperature of the region in the identified infrared image and determines whether or not an abnormality has occurred (step S16).
  • the diagnosis module 43 diagnoses a plant based on the acquired temperature of each region.
  • the diagnosis module 43 diagnoses a plant based on a reference temperature that is a temperature in a normal state of the plant corresponding to each part stored in the storage module 30.
  • the diagnostic module 43 calculates a temperature difference between the temperature of the area in the identified infrared image and the reference temperature corresponding to this area, and the calculated temperature difference is within a predetermined range (for example, within 0.5 ° C.). 1 ° C or less, 2 ° C or less).
  • the diagnosis module 43 determines that no abnormality has occurred when this temperature difference is within a predetermined range, and determines that an abnormality has occurred when it is not within the predetermined range.
  • the diagnosis module 43 may diagnose a plant by a method other than the diagnosis based on the reference temperature described above.
  • the plant may be diagnosed only by the temperature of the region in the specified infrared image, or when there are a plurality of plant individuals, the diagnosis may be made based on the positional relationship of each individual or the temperature of each individual. Good.
  • you may diagnose a plant by combining these two or more.
  • the diagnosis module 43 diagnoses that an abnormality has occurred when an abnormal temperature is specified as the temperature of the region in the specified infrared image.
  • the diagnostic module 43 compares the temperature of the region in the first individual and the temperature of the region in the second individual in the identified infrared image, calculates a temperature difference between them, and calculates the calculated temperature difference. Is an abnormal value, it is diagnosed that an abnormality has occurred in either or both of the first individual and the second individual.
  • the diagnostic module 43 diagnoses a plant based on one visible light image and one infrared image, but the diagnostic module 43 applies to one or both of a plurality of visible light images and infrared images acquired within a predetermined period. Based on this, the plant may be diagnosed. In this case, the diagnosis module 43 may diagnose the plant based on the individual feature amount, color, temperature change amount, change width, or change itself acquired from either or both of the visible light image and the infrared image. Further, the diagnosis module 43 may diagnose this plant based on the individual obtained from a plurality of infrared images and the average value of the temperatures of each part.
  • the diagnosis module 43 calculates the temperature difference between the average value of the temperature and the reference temperature by comparing the average value of the temperature of the individual or each part with the reference temperature. Plants may be diagnosed based on whether or not is within a predetermined range. Moreover, the diagnosis module 43 may diagnose a plant not only by these methods but by another method.
  • the diagnosis module 43 may diagnose a plant based only on a visible light image without using an infrared image.
  • the diagnosis module 43 includes the feature quantity and color of each part existing in the visible light image extracted by the above-described visible light image analysis module 40, a preset part, and the feature quantity of the specified plant type. It may be determined whether or not an abnormality has occurred by comparing the color and the color.
  • step S16 when the diagnosis module 43 determines that no abnormality has occurred (NO in step S16), the process ends.
  • the computer 10 may transmit a notification indicating that no abnormality has occurred in the plant to an external terminal (not shown).
  • the external terminal may notify the user to that effect by displaying this notification on its own display unit or by outputting this notification by voice.
  • step S16 when the diagnosis module 43 determines that an abnormality has occurred (YES in step S16), the diagnosis module 43 identifies an abnormal part of the plant that is a part where the abnormality of the plant has occurred. (Step S17). In step S ⁇ b> 17, the diagnosis module 43 identifies an abnormal part based on either or both of the feature amount and color of each part extracted from the visible light image or the temperature of each part specified from the infrared image. The diagnosis module 43 identifies a part where the extracted feature quantity or color of each part is different from the characteristic quantity or color of the normal state of the plant as an abnormal part. Moreover, the diagnostic module 43 specifies the part from which the temperature of each specified site
  • the environmental data acquisition module 21 acquires environmental data indicating the living environment of the plant (step S18).
  • the environmental data acquisition module 21 acquires at least one of the group consisting of the growing season of the plant, the temperature, humidity, weather, and precipitation of the environment where the plant is located as environmental data.
  • the environmental data acquisition module 21 includes sensors such as a clock, a meteorological instrument, a rain gauge, a rain and snow gauge, a thermometer, an anemometer, a hygrometer, a barometer, a solarimeter, a sunshine meter, and a visibility meter (not shown). Get environmental data. These sensors are installed in the vicinity of the plant or in the vicinity of the place where the plant is planted.
  • the environmental data acquisition module 21 may acquire environmental data at other timings.
  • the environmental data acquisition module 21 may acquire environmental data simultaneously with acquiring plant image data, or may acquire environmental data after specifying the type of plant. That is, the environmental data acquisition module 21 may acquire environmental data before diagnosing the state of the plant.
  • the sensor may detect environmental data other than the examples described above.
  • the installation position of a sensor is not restricted to the example mentioned above, It can change suitably to the position which can detect the living environment of a plant.
  • the diagnosis module 43 diagnoses the state of the plant from the identified type, the identified abnormal part, and the acquired environmental data (step S19).
  • the diagnosis module 43 determines the state of the plant based on the diagnosis database in which the type of plant stored in the storage module 30, the abnormal part of the plant, the environmental data of the plant, and the diagnosis result are linked. Diagnose.
  • the diagnosis module 43 specifies a part corresponding to the combination of the type specified this time, the specified abnormal part, and the acquired environmental data by referring to the diagnosis database.
  • the diagnosis module 43 extracts a diagnosis result corresponding to this location.
  • the diagnosis module 43 diagnoses the extracted diagnosis result as the state of the plant.
  • the diagnosis module 43 may diagnose the state of the plant based on any one or a combination of the specified type, the specified abnormal portion, or the acquired environmental data. In this case, the diagnosis module 43 may calculate a probability for each diagnosis result based on the information when extracting a plurality of corresponding diagnosis results. For example, when the diagnosis module 43 obtains a plurality of diagnosis results in the specified abnormal portion, the diagnosis module 43 calculates the probability of each diagnosis result based on the matching rate of the environmental data. In addition, when the diagnosis module 43 obtains a plurality of diagnosis results in the acquired environment data, the diagnosis module 43 sets a weight in advance for each data of the environment data, and associates this weight with the probability. The probability may be calculated for each diagnosis result. The diagnosis module 43 may calculate the probability by other methods.
  • FIG. 10 is a diagram illustrating an example of a diagnostic database stored in the storage module 30.
  • the storage module 30 includes information for identifying a plant such as name, classification, and variety, environmental data indicating the living environment of the plant such as weather, temperature, humidity, and precipitation, lesion color, and lesion temperature. Are stored in association with information indicating the content of the abnormality that occurs, and information indicating the diagnosis result.
  • the name is the name of the plant.
  • the classification is the production area. Variety is a population that has an industrially distinct meaning.
  • the time is the growing period of the plant. Weather, temperature, humidity, and precipitation are various data on the living environment of plants.
  • the lesion color is the color when the plant is in an abnormal state.
  • the lesion temperature is the temperature when the plant is in an abnormal state.
  • Diagnosis is the state of the plant when in these states.
  • diagnosis database a case where the plant is in a normal state and a case where an abnormality has occurred are associated with each variety.
  • the storage module 30 stores that the lesion color, the lesion temperature, and the diagnosis result are not applicable in association with each other.
  • the storage module 30 stores contents corresponding to the lesion color, the lesion temperature, and the diagnosis result in association with each other.
  • the information for identifying the plant, the environmental data, the lesion color, the lesion temperature, and the information indicating the diagnosis result are not limited to the examples described above, and other information may be added. A part of the selected items may be deleted. Moreover, there may not be a lesion temperature. Further, the number of types, classifications, and names is not limited to the example described above, and may be at least more than this.
  • the diagnosis database may be created for each name, each classification, and each product type.
  • the learning module 44 learns the diagnosis result (step S20).
  • step S20 the learning module 44 learns the diagnosis result using the environment data and the visible light image or infrared image as the feature amount. That is, the environment data and the pair of the image and the diagnosis result in the diagnosis database stored in the storage module 30 are learned as “supervised data” to generate diagnosis determination data.
  • the storage module 30 stores the generated diagnosis determination data, and the diagnosis module 43 determines a diagnosis result based on the diagnosis determination data learned this time when a new image is acquired.
  • the above is the plant diagnosis process.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Botany (AREA)
  • Environmental Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】植物の診断の精度を向上させることが可能なコンピュータシステム、植物の診断方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、カメラにて撮像された植物の可視光画像を取得し、取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記植物の種類を特定し、前記画像解析の結果、前記植物の異常部分を特定し、前記植物がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断する。

Description

コンピュータシステム、植物の診断方法及びプログラム
　本発明は、画像により植物を診断するコンピュータシステム、植物の診断方法及びプログラムに関する。
　近年、農業などの分野において、農作物に異常が発生しているか否かを、この農作物を撮像した画像に基づいて診断することが行われている。このような農作物の診断は、農作物の動画や静止画等の画像を撮像し、撮像した画像を画像解析することにより行われている。
　このような農作物を診断するシステムとして、画像から異常に関するデータを抽出することにより、異常が発生しているか否かを診断する構成が開示されている（特許文献１参照）。
特開２０１６－１６８０４６号公報
　しかしながら、特許文献１の構成では、例えば、植物に異常が発生し、葉が変色していた場合であっても、表面的には、通常の植物の状態との差を診断することが困難な場合があり、必ずしも正確な診断を行うことが困難であった。また、抽出したデータから判断される異常に、複数の原因が考えられる場合、正確な診断を行うことが困難であった。
　本発明は、植物の診断の精度を向上させることが可能なコンピュータシステム、植物の診断方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、カメラにて撮像された植物の可視光画像を取得する第１画像取得手段と、
　取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析する画像解析手段と、
　前記画像解析の結果、前記植物の種類を特定する植物特定手段と、
　前記画像解析の結果、前記植物の異常部分を特定する異常部分特定手段と、
　前記植物がおかれた環境データを取得する環境データ取得手段と、
　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断する第１診断手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、コンピュータシステムは、カメラにて撮像された植物の可視光画像を取得し、取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記植物の種類を特定し、前記画像解析の結果、前記植物の異常部分を特定し、前記植物がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断する。
　本発明は、コンピュータシステムのカテゴリであるが、植物の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、植物の診断の精度を向上させることが可能なコンピュータシステム、植物の診断方法及びプログラムを提供することが可能となる。
図１は、植物診断システム１の概要を示す図である。 図２は、植物診断システム１の全体構成図である。 図３は、コンピュータ１０の機能ブロック図である。 図４は、コンピュータ１０が実行する植物診断処理を示すフローチャートである。 図５は、コンピュータ１０が実行する植物診断処理を示すフローチャートである。 図６は、コンピュータ１０が取得した可視光画像データを模式的に示した一例を示す図である。 図７は、コンピュータ１０が取得した赤外線画像データを模式的に示した一例を示す図である。 図８は、コンピュータ１０が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。 図９は、コンピュータ１０が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。 図１０は、コンピュータ１０が記憶する診断データベースの一例を示す図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［植物診断システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である植物診断システム１の概要を説明するための図である。植物診断システム１は、コンピュータ１０から構成され、植物を撮像した画像を取得し、この植物の状態の診断を行う。
　コンピュータ１０は、図示していない可視光カメラや赤外線カメラ等のカメラ、センサ等に通信可能に接続された計算装置である。植物診断システム１は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから植物の生育時期、植物が位置する環境の気温、湿度、天気、降水量からなる群のうち少なくとも一つの環境データを取得する。
　はじめに、コンピュータ１０は、図示していないカメラにて撮像された可視光画像を取得する（ステップＳ０１）。コンピュータ１０は、可視光カメラが撮像する植物の動画や静止画等の可視光画像を取得する。
　なお、コンピュータ１０は、可視光画像に加え、赤外線カメラが撮像する植物の動画や静止画等の赤外線画像を取得してもよい。このとき、可視光カメラと赤外線カメラとは、同一の撮像装置により実現されてもよいし、可視光カメラと赤外線カメラとを並置又は近傍に設置することにより、可視光カメラと赤外線カメラとが同一の対象を撮像してもよい。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。
　コンピュータ１０は、取得した可視光画像を、植物の通常の可視光画像と比較して画像解析する（ステップＳ０２）。コンピュータ１０は、取得した可視光画像の特徴量や色と、植物の通常の可視光画像の特徴量や色とを比較する。コンピュータ１０は、複数の植物の通常の可視光画像の特徴量や色と、取得した可視光画像の特徴量や色とを比較する。この植物の通常の可視光画像の特徴量や色には、植物の種類や名称等の植物を識別するための各種情報が紐付けられている。
　なお、コンピュータ１０は、取得した可視光画像の特徴量や色に加え、温度を比較してもよい。この場合、コンピュータ１０は、可視光画像に加え、赤外線画像を取得し、この赤外線画像の温度を抽出し、抽出した温度と、植物の通常の赤外線画像の温度とを比較すればよい。
　コンピュータ１０は、画像解析の結果、植物の種類を特定する（ステップＳ０３）。コンピュータ１０は、上述した画像解析により、今回取得した可視光画像の特徴量や色が一致する植物の通常の可視光画像の特徴量や色を特定し、特定したこの可視光画像に紐付けられた植物の種類を、今回取得した可視光画像に存在する植物の種類として特定する。このとき、コンピュータ１０は、取得した可視光画像の特徴量や色と近似又は一致する植物の通常の可視光画像の特徴量や色を特定する。
　コンピュータ１０は、画像解析の結果、植物の異常部分を特定する（ステップＳ０４）。コンピュータ１０は、上述した画像解析により、取得した可視光画像の特徴量や色のうち、植物の通常の状態とは異なる特徴量や色を有する部分を、異常部分として特定する。
　なお、コンピュータ１０は、植物の異常部分を上述した取得した赤外線画像の温度に基づいて、特定してもよい。この場合、コンピュータ１０は、抽出した温度と、植物の通常の赤外線画像の温度とを比較し、温度差が所定の範囲内であるか否か、基準温度と一致するか否か等に基づいて、温度が異常である部分を、異常部分として特定すればよい。
　コンピュータ１０は、環境データを取得する（ステップＳ０５）。コンピュータ１０は、センサから植物の生育時期、植物が位置する環境の気温、湿度、天気、降水量からなる群のうち少なくとも一つの植物の生活環境についての環境データを取得する。
　コンピュータ１０は、特定された植物の種類と、特定された異常部分と、取得された環境データとから植物の状態を診断する（ステップＳ０６）。コンピュータ１０は、植物の種類と、異常部分と、環境データと、診断結果とを予め紐付けた診断データベースを参照することにより、植物の状態を診断する。コンピュータ１０は、この診断データベースにおいて、今回特定された植物の種類と、特定された異常部分と、取得された環境データとに紐付けられた診断結果を抽出することにより、植物の診断を実行する。
　以上が、植物診断システム１の概要である。
　［植物診断システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である植物診断システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である植物診断システム１のシステム構成を示す図である。植物診断システム１は、コンピュータ１０、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成され、植物を撮像した画像を取得し、この植物の診断を行う。
　植物診断システム１は、植物の動画や静止画等の可視光画像を撮像する可視光カメラ及び植物の動画や静止画等の赤外線画像を撮像する赤外線カメラ等のカメラ、植物の生育時期、植物が位置する環境の気温、湿度、天気、降水量からなる群のうち少なくとも一つの植物の生活環境についての環境データを検知するセンサとデータ通信可能に接続される。コンピュータ１０は、これらから各種データを取得する。
　コンピュータ１０は、後述の機能を備えた上述した計算装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である植物診断システム１の機能について説明する。図３は、コンピュータ１０の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器（カメラ・センサ）と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３には、後述する各種データベースが記憶される。また、コンピュータ１０は、処理部１４として、画像処理、状態診断等の各種処理を実行するためのデバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、画像データ取得モジュール２０、環境データ取得モジュール２１を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、可視光画像解析モジュール４０、赤外線画像解析モジュール４１、温度解析モジュール４２、診断モジュール４３、学習モジュール４４を実現する。
　［植物診断処理］
　図４及び図５に基づいて、植物診断システム１が実行する植物診断処理について説明する。図４及び図５は、コンピュータ１０が実行する植物診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　はじめに、画像データ取得モジュール２０は、植物の可視光画像及び赤外線画像の画像データを取得する（ステップＳ１０）。ステップＳ１０において、画像データ取得モジュール２０は、可視光カメラが撮像した可視光画像である可視光画像データを取得する。また、画像データ取得モジュール２０は、赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール２０は、所定の時間間隔又は予め設定された時刻等の複数の時点における画像データを取得する。画像データ取得モジュール２０が取得する画像データは、同一の撮像視点により撮像されており、同一の対象を撮像した画像データである。なお、以下の説明において、所定の時点における画像データに基づいて、コンピュータ１０が植物を診断するものとして説明する。
　なお、画像データ取得モジュール２０は、可視光画像データのみを取得してもよい。この場合、後述する赤外線画像データを用いた処理を省略して、実行すればよい。
　図６に基づいて、画像データ取得モジュール２０が取得する植物の可視光画像データについて説明する。図６は、画像データ取得モジュール２０が取得する植物の可視光画像データを模式的に示した一例を示す図である。図６において、画像データ取得モジュール２０は、可視光画像データが示す可視光画像１００を取得する。この可視光画像１００には、植物１１０が写っている。なお、可視光画像１００には、植物１１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像１００に複数の植物１１０や植物１１０とは異なる種類の植物が写っていてもよい。
　図７に基づいて、画像データ取得モジュール２０が取得する植物の赤外線画像データについて説明する。図７は、画像データ取得モジュール２０が取得する植物の赤外線画像データを模式的に示した一例を示す図である。図７において、画像データ取得モジュール２０は、赤外線画像データが示す赤外線画像２００を取得する。赤外線画像２００には、植物２１０が写っている。赤外線画像２００において、各温度を便宜的にハッチングにより示している。なお、赤外線画像２００には、植物２１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、赤外線画像２００に複数の植物２１０や植物２１０とは異なる種類の植物が写っていてもよい。
　可視光画像解析モジュール４０は、取得した可視光画像を画像解析する（ステップＳ１１）。ステップＳ１１において、可視光画像解析モジュール４０は、取得した可視光画像と、予め記憶モジュール３０が記憶する植物の通常の状態の可視光画像とを比較する。植物の通常の状態の可視光画像とは、植物の種類や個体毎に、健康な状態の花、枝、葉、幹、果実等の植物の部位の一部又は全部を可視光カメラにより撮像した画像である。記憶モジュール３０は、この植物の通常の状態の可視光画像に、植物の種類や個体等の植物を識別するための各種情報を紐付けて記憶する。可視光画像解析モジュール４０は、取得した可視光画像の各部位の形状やサイズ等の特徴量や各部位の色を抽出する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像の各部位の特徴量や色を抽出する。可視光画像解析モジュール４０は、取得した可視光画像から抽出した特徴量や色と、記憶した可視光画像から抽出した特徴量や色とを比較する。
　可視光画像解析モジュール４０は、取得した可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する植物の形状を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する植物の形状を認識する。可視光画像解析モジュール４０は、これらの形状を比較する。また、可視光画像解析モジュール４０は、取得した可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。可視光画像解析モジュール４０は、これらのＲＧＢ値を比較する。
　可視光画像解析モジュール４０は、画像解析の結果に基づいて、植物の種類を特定する（ステップＳ１２）。ステップＳ１２において、取得した可視光画像から抽出した特徴量や色に基づいて、この特徴量や色と一致又は近似する特徴量又は色を有する記憶した可視光画像を特定する。可視光画像解析モジュール４０は、この可視光画像に紐付けられた植物を識別する各種情報を取得する。
　なお、可視光画像解析モジュール４０は、可視光画像に複数の植物の個体を認識した場合、各個体に対して、上述したステップＳ１１及びステップＳ１２の処理を実行し、各個体の種類を特定する。
　また、コンピュータ１０は、取得した赤外線画像に基づいて、植物の種類を特定してもよい。この場合、コンピュータ１０は、取得した赤外線画像における各部位の温度と、記憶モジュール３０が記憶する植物の通常の状態の赤外線画像における各部位の温度とを比較することにより、取得した赤外線画像から認識した温度と、一致又は近似する温度を有する記憶した赤外線画像を特定し、この特定した赤外線画像に紐付けられた植物の種類を特定すればよい。コンピュータ１０は、赤外線画像に複数の植物の個体が存在する場合には、各個体に対してこの処理を実行すればよい。また、コンピュータ１０は、取得した可視光画像及び赤外線画像の両者に基づいて、植物の種類を特定してもよい。この場合、上述したコンピュータ１０が実行する可視光画像に対する処理と、赤外線画像に対する処理とを組み合わせて実行すればよい。
　可視光画像解析モジュール４０は、可視光画像における植物の複数の所定の部位に対応する領域を特定する（ステップＳ１３）。ステップＳ１３において、所定の部位とは、例えば、花、枝、葉、幹、果実等の構造の一部や予め設定された部位等である。可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を特徴量から認識し、この認識した位置を、所定の部位に対応する領域として特定する。また、可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を色から認識し、この認識した位置を、所定の部位に対応する領域として特定する。可視光画像解析モジュール４０は、複数の所定の部位の各々に対応する複数の領域を特定する。
　図８に基づいて、可視光画像解析モジュール４０が特定する所定の部位に対応する領域について説明する。図８は、可視光画像解析モジュール４０が所定の部位を特定した状態を模式的に示した一例を示す図である。図８において、可視光画像解析モジュール４０は、抽出した特徴量や色に基づいて、花、枝、葉の所定の部位が位置する可視光画像１００における領域を特定する。すなわち、可視光画像解析モジュール４０は、植物１１０の、花３００～３０２、枝３１０～３１２、葉３２０～３２２の部位に対応する領域を特定する。図８において、特定した領域を便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。
　なお、可視光画像解析モジュール４０は、可視光画像に複数の植物の個体を認識した場合、各個体に対して、この処理を実行すればよい。また、可視光画像解析モジュール４０は、各個体を認識するとともに、各個体の位置関係を認識してもよい。これは、撮像地点からの距離、可視光画像における座標等に基づいて、位置関係を認識すればよい。
　赤外線画像解析モジュール４１は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する（ステップＳ１４）。ステップＳ１４において、赤外線画像解析モジュール４１は、可視光画像と、赤外線画像とを比較することにより、特定した植物の各部位の領域に対応する赤外線画像の領域を特定する。赤外線画像解析モジュール４１は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。
　図９に基づいて、赤外線画像解析モジュール４１が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図９は、赤外線画像解析モジュール４１が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図９において、上述した可視光画像１００において、特定した植物１１０の花３００～３０２、枝３１０～３１２、葉３２０～３２２の部位に対応する赤外線画像２００における領域を特定する。これは、可視光画像１００における位置と、赤外線画像２００における位置とを比較することにより特定する。赤外線画像解析モジュール４１は、可視光画像１００における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール４１は、植物２１０の花４００～４０２、枝４１０～４１２、葉４２０～４２２の部位を特定する。図９において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数、種類及びその位置は、可視光画像に併せて適宜変更可能である。
　温度解析モジュール４２は、特定した赤外線画像における領域の温度を解析する（ステップＳ１５）。ステップＳ１５において、温度解析モジュール４２は、赤外線画像に基づいて、各領域の温度を取得し、各領域の温度を特定する。
　診断モジュール４３は、特定された赤外線画像における領域の温度に基づいて、植物を診断し、異常が発生しているか否かを判断する（ステップＳ１６）。ステップＳ１６において、診断モジュール４３は、取得した各領域の温度に基づいて、植物を診断する。診断モジュール４３は、記憶モジュール３０が記憶する各部位に対応する植物の通常の状態における温度である基準温度に基づいて、植物を診断する。診断モジュール４３は、特定された赤外線画像における領域の温度と、この領域に対応する基準温度との間の温度差を算出し、算出した温度差が所定の範囲内（例えば、０．５℃以内、１℃以内、２℃以内等）であるか否かを判断する。診断モジュール４３は、この温度差が所定の範囲内である場合、異常が発生していないと判断し、所定の範囲内ではない場合、異常が発生していると判断する。
　なお、診断モジュール４３は、上述した基準温度による診断以外の方法により、植物を診断してもよい。例えば、特定された赤外線画像における領域の温度のみにより、植物を診断してもよいし、複数の植物の個体が存在する場合、各個体の位置関係や各個体の温度に基づいて診断してもよい。また、これらを複数組み合わせることにより、植物を診断してもよい。例えば、診断モジュール４３は、特定された赤外線画像における領域の温度として、異常な温度を特定した場合、異常が発生していると診断する。また、診断モジュール４３は、特定された赤外線画像における第一の個体における領域の温度と第二の個体における領域の温度とを比較し、これらの間の温度差を算出し、算出したこの温度差が異常な値である場合、第一の個体又は第二の個体のいずれか又は双方に異常が発生していると診断する。
　また、診断モジュール４３は、一の可視光画像及び一の赤外線画像に基づいて、植物を診断しているが、所定の期間内に取得した複数の可視光画像又は赤外線画像のいずれか又は双方に基づいて、植物を診断してもよい。この場合、診断モジュール４３は、可視光画像又は赤外線画像のいずれか又は双方から取得した個体の特徴量、色、温度の変化量、変化幅又は変化そのものに基づいて、植物を診断すればよい。また、診断モジュール４３は、複数の赤外線画像から取得した個体や各部位の温度の平均値により、この植物を診断してもよい。すなわち、診断モジュール４３は、この個体や各部位の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、植物を診断すればよい。また、診断モジュール４３は、これらの方法に限らず、その他の方法により植物を診断してもよい。
　また、診断モジュール４３は、赤外線画像を利用せずに、可視光画像のみに基づいて、植物を診断してもよい。この場合、診断モジュール４３は、上述した可視光画像解析モジュール４０が抽出した可視光画像に存在する各部位や予め設定された部位の特徴量や色等と、特定された植物の種類の特徴量や色等とを比較することにより、異常が発生しているか否かを判断すればよい。
　ステップＳ１６において、診断モジュール４３は、異常が発生していないと判断した場合（ステップＳ１６　ＮＯ）、本処理を終了する。なお、ステップＳ１６において、コンピュータ１０は、図示していない外部端末等に、植物に異常が発生していないことを示す通知を送信してもよい。外部端末は、この通知を自身の表示部により表示することやこの通知を音声出力することにより、その旨をユーザに通知してもよい。
　一方、ステップＳ１６において、診断モジュール４３は、異常が発生していると判断した場合（ステップＳ１６　ＹＥＳ）、診断モジュール４３は、植物の異常が発生している部位である植物の異常部分を特定する（ステップＳ１７）。ステップＳ１７において、診断モジュール４３は、可視光画像から抽出した各部位の特徴量や色又は赤外線画像から特定した各部位の温度のいずれか又は双方により、異常部分を特定する。診断モジュール４３は、抽出した各部位の特徴量や色が、植物の通常の状態の特徴量や色と異なっている部位を異常部分として特定する。また、診断モジュール４３は、特定した各部位の温度が、植物の通常の温度と異なっている部分を異常部分として特定する。
　環境データ取得モジュール２１は、植物の生活環境を示す環境データを取得する（ステップＳ１８）。ステップＳ１８において、環境データ取得モジュール２１は、環境データとして、植物の生育時期、植物が位置する環境の気温、湿度、天気、降水量からなる群のうち少なくとも一つを取得する。環境データ取得モジュール２１は、図示していない時計、気象測器、雨量計、雨雪量計、温度計、風向風速計、湿度計、気圧計、日射計、日照計、視程計等のセンサから、環境データを取得する。これらのセンサは、植物の近傍又はこの植物が植えられている場所の近傍に設置される。
　なお、環境データ取得モジュール２１は、環境データをこの他のタイミングにより取得してもよい。環境データ取得モジュール２１は、例えば、植物の画像データを取得すると同時に環境データを取得してもよいし、植物の種類を特定した後に環境データを取得してもよい。すなわち、環境データ取得モジュール２１は、環境データを、植物の状態を診断するよりも以前に取得すればよい。また、センサは、上述した例以外の環境データを検知してもよい。また、センサの設置位置は、上述した例に限らず、植物の生活環境を検知することが可能な位置に適宜変更可能である。
　診断モジュール４３は、特定された種類と、特定された異常部分と、取得された環境データとから植物の状態を診断する（ステップＳ１９）。ステップＳ１９において、診断モジュール４３は、記憶モジュール３０が記憶する植物の種類と、植物の異常部分と、植物の環境データと、診断結果とが紐付けられた診断データベースに基づいて、植物の状態を診断する。診断モジュール４３は、今回特定された種類と、特定された異常部分と、取得された環境データの組み合わせに該当する箇所を、診断データベースを参照することにより特定する。診断モジュール４３は、この箇所に該当する診断結果を抽出する。診断モジュール４３は、抽出した診断結果を、この植物の状態として診断する。
　なお、診断モジュール４３は、特定された種類、特定された異常部分又は取得された環境データのいずれか又は複数の組み合わせにより、植物の状態を診断してもよい。この場合、診断モジュール４３は、該当する複数の診断結果を抽出した際、これらの情報に基づいて、各診断結果に対して、確率を算出してもよい。例えば、診断モジュール４３は、特定された異常部分において、複数の診断結果を得た場合、環境データの一致率に基づいて、各診断結果の確率を算出する。また、診断モジュール４３は、取得された環境データにおいて、複数の診断結果を得た場合、環境データの各データに、重みづけを予め設定し、この重みづけと確率とを対応付けておくことにより、各診断結果に対して確率を算出してもよい。また、診断モジュール４３は、その他の方法により、確率を算出してもよい。
　［診断データベース］
　図１０に基づいて、記憶モジュール３０が記憶する診断データベースについて説明する。図１０は、記憶モジュール３０が記憶する診断データベースの一例を示す図である。図１０において、記憶モジュール３０は、名称、分類、品種等の植物を識別するための情報と、天気、気温、湿度、降水量等の植物の生活環境を示す環境データと、病変色、病変温度等の発生する異常の内容を示す情報と、診断結果を示す情報とを対応付けて記憶する。名称は、植物の名称である。分類は、生産地等である。品種は、産業上区別する意味の認められる個体群である。時期は、植物の生育期間である。天気、気温、湿度、降水量は、植物の生活環境の各種データである。病変色は、植物が異常な状態にあるときの色である。病変温度は、植物が異常な状態にあるときの温度である。診断は、これらの状態にあるときの植物の状態である。診断データベースにおいて、各品種に対して、植物が通常の状態である場合と、異常が発生している場合とをそれぞれ対応付けている。記憶モジュール３０は、植物が通常の状態である場合、病変色、病変温度及び診断結果が該当なしであることを対応付けて記憶する。記憶モジュール３０は、植物に異常が発生している状態である場合、病変色、病変温度及び診断結果にそれぞれ該当する内容を対応付けて記憶する。
　なお、診断データベースにおいて、植物を識別するための情報、環境データ、病変色、病変温度、診断結果を示す情報は、上述した例に限らず、その他の情報が追加されていてもよいし、上述した項目の一部が削除されていてもよい。また、病変温度はなくともよい。また、品種、分類、名称の数は、上述した例に限らず、これよりも多くとも少なくともよい。また、診断データベースは、名称毎、分類毎、品種毎のそれぞれで作成されていてもよい。
　学習モジュール４４は、診断結果を学習する（ステップＳ２０）。ステップＳ２０において、学習モジュール４４は、環境データ及び可視光画像や赤外線画像の画像を特徴量として、診断結果を学習する。すなわち、記憶モジュール３０が記憶する診断データベースにおける環境データ及び画像と診断結果とのペアを、「教師ありデータ」として学習し、診断判断データを生成する。記憶モジュール３０は、この生成された診断判断データを記憶し、診断モジュール４３は、新たな画像を取得した際には、この今回学習した診断判断データに基づいて診断結果を判断する。
　以上が、植物診断処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　植物診断システム、１０　コンピュータ

Claims (5)

  1. 　カメラにて撮像された植物の可視光画像を取得する第１画像取得手段と、
    　取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析する画像解析手段と、
    　前記画像解析の結果、前記植物の種類を特定する植物特定手段と、
    　前記画像解析の結果、前記植物の異常部分を特定する異常部分特定手段と、
    　前記植物がおかれた環境データを取得する環境データ取得手段と、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断する第１診断手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　前記カメラにて撮像された前記植物の赤外線画像を取得する第２画像取得手段と、
    　前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定する第１画像処理手段と、
    　特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第２画像処理手段と、
    　特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する第２診断手段と、
    　をさらに備え、
    　前記異常部分特定手段は、前記温度に基づいた診断の結果に基づいて、前記植物の異常部分を特定する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  3. 　前記環境データ取得手段は、前記植物の生息時期、前記植物が位置する環境の気温、湿度、天気、降水量からなる群のうち少なくとも一つの環境データを取得する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  4. 　カメラにて撮像された植物の可視光画像を取得するステップと、
    　取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析するステップと、
    　前記画像解析の結果、前記植物の種類を特定するステップと、
    　前記画像解析の結果、前記植物の異常部分を特定するステップと、
    　前記植物がおかれた環境データを取得するステップと、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断するステップと、
    　を備えることを特徴とする植物の診断方法。
  5. 　コンピュータシステムに、
    　カメラにて撮像された植物の可視光画像を取得するステップ、
    　取得した前記可視光画像を、前記植物の通常の可視光画像と比較して画像解析するステップ、
    　前記画像解析の結果、前記植物の種類を特定するステップ、
    　前記画像解析の結果、前記植物の異常部分を特定するステップ、
    　前記植物がおかれた環境データを取得するステップ、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記植物の状態を診断するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/082301 2016-10-31 2016-10-31 コンピュータシステム、植物の診断方法及びプログラム WO2018078866A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018547088A JP6592613B2 (ja) 2016-10-31 2016-10-31 コンピュータシステム、植物の診断方法及びプログラム
PCT/JP2016/082301 WO2018078866A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、植物の診断方法及びプログラム
US16/492,443 US10685231B2 (en) 2016-10-31 2016-10-31 Computer system, and method and program for diagnosing plants

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082301 WO2018078866A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、植物の診断方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018078866A1 true WO2018078866A1 (ja) 2018-05-03

Family

ID=62024530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082301 WO2018078866A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、植物の診断方法及びプログラム

Country Status (3)

Country Link
US (1) US10685231B2 (ja)
JP (1) JP6592613B2 (ja)
WO (1) WO2018078866A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724272A (zh) * 2020-06-08 2020-09-29 黑龙江省网络空间研究中心 农作物生长状况数据分析***及方法
KR102296216B1 (ko) * 2020-03-31 2021-09-01 주식회사 쎄슬프라이머스 식물 생육 모니터링 제어 시스템 및 식물 생육 모니터링 제어 방법
CN115294518A (zh) * 2022-07-18 2022-11-04 广东省农业科学院环境园艺研究所 一种园艺植物温室精准栽培的智能监控方法及***

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024710B (zh) * 2019-12-17 2022-04-08 江苏恒宝智能***技术有限公司 一种农作物异常检测***及方法
US20220259947A1 (en) * 2021-02-18 2022-08-18 Yantai Jereh Petroleum Equipment & Technologies Co., Ltd. Monitoring system and method for wellsite equipment
IT202100011411A1 (it) * 2021-05-05 2022-11-05 Metacortex Srl Sistema e metodo configurati per fornire informazioni sullo stato di salute di alberi e altre piante
CN113313193A (zh) * 2021-06-15 2021-08-27 杭州睿胜软件有限公司 植物图片识别方法、可读存储介质及电子设备
CN115656167A (zh) * 2022-09-27 2023-01-31 杭州睿胜软件有限公司 植物诊断方法、装置及计算机可读存储介质
CN117313017B (zh) * 2023-11-28 2024-02-06 山东艺林市政园林建设集团有限公司 一种彩叶研发数据处理方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182185A (ja) * 1989-12-11 1991-08-08 Fujitsu Ltd 赤外線監視システム
CN104797913A (zh) * 2012-09-21 2015-07-22 杭州美盛红外光电技术有限公司 热像诊断装置和热像诊断方法
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
AU2013350867B2 (en) * 2012-12-02 2017-08-31 Agricam Ab Systems and methods for predicting the outcome of a state of a subject
JP6539901B2 (ja) 2015-03-09 2019-07-10 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム
US10585210B2 (en) * 2015-10-06 2020-03-10 Arable Labs, Inc. Apparatus for radiometric correction and orthorectification of aerial imagery
US10028452B2 (en) * 2016-04-04 2018-07-24 Beesprout, Llc Horticultural monitoring system
CN106067169A (zh) * 2016-05-24 2016-11-02 北京农业信息技术研究中心 植物水分胁迫状态自动监控方法及***
US10687713B2 (en) * 2016-08-05 2020-06-23 Optim Corporation Diagnostic apparatus
US10339380B2 (en) * 2016-09-21 2019-07-02 Iunu, Inc. Hi-fidelity computer object recognition based horticultural feedback loop
JP6441546B2 (ja) * 2016-10-31 2018-12-19 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
US10852236B2 (en) * 2017-09-12 2020-12-01 Curadel, LLC Method of measuring plant nutrient transport using near-infrared imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296216B1 (ko) * 2020-03-31 2021-09-01 주식회사 쎄슬프라이머스 식물 생육 모니터링 제어 시스템 및 식물 생육 모니터링 제어 방법
CN111724272A (zh) * 2020-06-08 2020-09-29 黑龙江省网络空间研究中心 农作物生长状况数据分析***及方法
CN115294518A (zh) * 2022-07-18 2022-11-04 广东省农业科学院环境园艺研究所 一种园艺植物温室精准栽培的智能监控方法及***
CN115294518B (zh) * 2022-07-18 2023-06-20 广东省农业科学院环境园艺研究所 一种园艺植物温室精准栽培的智能监控方法及***

Also Published As

Publication number Publication date
US10685231B2 (en) 2020-06-16
US20200042790A1 (en) 2020-02-06
JPWO2018078866A1 (ja) 2019-10-10
JP6592613B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6592613B2 (ja) コンピュータシステム、植物の診断方法及びプログラム
Gai et al. Automated crop plant detection based on the fusion of color and depth images for robotic weed control
Guo et al. Automated characterization of flowering dynamics in rice using field-acquired time-series RGB images
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
Zhu et al. In-field automatic observation of wheat heading stage using computer vision
US10690644B2 (en) Computer system, plant diagnosis method, and program
JP6441546B2 (ja) コンピュータシステム、物体の診断方法及びプログラム
US10643073B2 (en) System, method, program for display on wearable terminal
Jiang et al. DeepFlower: a deep learning-based approach to characterize flowering patterns of cotton plants in the field
WO2018234733A1 (en) DATA PROCESSING OF IMAGES OF A PLANT CULTURE
JP2013111078A (ja) 植物の病気の識別方法、システムおよびその記録媒体
WO2019106733A1 (ja) 生育状況または病害虫発生状況の予測システム、方法およびプログラム
Zhang et al. Estimating plant distance in maize using Unmanned Aerial Vehicle (UAV)
US11100642B2 (en) Computer system, and method and program for diagnosing animals
Behera et al. On-tree fruit monitoring system using IoT and image analysis
CN111681758A (zh) 一种家庭健康的监测方法、监测***以及监测装置
CN113223040B (zh) 基于遥感的香蕉估产方法、装置、电子设备和存储介质
US11462008B2 (en) Device for collecting breeding data in farm field, device for analyzing feature in breeding, method for collecting breeding data in farm field, program, and recording medium
Ye et al. An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency
Slaughter The biological engineer: sensing the difference between crops and weeds
CN115695734A (zh) 红外热成像防护监控方法、装置、设备、***和介质
Swarup et al. Strawberry plant wetness detection using color and thermal imaging
KR20220010374A (ko) 스마트 엣지 디바이스 기반의 생육 분석 방법 및 그를 위한 장치 및 시스템
Bailly et al. Classification of MODIS time series with dense bag-of-temporal-SIFT-words: Application to cropland mapping in the Brazilian Amazon
Schmidtke Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919809

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018547088

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16919809

Country of ref document: EP

Kind code of ref document: A1