WO2022123732A1 - 処理装置、情報収集装置、情報処理方法、及びプログラム - Google Patents
処理装置、情報収集装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2022123732A1 WO2022123732A1 PCT/JP2020/046084 JP2020046084W WO2022123732A1 WO 2022123732 A1 WO2022123732 A1 WO 2022123732A1 JP 2020046084 W JP2020046084 W JP 2020046084W WO 2022123732 A1 WO2022123732 A1 WO 2022123732A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- unit
- image
- processing
- output
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 318
- 230000010365 information processing Effects 0.000 title claims description 116
- 238000003672 processing method Methods 0.000 title claims description 4
- 241001465754 Metazoa Species 0.000 claims abstract description 260
- 238000000034 method Methods 0.000 claims description 105
- 230000005540 biological transmission Effects 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 80
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000009395 breeding Methods 0.000 claims description 10
- 230000001488 breeding effect Effects 0.000 claims description 10
- 230000000384 rearing effect Effects 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 259
- 241000251468 Actinopterygii Species 0.000 description 86
- 230000006854 communication Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 43
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 35
- 238000010586 diagram Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 29
- 238000005259 measurement Methods 0.000 description 23
- 238000010801 machine learning Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 10
- 230000037396 body weight Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 235000013305 food Nutrition 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000012840 feeding operation Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000009360 aquaculture Methods 0.000 description 5
- 244000144974 aquaculture Species 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000005507 spraying Methods 0.000 description 5
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 4
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 235000019627 satiety Nutrition 0.000 description 4
- 230000036186 satiety Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000009546 growth abnormality Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000013535 sea water Substances 0.000 description 3
- 235000019733 Fish meal Nutrition 0.000 description 2
- 229910002651 NO3 Inorganic materials 0.000 description 2
- NHNBFGGVMKEFGY-UHFFFAOYSA-N Nitrate Chemical compound [O-][N+]([O-])=O NHNBFGGVMKEFGY-UHFFFAOYSA-N 0.000 description 2
- IOVCWXUNBOPUCH-UHFFFAOYSA-M Nitrite anion Chemical compound [O-]N=O IOVCWXUNBOPUCH-UHFFFAOYSA-M 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 229910021529 ammonia Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004467 fishmeal Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 235000019553 satiation Nutrition 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 241000238424 Crustacea Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000013505 freshwater Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/10—Culture of aquatic animals of fish
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Definitions
- the present invention relates to a processing device, an information collecting device, an information processing method, and a program used together with a target device having an image acquisition unit for acquiring an image of aquatic animals being raised.
- Patent Document 1 describes a growth state monitoring method for monitoring the growth state of aquatic animals growing in an aquarium, and the position of the aquatic animal in the aquarium using images detected from two imaging systems. And what is required for size is disclosed.
- the output of information has various aspects such as storage of information in a storage unit, transmission of information through a network, and output by image or sound using a display device, a sound output device, or the like. It is a concept that includes things.
- the processing device of the first invention is a processing device used together with a target device having an image acquisition unit for acquiring an image of aquatic animals being raised, and information based on an image acquired by the image acquisition unit from the target device. It is a processing device having a receiving unit for receiving the above, an output unit for outputting information based on the information received by the receiving unit, and a power supply unit for supplying electric energy to the target device.
- the processing apparatus of the second invention further has an output information acquisition unit for acquiring information for use in another apparatus by using the information received by the receiving unit for the first invention.
- the output unit is a processing device that outputs the information acquired by the output information acquisition unit.
- the receiving unit receives two or more images acquired by the image acquisition unit, and the output information acquisition unit receives predetermined image selection conditions. Based on the above, among the images received by the receiving unit, the processing device acquires a smaller number of images than the number of images received by the receiving unit.
- the output information acquisition unit is located from the position of the aquatic animal in the image taken immediately before among the images received by the receiving unit. It is a processing device that acquires an image of an aquatic animal at a position displaced by a certain amount or more.
- the output information acquisition unit is based on one or more images received by the receiving unit, and the aquatic animal being raised. It is a processing device that acquires information about.
- the output information acquisition unit acquires the environmental information regarding the breeding environment of the aquatic animal, and the aquatic animal being raised based on the acquired environmental information. It is a processing device that acquires information about.
- the processing apparatus of the seventh invention has, for any one of the first to sixth inventions, a device identifier acquisition unit that acquires a device identifier that identifies the target device that is the source of the information received by the receiving unit.
- the output unit is a processing device that outputs information based on the information received by the receiving unit in association with the acquired device identifier.
- the processing apparatus of the eighth invention further has a position identifier acquisition unit for acquiring a position identifier for identifying a position where an image is acquired by the image acquisition unit for any one of the first to seventh inventions.
- the output unit is a processing device that outputs the information based on the information received by the receiving unit in association with the acquired position identifier.
- the processing apparatus of the ninth invention further has a transmission unit capable of transmitting information to an external device for any one of the first to eighth inventions, and the output unit is external by the transmission unit. It is a processing device that outputs information to the device.
- the information acquired at the breeding place can be easily transmitted to an external device.
- the output unit outputs information when the electric energy is not supplied from the power supply unit to the target device. It is a processing device to perform.
- the power supply unit has a secondary battery, and the output unit is based on the electric energy supplied from the outside.
- a processing device that outputs information when the next battery is being charged or fully charged.
- the processing apparatus of the twelfth invention has each part in a cartridge housing that can be detachably attached to the attachment part formed in the target device for any one of the first to eleventh inventions. It is a processing device that is housed and configured.
- the output unit outputs information when the processing apparatus is removed from the target device, and the processing apparatus becomes the target device. It is a processing device that does not output information when it is attached.
- the processing apparatus of the fourteenth invention has an instruction storage unit for storing control instructions for controlling the operation of the image acquisition unit and a control instruction for any one of the first to thirteenth inventions. It is a processing device further including a target control unit that controls the operation of the image acquisition unit based on the above.
- the operation of the image acquisition unit can be controlled by using the processing device.
- the processing apparatus of the fifteenth invention is a processing apparatus for the fourteenth invention, in which the control instruction includes an instruction regarding the timing of acquiring an image of an aquatic animal.
- the information collecting device of the sixteenth invention relates to aquatic animals under breeding, which are provided with a processing device and a target device to which the processing device is attached for any one of the first to fifteenth inventions. It is an information collecting device for collecting information.
- the information collecting device of the seventeenth invention has the first process of acquiring information based on the image acquired by the image acquisition unit in the subject device with respect to the sixteenth invention.
- Information It is a collecting device.
- the first processing unit collects a smaller number of images from the images acquired by the image acquisition unit than the number of acquired images.
- An image selection process for acquiring an image based on a predetermined image selection condition is performed, the receiving unit receives the image acquired by the image selection process, and the second processing unit is an information collecting device which is an output information acquisition unit. ..
- the information acquired at the growing place can be easily output.
- FIG. 1 Schematic diagram of the aquatic animal detection system according to the first embodiment of the present invention.
- Block diagram of the aquatic animal detection system Block diagram of the information processing device Perspective view showing an example of the camera The figure explaining the detection work using the camera
- Flow chart showing an example of the detection process Flow chart showing an example of judgment operation
- the figure explaining an example of the operation of the same organism information storage part A diagram showing an example of time-series biological information stored in the same biological information storage unit.
- FIG. 1 A table explaining the operation of the feeding instruction information generation unit A flowchart showing an example of the operation related to the correction of model information by the processing unit.
- Block diagram of aquatic animal detection system according to one modification of Embodiment 1 Block diagram of the information processing device Schematic diagram of the aquatic animal detection system according to the second embodiment of the present invention.
- Block diagram of the aquatic animal detection system Perspective view showing the schematic configuration of the camera unit Perspective view showing an arrangement example of the camera Schematic diagram of the aquatic animal detection system according to the third embodiment of the present invention.
- Block diagram of the aquatic animal detection system The figure which shows the hardware composition of the information gathering apparatus in Embodiment 4 of this invention.
- FIG. 1 Perspective view showing the hardware configuration of the processing device Schematic diagram of aquatic animal detection system using the same information collection device Block diagram of the aquatic animal detection system Block diagram showing the configuration of the core control unit of the processing device A flowchart showing an example of the operation of the processing device. A flowchart showing a modified example of the operation of the processing device. A flowchart showing an example of the output information acquisition process of the output information acquisition unit. Overview of the computer system in the above embodiment Block diagram of the computer system
- the aquatic animal is, for example, a fish, but is not limited to this, and any animal such as a crustacean or a shellfish that lives in water may be used.
- any animal such as a crustacean or a shellfish that lives in water may be used.
- aquatic animals when aquatic animals are described, they are sometimes referred to as fish on behalf of them, and the bodies of the aquatic animals are sometimes referred to as fish bodies.
- the image is, for example, a still image or a moving image taken by a camera, but is not limited to this.
- it may be a still image extracted from a moving image taken by a camera.
- the aquatic animal detection system can be used, for example, in a cage (aquaculture farm) where aquatic animals are cultivated.
- the farm may be the sea, a lake, a pond, a river, or the like.
- a fish cage is an area filled with water (whether freshwater, seawater, brackish water) for aquatic animals, that is, a farm.
- the environment of the farm may be different depending on the type of aquatic animals to be cultivated.
- the farm may be naturally formed or artificially created.
- the farm may be a large aquarium for aquaculture filled with water, whether outdoors or indoors.
- a plot composed of a part of an area with water may be called a farm.
- the identifier is a character or code that uniquely indicates the item.
- the identifier is, for example, an ID, but any kind of information can be used as long as it is information that can identify the corresponding item. That is, the identifier may be the name of what it indicates, or it may be a combination of codes so as to uniquely correspond to each other.
- the acquisition may include acquiring the matters input by the user or the like, or may include acquiring the information stored in another device.
- Acquiring the information stored in the other device may include acquiring the information stored in the other device via API or the like, or the document file provided by the other device. It may include acquiring the content (including the content of the web page) by performing scraping or the like. Further, it may include acquiring information in a format different from the original information based on the original information, such as acquiring information by performing optical character reading on an image file.
- a so-called machine learning method may be used to acquire information.
- a learning device that inputs a specific type of input information and outputs the output information of the type to be acquired is configured by using a machine learning method.
- a machine learning method For example, two or more sets of input information and output information are prepared in advance, and the two or more sets of information are given to a module for constructing a learning device for machine learning to configure a learning device, and the configured learning device is provided. Accumulate in the storage.
- the learner can also be called a classifier.
- the machine learning method may be, for example, deep learning, random forest, SVR, or the like.
- functions in various machine learning frameworks such as fastText, tinySVM, random forest, TensorFlow, and various existing libraries can be used.
- the learner can also be called a classifier.
- Outputting information means displaying on a display, projecting using a projector, printing with a printer, sound output, transmission to an external device, storage on a recording medium, processing to other processing devices or other programs. It is a concept that includes delivery of results. Specifically, for example, it includes enabling display of information on a web page, sending it as an e-mail, and outputting information for printing.
- Information reception means receiving information input from input devices such as keyboards, mice, and touch panels, receiving information transmitted from other devices via wired or wireless communication lines, optical disks, magnetic disks, and semiconductors. It is a concept including acceptance of information read from a recording medium such as a memory.
- the aquatic animal detection system is used to detect the number and growth state of aquatic animals such as fish during aquaculture.
- the detection device of the aquatic animal detection system detects the fish body in the image taken by the camera.
- Notification is performed, for example, by outputting voice or generating vibration from a terminal device used in an aquatic animal detection system or a device linked to the terminal device, but the notification is not limited to this.
- the notification may be made, for example, in a terminal device having a display unit for displaying an image taken by a camera in an aquatic animal detection system.
- the information processing device of the aquatic animal detection system acquires the detection information of the fish body detected by the detection device and the environment information corresponding to the captured image, and stores the detection information and the environment information in association with each other. Judgment regarding the growth state of fish is made based on the accumulated information, and the judgment result is output.
- the predetermined notification condition includes the progress of detection of the fish body.
- the predetermined notification condition may include the total number of fish detected in the image.
- the predetermined notification conditions may include those relating to the positional relationship between the fish body and the camera.
- the detection device may be configured to measure the fish body and give a notification based on the result.
- the camera is a stereo camera, and a fish body included in an image taken by the stereo camera is detected, but the present invention is not limited to this.
- the information processing apparatus may make a determination regarding growth abnormality based on time-series biological information and feeding information. Further, the information processing apparatus may output the feeding instruction information based on the determination result regarding the growth state, and may output the feeding instruction information based on the growth plan information and the determination result of the growth state. May be good.
- the information processing device may make a determination to acquire biological information for each cage and output the determination result, or may output unfinished cage information for identifying the cage for which the determination has not been completed. ..
- the information processing apparatus may determine whether or not the growth state of the aquatic animal meets the preset shipping standard.
- FIG. 1 is a schematic diagram of the aquatic animal detection system 1 according to the first embodiment of the present invention.
- the reference numeral P indicates a cage provided in the sea or the like
- the reference numeral P1 indicates a constituent member constituting the cage P (for example, a net surrounding the cage P).
- the aquatic animal detection system 1 includes an information processing device 10, a terminal device 60, a camera unit 80, and an information input device 90.
- the information processing device 10 also functions as the aquatic animal detection device 10D, but the present invention is not limited to this.
- the information processing device 10 and the information input device 90 are devices on the remote side (so-called ASP side), and the terminal device 60 and the camera unit 80 are devices on the local side (raw cage P side). I can say.
- the information processing device 10 and the terminal device 60 can communicate with each other via a network such as the Internet. Further, the information processing device 10 and the information input device 90 can communicate with each other via a network.
- the camera unit 80 is connected to the terminal device 60.
- the information processing device 10, the terminal device 60, and the information input device 90 are each connected to a network such as the Internet, but the present invention is not limited to this.
- the information processing device 10 and the terminal device 60 may be connected to the network, and the information input device 90 may be connected to the information processing device 10.
- the camera unit 80 may be connected to a network, and the camera unit 80 and the terminal device 60 may be connected via the network.
- a server device may be provided on the local side, and another local device may be connected to the server device.
- the information processing device 10 and the information input device 90 may be provided as one of the devices on the local side, and each device does not distinguish between the local side and the remote side, and is an aquatic animal as described below. It suffices if they are connected to each other so that the detection system 1 can operate.
- a tablet-type information terminal device is shown as a terminal device 60
- a laptop computer-type device is shown as an information input device 90
- these devices may be, for example, tablet-type information terminal devices, portable information terminal devices such as so-called smartphones, or personal computers (PCs) such as laptop computers, or devices other than these. You may.
- the information input device 90 is, for example, a general laptop computer type information terminal device.
- the information input device 90 is realized from a storage unit, an MPU, a memory, etc. in which various information and programs are stored, and a processing unit and an information input device 90 that perform various processes by executing the program are networked. It has a communication unit and the like that are connected to and controlled so that communication with other devices connected to the network can be performed.
- a web browser function can be made to function, or an information transmission / reception function such as e-mail can be made to function.
- the user of the information input device 90 can browse the information received from another device connected to the network, or cause the information input device 90 to transmit the information to the other device. Can be done.
- the camera unit 80 has a jig 87 to which the camera 81 is attached and which the user (detection worker) can grasp by hand.
- the jig 87 is a part of the camera unit 80 other than the camera 81.
- the jig 87 has an arm portion 88 for submerging and holding the camera 81 in water.
- the shape and configuration of the jig 87 are not limited to this. Further, a configuration in which the camera 81 is suspended via a wire or the like may be adopted.
- the user goes to the fish cage P where the fish to be detected is located, and uses the terminal device 60 and the camera unit 80 connected to the terminal device 60 to perform the detection operation for the fish in the cage P. ..
- the aquatic animal detection system 1 exchanges information as follows. That is, the image taken by the camera 81 and the information acquired by the camera unit 80 are input to the terminal device 60.
- the terminal device 60 transmits information such as an image (for example, information such as an image, sensor measurement information, and position information, but is not limited to this) to the information processing device 10 via a network. do.
- the information input device 90 includes various input data (for example, information on fish species, number of growing days, feeding amount, weather history, water quality history, etc., but is not limited to this). Is transmitted to the information processing apparatus 10.
- the information processing apparatus 10 performs detection processing, determination processing related to the growth state, and the like, and information indicating the results (information such as fish size, weight, notification information, determination result, etc.) (Not limited) is transmitted to the terminal device 60.
- the terminal device 60 can receive the transmitted information and output it to the user.
- FIG. 2 is a block diagram of the aquatic animal detection system 1.
- FIG. 3 is a block diagram of the information processing apparatus 10.
- the information processing apparatus 10 includes a receiving unit 18, a transmitting unit (an example of a notification output unit) 19, a storage unit 21, and a processing unit 30.
- the receiving unit 18 and the transmitting unit 19 connect the information processing device 10 to the network and perform communication with other devices connected to the network.
- the receiving unit 18 and the transmitting unit 19 may be configured to perform wireless communication using, for example, wireless LAN or data communication of a mobile phone, or may be configured to perform various types of wired communication. May be good.
- the receiving unit 18 receives information transmitted from another device.
- the receiving unit 18 stores the received information in, for example, the storage unit 21 or hands it over to the processing performed by the processing unit 30.
- the transmission unit 19 transmits information to another device.
- the transmission unit 19 transmits, for example, the information stored in the storage unit 21 or the information handed over from the processing unit 30.
- the transmission unit 19 functions as, for example, a notification output unit that transmits the notification information generated by the notification generation unit 36 as described later.
- the storage unit 21 is realized by a non-volatile recording medium, it can also be realized by a volatile recording medium.
- Information acquired by each part of the processing unit 30 as described later is stored in each part of the storage unit 21, but the process of storing information or the like in each part of the storage unit 21 is not limited to this. ..
- information or the like may be stored in the storage unit 21 via a recording medium, or information or the like transmitted via a communication line or the like may be stored in the storage unit 21.
- the information or the like input via the input device may be stored in the storage unit 21.
- the storage unit 21 includes a notification condition storage unit 22 and a second notification condition storage unit 23.
- Notification conditions are stored in the notification condition storage unit 22.
- the notification condition is used when determining whether or not to notify the user performing the detection work regarding the detection work when the detection work is executed.
- Notification conditions are preset. It may be set prior to the user's detection work, or it may be set by being specified by the user at the start of the detection work or during the work, or based on the information acquired by the information processing apparatus 10. It may be set automatically.
- the notification condition includes a condition relating to the progress of detection of aquatic animals.
- the notification condition includes a condition relating to the total number of aquatic animals detected by the detection operation (detection number).
- the notification conditions include the degree of achievement of the current number of detections with respect to the final achievement value of the number of detections (when the number of detections 100 is set as a goal, the current number of detections is 10%, 20%, and so on. It may be (such as what has been reached). For example, when performing detection work for the purpose of measuring the size of aquatic animals growing in one cage, if the number of detections exceeds a predetermined number, it is statistically effective to indicate the size of aquatic animals.
- the number can be set as a notification condition. Further, in this case, for example, a measurement result having a predetermined confidence interval (for example, a section of 3 sigma) using a measured value obtained by measurement and a value such as a standard deviation calculated using the measured value.
- the number of detections that can be obtained may be calculated at any time as the detection work of aquatic animals progresses (for example, it may be calculated by the detection processing unit 31 described later) and set as a notification condition. ..
- the notification condition may include a condition relating to the positional relationship between the camera 81 and the aquatic animal detected from the image.
- the positional relationship is, for example, the orientation of the camera 81 with respect to the posture of the aquatic animal (for example, the orientation of the aquatic animal which is a fish), the distance between the aquatic animal and the camera 81, and the like, but is not limited thereto. ..
- the second notification condition is stored in the second notification condition storage unit 23.
- the second notification condition is a condition related to the measurement result of aquatic animals, which is performed at the time of executing the detection work, as described later. That is, the second notification condition is, for example, the size of the aquatic animal (fish body length (the length from the tip to the rear end of the tail fin, but may have a different definition)) and the fish body height (dorsal side). The size of the fish from to the ventral side, but may have a different definition), the width of the fish (the width between both sides of the fish, but may have a different definition), It is a predetermined threshold or the like defined for the measurement result of body weight (weight), etc.
- the second notification condition is not limited to these.
- the second notification condition regarding the feature amount is It may be set.
- the storage unit 21 includes a biological information storage unit 24, a model information storage unit 25, a feeding information storage unit 26, a growth plan information storage unit 27, and a shipping standard information storage unit 28.
- the biological information is stored in the biological information storage unit 24.
- the biological information is information acquired by the biological information acquisition unit 42, as will be described later. That is, the biological information is information acquired based on an image, and may be a measured value for aquatic animals detected in the detection work or an arbitrary feature amount related to the size of the fish, or in the detection work. The information may be obtained based on the number of detected aquatic animals and the like.
- Model information is stored in the model information storage unit 25.
- Model information is a reference value for the growth of aquatic animals.
- the model information includes, for example, the transition of time for aquatic animals (for example, the number of growth (for example, DOC (Day of Culture; the number of growth days since the fry was placed in the aquaculture cage)), the number of days elapsed after hatching, and the like. ) And the standard relationship between the index indicating the growth of the body. More specifically, for example, for a fish, it means a value in which the DOC is associated with the standard fish body length, average weight, and the like.
- the reference value may be summarized in a table or may be a growth curve represented by, for example, a mathematical formula. Note that the model information is not limited to such an existing growth curve model.
- a known growth curve model may be a growth curve model corrected by utilizing time-series biological information stored in the biological information storage unit 24.
- the model information may be the environment of the aquatic animal. (For example, it may be prepared according to the water temperature and the water quality (oxygen concentration, pH, etc.).
- Feeding information is stored in the feeding information storage unit 26.
- the feeding information is information related to feeding to the cage, and more specifically, for example, information such as the time of feeding and the amount of feeding (feeding start / end time, daily feeding amount, monthly feeding amount). , Feeding interval, etc.).
- the feeding information may also include, for example, an identifier that identifies the fed food, information on the properties of the food (pellet size, fishmeal content, etc.), and the like.
- the growth plan information storage unit 27 stores growth plan information indicating a preset growth plan.
- the growth plan information is, for example, a target value of an index indicating the growth of the body, which is associated with the transition of time for aquatic animals.
- the growth plan information can be set, for example, in the model information based on the characteristics of the aquatic animal as a seedling, the characteristics of the environment of the cage, and the like, but the information is not limited to this.
- the growth plan information may be set based on, for example, the time and size of aquatic animals expected to be shipped.
- the shipping standard information storage unit 28 stores shipping standard information indicating a preset shipping standard.
- the shipping standard information is information indicating shipping standards, and is, for example, information indicating the size, weight, sales time, etc. requested by the shipping destination (sales destination) of aquatic animals, but is not limited to this.
- the processing unit 30 includes a detection processing unit 31 and an information processing unit 40.
- the processing unit 30 controls the operation of the information processing device 10 and performs processing in cooperation with the terminal device 60 and the like. Coordination with a device connected via a network, such as a terminal device 60, can be performed by transmitting a command to each device, receiving information from each device, and the like.
- the processing unit 30 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the processing unit 30 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the detection processing unit 31 mainly performs processing related to the detection work.
- the detection processing unit 31 includes an image acquisition unit 32, a detection unit 33, a measurement unit 34, a notification determination unit 35, and a notification generation unit 36.
- the measurement unit 34 is included in the detection unit 33, the measurement unit 34 is not limited to this.
- the image acquisition unit 32 acquires an image taken by the camera 81.
- the image is taken by the camera 81 and then immediately transmitted to the information processing device 10 via the terminal device 60. That is, the image acquisition unit 32 immediately acquires the image taken by the camera 81.
- "immediate” does not necessarily mean that the time difference is extremely small, and may include some delay time and time for processing such as communication and image processing.
- the image taken by the camera 81 does not have to be immediately transmitted to the information processing apparatus 10, for example, it may be transmitted periodically (at intervals of several seconds, at intervals of several minutes, at intervals of several hours, etc.), or at a predetermined event.
- the image may be transmitted to the information processing apparatus 10 at the timing when the occurrence is detected by the terminal apparatus 60 or the like.
- the detection unit 33 detects the aquatic animals shown in the image.
- the detection unit 33 detects aquatic animals immediately after the image is taken.
- the detection unit 33 reads out the image immediately acquired from the image acquisition by the image acquisition unit 32, and immediately detects the aquatic animal.
- the detection of an individual aquatic animal by the detection unit 33 can be performed by various known methods.
- the detection unit 33 extracts the contour of the object included in the image acquired by the image acquisition unit 32, compares the extracted contour with the contour information prepared in advance, and has a degree of similarity with the contour information of the aquatic organism. When is higher than a predetermined value, it can be determined that the object from which the contour is extracted is an aquatic animal.
- the detection unit 33 inputs a region image including an object included in the image acquired by the image acquisition unit 32, and outputs information indicating whether or not the object is an aquatic animal for machine learning.
- a learning device configured by the method may be used to detect whether or not the object included in the image is an aquatic animal.
- the detection unit 33 has a measurement unit 34.
- the measuring unit 34 measures the aquatic organisms shown in the image. In the present embodiment, the measuring unit 34 measures the size of an individual aquatic animal detected from an image by the detecting unit.
- the measuring unit 34 measures, for example, the fish body length, but the present invention is not limited to this. For individual aquatic animals, various dimensions such as fish body length, fish body height, and fish body width may be measured, or any of these may be measured. Further, the measuring unit 34 may acquire the body weight of the aquatic animal based on the measured measured value.
- the body weight indicates, for example, determining the body weight using table information in which the measured value and the body weight are associated in advance (for example, it may be stored in the storage unit 21), or showing the relationship between the measured value and the body weight.
- the measuring unit 34 can be obtained by calculating using a function or by acquiring using a learner configured by a machine learning method in advance.
- the fact that the measuring unit 34 acquires the body weight in this way can be said to measure the body weight.
- the measuring unit 34 may acquire, for example, an arbitrary feature amount related to the size of the fish body (for example, the degree of hanging of the belly of the aquatic animal, the form of the aquatic animal, etc.).
- the size of such aquatic animals can be measured by various known methods.
- the measuring unit 34 may measure the dimensions based on the distance between a plurality of predetermined feature points detected for the object determined to be an aquatic animal as described above and the position of the feature points.
- the measuring unit uses a learning device configured to input an image of an area having an object determined to be an aquatic organism and output a feature amount related to the size of the aquatic organism, and to obtain a measurement result. May be obtained.
- the detection of aquatic animals is a concept including the detection of individual aquatic animals and the measurement of the size of the detected individuals.
- the detection unit 33 detects an individual aquatic animal in the image
- the measurement unit 34 measures the detected individual.
- the detection and measurement of another individual are performed.
- the detection of aquatic animals may be regarded as a concept that does not include the measurement of the size of individual aquatic animals. In this case, it can be said that the detection processing unit 31 detects the aquatic animal by the detection unit 33 and measures the size of the aquatic animal by the measurement unit 34.
- the notification determination unit 35 determines whether or not the notification condition regarding the detection status of aquatic animals by the detection unit 33 is satisfied.
- the detection status of aquatic animals is, for example, the number of detected aquatic animals when the detection of aquatic animals is started for one cage P. That is, for example, when the notification condition storage unit 22 is set as the notification condition that the number of detected animals has reached a predetermined number as described above, the notification determination unit 35 determines that the number of detected aquatic animals is increased. Determine if the notification conditions are met. When the number of detected aquatic animals reaches a predetermined number, the notification determination unit 35 determines that the notification condition is satisfied.
- the notification determination unit 35 acquires information indicating the positional relationship as the detection status of the detection unit 33 and notifies the notification. It may be determined whether or not the conditions are met.
- the detection status of aquatic animals may be, for example, the physical condition or activity amount of the detected individual, and in this case, items related to the physical condition or activity amount of the detected individual may be set as notification conditions. ..
- the physical condition and activity amount of the aquatic animal can be detected, for example, by detecting a change in the movement or the like of the individual photographed at a predetermined time from the image. That is, in two or more images or moving images taken within a predetermined time, the distance traveled, the amount of change in posture, and the like are detected for one detected individual.
- the body length and the amount of activity of the individual can be detected depending on whether or not the detected value exceeds a predetermined threshold value.
- the detection method is not limited to this.
- the notification determination unit 35 determines whether or not the second notification condition regarding the measurement result by the measurement unit 34 is satisfied. For example, when it is set as the second notification condition that the fish body length of the aquatic animal reaches a predetermined threshold value, the notification determination unit 35 determines whether or not the measured value of the individual aquatic animal has reached the predetermined threshold value. Judge. Then, when the measured value reaches a predetermined threshold value, the notification determination unit 35 determines that the second notification condition is satisfied. When a predetermined threshold value regarding the size of the aquatic animal is set as the second notification condition, the notification determination unit 35 compares the average value of the measured values of the detected individuals with the predetermined threshold value. It may be determined whether or not the second notification condition is satisfied.
- the notification determination unit 35 determines that the measured value of each individual has reached a predetermined threshold value more than a predetermined number of times, and continuously determines that the measured value of each individual has reached a predetermined threshold value more than a predetermined number of times. If this happens, it may be determined that the second notification condition is satisfied.
- the notification generation unit 36 generates notification information when it is determined by the notification determination unit 35 that the notification conditions are satisfied.
- the notification information is information for notifying the user.
- the notification information generated by the notification generation unit 36 is transmitted (an example of output) to the terminal device 60 by the transmission unit 19.
- a notification is performed from the terminal device 60.
- the user can be notified by outputting voice from the terminal device 60, generating vibration from the terminal device 60, or displaying information on the screen of the terminal device 60. ..
- the notification information is, for example, information for notifying the user that the notification condition is satisfied.
- the notification information can be generated, for example, as follows. For example, a predetermined message text associated with the notification condition in advance may be generated as notification information, or a predetermined variable related to the notification condition (indicated as "$ variable") may be used to "" total "$ variable. A message such as "The detection of animals is completed" may be generated as notification information.
- the notification generation unit 36 generates the second notification information when it is determined by the notification determination unit 35 that the second notification condition is satisfied.
- the second notification information like the notification information, is information for notifying the user, and is information transmitted to the terminal device 60 by the transmission unit 19.
- the second notification information is information for notifying the user that the second notification condition is satisfied. That is, the user can know that the second notification condition is satisfied by performing the notification based on the second notification information.
- the user receives the notification, and the fish body length of the aquatic animal reaches the level at which the second notification condition is satisfied in the cage P. You can know that.
- the generation of the second notification information can be performed, for example, as follows. For example, a predetermined message text associated with the second notification condition in advance may be generated as the second notification information, or a predetermined variable (indicated as "$ variable") related to the second notification condition may be used to "" A message such as "The average fish length is" $ variable "is centimeters" may be generated as the second notification information.
- the above-mentioned second notification condition may be interpreted as being included in the notification condition, or the notification condition may be interpreted as being included in the second notification condition.
- the notification information may be interpreted as including the second notification information or also serving as the second notification information.
- the second notification information may be interpreted as also serving as notification information.
- the notification given to the user from the terminal device 60 based on the notification information transmitted from the information processing device 10 is a notification that the size of aquatic animals equal to or larger than a predetermined number has reached a predetermined threshold.
- the notification information generated by the notification generation unit 36 can also be interpreted as the second notification information regarding the measured value of the size of the aquatic animal, and the notification condition in this case is the size of the aquatic animal. It can also be interpreted as including the second notification condition regarding the measured value.
- the detection processing unit 31 constitutes the aquatic animal detection device 10D together with the notification condition storage unit 22 and the second notification condition storage unit 23 of the storage unit 21.
- the information processing device 10 has the aquatic animal detection device 10D.
- the information processing unit 40 performs processing based on the information obtained by the detection operation, as shown below.
- the information processing unit 40 includes a status information acquisition unit 41, a biological information acquisition unit 42, a biological information storage unit 43, an unfinished cage determination unit 44, an unfinished cage information generation unit 45, a growth state determination unit 46, and a growth state determination unit 46.
- a feeding instruction information generation unit 47 is provided.
- the status information acquisition unit 41 acquires shooting status information regarding the shooting status of the image captured by the camera 81.
- the shooting status information regarding the shooting status includes shooting time information regarding the time such as the time when the shooting was performed.
- the shooting status information may include other information, and the information may be, for example, position information corresponding to the position of the camera 81 (that is, position information indicating the position of the raw cage P). It may be information indicating the weather or the like, or it may be environmental information such as information measured by the environment sensor 84 provided in the camera unit 80 as described later.
- the photographing status information may include information on the cage P, such as information for identifying the cage P to be photographed and information indicating the nature of the cage P.
- the position information may be, for example, information acquired by using a satellite-based positioning system (GPS) in the camera unit 80 or the terminal device 60, or information indicating a point such as an address specified in advance. May be. Further, the position information may be information input by the user via, for example, the terminal device 60 or the information input device 90. For example, the position information is acquired based on the information input by the user to specify the cage P to be photographed, the information for identifying the cage P in advance, and the information associated with the position information of the cage P. You may do so.
- GPS satellite-based positioning system
- the information indicating the weather or the like may be, for example, information such as sunny or cloudy, or information indicating temperature, wind speed, weather, precipitation, amount of solar radiation, wave height, or the like.
- Environmental information includes, for example, information on water temperature, oxygen, ammonia, nitrate, nitrite, carbon dioxide, color and turbidity of seawater, concentration of biomass such as plankton, and other matters related to water quality. It is not limited to this.
- the information that identifies the cage P is, for example, a cage identifier that can identify the cage P.
- the information indicating the nature of the cage P includes, for example, information for specifying the seedlings of the aquatic animals being raised (fish species, seedling information, etc.), information on the breeding period, information on the number of fish at the start of growth, and information on the number of fish.
- Various information such as information indicating the size of the cage P may be applicable.
- the status information acquisition unit 41 may be able to acquire such shooting status information from, for example, input data transmitted from the information input device 90. In this case, it can be said that the information input by the user in the information input device 90 is acquired as the shooting status information. Further, the status information acquisition unit 41 may be able to acquire shooting status information from the information transmitted from the terminal device 60. In this case, the information automatically acquired by the terminal device 60 (for example, the information sent from the camera unit 80 to the terminal device 60) and the information input by the user in the terminal device 60 are acquired as shooting status information. Can be said.
- the status information acquisition unit 41 may acquire shooting status information including feeding information.
- the feeding information is, for example, information on the feeding work performed on the photographed aquatic animal.
- the feeding information included in the acquired shooting status information is stored in, for example, the feeding information storage unit 26.
- the biological information acquisition unit 42 acquires biological information related to aquatic animals detected by the detection unit 33.
- the biological information is acquired by the detection unit 33 based on the image.
- the information may be obtained based on the number of detected aquatic animals detected by the detection unit 33, or may be a measured value of the size of the aquatic animal.
- the biological information storage unit 43 stores the biological information acquired by the biological information acquisition unit 42 in the biological information storage unit 24 in association with the shooting status information.
- the biological information is at least associated with, for example, a cage identifier indicating the cage P in which the image corresponding to the biological information was captured, and the imaging time information.
- time-series biological information is configured in the biological information acquisition unit 42. That is, the time-series biological information is biological information detected by the detection operation at a plurality of time points in the past.
- the time-series biological information may include time-series growth history information and the like.
- the time-series growth history information is information in which determination results (details will be described later) regarding the growth state of aquatic animals by the growth state determination unit 46 at a plurality of past time points are accumulated.
- the unfinished cage determination unit 44 determines whether or not the aquatic animal detection work has been performed for each cage P at one detection opportunity.
- one detection opportunity means an opportunity for collectively performing detection work on a plurality of cages P.
- the detection opportunity information in which the date on which the detection work is performed and the cage identifier of the cage P on which the detection work should be performed are associated with each other is stored in the storage unit 21 or the like.
- the unfinished cage determination unit 44 refers to, for example, the detection opportunity information, and extracts the cage identifier associated with the day when one detection operation is performed.
- the unfinished cage determination unit 44 extracts the biometric identifier corresponding to the biological information determined to be the same day information based on the shooting time information from the biological information stored in the biological information storage unit 24. Then, the unfinished cage determination unit 44 compares the two cage identifiers with each other, and determines that the aquatic animal detection work was performed at one detection opportunity for the cage P from which the cage identifier corresponding to the biological information was extracted. It is determined that the cage P from which the cage identifier corresponding to the biological information has not been extracted is an unfinished cage in which the aquatic animal detection work has not been performed (the detection work has not been completed). That is, the unfinished cage determination unit 44 determines whether or not the cage is an unfinished cage for each cage P based on the cage identifier and the photographing time information corresponding to the biological information stored in the biological information storage unit 24.
- the unfinished cage information generation unit 45 generates unfinished cage information for identifying the unfinished cage when there is an unfinished cage determined by the unfinished cage determination unit 44 that the detection operation has not been performed.
- the unfinished cage information includes a cage identifier that identifies the unfinished cage.
- the transmission unit 19 transmits the unfinished cage information to the terminal device 60.
- the unfinished cage information is transmitted to the terminal device 60, for example, the information is displayed on the screen of the terminal device 60, and the user can be notified. The user can know that there is an unfinished cage and information on the unfinished cage by being notified based on the unfinished cage information.
- the unfinished cage information may include position information indicating the position of the unfinished cage. In that case, the terminal device 60 displays the information indicating the position of the unfinished cage, so that the user can more easily know the location of the unfinished cage.
- the growth state determination unit 46 determines the growth state of aquatic animals based on the biological information accumulated by the biological information storage unit 43 as follows. Various judgments may be made regarding the growth state. For example, the determination regarding the growth state includes, but is not limited to, determination of whether or not the aquatic animal is growing smoothly, and determination of whether or not there is a growth abnormality. For example, whether or not the aquatic animals have grown to a level suitable for shipping (that is, whether or not they meet the shipping standards) and whether or not the feeding conditions for the aquatic animals are appropriate, as described later. It may mean a judgment regarding.
- the time-series biological information accumulated by the biological information storage unit 43 may be used, or only the biological information at one time point may be used.
- the growth state determination unit 46 determines the growth state of the aquatic animal for each cage P.
- the determination result of such a growth state may be transmitted by the transmission unit 19 to another device such as the terminal device 60.
- the determination result is transmitted to the terminal device 60 or the like, the user can obtain information on the growth state of the aquatic animal through the terminal device 60 or the like.
- the growth state determination unit 46 is in an abnormal state of growth of aquatic animals based on the biological information and the feeding information stored in the feeding information storage unit 26 (growth abnormality). It may be determined whether or not.
- the determination by the growth state determination unit 46 may be performed based on, for example, the model information stored in the model information storage unit 25. That is, the growth state determination unit 46 can compare the growth process of aquatic animals obtained from time-series biological information with model information, and determine whether or not the growth is slow.
- the growth state determination unit 46 may make a determination regarding the growth state based on the growth plan information stored in the growth plan information storage unit 27. That is, the growth state determination unit 46 may determine whether or not the size has reached the size expected as the growth state in the growth plan information.
- the growth state determination unit 46 determines whether or not the growth state of the aquatic animal satisfies the shipping standard based on the biological information and the shipping standard information stored in the shipping standard information storage unit 28. You may. For example, when the fish length and sales time of aquatic animals are specified as the shipping standard, the growth state determination unit 46 reaches the fish length specified in the shipping standard for biological information at the sales time. If so, it can be determined that the product can be shipped.
- the feeding instruction information generation unit 47 generates feeding instruction information regarding the feeding work to be performed on the aquatic animal based on the determination result regarding the growth state of the aquatic animal by the growth state determination unit 46.
- the feeding instruction information includes, for example, information such as the time of feeding and the amount of feed.
- the feeding instruction information may also include, for example, an identifier that identifies the feed to be fed.
- the feeding instruction information generation unit 47 determines that the growth state of the aquatic animal is delayed (not progressing) in light of the growth plan by the growth state determination unit 46, it is determined. Generate feeding instruction information to promote the growth of aquatic animals more than usual. Specifically, for example, the time for feeding so that the amount of one feeding is increased more than usual (for example, the standard feeding amount stored in the storage unit 21 in advance) or the frequency of feeding is increased. Set.
- the feeding instruction information is generated so that the growth of the aquatic animal is slower than usual. Specifically, for example, the time for feeding is set so that the amount of feeding at one time is reduced more than usual or the frequency of feeding is reduced. The generation of feeding instruction information is not limited to this.
- the feeding instruction information is generated by the feeding instruction information generation unit 47
- the feeding instruction information is stored in, for example, the storage unit 21.
- the user can perform appropriate feeding according to the growing condition.
- the feeding instruction information may be transmitted to the terminal device 60 by the transmission unit 19.
- the user can receive information on feeding through the terminal device 60.
- the terminal device 60 includes a terminal operation reception unit 61, a terminal output unit 62, a terminal transmission unit 64, a terminal reception unit 65, a terminal input unit 66, a terminal storage unit 71, and a terminal processing unit 73. Be prepared.
- the terminal device 60 is, for example, an information terminal device that can be handled by a user who performs detection work at a place where detection work is performed (such as on a ship).
- the terminal device 60 is, for example, a general tablet terminal and has a display device provided with a touch panel, but the terminal device 60 is not limited thereto.
- the terminal device 2 is connectable to a network and is configured to be able to communicate with other devices connected to the network.
- the terminal operation reception unit 61 receives information input by the user in response to the operation by the user.
- the terminal output unit 62 has, for example, a terminal display unit 63 which is a display device.
- the terminal output unit 62 outputs the information, for example, by displaying the information on the terminal display unit 63.
- the information output method is not limited to this, and may be performed by outputting voice or the like from a speaker or the like. Further, the terminal output unit 62 may output by vibrating a vibration generating device or the like.
- the terminal output unit 62 can read, for example, the information stored in the terminal storage unit 71 and output it.
- the terminal display unit 63 can immediately display the image taken by the camera 81.
- the terminal transmission unit 64 is usually realized by a wireless or wired communication means, but may be realized by a broadcasting means.
- the terminal transmission unit 64 reads the transmission information configured by the terminal configuration unit 75 from the terminal storage unit 71 and the like, and transmits the transmission information.
- the terminal transmission unit 64 transmits, for example, transmission information including information input from the camera unit 80.
- the terminal receiving unit 65 is usually realized by a wireless or wired communication means, but may be realized by a means for receiving a broadcast.
- the terminal receiving unit 65 receives the information transmitted from the information processing device 10 and other devices via the network.
- the terminal receiving unit 65 stores the received information in, for example, the terminal storage unit 71 so that the terminal processing unit 73 or the like can acquire it.
- the terminal receiving unit 65 receives the notification information and the second notification information generated by the notification generation unit 36.
- the terminal input unit 66 is an interface that is connected to an external device such as a camera unit 80 and controls the input of information output from the connected external device to the terminal device 60.
- the terminal input unit 66 stores the input information in, for example, the terminal storage unit 71 so that the terminal processing unit 73 or the like can acquire it.
- the terminal input unit 66 is composed of, for example, a connection terminal and a signal processing device conforming to a predetermined standard.
- the terminal input unit 66 does not enable connection with an external device by wire, but may enable connection with an external device wirelessly. Further, the terminal input unit 66 may output information to an external device to enable bidirectional communication.
- a non-volatile recording medium is suitable for the terminal storage unit 71, but a volatile recording medium can also be used.
- Various information, programs, and the like are stored in the terminal storage unit 71. The process in which such information is stored does not matter.
- the information may be stored in the terminal storage unit 71 via the recording medium, or the information transmitted via the communication line or the like may be stored in the terminal storage unit 71.
- the information input via the input device may be stored in the terminal storage unit 71.
- the terminal storage unit 71 has a position information storage unit 72.
- the position information storage unit 72 stores position information indicating the position of the terminal device 60.
- the position information is stored, for example, information acquired at any time by a position sensor (not shown) provided in the terminal device 60, but is not limited thereto.
- a position sensor not shown
- it may be the position information input by the user, or it may be the position information transmitted from an external device such as the camera unit 80.
- the terminal processing unit 73 includes a terminal acquisition unit 74, a terminal configuration unit 75, and a terminal notification unit 76.
- the terminal processing unit 73 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the terminal processing unit 73 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the terminal acquisition unit 74 acquires the information stored in the terminal storage unit 71 in order to execute the processing by the terminal processing unit 73.
- the terminal acquisition unit 74 may acquire information input or transmitted to the terminal device 60.
- the terminal configuration unit 75 configures transmission information in which information input from the camera unit 80, position information stored in the position information storage unit 72, and an identifier that identifies the camera 81 or the terminal device 60 are associated with each other. do.
- the configured transmission information is transmitted to, for example, the information processing apparatus 10 by the terminal transmission unit 64.
- the terminal notification unit 76 When the notification information or the like transmitted from the information processing apparatus 10 is received by the terminal receiving unit 65, the terminal notification unit 76 causes the terminal output unit 62 to output the information according to the notification information or the like. That is, the terminal notification unit 76 notifies the user of the detection status of aquatic animals based on the notification information acquired by the terminal reception unit 65.
- the terminal notification unit 76 may notify the terminal output unit 62 by outputting voice, or may notify the terminal output unit 62 by outputting vibration. Further, the notification may be performed by using a plurality of means such as display on the terminal display unit 63, output of voice, and generation of vibration. By performing such a notification from the terminal output unit 62, the user can receive a notification regarding the detection status of aquatic animals and the like.
- the camera unit 80 includes a camera 81, an environment sensor 84, and a camera output unit 85.
- the camera 81 is, for example, a stereo camera.
- the camera 81 is located at a position separated from each other, and includes a first image pickup unit 82 and a second image pickup unit 83, each of which has an image pickup element that receives light.
- the camera 81 can capture a stereo image by capturing an image in each of the first imaging unit 82 and the second imaging unit 83.
- the camera 81 is submerged in water and can take an underwater image of the cage P.
- the camera 81 is not limited to a stereo camera. Further, the camera 81 may capture an image generated based on the result of transmitting and receiving ultrasonic waves, radio waves, or the like, for example.
- the environment sensor 84 is attached to the jig 87 together with the camera 81, for example.
- the environment sensor 84 is submerged in the water of the cage P, for example, to detect the water temperature, the concentration of oxygen, ammonia, nitrate, nitrite, carbon dioxide, and other matters related to water quality.
- the camera output unit 85 is, for example, an interface that controls the output of information to an external device to which the camera unit 80 is connected.
- the camera output unit 85 can output the image obtained by the camera 81 and the information detected by the environment sensor 84 to an external device.
- the camera output unit 85 outputs these information to the terminal device 60 to which the camera unit 80 is connected.
- the camera output unit 85 is composed of, for example, a connection terminal conforming to a predetermined standard, a signal processing device, or the like.
- the camera output unit 85 does not enable connection with an external device by wire, but may enable connection with an external device wirelessly. Further, the camera output unit 85 may output information to an external device to enable bidirectional communication.
- FIG. 4 is a perspective view showing an example of the camera 81.
- FIG. 4 shows the posture of the camera 81 in a normal use state so that the top and bottom on the paper surface coincide with the top and bottom in the water, but the posture of the camera 81 is not limited to this. do not have.
- the first image pickup unit 82 and the second image pickup unit 83 are vertically separated from each other by a predetermined distance. This makes it possible to measure the dimensions of aquatic animals in the cage P with relatively high accuracy based on the captured images.
- the first image pickup unit 82 and the second image pickup unit 83 may be separated from each other in the horizontal direction (direction substantially perpendicular to the vertical direction).
- the optical axes of both imaging units 82 and 83 are substantially parallel to each other, but the optical axis is not limited to this.
- the camera 81 has a housing having a streamlined shape in which a cross section substantially perpendicular to the vertical direction forms a symmetrical wing shape having chords substantially parallel to the optical axes of the imaging units 82 and 83. is doing. That is, the housing of the camera 81 has a shape that is relatively less susceptible to drag against the flow parallel to the optical axes of the image pickup units 82 and 83.
- FIG. 5 is a diagram illustrating a detection operation using the camera 81.
- FIG. 5 schematically shows a view of the cage P from above.
- the cage P is a region surrounded by, for example, a rectangular constituent member P1.
- a large number of aquatic animals are swimming inside the cage P.
- each aquatic animal orbits in the same direction on a circumferential path when viewed from above (indicated by a broken line arrow in the figure). Therefore, inside the cage P, a water flow flowing outward in the radial direction is generated from the circumferential path (indicated by a solid arrow in the figure).
- the user puts the camera 81 outside the path around which the aquatic animals go around when performing the detection work for such a cage P. At this time, since there is a water flow flowing outward in the radial direction, the user can easily maintain the camera 81 in a posture in which the optical axes of the image pickup units 82 and 83 are substantially parallel in the radial direction. As a result, in the image taken by the camera 81, the appearance of each aquatic animal moving in the horizontal direction at a position close to the camera 81 is included. Therefore, the detection work can be performed with high accuracy.
- FIG. 6 is a flowchart illustrating an example of the operation of the information processing apparatus 10.
- the information processing apparatus 10 performs a detection operation related to the detection work performed by the user and a determination operation for determining the growth state of the cage P, for example, as follows.
- Step S101 the processing unit 30 determines whether or not the work of one detection opportunity has been started. For example, when there is an information input from a user or the like instructing that it is a detection opportunity, or when the time is predetermined as a detection opportunity, the processing unit 30 starts the work of one detection opportunity. to decide. If it is determined that the work of one detection opportunity has started, the process proceeds to step S102, and if not, the process proceeds to step S103.
- Step S102 The processing unit 30 performs an operation at the time of detection.
- the operation at the time of detection will be described later.
- Step S103 The processing unit 30 determines whether or not to start determining the growth state. For example, when there is an information input from a user or the like instructing to start the determination of the growth state, or when the time specified as the determination timing of the growth state arrives in advance, the processing unit 30 determines the growth state. Judge to start. If it is determined that the determination of the growth state is to be started, the process proceeds to step S104, and if not, the process returns to step S101.
- Step S104 The growth state determination unit 46 sets 1 to the counter k.
- Step S105 The growth state determination unit 46 determines whether or not there is a k-th cage P to be determined. If there is a k-th cage P to be determined, the process proceeds to step S106, and if not, the process returns to step S101.
- Step S106 The growth state determination unit 46 performs an operation at the time of determination with respect to the kth cage P. The operation at the time of determination will be described later.
- Step S107 The growth state determination unit 46 increments the counter k by 1 and returns to step S105.
- FIG. 7 is a flowchart showing an example of the operation at the time of detection.
- Step S111 The detection processing unit 31 determines whether or not the detection work for one cage P has been started. For example, when there is an information input from a user or the like instructing to start detection, or when reception of transmission information including an image or the like transmitted from the terminal device 60 is started, the detection processing unit 31 is one. It is determined that the detection work for the cage P has started. At this time, the detection processing unit 31 starts the detection work based on the cage identifier that identifies the cage P on which the detection operation is performed, which is included in the information input by the user or the transmission information from the terminal device 60, for example. It is possible to identify the cage P. If it is determined that the detection work for one cage P has started, the process proceeds to step S112, and if not, the process proceeds to step S115.
- Step S112 The status information acquisition unit 41 acquires shooting status information.
- Step S113 The detection processing unit 31 performs detection processing. The detection process will be described later.
- the biological information acquisition unit 42 acquires the biological information obtained in the detection process.
- the biological information storage unit 43 stores the biological information acquired by the biological information acquisition unit 42 in the biological information storage unit 24 in association with the photographing status information.
- Step S115 The unfinished cage determination unit 44 determines whether or not there is an unfinished cage. If there is an unfinished cage, the process proceeds to step S116, and if not, the process proceeds to step S117.
- Step S116 The unfinished cage information generation unit 44 generates unfinished cage information.
- the transmission unit 19 transmits the generated unfinished cage information to the terminal device 60. This allows the user to know that there is an unfinished cage and that information.
- Step S117 The detection processing unit 31 determines whether or not the detection work at one detection opportunity has been completed. For example, when there is an information input from a user or the like instructing to end the detection work, the detection processing unit 31 determines that the detection work has been completed. When there are no unfinished cages, the detection processing unit 31 may determine that the detection work has been completed. If it is determined that the detection work is completed, the process returns to the process of FIG. 6, and if not, the process returns to step S111.
- FIG. 8 is a flowchart showing an example of the detection process.
- Step S131 The detection processing unit 31 sets 1 in the counter i.
- Step S132 The image acquisition unit 32 acquires an image taken by the camera 81.
- Step S133 The detection unit 33 performs image recognition on the image and detects the fish body of the aquatic animal included in the image.
- Step S134 The detection unit 33 determines whether or not a fish has been detected in the image. If it is detected, the process proceeds to step S135, and if not, the process proceeds to step S139.
- the measuring unit 34 measures the fish body length of the detected fish body (i-th fish body). The measurement unit 34 records the measurement result in the storage unit 21.
- Step S136 The detection processing unit 31 increments the counter i by 1.
- Step S137 The notification determination unit 35 determines whether or not the second notification condition is satisfied based on the second notification condition. If it is determined that the second notification condition is satisfied, the process proceeds to step S138, and if not, the process proceeds to step S139.
- Step S138 The notification generation unit 36 generates the second notification information.
- the second notification information is transmitted to the terminal device 60 by the transmission unit 19. As a result, the terminal device 60 is notified based on the second notification information.
- Step S139 The notification determination unit 35 determines whether or not the notification condition is satisfied based on the notification condition. If it is determined that the notification condition is satisfied, the process proceeds to step S140, and if not, the process proceeds to step S141.
- Step S140 The notification generation unit 36 generates notification information.
- the notification information is transmitted to the terminal device 60 by the transmission unit 19. As a result, the terminal device 60 is notified based on the notification information.
- Step S141 The detection processing unit 31 determines whether or not the detection of the cage P has been completed. For example, when there is an information input from a user or the like instructing to end the detection of the cage P, the detection processing unit 31 determines that the detection of the cage P has been completed. In addition, when it is determined by the notification determination unit 35 that the notification condition is satisfied, or when a predetermined time has elapsed, it is automatically determined that the detection of the cage P has been completed by another trigger. You may. If it is determined that the detection of the cage P is completed, the process returns to the process of FIG. 7, and if not, the process returns to step S132.
- FIG. 9 is a flowchart showing an example of the operation at the time of determination.
- Step S151 The growth state determination unit 46 acquires time-series biological information about the kth cage P from the biological information storage unit 24.
- Step S152 The growth state determination unit 46 acquires model information from the model information storage unit 25. Further, the growth state determination unit 46 acquires feeding information from the feeding information storage unit 26.
- Step S153 The growth state determination unit 46 determines whether or not the aquatic animal is normally growing in the cage P. The determination can be made based on, for example, the acquired biological information, the model information, and the feeding information. The determination may be made based on the acquired biological information and the feeding information, or the determination may be made based on the biological information and the model information. If it is determined that the product is growing normally, the process proceeds to step S155, and if not, the process proceeds to step S154.
- Step S154 The growth state determination unit 46 determines that the growth is abnormal.
- Step S155 The growth state determination unit 46 acquires growth plan information from the growth plan information storage unit 27.
- Step S156 The growth state determination unit 46 determines whether or not the growth state of the aquatic animal is progressing in light of the growth plan based on the growth plan information and the biological information. Then, the feeding instruction information generation unit 47 generates feeding instruction information as described above based on the determination result of the growth state determination unit 46.
- Step S157 The growth state determination unit 46 acquires the shipping standard information stored in the shipping standard information storage unit 28.
- Step S158 The growth state determination unit 46 determines whether or not the growth state of the aquatic animal satisfies the shipping standard based on the biological information and the shipping standard information. If the shipping standard is satisfied, the process proceeds to step S158, and if not, the process returns to the process of FIG.
- Step S159 The growth state determination unit 46 determines that the aquatic animal of the kth cage P can be shipped. After that, the process returns to FIG.
- FIG. 10 is a diagram illustrating an example of the operation of the biological information storage unit 43.
- the transmission information transmitted from the terminal device 60 to the information processing device 10 does not have to include the cage identifier.
- the transmission information includes position information indicating the position of the terminal device 60 that performs the detection work, and the fish cage identification process for specifying the fish cage P for which the detection work was performed based on the position information in the information processing device 10 is performed. It may be done.
- each row (each record) of the table represented by the reference numeral D1 is an example of transmission information. That is, the transmission information corresponds to, for example, the shooting date and time, the position information, the detection value detected by the environment sensor 84 (for example, oxygen concentration, pH, and water temperature), and the image identifier that identifies the shot image. It is the attached information.
- the transmission information corresponds to, for example, the shooting date and time, the position information, the detection value detected by the environment sensor 84 (for example, oxygen concentration, pH, and water temperature), and the image identifier that identifies the shot image. It is the attached information.
- the table represented by the reference numeral D2 is the cage information in which the cage identifier and the position information of the cage P are associated with each of the plurality of cages P to be managed.
- Such cage information may be stored in the storage unit 21 in advance, or may be transmitted from the information input device 90 or the like to the information processing device 10.
- the processing unit 30 When such transmission information is transmitted from the terminal device 60, the processing unit 30 performs a cage identification process using the cage information indicated by the reference numeral D2. That is, in the cage identification process, the processing unit 30 can acquire the cage identifier of the cage corresponding to the position information included in the transmission information from the cage information and associate it with the transmission information. Further, by performing the detection process on the image, it is possible to obtain information such as the fish body length of the aquatic animal and associate it with the information included in the transmission information.
- Each row (each record) of the table indicated by the reference numeral D3 is an example of biological information and shooting status information associated with the biological information. That is, for example, the average body length, which is biological information, the shooting date and time, which is shooting time information, the fish cage identifier, the fish species, the weather, the water temperature, the number of growing days, and whether or not the water quality is normal, respectively.
- the shooting status information of the above is associated with each other and stored in the biological information storage unit 24.
- the fish species, the weather, and the number of growing days are associated with the cage identifier based on the information transmitted from the information input device 90, but the present invention is not limited to this.
- the information indicating whether or not the water quality is normal is the information generated by the processing unit 30 based on the measured value regarding the water quality included in the transmission information transmitted from the terminal device 60, but is limited to this. do not have.
- various information for example, feeding information such as daily feeding amount may be associated with biological information.
- time-series biological information is accumulated for each cage P.
- FIG. 11 is a diagram showing an example of time-series biological information stored in the biological information storage unit 24.
- FIG. 11 shows an example of biological information about the cage P whose cage identifier is "AA003".
- the biological information storage unit 43 stores the biological information in association with the shooting time information (for example, the shooting date and time) and the cage identifier. Therefore, it is possible to extract time-series biological information by using the cage identifier as a key for each cage P. From the time-series biological information, the growth process of aquatic organisms can be obtained for each cage P. By comparing such time-series biological information with, for example, model information, various determinations and evaluations can be made, such as whether or not the growth status of aquatic animals is appropriate.
- FIG. 12 is a diagram showing an example of shipping standard information stored in the shipping standard information storage unit 28.
- the shipping standard information includes, for example, a shipping destination, a desired delivery date (an example of information for specifying a shipping time), and a fish body length (an example of a shipping standard) as a standard for shipping. It is associated with an identifier. In addition to these information, information on fish species, order details, that is, order identifiers that specify shipping conditions, etc. may be associated. Based on such shipping standard information and biological information, it is possible to determine whether or not the aquatic animal has grown to the extent that it satisfies the shipping standard for each cage P.
- FIG. 13 is a table illustrating the operation of the feeding instruction information generation unit 47.
- FIG. 13 shows in tabular form an example of information that determines the standard feeding amount used for generating feeding instruction information.
- the daily feeding amount to be given to a predetermined number of aquatic animals grown in the cage P is shown.
- the amount of feed is determined according to the body weight of the aquatic animal and the water temperature.
- the feeding instruction information generation unit 47 can obtain, for example, the standard feeding amount based on the information for determining the standard feeding amount thus determined, the detected biological information, the water temperature, and the like. Then, when the growth state of the aquatic animal is delayed or advanced in light of the growth plan, the feeding instruction information generation unit 47 instructs the feeding instruction to feed the feeding amount increased or decreased from the standard feeding amount. Information can be generated.
- the processing unit 30 generates information for determining the standard feeding amount based on the time-series biological information including the photographing status information and the feeding information, or generates preset information. It may be corrected. Further, the processing unit 30 may generate model information or correct preset model information based on time-series biological information including shooting status information. Such information for determining the standard feeding amount and model information can be generated or corrected for each fish species, for each fish cage P, or for each area where the cage P is located. The generation of such information and model information for determining the standard feeding amount can be specifically performed, for example, by analyzing biological information or the like by a statistical method. Further, the correction of the information for determining the standard feeding amount and the model information is performed, for example, by calculating the correction value for the existing information based on the comparison result between the obtained biological information and the existing information. Can be done.
- FIG. 14 is a flowchart showing an example of an operation related to correction of model information by the processing unit 30.
- the processing unit 30 can correct the model information as follows, for example.
- Step S101 The processing unit 30 acquires time-series biological information about a predetermined fish species from the biological information storage unit 24.
- Step S102 The processing unit 30 acquires the model information stored in the model information storage unit 25.
- the processing unit 30 generates a correction value by comparing the acquired time-series biological information with the model information. Specifically, for example, for a specific fish species, the average value of biological information such as fish body length for a large number of fish cages P, and the average value of biological information such as fish body length at different growth opportunities with similar growth days. However, if it deviates from the average value of the fish body length specified by the model information by a predetermined threshold or more, a predetermined value is generated as a correction value. The generation of the correction value is not limited to this.
- Step S104 The processing unit 30 updates the model information using the generated correction value. Further, the updated model information is stored in the model information storage unit 25 and used in the subsequent processing.
- such information for determining the standard feeding amount and model information may be generated by using, for example, the above-mentioned machine learning method.
- a learning device configured with shooting status information as input information and biological information as output information can be used as model information.
- a learning device configured with biological information including photographing status information as input information and feeding information corresponding to the biological information as output information can be used as information for outputting the feeding amount.
- the feeding instruction information generation unit 47 can generate feeding instruction information that specifies a desirable feeding amount by inputting biological information including photographing status information into the learning device.
- model information may be created. For example, it is possible to evaluate the relationship between the size of a fish, environmental data such as water temperature, and daily feeding amount, and create a relational expression and a correspondence table. Thereby, based on the measurement result regarding the size of the aquatic animal in real time and the acquired relational expression, it is possible to notify the appropriate s feeding amount in real time.
- the user may check the image used for the detection, and exclude / modify the image that is considered to be unsuitable for the configuration of the learning device.
- Another physiological characteristic of fish is that the growth rate changes according to age and maturity. The tendency of the growth curve depends on the seedlings and environmental conditions, but since the overall tendency is the same, the feature amount of the growth curve is extracted by using the actual data of the growth curve obtained by measuring the fish body length etc. as input information. You may. In addition, by correcting the growth curve due to the results of existing biophysiology with model information obtained by utilizing time-series biological information, seedling characteristics and environmental characteristics peculiar to the application destination of the aquatic animal detection system 1 can be obtained. You may create a growth model that takes this into consideration. By calculating the growth curve of the fish body in this way, it is possible to recommend a guideline time when it is suitable to perform the next detection work.
- the conventional aquatic animal detection device it may not be easy to perform the work involving the detection of aquatic animals in the water. That is, it has been difficult for the user who performs the detection work to know on board the ship whether or not the detection work can be performed so that the detection result can be properly obtained.
- the cameras used for the detection work are generally relatively large, and it is necessary to prepare large-scale equipment for the detection work itself.
- the user can receive a notification about the detection work when a predetermined notification condition is satisfied. Therefore, since the user can quickly know whether or not the detection work for obtaining the detection result appropriately can be performed, the detection work for aquatic animals can be easily performed.
- the notification may be performed, for example, by displaying the information on the terminal device 60. As a result, the user can receive the notification while viewing the image taken by the camera 81. Further, the notification may be performed, for example, by outputting voice or vibration from the terminal device 60. As a result, the user can receive the notification even if he / she is not watching the screen of the terminal device 60.
- notification is performed by outputting voice, vibration, light, or the like from a device that operates in cooperation with the terminal device 60 (for example, a device such as a camera unit 80 or a speaker that can communicate with the terminal device 60). You may.
- the camera 81 used for the detection work can be a relatively small one. Further, the camera unit 80 can be miniaturized to such an extent that the user can grasp it by using the jig 87. Since the camera unit 80 and the terminal device 60 can be connected to perform the detection work on a ship or the like, the detection work of aquatic organisms can be easily performed. Further, since the user can be notified through such a terminal device 60, the user can be effectively notified. Since the camera 81 is small, it is difficult for aquatic animals to be alert and it is possible to take an effective picture. It also reduces the chance of damaging aquatic fish.
- processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and disseminated.
- the software that realizes the aquatic animal detection device 10D in the present embodiment can be the following program.
- this program has an image acquisition step of acquiring an image taken by a camera on a computer, a detection step of detecting an aquatic animal shown in an image taken by a camera, and a detection status of aquatic animals by the detection step. It is a program that executes a notification determination step for determining whether or not the notification condition is satisfied and a notification generation step for generating notification information when it is determined by the notification determination step that the notification condition is satisfied.
- the present invention is not limited to this.
- Some of the functional blocks constituting the information processing device 10 may be provided in other devices constituting the aquatic animal detection system 1, and some of the functional blocks constituting the terminal device 60 may be provided in the aquatic animal detection system 1. It may be provided in another device constituting the system 1.
- FIG. 15 is a block diagram of the aquatic animal detection system 101 according to a modification of the first embodiment.
- FIG. 16 is a block diagram of the information processing apparatus 110.
- the aquatic animal detection system 101 has an information processing device 110 and a terminal device 160 having different configurations from the information processing device 10 and the terminal device 60 of the first embodiment, respectively.
- the terminal device 160 has a terminal storage unit 171 and a terminal processing unit 173.
- the terminal storage unit is different from the terminal storage unit 71 in the first embodiment in that it further has a notification condition storage unit 22 and a second notification condition storage unit 23.
- the terminal processing unit 173 is different from the terminal processing unit 73 in the first embodiment in that it has a detection processing unit 31. That is, the terminal device 160 has an aquatic animal detection device 160D configured in the same manner as the aquatic organism detection device 10D provided in the information processing device 10 in the first embodiment, as compared with the terminal device 60 in the first embodiment. It can be said that they differ in that they have.
- the information processing device 110 has a storage unit 121 and a processing unit 130.
- the storage unit 121 is different from the storage unit 21 in the first embodiment in that it does not have the notification condition storage unit 22 and the second notification condition storage unit 23.
- the processing unit 130 is different from the processing unit 30 in the first embodiment in that it does not have the detection processing unit 31.
- the aquatic animal detection system 101 configured in this way, by allowing the terminal device 160 and the information processing device 110 to appropriately transmit and receive information, the detection is roughly performed in the same manner as in the first embodiment. It is possible to perform time operation and judgment time operation.
- the terminal device 160 that can be used at the hand of the user who performs the detection work near the cage P functions as the aquatic organism detection device 160D. That is, during the aquatic animal detection operation, the terminal device 160 detects the aquatic animal and outputs the notification information without transmitting the image from the terminal device 160 to the information processing device 110. At this time, it can be said that the terminal notification unit 76 of the terminal device 160 functions as a notification output unit that outputs notification information. For example, the notification information generated by the notification generation unit 36 is output to the terminal display unit 63 that displays the image captured by the camera 81.
- the determination operation may be executed when the terminal device 160 and the information processing device 110 can communicate with each other.
- the aquatic animal detection system 201 is configured so that the user can perform the detection work even in a remote environment by using the camera unit 280 installed in the cage P.
- FIG. 17 is a schematic diagram of the aquatic animal detection system 201 according to the second embodiment of the present invention.
- FIG. 18 is a block diagram of the aquatic animal detection system 201.
- the aquatic animal detection system 201 includes an information processing device 10, a terminal device 60, a camera unit 280, and an information input device 90. Also in the present embodiment, the information processing device 10 also functions as the aquatic animal detection device 10D, but the present invention is not limited to this.
- the information processing device 10, the terminal device 60, and the information input device 90 are configured in the same manner as in the first embodiment.
- the camera unit 280 itself is configured to be connectable to a network, and is configured to be able to communicate with, for example, the information processing device 10. That is, the camera unit 280 has a camera 281, a camera storage unit 282, a camera processing unit 283, a camera configuration unit 284, a camera transmission unit 285, a camera reception unit 286, and an environment sensor 84. ..
- the camera 281 is a stereo camera having a first image pickup unit 82 and a second image pickup unit 83, similarly to the camera 81 of the first embodiment. As will be described later, the camera 281 has a housing having a shape different from that of the camera 81, but is not limited to this. That is, the camera 81 of the first embodiment may also be used for the camera unit 280.
- the camera storage unit 282 is realized by a non-volatile recording medium, it can also be realized by a volatile recording medium.
- the camera storage unit 282 stores, for example, an image taken by the camera 281 and a measured value of the environment sensor 84 for transmission to an external device, but the present invention is not limited to this.
- the camera processing unit 283 controls the operation of the camera unit 280 and performs processing in cooperation with the information processing device 10. Coordination with devices connected via a network, such as the information processing device 10 and the terminal device 60, can be performed by transmitting a command to each device or receiving information from each device. For example, when the camera receiving unit 286 receives the shooting control information transmitted from the information processing device 10 or the like, the camera processing unit 283 controls each unit of the camera unit 280 based on the shooting control information.
- the shooting control information is, for example, a shooting start or stop instruction, a camera 281 control instruction, a transmission information transmission instruction, a status information transmission instruction indicating the state of the camera unit 280, and the like, but the present invention is not limited thereto.
- the camera processing unit 283 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the camera processing unit 283 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the camera configuration unit 284 is provided in the camera processing unit 283.
- the camera configuration unit 284 configures the transmission information transmitted from the camera unit 280 to the information processing apparatus 10 in association with an identifier that identifies the camera unit 280 or each unit thereof.
- the transmission information includes, but is not limited to, an image taken by the camera 281, a measured value of the environment sensor 84, and the like.
- the position information acquired by the environment sensor 84 using GPS or the like may be included in the transmission information.
- the camera transmitting unit 285 and the camera receiving unit 286 connect the camera unit 280 to the network and perform communication with other devices connected to the network.
- the camera transmitting unit 285 and the camera receiving unit 286 may be configured to perform wireless communication using, for example, wireless LAN or data communication of a mobile phone, or may be configured to perform various types of wired communication. You may be.
- the camera transmission unit 285 transmits information to other devices.
- the camera transmission unit 285 transmits, for example, the information stored in the camera storage unit 282 or the information handed over from the camera processing unit 283.
- the camera transmission unit 285 transmits the transmission information configured by the camera configuration unit 284 to the information processing device 10 and the like.
- the camera receiving unit 286 receives information transmitted from another device.
- the camera receiving unit 286 passes the received information to, for example, the processing performed by the camera processing unit 283.
- the camera receiving unit 286 receives the shooting control information transmitted from the information processing device 10 or the like.
- the camera unit 280 itself is configured to be able to transmit transmission information including an image via a network in this way, so that the user can use the terminal, for example, as follows.
- the device 60 can be used to detect the cage P from a remote location. Therefore, the detection work can be easily performed.
- the user uses the terminal device 60 to transmit a shooting instruction or the like to the information processing device 10.
- a shooting instruction or the like an identifier that identifies the camera unit 80 may be specified, or the cage identifier of the cage P may be specified.
- a group of a plurality of cages P to be detected at one detection opportunity may be designated in advance, and a shooting instruction may be given using an identifier or the like that designates the group.
- the information processing device 10 transmits shooting control information to the camera unit 80. Then, the camera unit 80 transmits the transmission information including the image to the information processing apparatus 10.
- the information processing device 10 receives the transmission information transmitted from the camera unit 80 and performs an operation at the time of detection. Further, the result is transmitted to the terminal device 60. If the notification condition is satisfied during the detection operation, the information processing device 10 outputs the notification information to the terminal device 60 to notify the user, as in the first embodiment. You may do so. As a result, the user can easily perform the detection work as in the first embodiment.
- FIG. 19 is a perspective view showing a schematic configuration of the camera unit 280.
- the camera unit 280 has a jig 287 to which the camera 281 is attached.
- the jig 287 has an arm portion 88 for submerging and holding the camera 281 in water, and a hook 89 hooked on a constituent member P1 constituting the cage P. That is, the camera unit 280 can hold the camera 281 in a predetermined position by hooking the hook 89 on a part of the constituent member P1 (for example, the upper end edge of the net that partitions the cage P).
- the shape and configuration of the jig 287 are not limited to this.
- the camera unit 280 may be configured so that it can be attached to the constituent member P1 by using a wire or the like or by a method such as a spiral stopper.
- the housing of the camera 281 has a flat shape in which the dimensions parallel to the optical axes of the image pickup units 82 and 83 are relatively small. Therefore, the camera 281 can be placed in the water so that the housing of the camera 281 is aligned with the constituent member P1, and the position of the camera 281 can be stably held.
- FIG. 20 is a perspective view showing an arrangement example of the camera 281.
- the back surface of the housing of the camera 281 (the surface opposite to the surface facing the direction in which the photographing units 82 and 83 take images) is, for example, the inner surface of the constituent member P1 which is a net. It can be arranged along. As described above, in the cage P, the movement of aquatic animals creates a radial flow of water, and the water flow pushes the camera 281 toward the component P1. Therefore, the position of the camera 281 is stable.
- the camera 281 can be fixed in water without diving work. Further, since a plurality of camera units 280 installed for each cage can be integratedly managed, monitoring work of each cage P can be easily performed even if the number of cages P increases.
- the aquatic animal detection system 301 is configured so that the feeding operation to the cage P can be automatically performed or the feeding operation can be performed by remote control by using the feeding device 600 installed in the cage P. Is.
- FIG. 21 is a schematic diagram of the aquatic animal detection system 301 according to the third embodiment of the present invention.
- FIG. 22 is a block diagram of the aquatic animal detection system 301.
- the aquatic animal detection system 301 includes an information processing device 10, a terminal device 60, a camera unit 280, and an information input device 90, as in the second embodiment. Also in the present embodiment, the information processing device 10 also functions as the aquatic animal detection device 10D, but the present invention is not limited to this.
- the aquatic animal detection system 301 further includes a feeding device 600 capable of communicating with, for example, an information processing device 10 via a network.
- the feeding device 600 has the following components and automatically supplies feed to the cage P.
- the feeding device 600 includes a measuring unit (not shown) for measuring the feed, a spraying mechanism (not shown), and a driving unit (not shown) for driving the spraying mechanism and the like. ) Etc. Further, the feeding device 600 has a feeding storage unit 601, a feeding processing unit 603, a feeding transmitting unit 605, and a feeding receiving unit 606. The feeding device 600 is arranged above the cage P, for example.
- the measuring unit is a scale that measures the feed taken out from the feed tank 610.
- the measuring unit can weigh a predetermined amount of feed and take it out from the feed tank 610 according to the control by the feed processing unit 603.
- the spraying mechanism supplies the feed weighed by the measuring unit to the cage P.
- the spraying mechanism has, for example, a rotatable arm member, and the feed can be evenly sprayed on the cage P by sprinkling the feed from the arm member while rotating the arm member by the drive unit which is an electric motor. It is configured in.
- the supply unit for supplying the feed to the cage P is not limited to such a spraying mechanism, and known means can be widely used.
- the feeding condition includes, for example, a condition relating to the feeding timing and a condition relating to the feeding amount.
- a non-volatile recording medium is suitable for the feeding storage unit 601, but a volatile recording medium can also be used.
- the feeding instruction information transmitted from the information processing apparatus 10 is stored in the feeding storage unit 601 as the feeding condition (the feeding condition is set).
- the process of storing the feeding conditions in the feeding storage unit 601 is not limited to this, and the user may set the feeding conditions based on the feeding instruction information.
- the feeding condition may be stored in the feeding storage unit 601 via the recording medium, or the feeding condition transmitted from the terminal device 60 or the like may be stored in the feeding storage unit 601.
- the feeding conditions input via the input device may be stored in the feeding storage unit 601.
- the feeding processing unit 603 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the feeding processing unit 603 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the feed processing unit 603 supplies feed to the cage P based on the feeding conditions stored in the feed storage unit 601.
- the feeding processing unit 603 records the feeding information (log; for example, information such as the feeding time and the feeding amount) when the feeding is actually performed.
- the feeding processing unit 603 can transmit the recorded feeding information and the like to the information processing device 10 and the like by the feeding transmitting unit 605.
- the feeding transmitting unit 605 and the feeding receiving unit 606 connect the feeding device 600 to the network and communicate with other devices connected to the network.
- the feeding transmitting unit 605 and the feeding receiving unit 606 may be configured to perform wireless communication using, for example, wireless LAN or data communication of a mobile phone, or may be configured to perform various types of wired communication. You may be.
- the feeding transmission unit 605 transmits information to other devices.
- the feeding transmission unit 605 transmits, for example, the information stored in the feeding storage unit 601 or the information handed over from the feeding processing unit 603.
- the feeding transmission unit 605 transmits the feeding information indicating the feeding amount, the date and time, etc. of the feeding to the information processing device 10 or the like in association with the cage identifier of the cage P, the identifier that identifies the feeding device 600, or the like. do.
- the feeding receiving unit 606 receives the information transmitted from other devices.
- the feeding receiving unit 606 stores the received information in, for example, the feeding storage unit 601 or passes it to the processing performed by the feeding processing unit 603.
- the feeding receiving unit 606 receives the feeding instruction information transmitted from the information processing apparatus 10 or the like.
- the aquatic animal detection system 301 is provided with the feeding device 600 connected to the network in this way, the feeding work can be automated or remotely executed. Further, the feeding device 600 feeds based on the feeding instruction information transmitted from the information processing device 10. Therefore, the information processing device 10 generates feeding instruction information based on the growth state of the aquatic animal determined through the detection operation in the cage P, and the feeding device 600 is made to execute the feeding operation based on the generated feeding instruction information. be able to. Therefore, in the cage P, it becomes possible to accurately feed while detecting the growing state of aquatic animals.
- the feeding amount according to the average fish body size in real time may be determined, and the amount of food to be fed in real time may be transmitted as feeding instruction information. Further, it may be instructed to automatically stop feeding when the feeding amount reaches a predetermined threshold value.
- sufficient food is given to small fish in the cage P based on the fish activity index and fish size that can be measured in real time. You may decide whether or not you have it and adjust the feeding time and amount.
- the total amount of satiety feeding may be calculated by feeding until the entire cage P is in a satiety state.
- the user may use the terminal device 60 to transmit a feeding instruction or the like to the information processing device 10, and the information processing device 10 may be able to transmit the feeding instruction information to the feeding device 600 accordingly. ..
- the feeding instruction an identifier specifying the feeding device 600 may be specified, or the cage identifier of the cage P may be specified.
- the feeding instruction may be transmitted from the terminal device 60 to the feeding device 600 via the network.
- the feeding device 600 may be configured to perform the feeding operation based on the received information.
- the feeding operation by the feeding device 600 and the shooting by the camera 281 may be performed in conjunction with each other. It is difficult to adjust the shooting range by moving the camera 281 in the water, but it is detected per unit time by guiding the aquatic animals by feeding operation so that the aquatic animals that eat the food are photographed by the camera 281. The possible number of individuals can be increased. Further, by guiding the entire aquatic animal to fit in the image in relation to the shooting range of the camera 281, more accurate detection can be performed.
- a processing device is used.
- the processing device is used with a target device having a camera to acquire images of aquatic animals being raised.
- the processing device has a function of supplying electric energy to the target device.
- the processing device has a function of receiving an image taken by a camera and information based on the image, and outputting information based on the received information.
- the processing device is detachably attached to the target device.
- the processing device and the target device are combined so as to be able to function as a camera unit in the above-described embodiment.
- the processing device may be referred to as a core module.
- the configurations of the processing device, the target device, and the like configured in this way, and the aquatic animal detection system using these will be described.
- FIG. 23 is a diagram showing a hardware configuration of the information collecting device 580 according to the fourth embodiment of the present invention.
- FIG. 24 is a perspective view showing the hardware configuration of the processing device 510.
- the information collecting device 580 includes a target device 580b and a processing device 510.
- the target device 580b of the information collecting device 580 has a camera (an example of an image acquisition unit) 581 and a jig 587 to which the camera 581 is attached, similarly to the camera unit 280 in the above-described embodiment. ..
- the jig 587 has an arm portion 88 for submerging and holding the camera 581 in water, and a hook 89 hooked on a part of the cage P or the like.
- the shape and configuration of the jig 587 are not limited to this.
- the target device 580b may be used by being attached to a float on water or the like, or being attached to or incorporated in another structure.
- a feeding device 600 provided with an image acquisition unit such as a camera 581 may be used as the target device 580b.
- the camera 581 is a stereo camera having two image pickup units 82 and 83.
- the camera 581 acquires an image of an aquatic animal being raised in a cage P or the like.
- the form of the camera 581 is not limited to this, and the camera 581 may have one imaging unit.
- an image acquisition unit capable of acquiring an image by various methods can be used. That is, the image acquisition unit is not necessarily limited to one that receives visible light and acquires an image, and is capable of constructing an image corresponding to a predetermined target range by using, for example, sound waves, radio waves, invisible light, or the like. May be used.
- the image acquisition unit may be capable of acquiring an image by so-called sonar.
- the image acquisition unit may be configured by combining a plurality of cameras 581, sensors, and the like.
- the upper portion of the target device 580b is a mounting portion 580d to which a processing device 510 having a box-shaped outer shape can be mounted as described later.
- the mounting portion 580d has a recess 580f into which the processing device 510 is fitted.
- the upper part of the recess 580f is covered with a cover. That is, it can be said that the processing device 510 is housed inside the target device 580b in a state of being mounted on the mounting portion 580d.
- the information collecting device 580 is configured so that an image of an aquatic animal or the like can be acquired by the camera 581 in a state where the processing device 510 is attached to the target device 580b. In this respect, it can be said that the information collecting device 580 functions in the same manner as the above-mentioned camera unit 280.
- the usage state of the processing device 510 in the state of being attached to the target device 580b and the operation mode of the processing device 510 may be referred to as an information acquisition mode.
- the processing apparatus 510 is configured such that each part is housed inside the cartridge housing 510f.
- the cartridge housing 510f has, for example, a substantially rectangular parallelepiped shape. It may be said that the cartridge housing 510f has a box shape.
- a finger hook portion 510g is formed on the upper portion of the cartridge housing 510f.
- the finger hook portion 510g is a portion slightly recessed from the outer peripheral surface of the cartridge housing 510f, and is configured so that the user can hook a finger.
- a groove portion 510s formed along the insertion direction of the cartridge housing 510f into the recess 580f is formed on the side surface of the cartridge housing 510f.
- the cartridge housing 510f By inserting the cartridge housing 510f into the recess 580f so that the fitting portion (not shown) formed in the recess 580f fits into the groove 510s, the cartridge housing is surely inserted into the recess 580f so as not to cause misalignment. 510f can be attached.
- a core connection portion 510c is provided on the bottom surface of the cartridge housing 510f.
- the core connection portion 510c can be connected to the camera connection portion 580c provided inside the recess 580f of the target device 580b.
- the core connection portion 510c and the camera connection portion 580c are composed of, for example, a connector including a terminal for power supply and a terminal for communication, and a driver thereof.
- the processing device 510 can be removed from the target device 580b and used. In this state, the processing device 510 can output information to other devices connected via an external network.
- the usage state and the operation mode of the information processing apparatus 510 capable of outputting information in this way may be referred to as an output mode in comparison with the information acquisition mode.
- the processing device 510 can be attached to the charging device 590 when it is removed from the target device 580b.
- the charging device 590 is configured so that, for example, two processing devices 510 can be attached at the same time, but the number of the processing devices 510 that can be attached is not limited to two.
- the charging device 590 has a recessed insertion portion 590b and a charging terminal 590c provided inside the insertion portion 590b.
- the charging terminal 590c is connected to the core connection portion 510c of the processing device 510 attached to the insertion portion 590b. With the charging terminal 590c connected to the core connection portion 510c, electric energy is supplied from the charging device 590 to the processing device 510.
- the processing device 510 is configured to be able to perform various processing operations including output of information and a charging operation as described later by using the supplied electric energy.
- the charging device 590 is configured so that it can be used by being connected to, for example, a commercial power source, but the charging device 590 is not limited to this.
- a fitting portion 590s is formed inside the insertion portion 590b.
- the fitting portion 590s is a portion formed along the insertion direction of the cartridge housing 510f.
- a cable for power supply may be directly connected to the cartridge housing 510f.
- a communication path between the external device and the processing device 510 may be configured via the charging device 590.
- electric power may be supplied to the processing device 510 by a known non-contact power feeding method, or electric power may be supplied from the processing device 510.
- the processing device 510 and the target device 580b may be communicably connectable, or the processing device 510 and the charging device 590 or the like may be communicably connectable.
- FIG. 25 is a schematic diagram of the aquatic animal detection system 501 using the information collecting device 580.
- FIG. 26 is a block diagram of the aquatic animal detection system 501.
- the aquatic animal detection system 501 uses the information collecting device 580 installed in the aquatic animal P, similarly to the aquatic animal detection system 201 in the second embodiment, even if the user is not near the aquatic animal P. It is configured to be able to detect aquatic animals.
- the camera unit 201 is communicably connected to the information processing device 10 or the like via a network so that immediate detection work can be performed in a remote environment. ..
- the processing device 510 the processing device 510.
- the processing device 510 autonomously acquires information while the information collecting device 580 functions in the information acquisition mode, and the processing device 510 outputs the information acquired by the processing device 510 from the information collecting device 580. It can be done in the output mode in the removed state. That is, in the present embodiment, the image is acquired in the information acquisition mode in the farm (fish cage P), and the information is output by the processing device 510 in the output mode on the ground or on board.
- processing device 510 may output information even while the processing device 510 is attached to the information output device 580. Further, the information output from the processing device 510 may be performed by wired communication.
- the aquatic animal detection system 501 includes an information processing device 10, a terminal device 60, an information collecting device 580, and an information input device 90. Also in the present embodiment, the information processing device 10 also functions as the aquatic animal detection device 10D, but the present invention is not limited to this.
- the information processing device 10, the terminal device 60, and the information input device 90 are configured in the same manner as in the first embodiment.
- the information collecting device 580 is used by attaching the processing device 510 to the target device 580b in the information acquisition mode.
- the aquatic animal detection system 501 is composed of an information processing device 10, a terminal device 60, an information input device 90, and an information collecting device 580.
- the processing device 510 can communicate with other devices of the aquatic animal detection system 501 in the output mode. That is, in this case, it can be said that the aquatic animal detection system 501 is composed of an information processing device 10, a terminal device 60, an information input device 90, and a processing device 510.
- the target device 580b includes a camera 581, a camera connection unit 580c, a camera storage unit 582, a camera processing unit (an example of the first processing unit) 583, a camera configuration unit 284, and an environment sensor 84. ..
- the camera storage unit 582 is realized by a non-volatile recording medium, it can also be realized by a volatile recording medium.
- the camera storage unit 582 stores, for example, an image taken by the camera 581, a measured value of the environment sensor 84, and the like for transmission to the processing device 510, but the present invention is not limited to this.
- the camera processing unit 583 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the camera processing unit 583 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the camera processing unit 583 acquires (photographs) an image using the camera 581 in the information acquisition mode, transmits information to the processing device 510, and the like.
- the camera processing unit 583 performs processing (sometimes referred to as first processing) using the camera configuration unit 584 as follows.
- the camera configuration unit 584 is provided in the camera processing unit 583.
- the camera component unit 584 configures transmission information to be transmitted to the processing device 510.
- the transmission information includes, for example, an image taken by the camera 581, a position identifier acquired by the environment sensor 84 using GPS or the like, a device identifier that identifies the target device 580b, and the like.
- the camera configuration unit 584 configures transmission information by associating, for example, an image taken by the camera 581 with a device identifier and a position identifier (an example of the first process). That is, the first process may be expressed as a process of acquiring transmission information based on the image acquired by the camera 581.
- the device identifier and the position identifier may not be included in the transmission information. It can be said that the position identifier is information indicating the position where the image was acquired. That is, the position identifier may be information acquired by GPS or the like, or may be information for specifying a cage, position information associated with information for identifying a cage, or the like.
- the processing device 510 includes a core control unit 511, a power supply unit 516, a core transmission unit 518, and a core reception unit 519, in addition to the core connection unit 510c.
- the power supply unit 516 includes a secondary battery 517 such as a lithium ion battery.
- the power supply unit 516 controls the charging and discharging of the secondary battery 517.
- the power supply unit 516 supplies the electric energy stored in the secondary battery 517 to each part of the processing device 510 or supplies the connected target device 580b to make the information collecting device 580 function.
- the core transmission unit 518 connects the processing device 510 to the network and communicates with other devices connected to the network.
- the core transmission unit 518 may be configured to perform wireless communication using, for example, wireless LAN or data communication of a mobile phone, or may be configured to perform various types of wired communication.
- the core transmission unit 518 can transmit information to an external device.
- the core transmission unit 518 transmits information handed over from the core control unit 511, such as information stored in the core storage unit 521.
- the core receiving unit 519 receives information transmitted from another device.
- the core receiving unit 519 passes the received information to, for example, a process performed by the core control unit 511.
- the core receiving unit 519 receives the information transmitted from the target device 580b in the information acquisition mode.
- the core receiving unit 519 may receive, for example, information transmitted from a device connected via a network such as the information processing device 10 in the output mode.
- the core receiving unit 519 receives the control instruction information transmitted from the information processing apparatus 10 in the output mode.
- the core receiving unit 519 receives information based on the image acquired by the camera 581 from the target device 580b.
- the core receiving unit 519 receives information acquired by the camera processing unit 583, including two or more images acquired by the camera 581.
- the core receiving unit 519 may receive the image itself acquired by the camera 581. That is, the information based on the image acquired by the camera 581 may be the image acquired by the camera 581 or the information acquired from the image.
- FIG. 27 is a block diagram showing the configuration of the core control unit 511 of the processing device 510.
- the core control unit 511 is, for example, a core storage unit 521, a target control unit 531, an output information acquisition unit (an example of a second processing unit) 533, a device identifier acquisition unit 535, a position identifier acquisition unit 536, and a core. It is provided with an output unit 541.
- the portion of the core control unit 511 excluding the core storage unit 521 can usually be realized from an MPU, a memory, or the like.
- the processing procedure of the cocoa control unit 511 is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
- the core storage unit 521 is realized by, for example, a non-volatile recording medium, but it can also be realized by a volatile recording medium.
- the core storage unit 521 stores, for example, information received by the core receiving unit 519, information acquired by each unit of the core control unit 51 as described later, and the like, and information is stored in each unit of the core storage unit 521.
- the process of memorizing such information is not limited to this.
- information or the like may be stored in the core storage unit 521 via a recording medium, or information or the like transmitted via a communication line or the like may be stored in the core storage unit 521.
- Well, or the information input via the input device may be stored in the core storage unit 521.
- the information received by the core receiving unit 519 is stored in the core storage unit 521.
- the core storage unit 521 stores set values related to information output and the like (for example, any setting value that defines a destination, a transmission method, etc.) and is used for processing performed by the core control unit 511. Will be.
- the core storage unit 521 includes an instruction storage unit 523.
- the instruction storage unit 523 stores preset control instructions for controlling the operation of the camera 581.
- the control instruction includes an instruction regarding the timing of acquiring an image of an aquatic animal. Specifically, for example, in the information acquisition mode, a setting value related to an image acquisition time, an image shooting interval, an image acquisition method, and the like (for example, a setting value related to image quality and the like) are included.
- the target control unit 531 controls the operation of the camera 581 based on the control instruction stored in the instruction storage unit 523. For example, various operations such as shooting and setting for shooting can be controlled.
- the content of the control may include, for example, an instruction to start or stop shooting, an instruction to control the camera 581, an instruction to transmit transmission information, an instruction to transmit status information indicating the state of the target device 580b, and the like.
- the output information acquisition unit 533 acquires output information for use in other devices by using the information received by the core reception unit 519. In other words, the output information acquisition unit 533 executes a second process of acquiring output information using the information received by the core reception unit 519.
- the information to be used in other devices is the image selected by thinning out a part of all the images when they are acquired, and the number of fish, body length, identifier, and health condition based on the selected image. Information such as, but is not limited to these.
- the device identifier acquisition unit 535 acquires the device identifier from the information received by the core receiving unit 519. That is, it can be said that this device identifier is information that identifies the target device 580b, which is the source of the information received by the core receiving unit 519.
- the position identifier acquisition unit 536 acquires the position identifier from the information received by the core receiving unit 519. That is, it can be said that the acquired position identifier is information for identifying the position where the image was acquired by the camera 581. When each image corresponds to the cage P, the position identifier may be said to be information for identifying the cage P.
- the core output unit 541 outputs information based on the information received by the core receiving unit 519.
- the information based on the received information may be the received information itself, or may be information obtained by processing the received information such as the information acquired from the received information. Further, the output may include transmission to an external device such as the information processing device 10, audio output, image display, storage in the core storage unit 521, and the like.
- the core output unit 541 outputs the output information acquired by the output information acquisition unit 533.
- the core output unit 541 outputs output information to the external information processing device 10 by the core transmission unit 518.
- the core output unit 541 outputs the output information in association with the device identifier acquired by the device identifier acquisition unit 535.
- the core output unit 541 outputs the output information together with the target device 580b from which the output information is derived, together with the identifiable information.
- An identifier that identifies the target device 580b, which is the same as the device identifier acquired by the device identifier acquisition unit 535, by another method (the identifier may also be regarded as the "device identifier acquired by the device identifier acquisition unit 535"). It may be output in association with each other.
- the core output unit 541 outputs the output information in association with the position identifier acquired by the position identifier acquisition unit 536. In other words, the core output unit 541 outputs the output information together with the information that can identify the place where the image from which the output information is obtained is acquired.
- An identifier that identifies the position corresponding to the position identifier acquired by the position identifier acquisition unit 536, the cage P, or the like by another method (the identifier may also be regarded as the "position identifier acquired by the position identifier acquisition unit 536"). It may be output in association with and.
- the core output unit 541 is configured to output information when a predetermined output condition is satisfied. For example, it is configured to output information when the operation mode is the output mode.
- the core control unit 511 may determine whether or not the core output unit 541 is in a state of outputting information (which may be paraphrased as whether or not the operation mode is the output mode).
- the output condition for example, a condition related to the following elements can be mentioned.
- the output condition may be that any one of these conditions is satisfied, that any of the two or more conditions is satisfied, or that any of the two or more conditions is satisfied. good.
- the output condition may include a condition relating to the supply state of electric energy from the power supply unit 516 to the target device 580b.
- the core output unit 541 can be configured to output information when electric energy is not supplied from the power supply unit 516 to the target device 580b.
- information is output by the core transmitter 518, it is necessary to use a relatively large amount of electrical energy. With such a configuration, information can be reliably output.
- the output condition may include a condition regarding whether or not the cartridge housing 510f is removed from the target device 580b and whether or not the cartridge housing 510f is attached to the charging device 590.
- it may include a condition regarding whether or not the processing device 510 is attached to the target device 580b and whether or not the processing device 510 is attached to the charging device 590.
- the core output unit 541 outputs information, and when the processing device 510 is attached to the target device 580b, the information is output. It can be configured not to do.
- Information can be output to.
- the output condition may include a condition relating to the state of the secondary battery 517.
- a condition regarding whether or not the secondary battery 517 is fully charged and whether or not the secondary battery 517 is charged to a predetermined degree or more may be included.
- a condition regarding whether or not the secondary battery 517 is being charged by the electric energy supplied from the outside may be included.
- the core output unit 541 is configured to output information when the secondary battery 517 is being charged or fully charged by electric energy supplied from the outside. be able to. With such a configuration, it is possible to prevent a power shortage and reliably output information.
- the fully charged state is a state in which the electric charge is sufficiently stored.
- a state in which a predetermined amount or more of electric charge is stored such as a state in which the voltage of the secondary battery 517 is equal to or higher than a predetermined threshold value, may be referred to as a fully charged state.
- FIG. 28 is a flowchart showing an example of the operation of the processing device 510.
- Step S511 The core control unit 511 determines whether or not the processing device 510 is in the output mode. In other words, the core control unit 511 determines whether or not the output condition is satisfied. If it is determined that the output mode is set, the process proceeds to step S521, and if not, the process proceeds to step S512.
- Step S512 The target control unit 531 controls the operation of the camera 581 based on the control instruction stored in the instruction storage unit 523.
- Step S513 The core receiving unit 519 receives the transmission information transmitted from the target device 580b.
- Step S5114 The output information acquisition unit 533 acquires output information based on the received information.
- the output information acquisition unit 533 stores the acquired output information in, for example, the core storage unit 521. After that, the process returns to step S511.
- Step S521 In the output mode, the core control unit 511 determines whether or not the information can be transmitted by the core transmission unit 518. In other words, the core control unit 511 determines whether or not it is possible to communicate with the destination device (for example, the information processing device 10) via the network. If it is determined that the information can be transmitted, the process proceeds to step S522, and if not, the process returns to step S511.
- the destination device for example, the information processing device
- Step S522 The core output unit 541 transmits the output information acquired by the output information acquisition unit 533 to the information processing device 10 or the like. If there is no output information to be transmitted, this process may be skipped.
- Step S523 The core output unit 541 erases (clears) the transmitted output information from the core storage unit 521. As a result, the storage area of the core storage unit 521 can be secured and new output information can be stored. The output information may not be erased. After that, the process returns to step S511.
- the processing may be terminated by an interrupt of power off or processing termination.
- FIG. 29 is a flowchart showing a modified example of the operation of the processing device 510.
- the acquisition of output information may be performed in the output mode.
- this processing is performed in the output mode in which the electric power can be sufficiently used, and the processing is surely or promptly performed. It may be possible to acquire output information.
- the process of the following step S514B is performed instead of the step S514, and the process of the following step S520B is performed before the step S521. Just do it.
- Step S514B That is, instead of step S514, the core receiving unit 519 stores the received information in the core storage unit 521 and returns to step S511.
- Step S520B the output information acquisition unit 533 performs a process of acquiring output information using the information stored in the core storage unit 521. After that, the processing after step S521 is performed.
- the image acquisition device 580 and the like are acquired by the information collecting device 580 by the control performed by the processing device 510 in this way, even if the user is not waiting at the farm, the user does not have to wait at the farm. Information can be collected. Therefore, the detection operation can be easily performed as in the second embodiment. Since the processing device 510 can supply electric energy to the target device 580b of the information collecting device 580, the target device 580b can be continuously driven for a long time by performing work such as replacing the processing device 510 in a timely manner. , It becomes possible to collect information. Therefore, it is possible to reduce the management burden of the information collecting device 580 performed at sea or the like, which is carried by the user.
- the processing device 510 can be used by removing it from the target device 580b. Therefore, for example, it is possible to appropriately combine a plurality of processing devices 510 and a smaller number of target devices 580b to collect information in a plurality of cages P, thereby enhancing the convenience of the information collecting device 580. be able to. Further, the processing device 510 and the target device 580b can be managed separately, and maintenance or replacement such as repair at the time of failure can be performed. Therefore, it is possible to keep the cost required for continuing the collection of information in the cage P at a plurality of locations low.
- the processing device 510 With the processing device 510 removed from the target device 580b, it is possible to output information by the processing device 510 alone. Therefore, the information can be easily output by carrying only the processing device 510 to a place or situation suitable for outputting the information. For example, when information is transmitted from the processing device 510 using a predetermined communication environment, even if the communication environment is not set up at the installation location of the target device 580b such as at sea, the processing device 510 is set up in a communication environment. Can be moved to to carry out the transmission of information. Further, even when electric power is required at the time of information transmission, the processing device 510 can be moved to an environment where sufficient electric power can be obtained to carry out information transmission. Therefore, information can be output easily and reliably.
- the information transmission process that consumes a large amount of power can be performed during charging of the processing device 510, it is possible to reduce the capacity of the secondary battery 517 of the processing device 510.
- the hardware of the information collecting device 580 can be simplified, and the cost of the information collecting device 580 can be reduced.
- the core receiving unit 519 receives two or more images acquired by the camera 581, and the output information acquisition unit 533 performs an image selection process as follows, for example, as a process of acquiring the output information. May be good. That is, in the image selection process, the output information acquisition unit 533 has a smaller number of images than the number of images received by the core receiving unit 519 among the images received by the core receiving unit 519 based on a predetermined image selection condition. To get.
- the image selection condition various conditions such as a condition regarding the position of the aquatic animal, a condition regarding the presence or absence of the aquatic animal in the image, a condition regarding the photographing time and the imaging interval, and the like can be used.
- the condition regarding the position of the aquatic animal can be set so that the aquatic animal is shown at a position displaced by a predetermined amount or more from the position of the aquatic animal in the image taken immediately before.
- the output information acquisition unit 533 displays an image of the aquatic animal in the image received by the core receiving unit 519 at a position displaced by a predetermined amount or more from the position of the aquatic animal in the image taken immediately before. You may try to get it. Further, for example, even if only images related to aquatic animals of a predetermined fish species are selected, or only images judged to be good in the process of measuring body length or the like are selected. good. Such a determination may be performed by using a known technique such as classification by machine learning, or may be performed by another method.
- the image selection process may be performed on the image of each frame, or whether the image selection condition is satisfied for each of the plurality of moving images in a short time. It may be possible to make a judgment such as whether or not.
- FIG. 30 is a flowchart showing an example of the output information acquisition process of the output information acquisition unit 533.
- Step S531 The output information acquisition unit 533 targets the next target image among the unprocessed images received by the core reception unit 519.
- Step S532 The output information acquisition unit 533 determines whether or not the image selection condition is satisfied for the image to be processed. If it is determined that the condition is satisfied, the process proceeds to step S532, and if not, the process proceeds to step S534.
- Step S533 The output information acquisition unit 533 selects an image to be processed as output information.
- Step S534 The output information acquisition unit 533 determines whether or not the determination for all the images is completed. If it is determined that the process is completed, the process returns to the higher-level process, and if not, the process returns to step S531.
- the number of images included in the output information is smaller than the number of images acquired by the camera 581. Therefore, the data size output by the core output unit 541 is reduced, and the load and time required for information output can be reduced.
- the output information acquisition unit 533 may be configured to acquire information on the aquatic animal being raised as output information based on the image received by the core reception unit 519.
- information such as the number of aquatic animals, body length, identifier of aquatic animals, health condition, etc. may be acquired, and the present invention is not limited to these.
- Such a function may be performed, for example, in the same manner as that performed by the detection processing unit 31 in the above-described embodiment.
- the output information acquisition unit 533 measures the size of aquatic animals and the like by performing the same processing as the image acquisition unit 32 and the detection unit 33 (including the operation of the measurement unit 34). The results may be obtained as information about the aquatic animals being raised.
- the output information acquisition unit 533 detects the color and shape of an aquatic animal, compares it with data showing a standard color and shape, and based on the comparison result, information indicating the presence or absence of abnormal growth of the aquatic animal. May be output as output information.
- the output information acquisition unit 533 may acquire environmental information regarding the breeding environment of aquatic animals, and may acquire output information regarding the aquatic animals being raised based on the acquired environmental information.
- the environmental information the information acquired by the environment sensor 84, which is transmitted from the target device 580b and received by the core receiving unit 519, may be used. Further, the information acquired based on such information may be used as environmental information.
- the following information may be applicable to the environmental information.
- the color of seawater and information on other existing organisms may be acquired as environmental information.
- environmental information By using such environmental information, it is possible to output information indicating the presence or absence of an abnormality in the marine environment as output information so that the user can take countermeasures as necessary.
- the presence / absence and degree of adhesion to the camera 581, the degree of cloudiness detected by the camera 581, the degree of cloudiness, and the like may be acquired as environmental information. Based on such environment information, for example, it is possible to output information indicating the presence or absence of an abnormality in the shooting environment so that the user can take countermeasures as necessary.
- the camera processing unit 583 may perform such processing.
- the information acquired by the processing may be transmitted from the target device 580b and received by the core receiving unit 519.
- the above-mentioned image selection process may be performed on the target device 580b side.
- the camera processing unit 583 selects the image acquired by the camera 581 based on the image selection condition, and the core receiving unit 519 can receive only the selected image.
- necessary processing may be appropriately performed, for example, information acquisition processing based on the received image.
- the transmission of the output information to the information processing apparatus 10 or the like can be performed away from the scene where the image is taken by the target device 580b, and the same effect as described above can be obtained.
- the processing device 510 may be configured to be able to communicate with an external device even in the information acquisition mode. For example, when a user performs a predetermined operation input, wireless communication is performed between the processing device 510 and an information communication terminal or the like (for example, a smartphone) prepared near the processing device 510 by using, for example, a predetermined short-range communication method. May be able to do.
- the core output unit 541 may be able to transmit output information to the information communication terminal. The user can check the output information at the site where the processing device 510 is used regardless of the surrounding communication environment. Further, when such wireless communication is possible, a predetermined control instruction may be transmitted from the information communication terminal to the core control unit 511. The user can instruct the predetermined operation to be performed at the site where the processing device 510 is used regardless of the surrounding communication environment.
- the processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and disseminated.
- the software that realizes the processing device in this embodiment is the following program. In other words, this program is used together with a target device that has an image acquisition unit that acquires images of aquatic animals being raised, and a computer of a processing device that has a power supply unit that supplies electrical energy to the target device is imaged from the target device.
- This is a program for functioning as a core receiving unit that receives information based on an image acquired by an acquisition unit and a core output unit that outputs information based on the information received by the core receiving unit.
- the information processing device may calculate the time when it is recommended to perform the detection work next and notify the user. For example, when the growth state is close to the ready-to-ship state or the growth state is close to the abnormal value, the period until the next detection opportunity is relatively short, and the normal growth state can be shipped. If it is expected that it will take some time to reach the state, the period until the next detection opportunity may be relatively long.
- the fish activity index (satiation index) may be obtained by quantifying the swimming activity rate of aquatic animals by image analysis or machine learning.
- the bait it is preferable to change the bait to a larger size or a reduced amount of fishmeal according to the growth of aquatic animals. Therefore, information that identifies the relationship between the pre-stored bait information (size, type) and the fish body size is stored in advance in the storage unit of the information processing device, and the optimum bait for the fish body size measured in real time is determined. , The user may be notified. In this case, the information processing device may acquire information on the food currently being fed and notify the user when the optimum food and the registered food are different.
- the processing unit of the information processing device has obtained the growth rate of fish under similar conditions obtained from the same past cage, the current adjacent cage, or the cage of another producer.
- a benchmark (mean or median) may be calculated from the feeding method (amount and time) so that it can be displayed and compared in real time. Based on the comparison result with such other actual results, the user can make a multifaceted evaluation of the current growth situation.
- the processing unit may also recommend an appropriate feeding method to bring it closer to the benchmark.
- the detection unit of the information processing device may detect an abnormal value based on the relationship of each parameter of the past biological information stored in the biological information storage unit. For example, it is possible to detect whether or not overfeeding or undergrowth has occurred by comparing the relationship between the past feeding amount and the change in the size of aquatic animals with the current information.
- the information processing apparatus may accept the input of information performed by the worker who has confirmed the image taken by the camera, and may acquire information such as the fish body length based on the received information.
- the information processing device transmits an image or an analysis result of the image to the terminal device operated by the worker, and then the information processing device receives the information transmitted from the terminal device operated by the worker. You just have to do it.
- the result of the detection by the detection unit may be transmitted to the worker as a provisional one, and the worker may confirm whether or not the transmitted information is appropriate. ..
- biological information may be accumulated based on the detection result confirmed to be appropriate by the operator.
- the worker identifies the area of the object contained in the image, annotates the attribute of the area (whether or not it is an aquatic organism, etc.), and measures based on the result. May be done. As described above, even when the work by the worker intervenes or the work by the worker and the processing performed by the information processing apparatus are performed in parallel, the detection work can be easily performed.
- each part may be described by indicating a certain direction, but the clarification of the direction is merely for convenience of explanation, and each device and the like according to the present invention may be described. It does not limit the orientation or posture during use.
- the acquisition may include acquiring information stored in advance in the own device or another device, as well as acquiring information generated by information processing performed in the device. ..
- the classifier that can be used to acquire information is not limited to the classifier obtained by machine learning.
- the classifier may be, for example, a table showing the correspondence between the input vector based on the input information and the output information.
- the output information corresponding to the feature vector based on the input information may be acquired from the table, or input using two or more input vectors in the table and a parameter for weighting each input vector.
- a vector that approximates the feature vector based on the information may be generated, and the final output information may be obtained by using the output information and the parameters corresponding to each input vector used for the generation.
- the classifier may be, for example, a function representing a relationship between an input vector based on input information and the like and information for generating output information. In this case, for example, the information corresponding to the feature vector based on the input information may be obtained by a function, and the output information may be acquired using the obtained information.
- FIG. 31 is an overview diagram of the computer system 800 in the above embodiment.
- FIG. 32 is a block diagram of the computer system 800.
- the computer system 800 includes a computer 801 including a CD-ROM drive, a keyboard 802, a mouse 803, and a monitor 804.
- the computer 801 is connected to the MPU 8013, the bus 8014 connected to the CD-ROM drive 8012, the ROM 8015 for storing programs such as boot-up programs, and the MPU 8013. It includes a RAM 8016 for temporarily storing program instructions and providing a temporary storage space, and a hard disk 8017 for storing application programs, system programs, and data.
- the computer 801 may further include a network card that provides a connection to the LAN.
- the program for causing the computer system 800 to execute the functions of the information processing apparatus and the like according to the above-described embodiment may be stored in the CD-ROM 8101, inserted into the CD-ROM drive 8012, and further transferred to the hard disk 8017.
- the program may be transmitted to the computer 801 over a network (not shown) and stored on the hard disk 8017.
- the program is loaded into RAM 8016 at run time.
- the program may be loaded directly from the CD-ROM 8101 or the network.
- the program does not necessarily have to include an operating system (OS) or a third-party program that causes the computer 801 to execute the functions of the information processing apparatus and the like according to the above-described embodiment.
- the program need only include a portion of the instruction that calls the appropriate function (module) in a controlled manner to obtain the desired result. It is well known how the computer system 800 works, and detailed description thereof will be omitted.
- processing performed by hardware for example, processing performed by a modem or interface card in the transmission step (only performed by hardware). Processing that is not done) is not included.
- the number of computers that execute the above program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
- the two or more components existing in one device may be physically realized by one medium.
- each process may be realized by centralized processing by a single device (system), or may be realized by distributed processing by a plurality of devices. (In this case, it is possible to grasp the entire system composed of a plurality of devices that perform distributed processing as one "device").
- the transfer of information performed between the components is performed by, for example, one of the components when the two components that transfer the information are physically different. It may be performed by outputting information and accepting information by the other component, or if the two components that pass the information are physically the same, one component. It may be performed by moving from the processing phase corresponding to the other component to the processing phase corresponding to the other component.
- each component information related to the processing executed by each component, for example, information received, acquired, selected, generated, transmitted, or received by each component. Further, information such as threshold values, mathematical formulas, addresses, etc. used by each component in processing may be temporarily or for a long time held in a recording medium (not shown), even if it is not specified in the above description.
- each component or a storage unit may store information on a recording medium (not shown). Further, the information may be read from the recording medium (not shown) by each component or a reading unit (not shown).
- the information used in each component or the like for example, the information such as the threshold value and the address used in the processing by each component and various setting values may be changed by the user, the above-mentioned
- the user may or may not be able to change the information as appropriate.
- the change is realized by, for example, a reception unit (not shown) that receives a change instruction from the user and a change unit (not shown) that changes the information in response to the change instruction. You may.
- the reception unit may accept the change instruction from, for example, an input device, information transmitted via a communication line, or information read from a predetermined recording medium. ..
- An embodiment may be configured by appropriately combining the above-mentioned plurality of embodiments.
- the present invention is not limited to the configuration itself of the above-described embodiment, and each component of the above-described embodiment may be appropriately replaced or combined with the component of another embodiment. Further, some of the components and functions may be omitted from the above-described embodiments.
- the processing apparatus according to the present invention has the effect that the information acquired at the growing place can be easily output, and is useful as a processing apparatus or the like.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Zoology (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Catching Or Destruction (AREA)
Abstract
【課題】従来の処理装置においては、育成場所で取得された情報を出力することが難しいという課題があった。 【解決手段】育成中の水棲動物の画像を取得するカメラ581を有する対象機器580bと共に用いられる処理装置510であって、対象機器580bからカメラ581により取得された画像に基づく情報を受信するコア受信部と、コア受信部が受信した情報に基づく情報を出力するコア出力部と、対象機器580bに電気エネルギーを供給する電力供給部とを有する、処理装置510により、育成場所で取得された情報を容易に出力することができる。
Description
本発明は、育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられる処理装置、情報収集装置、情報処理方法、及びプログラムに関するものである。
従来、例えば魚などの水棲動物の養殖業などに用いられる、水棲動物検出装置がある。
例えば下記特許文献1には、水槽内で生育している水棲動物の成育状態を監視する成育状態監視方法であって、2つの撮像系から検出した画像を用いて水棲動物の水槽内での位置や大きさを求めるものが開示されている。
従来、育成場所で取得された情報を出力することが難しい場合があるという問題があった。すなわち、例えば洋上の生け簀等の育成場所において、例えばカメラ等の装置を用いるなどして水棲動物の画像等の情報が得られる場合を想定する。このような情報やこれに基づく情報などを出力する場合には、育成場所の環境や用いる機器等の技術的制約の影響や、用いる機器等のとりまわし等の作業手順等の制約などの影響を受ける可能性がある。このような各種制約の影響を受けると、情報の出力が困難になる場合がある。なお、ここで情報の出力とは、格納部への情報の蓄積や、情報のネットワーク等を通じた送信や、表示装置や音声出力装置等を用いた、画像や音声による出力等、種々の態様のものを含む概念である。
本第一の発明の処理装置は、育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられる処理装置であって、対象機器から画像取得部により取得された画像に基づく情報を受信する受信部と、受信部が受信した情報に基づく情報を出力する出力部と、対象機器に電気エネルギーを供給する電力供給部とを有する、処理装置である。
かかる構成により、育成場所で取得された画像に基づく情報を容易に出力することができる。
また、本第二の発明の処理装置は、第一の発明に対して、受信部が受信した情報を用いて、他の装置で利用するための情報を取得する出力情報取得部をさらに有し、出力部は、出力情報取得部により取得された情報を出力する、処理装置である。
かかる構成により、取得された画像に基づく情報を用いて取得される情報を、容易に出力することができる。
また、本第三の発明の処理装置は、第二の発明に対して、受信部は、画像取得部で取得された2以上の画像を受信し、出力情報取得部は、所定の画像選択条件に基づいて、受信部が受信した画像のうち、受信部が受信した画像の数よりも少ない数の画像を取得する、処理装置である。
かかる構成により、取得された画像をすべて出力する場合よりも容易に情報を出力することができる。
また、本第四の発明の処理装置は、第二又は三の発明に対して、出力情報取得部は、受信部が受信した画像のうち、直前に撮影された画像における水棲動物の位置から所定量以上変位した位置に水棲動物が写っている画像を取得する、処理装置である。
かかる構成により、水棲動物の情報の把握に有用な画像を出力することができる。
また、本第五の発明の処理装置は、第二から四のいずれかの発明に対して、出力情報取得部は、受信部により受信された1以上の画像に基づいて、育成中の水棲動物に関する情報を取得する、処理装置である。
かかる構成により、水棲動物に関する情報を出力することができる。
また、本第六の発明の処理装置は、第五の発明に対して、出力情報取得部は、水棲動物の育成環境に関する環境情報を取得し、取得した環境情報に基づいて育成中の水棲動物に関する情報を取得する、処理装置である。
かかる構成により、高い精度で水棲動物に関する情報を取得することができる。
また、本第七の発明の処理装置は、第一から六のいずれかの発明に対して、受信部が受信した情報の出所である対象機器を識別する機器識別子を取得する機器識別子取得部をさらに有し、出力部は、受信部が受信した情報に基づく情報と取得された機器識別子とを対応付けて出力する、処理装置である。
かかる構成により、出力部から、情報の由来となる対象機器を識別可能な情報を出力することができる。
また、本第八の発明の処理装置は、第一から七のいずれかの発明に対して、画像取得部により画像が取得された位置を識別する位置識別子を取得する位置識別子取得部をさらに有し、出力部は、受信部が受信した情報に基づく情報と取得された位置識別子とを対応付けて出力する、処理装置である。
かかる構成により、出力部から、情報の由来となる位置を識別可能な情報を出力することができる。
また、本第九の発明の処理装置は、第一から八のいずれかの発明に対して、外部の装置に情報を送信可能な送信部をさらに有し、出力部は、送信部によって外部の装置に情報を出力する、処理装置である。
かかる構成により、育成場所で取得された情報を容易に外部の装置に送信することができる。
また、本第十の発明の処理装置は、第一から九のいずれかの発明に対して、出力部は、電力供給部から対象機器に電気エネルギーが供給されていない場合に、情報の出力を行う、処理装置である。
かかる構成により、電力供給部の電気エネルギーが対象機器で消費されていない場合に、確実に電気エネルギーを用いて情報の出力を行うことができる。
また、本第十一の発明の処理装置は、第一から十のいずれかの発明に対して、電力供給部は二次電池を有し、出力部は、外部から供給される電気エネルギーにより二次電池が充電中である状態又は満充電されている状態である場合に、情報の出力を行う、処理装置である。
かかる構成により、外部から供給される電気エネルギーにより二次電池が充電中である状態又は満充電されている状態である場合に、確実に電気エネルギーを用いて情報の出力を行うことができる。
また、本第十二の発明の処理装置は、第一から十一のいずれかの発明に対して、対象機器に形成された取付部に対して着脱可能に取り付け可能なカートリッジ筐体に各部が収容されて構成されている、処理装置である。
かかる構成により、対象機器から取り外して容易に運搬し、情報の出力を行うことができる。
また、本第十三の発明の処理装置は、第十二の発明に対して、出力部は、処理装置が対象機器から取り外されている場合において情報の出力を行い、処理装置が対象機器に取り付けられている場合において情報の出力を行わない、処理装置である。
かかる構成により、対象機器から取り外されている場合において容易に情報の出力を行うことができる。
また、本第十四の発明の処理装置は、第一から十三のいずれかの発明に対して、画像取得部の動作を制御するための制御指示が記憶される指示格納部と、制御指示に基づいて画像取得部の動作を制御する対象制御部とをさらに有する、処理装置である。
かかる構成により、処理装置を用いて画像取得部の動作を制御することができる。
また、本第十五の発明の処理装置は、第十四の発明に対して、制御指示は、水棲動物の画像を取得するタイミングに関する指示を含む、処理装置である。
かかる構成により、処理装置を用いて、水棲動物の画像を取得するタイミングを制御することができる。
また、本第十六の発明の情報収集装置は、第一から十五のいずれかの発明に対して、処理装置と、処理装置が取り付けられた対象機器とを備える、育成中の水棲動物に関する情報を収集するための情報収集装置である。
かかる構成により、容易に育成中の水棲動物に関する情報を収集して出力することができる。
また、本第十七の発明の情報収集装置は、第十六の発明に対して、対象機器は、画像取得部により取得された画像に基づく情報を取得する第一の処理を行う第一処理部を有し、受信部は、第一処理部により取得された情報を受信し、処理装置は、受信部が受信した情報を用いた第二の処理を実行する第二処理部を有する、情報収集装置である。
かかる構成により、簡素に構成された処理装置を有する情報収集装置を用いて、容易に育成中の水棲動物に関する情報を収集して出力することができる。
また、本第十八の発明の情報収集装置は、第十七の発明に対して、第一処理部は、画像取得部が取得した画像から、取得した画像の数よりも少ない数の画像を所定の画像選択条件に基づいて取得する画像選択処理を行い、受信部は、画像選択処理により取得された画像を受信し、第二処理部は、出力情報取得部である、情報収集装置である。
かかる構成により、簡素に構成された処理装置を有する情報収集装置を用いて、容易に育成中の水棲動物に関する情報を収集して出力することができる。
本発明による処理装置によれば、育成場所で取得された情報を容易に出力することができる。
以下、水棲動物検出装置やそれを有する水棲動物検出システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
なお、以下において用いる用語は、一般的には次のように定義される。なお、これらの用語の語義は常にここに示されるように解釈されるべきではなく、例えば以下において個別に説明されている場合にはその説明も踏まえて解釈されるべきである。
水棲動物とは、例えば、魚であるが、これに限られず、甲殻類、貝類など、水中に生息する動物であればよい。以下、水棲動物について述べるとき、これを代表して魚ということがあり、また、その水棲動物の体について、魚体ということがある。
画像とは、例えば、カメラにより撮影された静止画又は動画像であるが、これに限られない。例えば、カメラにより撮影された動画像から抽出された静止画などであってもよい。
水棲動物検出システムは、例えば、水棲動物の養殖が行われる生簀(養殖場)において用いることができるものである。養殖場は、海であっても、湖や池、川などであってもよい。
生簀とは、水棲動物の養殖を行うための水(淡水、海水、汽水を問わない)が張られている領域すなわち養殖場をいう。養殖場の環境は、養殖対象となる水棲動物の種類等によって異なる環境であってもよい。養殖場は、天然に形成されているものであってもよいし、人工的に作成されたものであってもよい。養殖場は、屋外、屋内を問わず、養殖用の大きな水槽に水が張られたものであってもよい。水がある領域の一部を区切ることにより構成された一区画を養殖場と呼んでもよい。
ある事項について識別子とは、当該事項を一意に示す文字又は符号等である。識別子は、例えば、IDであるが、対応する事項を識別しうる情報であれば種類は問わない。すなわち、識別子は、それが示すものそのものの名前であってもよいし、一意に対応するように符号を組み合わせたものであってもよい。
取得とは、ユーザ等により入力された事項を取得することを含んでいてもよいし、他の装置に記憶されている情報を取得することを含んでいてもよい。他の装置に記憶されている情報を取得するとは、他の装置に記憶されている情報をAPI経由などで取得することを含んでいてもよいし、他の装置により提供されている文書ファイルの内容(ウェブページの内容なども含む)についてスクレイピング等を行うことにより取得することを含んでいてもよい。また、画像ファイルについて光学式文字読み取りを行うことにより情報を取得することなど、元の情報に基づいてそれとは異なるフォーマットの情報を取得することを含んでいてもよい。
また、情報の取得には、いわゆる機械学習の手法を利用するようにしてもよい。機械学習の手法の利用については、例えば次のようにすることができる。すなわち、特定の種類の入力情報を入力とし、取得したい種類の出力情報を出力とする学習器を、機械学習の手法を用いて構成する。例えば、予め、入力情報と出力情報との組を2以上用意し、当該2組以上の情報を機械学習の学習器を構成するためのモジュールに与えて学習器を構成し、構成した学習器を格納部に蓄積する。なお、学習器は分類器ということもできる。なお、機械学習の手法としては、例えば、深層学習、ランダムフォレスト、SVR等、問わない。また、機械学習には、例えば、fastText、tinySVM、random forest、TensorFlow等の各種の機械学習フレームワークにおける関数や、種々の既存のライブラリを用いることができる。なお、学習器は分類器ということもできる。
情報を出力するとは、ディスプレイへの表示、プロジェクタを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。具体的には、例えば、情報のウェブページへの表示を可能とすることや、電子メール等として送信することや、印刷するための情報を出力することなどを含む。
情報の受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、他の装置等から有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
(実施の形態1)
本実施の形態において、水棲動物検出システムは、例えば魚などの水棲動物の養殖時に、その魚などの数や生育状態を検出するために用いられるものである。水棲動物検出システムの検出装置は、カメラにより撮影された画像に映っている魚体を検出する。このとき、魚体の検出に関する所定の通知条件が満たされたか否かを判断し、所定の通知条件が満たされた場合にユーザに水棲動物の検出情報に関する通知を行う。通知は、例えば、水棲動物検出システムにおいて用いられる端末装置や当該端末装置に連携する機器から、音声を出力したり振動を発生させたりすることにより行われるが、これに限られない。通知は、例えば、水棲動物検出システムにおいてカメラにより撮影された画像が表示される表示部を有する端末装置において行われてもよい。また、水棲動物検出システムの情報処理装置は、検出装置で検出された魚体の検出情報と撮影された画像に対応する環境情報とを取得して検出情報と環境情報とを対応付けて蓄積し、蓄積した情報に基づいて魚の生育状態に関する判定を行い、判定結果を出力する。
なお、検出装置について、所定の通知条件は、魚体の検出の進捗状況に関するものを含むものであることが好ましい。また、所定の通知条件は、当該画像について検出された魚体の数の合計数に関するものを含んでいてもよい。所定の通知条件は、魚体とカメラとの位置関係に関するものを含んでいてもよい。また、検出装置は魚体の計測を行い、その結果に基づいて通知を行うように構成されていてもよい。
本実施の形態において、カメラはステレオカメラであり、ステレオカメラにより撮影された画像に含まれる魚体が検出されるが、これに限られない。
また、情報処理装置は、時系列の生物情報と給餌情報とに基づいて生育異常に関する判定を行うようにしてもよい。また、情報処理装置は、生育状態に関する判定結果に基づいて給餌指示情報を出力するようにしてもよく、生育計画情報と生育状態の判定結果とに基づいて、給餌指示情報を出力するようにしてもよい。情報処理装置は、生簀毎に生物情報を取得する判定を行い、判定結果を出力するようにしてもよいし、判定が完了していない生簀を特定する未完生簀情報を出力するようにしてもよい。情報処理装置は、水棲動物の生育状態が予め設定された出荷基準を満たしているか否かを判定するようにしてもよい。
図1は、本発明の実施の形態1における水棲動物検出システム1の概要図である。
なお、以下の図において、符号Pは海などに設けられた生簀を示し、符号P1は生簀Pを構成する構成部材(例えば、生簀Pを囲うネットなど)を示す。
図1に示されるように、本実施の形態において、水棲動物検出システム1は、情報処理装置10、端末装置60、カメラユニット80、及び情報入力装置90を備える。本実施の形態において、後述のように、情報処理装置10が水棲動物検出装置10Dとしても機能するようになっているが、これに限られるものではない。
本実施の形態において、情報処理装置10及び情報入力装置90は、リモート側(いわゆるASP側)の装置であり、端末装置60及びカメラユニット80は、ローカル側(生簀P側)の装置であるといえる。情報処理装置10と端末装置60とは、互いにインターネットなどのネットワークを介して通信可能である。また、情報処理装置10と情報入力装置90とは、互いにネットワークを介して通信可能である。カメラユニット80は、端末装置60に接続されている。
なお、本実施の形態において、情報処理装置10と、端末装置60と、情報入力装置90とのそれぞれがインターネットなどのネットワークに接続されているが、これに限られるものではない。例えば、情報処理装置10と端末装置60のみがネットワークに接続されており、情報入力装置90が情報処理装置10に接続されていてもよい。カメラユニット80がネットワークに接続されており、ネットワーク経由でカメラユニット80と端末装置60とが接続されていてもよい。また、ローカル側にサーバ装置が設けられており、そのサーバ装置に他のローカル側の装置が接続されていてもよい。また、情報処理装置10や情報入力装置90がローカル側の装置の1つとして設けられていてもよいし、各装置が、ローカル側とリモート側との区別なく、以下に説明するような水棲動物検出システム1の動作を行うことができるように互いに接続されていればよい。
なお、図1においては、例えば、タブレット型の情報端末装置が端末装置60として示されており、ラップトップコンピュータ型の装置が情報入力装置90として示されているが、これに限られない。これらの装置は、例えば、タブレット型の情報端末装置や、いわゆるスマートフォンなどの携帯情報端末装置や、ラップトップコンピュータなどのパーソナルコンピュータ(PC)のいずれであってもよいし、これら以外の装置であってもよい。
情報入力装置90は、例えば一般的なラップトップコンピュータ型の情報端末装置である。情報入力装置90は、種々の情報やプログラム等が記憶されている格納部、MPUやメモリ等から実現されており、プログラムを実行することで種々の処理を行う処理部、情報入力装置90をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行えるように制御する通信部などを有している。
情報入力装置90においては、処理部がプログラムを実行することにより、例えばウェブブラウザ機能を機能させたり、電子メール等の情報の送受信機能を機能させたりすることができる。このような機能により、情報入力装置90のユーザは、ネットワークに接続されている他の装置から受信した情報を閲覧したり、情報入力装置90に他の装置に向けて情報を送信させたりすることができる。
カメラユニット80は、カメラ81が取り付けられておりユーザ(検出作業者)が手で把持可能な治具87を有している。換言すると、治具87は、カメラユニット80のうち、カメラ81以外の部分である。治具87は、カメラ81を水中に沈めて保持するための腕部88を有している。なお、治具87の形状や構成はこれに限られるものではない。また、ワイヤなどを介してカメラ81を吊り下げる構成などが採用されていてもよい。
本実施の形態では、例えば、ユーザは、検出対象の魚が居る生簀Pのそばに行き、端末装置60及びそれに接続されたカメラユニット80を用いて、生簀P内の魚についての検出作業を行う。
詳しくは後述するが、本実施の形態において、水棲動物検出システム1では、以下のように情報のやりとりが行われる。すなわち、カメラ81により撮影された画像等やカメラユニット80により取得された情報は、端末装置60に入力される。端末装置60は、ネットワークを介して、画像等の情報(例えば、画像や、センサ計測情報や、位置情報などの情報であるが、これに限られるものではない)を、情報処理装置10に送信する。また、情報入力装置90は、種々の入力データ(例えば、魚種や、生育日数や、給餌量に関する情報や、天候履歴や、水質履歴などの情報であるが、これに限られるものではない)を、情報処理装置10に送信する。情報処理装置10は、後述のように検出処理や生育状態に関する判定処理等を行い、その結果を示す情報(魚のサイズや、重量や、通知情報や、判定結果などの情報であるが、これに限られるものではない)を端末装置60に送信する。端末装置60では、送信された情報を受信して、ユーザに対して出力することができる。
図2は、同水棲動物検出システム1のブロック図である。図3は、同情報処理装置10のブロック図である。
図3に示されるように、情報処理装置10は、受信部18、送信部(通知出力部の一例)19、格納部21、及び処理部30を備える。
受信部18及び送信部19は、情報処理装置10をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行う。受信部18及び送信部19は、例えば無線LANや携帯電話のデータ通信などを利用して無線通信を行うように構成されていてもよいし、各種の有線による通信を行うように構成されていてもよい。
受信部18は、他の装置から送信された情報を受信する。受信部18は、受信した情報を、例えば格納部21に蓄積したり、処理部30により行われる処理に引き渡す。
送信部19は、他の装置に情報を送信する。送信部19は、例えば、格納部21に格納されている情報を送信したり、処理部30から引き渡された情報を送信する。送信部19は、例えば、後述のようにして通知生成部36により生成された通知情報を送信する通知出力部として機能する。
格納部21には、種々の情報が格納される。格納部21は、不揮発性の記録媒体で実現されているが、揮発性の記録媒体でも実現可能である。格納部21の各部には、例えば後述のような処理部30の各部によって取得された情報などがそれぞれ格納されるが、格納部21の各部に情報等が記憶される過程はこれに限られない。例えば、記録媒体を介して情報等が格納部21で記憶されるようになってもよく、通信回線等を介して送信された情報等が格納部21で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報等が格納部21で記憶されるようになってもよい。
格納部21は、本実施の形態において、通知条件格納部22及び第2通知条件格納部23を備えている。
通知条件格納部22には、通知条件が格納される。通知条件は、後述のように、検出作業の実行時に、検出作業を行うユーザに対して、検出作業に関する通知を行うか否かを判定する際に用いられる。通知条件は、予め設定されている。ユーザの検出作業に先立って設定されてもよいし、検出作業の開始時や作業中にユーザにより指定されることで設定されるようにしてもよいし、情報処理装置10が取得した情報に基づいて自動的に設定されるようにしてもよい。
本実施の形態において、通知条件は、水棲動物の検出の進捗状況に関する条件を含む。具体的には、例えば、通知条件は、検出作業により検出された水棲動物の個体数の合計(検出数)に関する条件を含む。また、通知条件は、検出数の最終達成値に対する現在の検出数の達成度など(検出数100がゴールとして設定されている場合に、現在の検出数がその10パーセント、20パーセント、・・に達したことなど)であってもよい。例えば、一の生簀において生育されている水棲動物の大きさを測定する目的で検出作業を行う場合において、検出数が所定の数以上になれば水棲動物の大きさを表すのに統計的に有効な平均値が得られる場合、その数を通知条件として設定することができる。また、この場合、例えば、測定により得られる測定値と、その測定値を用いて計算される標準偏差等の値とを用いて、所定の信頼区間(例えば、3シグマの区間)を有する測定結果が得られるだけの検出数を、水棲動物の検出作業の進捗に伴って随時算出して(例えば、後述の検出処理部31により算出するようにすればよい)、通知条件として設定してもよい。
なお、本実施の形態において、通知条件は、カメラ81と画像から検出された水棲動物との位置関係に関する条件を含んでいてもよい。ここで、位置関係とは、例えば、水棲動物の姿勢(例えば、魚である水棲動物の向き)に対するカメラ81の向きや、水棲動物とカメラ81との距離等であるが、これに限られない。
第2通知条件格納部23には、第2通知条件が格納される。第2通知条件は、後述のように、検出作業の実行時に行われる、水棲動物の計測結果に関する条件である。すなわち、第2通知条件は、例えば、水棲動物の大きさ(魚体長(先端から尾びれの後端までの長さであるが、これと異なる定義であってもよい)や、魚体高(背側から腹側までの魚体の寸法であるが、これと異なる定義であってもよい)や、魚体幅(魚体の両側面間の幅であるが、これと異なる定義であってもよい)や、体重(重量)など)の計測結果について定められた、所定の閾値等である。なお、第2通知条件は、これらに限られるものではない。例えば、検出作業において、魚体の大きさに関わる任意の特徴量(例えば、水棲動物の腹の垂れ下がり具合や水棲動物のフォルムなど)について計測結果を得る場合において、当該特徴量に関する第2通知条件が設定されていてもよい。
また、格納部21は、本実施の形態において、生物情報格納部24、モデル情報格納部25、給餌情報格納部26、生育計画情報格納部27、及び出荷基準情報格納部28を備えている。
生物情報格納部24には、生物情報が格納される。生物情報は、後述のように、生物情報取得部42により取得された情報である。すなわち、生物情報は、画像に基づいて取得された情報であり、検出作業において検出された水棲動物についての計測値又は魚体の大きさに関わる任意の特徴量であってもよいし、検出作業において検出された水棲動物の個体数等に基づいて得られる情報であってもよい。
モデル情報格納部25には、モデル情報が格納される。モデル情報は、水棲動物の成長に関する参照値である。モデル情報は、例えば、水棲動物についての、時間の推移(例えば、生育数(例えば、DOC(Day of Culture;養殖用の生簀に稚魚を入れてからの成育日数)や、ふ化後に経過した日数など)と体の成長を示す指標との標準的な関係を示す情報である。より具体的には、例えば、魚について、DOCと、標準的な魚体長や平均体重などを対応付けた値をいう。参照値は、テーブルにまとめられていてもよいし、例えば数式などによって表される成長曲線であってもよい。なお、モデル情報は、このような既存の成長曲線モデルなどに限られるものではない。例えば、公知の成長曲線モデルを、生物情報格納部24に格納されている時系列の生物情報を活用して補正した成長曲線モデルであってもよい。また、モデル情報は、生簀の環境(例えば、水温や、水質(酸素濃度や、pHなど)に応じて用意されていてもよい。
給餌情報格納部26には、給餌情報が格納される。給餌情報は、生簀への給餌に関する情報であり、より具体的には、例えば、給餌を行った時刻や、給餌を行った量などの情報(給餌開始/終了時間、日間給餌量、月間給餌量、給餌間隔など)を含む。給餌情報は、他にも、例えば、給餌した餌を特定する識別子や、餌の性質に関する情報(ペレットの大きさや魚粉含有量など)などを含んでいてもよい。
生育計画情報格納部27には、予め設定された生育計画を示す生育計画情報が格納される。生育計画情報とは、例えば、水棲動物についての時間の推移に対応付けられた、体の成長を示す指標の目標値である。生育計画情報は、例えば、モデル情報に、水棲動物の種苗としての特性や、生簀の環境等の特性などを踏まえて設定することができるものであるが、これに限られるものではない。生育計画情報は、例えば、水棲動物について出荷することが期待される時期や大きさ等を踏まえて設定されていてもよい。
出荷基準情報格納部28には、予め設定された出荷基準を示す出荷基準情報が格納される。出荷基準情報とは、出荷基準を示す情報であり、例えば、水棲動物の出荷先(販売先)から要求された大きさ、重量、販売時期等を示す情報であるが、これに限られない。
処理部30は、検出処理部31、及び情報処理部40を備える。処理部30は、上述の検出処理部31や情報処理部40が行う処理のほか、情報処理装置10の動作を制御したり、端末装置60等と連携した処理などを行う。端末装置60など、ネットワークを介して接続されている装置との連携は、各装置に指令を送信したり各装置からの情報を受信したりすることなどにより行うことができる。
処理部30は、通常、MPUやメモリ等から実現されうる。処理部30の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。
検出処理部31は、主に、検出作業に関する処理を行う。検出処理部31は、画像取得部32、検出部33、計測部34、通知判断部35、及び通知生成部36を備える。なお、計測部34は検出部33に含まれているが、これに限られるものではない。
画像取得部32は、カメラ81により撮影された画像を取得する。本実施の形態において、画像は、カメラ81により撮影された後、即時に端末装置60を介して情報処理装置10に送信される。すなわち、画像取得部32は、カメラ81により撮影された画像を、即時に取得する。なお、ここで即時とは、必ずしも時間差が極めて小さいことを意味せず、多少の遅延時間や、通信や画像処理などの処理のための時間が含まれていてもよい。なお、カメラ81により撮影された画像が即時に情報処理装置10に送信されなくてもよく、例えば、定期的(数秒間隔、数分間隔、数時間間隔など)に送信されたり、所定のイベントの発生が端末装置60などで検出されたタイミングで画像が情報処理装置10に送信されたりするように構成されていてもよい。
検出部33は、画像に映っている水棲動物を検出する。本実施の形態において、検出部33は、画像が撮影されてから即時に水棲動物の検出を行う。換言すると、検出部33は、画像取得部32により撮影から即時に取得された画像を読み出し、即時に水棲動物の検出を行う。検出部33による水棲動物の個体の検出は、種々の公知の方法により行うことができる。例えば、検出部33は、画像取得部32により取得された画像に含まれる物体の輪郭を抽出し、抽出した輪郭と予め用意された輪郭情報とを比較し、水棲生物の輪郭情報との類似度が所定値よりも高い場合に、輪郭を抽出した物体が水棲動物であると判定できる。また、例えば、検出部33は、画像取得部32により取得された画像に含まれる物体を含む領域画像を入力とし、当該物体が水棲動物であるか否かを示す情報を出力として、機械学習の手法により構成した学習器を用いて、画像に含まれる物体が水棲動物であるか否かを検出するようにしてもよい。
また、検出部33は、計測部34を有している。計測部34は、画像に映っている水棲生物の計測を行う。本実施の形態において、計測部34は、検出部により画像から検出された水棲動物の個体について、大きさに関する計測を行う。計測部34は、例えば、魚体長を計測するが、これに限られない。水棲動物の個体について、魚体長のほか、魚体高、魚体幅などの種々の寸法をそれぞれ計測したり、これらのいずれかを計測したりしてもよい。また、計測部34は、測定した測定値に基づいて、水棲動物の体重を取得してもよい。体重は、例えば、予め測定値と体重とを対応付けたテーブル情報(例えば、格納部21に格納されていればよい)を用いて体重を判定することや、測定値と体重との関係を示す関数を用いて算出することや、予め機械学習の手法により構成された学習器を用いて取得することにより、求めることができる。本実施の形態において、計測部34がこのようにして体重を取得することを、体重を計測するということができる。また、計測部34は、例えば、魚体の大きさに関わる任意の特徴量(例えば、水棲動物の腹の垂れ下がり具合や水棲動物のフォルムなど)を取得するようにしてもよい。なお、このような水棲動物の大きさに関する計測は、種々の公知の方法により行うことができる。例えば、計測部34は、上述のように水棲動物であると判定した物体について検出した複数の所定の特徴点間の距離や特徴点の位置に基づいて寸法を計測してもよい。また、例えば、計測部は、水棲生物であると判定した物体がある領域の画像を入力とし、水棲生物の大きさに関する特徴量を出力とするように構成された学習器を用いて、計測結果を得るようにしてもよい。
このように、本実施の形態において、水棲動物の検出とは、水棲動物の個体の検出と、検出した個体の大きさに関する計測とを含む概念である。検出部33は、画像について水棲動物の個体を検出すると、計測部34により、検出された当該個体についての計測を行う。一の個体についての計測が完了すると、別の個体の検出と計測とが行われる。なお、水棲動物の検出は、水棲動物の個体の大きさの計測を含まない概念として捉えてもよい。この場合、検出処理部31は、検出部33による水棲動物の検出と、計測部34による水棲動物の大きさに関する計測とを行うということができる。
通知判断部35は、検出部33による水棲動物の検出状況に関する通知条件が満たされた否かを判断する。ここで水棲動物の検出状況とは、例えば、一の生簀Pについて水棲動物の検出を開始した場合における、水棲動物の検出数である。すなわち、例えば、通知条件格納部22に、上述のようにして、検出数が所定の数に達したことが通知条件として設定されているとき、通知判断部35は、水棲動物の検出数が、通知条件を満たすか否かを判断する。水棲動物の検出数が所定の数に達した場合に、通知判断部35は、通知条件が満たされたと判断する。
また、カメラ81と画像から検出された水棲動物との位置関係に関する条件が含まれているときに、通知判断部35は、検出部33の検出状況として当該位置関係を表す情報を取得し、通知条件が満たされたか否かを判断するようにしてもよい。
なお、水棲動物の検出状況は、例えば、検出した個体の体調や活動量などであってもよく、この場合、通知条件として、検出した個体の体調や活動量に関する事項が設定されていてもよい。なお、水棲動物の体調や活動量などは、例えば、所定時間において撮影された当該個体の動き等の変化を画像から検出することにより、検出することができる。すなわち、所定時間内において撮影された2以上の画像又は動画像において、検出した一の個体について、移動した距離や、姿勢の変化量などを検出する。検出した値が所定の閾値を超えているか否かに応じて、当該個体の体長や活動量を検出することができる。なお、検出方法は、これに限られるものではない。
また、本実施の形態において、通知判断部35は、計測部34による計測結果に関する第2通知条件が満たされたか否かを判断する。例えば、水棲動物の魚体長が所定の閾値に達したことが第2通知条件として設定されている場合において、通知判断部35は、水棲動物の個体の計測値が所定の閾値に達しているか否かを判断する。そして、計測値が所定の閾値に達しているとき、通知判断部35は、第2通知条件が満たされたと判断する。なお、第2通知条件として水棲動物の大きさに関する所定の閾値が設定されている場合に、通知判断部35は、検出を行った個体の計測値の平均値を所定の閾値と比較して、第2通知条件が満たされたか否かの判断を行うようにしてもよい。この場合、例えば、検出数が所定数以上になるまで、第2通知条件が満たされたか否かの判断を行わないようにしてもよい。また、通知判断部35は、各個体の計測値が所定の閾値に達していると所定回数以上判断したり、各個体の計測値が所定の閾値に達していると連続して所定回数以上判断したりした場合に、第2通知条件が満たされたと判断するようにしてもよい。
通知生成部36は、通知判断部35により通知条件が満たされたと判断された場合に、通知情報を生成する。ここで、通知情報とは、ユーザに通知を行うための情報である。本実施の形態では、通知生成部36が生成した通知情報は、送信部19により、端末装置60に送信(出力の一例)される。通知情報が端末装置60に送信される結果として、例えば、端末装置60から通知が行われる。具体的には、例えば、端末装置60から音声が出力されたり、端末装置60から振動が発生したり、端末装置60の画面に情報が表示されたりすることにより、ユーザが通知を受けることができる。通知情報は、例えば、ユーザに対して、通知条件が満たされたことを通知するための情報である。すなわち、ユーザは、通知情報に基づく通知が行われることで、通知条件が満たされたことを知ることができる。通知条件が満たされたことが、当該生簀Pにおける検出作業が十分に行われたことを意味する場合には、ユーザは、通知を受けることにより、生簀Pにおける検出作業を終了してもよい状態になっていることを知ることができる。通知情報の生成は、例えば次のようにして行うことができる。例えば、予め通知条件に対応付けられた所定のメッセージ文を通知情報として生成してもよいし、通知条件に関する所定の変数(「$変数」として示す)を用いて、「『合計で』$変数 『匹の検出が完了しました』」というようなメッセージ文を通知情報として生成してもよい。
また、通知生成部36は、通知判断部35により第2通知条件が満たされたと判断された場合に、第2通知情報を生成する。ここで、第2通知情報は、通知情報と同様に、ユーザに通知を行うための情報であり、送信部19により端末装置60に送信される情報である。第2通知情報が端末装置60に送信される結果として、通知情報が送信されたときと同様に、端末装置60から通知が行われ、ユーザが通知を受けることができる。第2通知情報は、ユーザに対して、第2通知条件が満たされたことを通知するための情報である。すなわち、ユーザは、第2通知情報に基づく通知が行われることで、第2通知条件が満たされたことを知ることができる。例えば、魚体長に関する閾値が第2通知条件として設定されている場合に、ユーザは、通知を受けることにより、生簀Pにおいて、水棲動物の魚体長が第2通知条件が満たされる水準に達していることを知ることができる。第2通知情報の生成は、例えば次のようにして行うことができる。例えば、予め第2通知条件に対応付けられた所定のメッセージ文を第2通知情報として生成してもよいし、第2通知条件に関する所定の変数(「$変数」として示す)を用いて、「『平均の魚体長は』$変数 『センチメートルです』」というようなメッセージ文を第2通知情報として生成してもよい。
なお、上述の第2通知条件が通知条件に含まれていると解釈してもよいし、通知条件が第2通知条件に含まれていると解釈してもよい。通知情報は、第2通知情報を含んでいたり、第2通知情報を兼ねていると解釈してもよい。また、第2通知情報は、通知情報を兼ねていると解釈してもよい。例えば、情報処理装置10から送信された通知情報に基づいて端末装置60からユーザに対して行われる通知が、所定数以上の水棲動物の大きさが所定の閾値に達している旨の通知である場合、通知生成部36によって生成された通知情報は、水棲動物の大きさの測定値に関する第2通知情報でもあると解釈することもできるし、この場合の通知条件は、水棲動物の大きさの測定値に関する第2通知条件も含んでいるものであると解釈することも可能である。
検出処理部31は、格納部21の通知条件格納部22及び第2通知条件格納部23と共に、水棲動物検出装置10Dを構成しているといえる。換言すると、情報処理装置10は、水棲動物検出装置10Dを有しているといえる。
情報処理部40は、以下に示すように、検出作業により得られた情報に基づいて処理を行う。本実施の形態において、情報処理部40は、状況情報取得部41、生物情報取得部42、生物情報蓄積部43、未完生簀判定部44、未完生簀情報生成部45、生育状態判定部46、及び給餌指示情報生成部47を備える。
状況情報取得部41は、カメラ81により撮影された画像の撮影状況に関する撮影状況情報を取得する。撮影状況に関する撮影状況情報には、撮影が行われた時刻等、時間に関する撮影時間情報が含まれる。また、撮影状況情報に他の情報が含まれていてもよく、その情報は、例えば、カメラ81の位置に対応する位置情報(すなわち、生簀Pの位置を示す位置情報)であってもよいし、天候等を示す情報であってもよいし、後述のようにカメラユニット80に設けられている環境センサ84により計測された情報などの環境情報であってもよい。また、撮影状況情報には、撮影対象である生簀Pを特定する情報や、生簀Pの性質を示す情報などの生簀情報が含まれていてもよい。
なお、位置情報は、例えば、カメラユニット80又は端末装置60で衛星利用測位システム(GPS)などを利用して取得された情報であってもよいし、予め特定された住所等の地点を示す情報であってもよい。また、位置情報は、例えば、端末装置60や情報入力装置90などを介してユーザにより入力された情報であってもよい。例えば、ユーザにより入力された撮影対象である生簀Pを特定する情報と、予め生簀Pを特定する情報と生簀Pの位置情報とが対応付けられた情報とに基づいて、位置情報が取得されるようにしてもよい。
天候等を示す情報は、例えば、晴れや曇りなどの情報であってもよいし、気温、風速、天候、降水量、日射量、波の高さなどを示す情報であってもよい。
環境情報は、例えば、水温や、酸素、アンモニア、硝酸塩、亜硝酸塩、二酸化炭素、海水の色や濁度、プランクトンなどの生物量の濃度や、その他の水質に関する事項などに関する情報などであるが、これに限られるものではない。
生簀情報のうち、生簀Pを特定する情報は、例えば、生簀Pを識別可能な生簀識別子等である。また、生簀Pの性質を示す情報は、例えば、育成されている水棲動物の種苗を特定する情報(魚種、種苗情報など)や、育成期間に関する情報や、生育開始時の尾数に関する情報や、生簀Pの大きさを示す情報など、種々の情報が該当しうる。
状況情報取得部41は、このような撮影状況情報を、例えば、情報入力装置90から送信された入力データから取得可能であってもよい。この場合、情報入力装置90においてユーザにより入力された情報が、撮影状況情報として取得されるということができる。また、状況情報取得部41は、端末装置60から送信された情報から、撮影状況情報を取得可能であってもよい。この場合、端末装置60により自動的に取得された情報(例えば、カメラユニット80から端末装置60に送られた情報)や、端末装置60においてユーザにより入力された情報が、撮影状況情報として取得されるということができる。
なお、状況情報取得部41は、給餌情報を含む撮影状況情報を取得してもよい。給餌情報は、例えば、撮影された水棲動物に対して行われた給餌作業に関する情報である。取得された撮影状況情報に含まれる給餌情報は、例えば、給餌情報格納部26に蓄積される。
生物情報取得部42は、検出部33で検出された、水棲動物に関する生物情報を取得する。生物情報とは、画像に基づいて検出部33により取得されたものである。例えば、検出部33により検出された水棲動物の検出数等に基づいて得られる情報であってもよいし、水棲動物の大きさの計測値であってもよい。
生物情報蓄積部43は、生物情報取得部42により取得された生物情報を、撮影状況情報に対応づけて、生物情報格納部24に蓄積する。本実施の形態において、生物情報は、例えば、その生物情報に対応する画像が撮影された生簀Pを示す生簀識別子と、撮影時間情報とに、少なくとも対応付けられている。
生物情報蓄積部43により生物情報取得部42に生物情報が蓄積されていくことにより、生物情報取得部42には、時系列の生物情報が構成される。すなわち、時系列の生物情報とは、過去の複数の時点においてそれぞれ検出作業により検出された生物情報である。なお、時系列の生物情報は、時系列の生育履歴情報やそれを含むものであってもよい。時系列の生育履歴情報は、過去の複数の時点における生育状態判定部46による水棲動物の生育状態に関する判定結果(詳細は、後述する)が蓄積された情報である。
未完生簀判定部44は、本実施の形態において、生簀P毎に、一の検出機会における水棲動物の検出作業が行われたか否かを判定する。ここで、一の検出機会とは、複数の生簀Pについてまとめて検出作業を行うための機会をいう。一の検出機会についての情報として、例えば、検出作業を行う日と、検出作業を行うべき生簀Pの生簀識別子を対応付けた検出機会情報が、格納部21等に格納されている。本実施の形態において、未完生簀判定部44は、例えば、検出機会情報を参照し、一の検出作業を行う日に対応付けられている生簀識別子を抽出する。また、未完生簀判定部44は、生物情報格納部24に格納されている生物情報のうち撮影時間情報に基づいて同日の情報であると判別される生物情報に対応する生簀識別子を抽出する。そして、未完生簀判定部44は、両者の生簀識別子同士を比較し、生物情報に対応する生簀識別子が抽出された生簀Pについて、一の検出機会における水棲動物の検出作業が行われたと判定し、生物情報に対応する生簀識別子が抽出されていない生簀Pについて、水棲動物の検出作業が行われていない(検出作業が未完了である)未完生簀であると判定する。すなわち、未完生簀判定部44は、生物情報格納部24に格納されている生物情報に対応する生簀識別子及び撮影時間情報に基づいて、生簀P毎に、未完生簀であるか否かを判定する。
未完生簀情報生成部45は、未完生簀判定部44において検出作業が行われていないと判定された未完生簀がある場合に、未完生簀を特定する未完生簀情報を生成する。未完生簀情報には、未完生簀を特定する生簀識別子が含まれる。本実施の形態において、未完生簀情報生成部45により未完生簀情報が生成されると、送信部19により、未完生簀情報が端末装置60に送信される。未完生簀情報が端末装置60に送信される結果として、例えば、端末装置60の画面に情報が表示され、ユーザが通知を受けることができる。ユーザは、未完生簀情報に基づく通知が行われることで、未完生簀があることや、その未完生簀の情報を知ることができる。なお、例えば、未完生簀情報には、未完生簀の位置を示す位置情報が含まれていてもよい。その場合、端末装置60が未完生簀の位置を示す情報を表示することで、ユーザは、未完生簀の場所をより容易に知ることができる。
生育状態判定部46は、以下のように、生物情報蓄積部43により蓄積された生物情報に基づいて、水棲動物の生育状態に関する判定を行う。生育状態に関する判定としては、種々のものを行うようにすればよい。例えば、生育状態に関する判定とは、水棲動物が順調に生育しているか否かの判定や、生育異常があるか否かの判定などであるが、これに限られない。例えば、後述するような、水棲動物が出荷に好適な程度に成長しているか否か(すなわち、出荷基準を満たしているか否か)や、水棲動物への給餌状態が適正であるか否かなどに関する判定を意味していてもよい。
水棲動物の生育状態に関する判定には、生物情報蓄積部43により蓄積された時系列の生物情報が用いられてもよいし、一の時点の生物情報のみが用いられてもよい。本実施の形態においては、生育状態判定部46は、生簀P毎に、水棲動物の生育状態に関する判定を行う。
このような生育状態の判定結果は、送信部19により、端末装置60等の他の装置に送信されるようにしてもよい。判定結果が端末装置60等に送信されると、ユーザは、端末装置60等を通して、水棲動物の生育状態に関する情報を得ることができる。
本実施の形態において、生育状態判定部46は、生物情報と、給餌情報格納部26に格納されている給餌情報とに基づいて、水棲動物の生育が異常な状態である(生育異常である)か否かについて判定するようにしてもよい。
また、生育状態判定部46による判定は、例えば、モデル情報格納部25に格納されているモデル情報に基づいて行われてもよい。すなわち、生育状態判定部46は、時系列の生物情報から得られる水棲動物の成長の過程を、モデル情報と比較して、成長が遅いか否かなどについて判定することができる。
また、例えば、生育状態判定部46は、生育計画情報格納部27に格納されている生育計画情報に基づいて、生育状態に関する判定を行うようにしてもよい。すなわち、生育計画情報において生育状態として期待されている大きさに達しているか否かについて、生育状態判定部46が判定するようにしてもよい。
また、例えば、生育状態判定部46は、生物情報と出荷基準情報格納部28に格納されている出荷基準情報とに基づいて、水棲動物の生育状態が出荷基準を満たしているか否かを判定してもよい。例えば、出荷基準として、水棲動物の魚体長と販売時期等が規定されている場合には、生育状態判定部46は、当該販売時期において、生物情報が出荷基準で規定されている魚体長に達しているときには、出荷可能であると判定することができる。
給餌指示情報生成部47は、生育状態判定部46による水棲動物の生育状態に関する判定結果に基づいて、水棲動物に対して行われるべき給餌作業に関する給餌指示情報を生成する。給餌指示情報は、例えば、給餌を行う時刻や、飼料の量などの情報を含む。給餌指示情報は、他にも、例えば、給餌する餌を特定する識別子などを含んでいてもよい。
例えば、給餌指示情報生成部47は、生育状態判定部46によって水棲動物の生育状態が生育計画に照らして遅れ気味(生育が進んでいない)であるというような判定が行われた場合には、通常より水棲動物の成育が促進するように給餌指示情報を生成する。具体的には、例えば、1回の給餌量を通常(例えば、予め格納部21に格納されている標準給餌量)よりも増加させたり、給餌を行う頻度が増加するように給餌を行う時刻を設定する。他方、水棲動物が生育計画に照らして過剰に生育しているというような判定が行われた場合には、通常より水棲動物の成育が遅くなるように給餌指示情報を生成する。具体的には、例えば、1回の給餌量を通常よりも減少させたり、給餌を行う頻度が減少するように給餌を行う時刻を設定する。なお、給餌指示情報の生成は、これに限られない。
なお、給餌指示情報生成部47により給餌指示情報が生成された場合には、給餌指示情報は、例えば、格納部21に蓄積される。ユーザは、給餌指示情報を参照することで、生育状態に応じた適正な給餌を行うことができるようになる。なお、給餌指示情報は、送信部19により、端末装置60に送信されるようにしてもよい。給餌指示情報が端末装置60に送信されると、ユーザは、端末装置60を通して、給餌に関する情報を受けることができる。
図2に示されるように、端末装置60は、端末操作受付部61、端末出力部62、端末送信部64、端末受信部65、端末入力部66、端末格納部71、及び端末処理部73を備える。端末装置60は、例えば、検出作業を行うユーザが検出作業を行う場(船上など)で取り扱うことができる情報端末装置である。端末装置60は、例えば一般的なタブレット端末であり、タッチパネルを備えたディスプレイデバイスを有しているが、これに限られるものではない。端末装置2は、ネットワークに接続可能であり、ネットワークに接続されている他の装置との間での通信を行えるように構成されている。
端末操作受付部61は、ユーザによる操作に応じて、ユーザにより入力される情報を受け付ける。
端末出力部62は、例えばディスプレイデバイスである端末表示部63を有している。端末出力部62は、例えば端末表示部63に情報を表示することなどにより、情報の出力を行う。なお、情報の出力方法はこれに限られず、音声等をスピーカーなどから出力することなどにより行われるようにしてもよい。また、端末出力部62は、振動発生デバイスなどを振動させることにより出力を行うようにしてもよい。端末出力部62は、例えば、端末格納部71に格納されている情報を読み出して、出力することができる。
端末表示部63は、カメラ81により撮影された画像を即時に表示可能である。
端末送信部64は、通常、無線又は有線の通信手段で実現されるが、放送手段で実現されてもよい。端末送信部64は、端末構成部75が構成した送信情報を端末格納部71などから読み出して、送信する。端末送信部64は、例えば、カメラユニット80から入力された情報を含む送信情報を送信する。
端末受信部65は、通常、無線又は有線の通信手段で実現されるが、放送を受信する手段で実現されてもよい。端末受信部65は、情報処理装置10や、その他の装置から送信された情報を、ネットワークを介して受信する。端末受信部65は、受信した情報を、例えば端末格納部71に蓄積し、端末処理部73などが取得できるようにする。端末受信部65は、通知生成部36が生成した通知情報や第2通知情報を受信する。
端末入力部66は、例えば、カメラユニット80などの外部装置に接続され、接続された外部装置から出力された情報の端末装置60への入力を制御するインターフェースである。端末入力部66は、入力された情報を、例えば端末格納部71に蓄積し、端末処理部73などが取得できるようにする。本実施の形態において、端末入力部66は、例えば、所定の規格に適合した接続端子及び信号処理装置等で構成されている。なお、端末入力部66は、有線により外部装置との接続を可能とするものではなく、無線により外部装置との接続を可能とするものであってもよい。また、端末入力部66は、外部装置への情報の出力を行い、双方向通信を可能とするものであってもよい。
端末格納部71は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。端末格納部71には、種々の情報やプログラム等が記憶されている。これらの情報等が記憶される過程は問わない。例えば、記録媒体を介して情報が端末格納部71で記憶されるようになってもよく、通信回線等を介して送信された情報が端末格納部71で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が端末格納部71で記憶されるようになってもよい。
端末格納部71は、位置情報格納部72を有する。位置情報格納部72には、端末装置60の位置を示す位置情報が格納される。本実施の形態において、位置情報は、例えば、端末装置60に設けられている位置センサ(図示せず)により随時取得された情報が格納されるが、これに限定されない。例えば、ユーザにより入力された位置情報であってもよいし、カメラユニット80等の外部機器から送信された位置情報であってもよい。
端末処理部73は、端末取得部74、端末構成部75、及び端末通知部76を備える。
端末処理部73は、通常、MPUやメモリ等から実現されうる。端末処理部73の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。
端末取得部74は、端末格納部71に格納されている情報を、端末処理部73による処理を実行するために取得する。なお、端末取得部74は、端末装置60に入力されたり送信されたりした情報を取得してもよい。
端末構成部75は、カメラユニット80から入力された情報と、位置情報格納部72に格納されている位置情報などと、カメラ81又は端末装置60を特定する識別子とを対応付けた送信情報を構成する。構成された送信情報は、例えば、端末送信部64によって情報処理装置10などに送信される。
端末通知部76は、情報処理装置10から送信された通知情報等が端末受信部65で受信されたとき、通知情報等に応じて端末出力部62に情報を出力させる。すなわち、端末通知部76は、端末受信部65により取得された通知情報に基づいて、ユーザに水棲動物の検出状況に関する通知を行う。端末通知部76は、端末出力部62に音声を出力させることにより通知を行うようにしてもよいし、端末出力部62に振動を出力させることにより通知を行うようにしてもよい。また、端末表示部63への表示、音声の出力、振動の発生など、複数の手段を併用して通知を行うようにしてもよい。端末出力部62からこのような通知が行われることにより、ユーザは、水棲動物の検出状況などに関して通知を受けることができる。
カメラユニット80は、カメラ81、環境センサ84、及びカメラ出力部85を備える。
カメラ81は、例えば、ステレオカメラである。カメラ81は、互いに離れた位置にあり、それぞれ光を受光する撮像素子を有する第1撮像部82と第2撮像部83とを備えている。カメラ81は、第1撮像部82と第2撮像部83とのそれぞれで画像を撮影することで、ステレオ画像を撮影することができる。カメラ81は、水中に沈められて、生簀Pの水中画像を撮影可能である。なお、カメラ81は、ステレオカメラに限られない。また、カメラ81は、例えば、超音波や電波などを送受した結果に基づいて生成される画像を撮影するものであってもよい。
環境センサ84は、例えば、カメラ81とともに、治具87に取り付けられている。環境センサ84は、例えば、生簀Pの水中に沈められて、水温や、酸素、アンモニア、硝酸塩、亜硝酸塩、二酸化炭素の濃度や、その他の水質に関する事項を検出する。
カメラ出力部85は、例えば、カメラユニット80を接続した外部装置に対する情報の出力を制御するインターフェースである。カメラ出力部85は、カメラ81で得られた画像や環境センサ84で検出された情報を、外部装置に出力可能である。本実施の形態において、カメラ出力部85は、カメラユニット80が接続された端末装置60に対して、これらの情報を出力する。カメラ出力部85は、例えば、所定の規格に適合した接続端子及び信号処理装置等で構成されている。なお、カメラ出力部85は、有線により外部装置との接続を可能とするものではなく、無線により外部装置との接続を可能とするものであってもよい。また、カメラ出力部85は、外部装置への情報の出力を行い、双方向通信を可能とするものであってもよい。
図4は、同カメラ81の一例を示す斜視図である。
図4は、紙面おける上下が水の中の上下と一致するようにして通常の使用状態におけるカメラ81の姿勢が示されているものであるが、カメラ81の姿勢はこれに限定されるものではない。
カメラ81において、第1撮像部82と第2撮像部83とは、上下に互いに所定の距離だけ離れている。これにより、撮影された画像に基づいて、生簀P内の水棲動物の寸法を比較的高い精度で測定することができるようになっている。なお、第1撮像部82と第2撮像部83とが、水平方向(上下方向に略垂直な方向)に離れていてもよい。両撮像部82,83の光軸は、互いに略平行であるが、これに限られない。
また、本実施の形態において、カメラ81は、上下方向に略垂直な断面が、各撮像部82,83の光軸に略平行な弦を有する対称翼形状をなす流線型形状を有する筐体を有している。すなわち、カメラ81の筐体は、撮像部82,83の光軸に平行な流れに対して比較的抗力を受けにくい形状を有している。
図5は、同カメラ81を用いた検出作業について説明する図である。
図5においては、生簀Pを上方から見た図が模式的に示されている。生簀Pは、例えば四角形状をなす構成部材P1により囲われた領域である。生簀Pの内部では、多数の水棲動物が泳いでいる。一般に、生簀Pの内部においては、それぞれの水棲動物が同一の方向に、上方から見て円周状の経路上を周回する(図において破線矢印で示す)。そのため、生簀Pの内部においては、その円周状の経路から径方向外側に向けて流れる水流が生まれている(図において実線矢印で示す)。
ユーザは、このような生簀Pについて検出作業を行うとき、水棲動物が周回する経路の外側に、カメラ81を投入する。このとき、径方向外側に向けて流れる水流があるため、ユーザは、容易に、カメラ81を、撮像部82,83の光軸が径方向に略平行となる姿勢に維持することができる。これにより、カメラ81により撮影される画像において、各水棲動物がカメラ81に近い位置において水平方向に移動する姿が収められる。そのため、高い精度で検出作業を行うことができる。
以下、上述のように構成された本実施の形態に係る水棲動物検出システム1の動作の一例を説明する。
図6は、同情報処理装置10の動作の一例を説明するフローチャートである。
本実施の形態において、情報処理装置10は、例えば次のように、ユーザが行う検出作業に関する検出時動作と、生簀Pの生育状態に関する判定を行う判定時動作とを行う。
(ステップS101)すなわち、処理部30は、一の検出機会の作業が開始されたか否かを判断する。例えば、検出機会であることを指示するユーザなどからの情報入力があったり、予め検出機会として規定された時間であったりする場合に、処理部30は、一の検出機会の作業が開始されたと判断する。一の検出機会の作業が開始されたと判断した場合にはステップS102に進み、そうでない場合にはステップS103に進む。
(ステップS102)処理部30は、検出時動作を行う。検出時動作については、後述する。
(ステップS103)処理部30は、生育状態の判定を開始するか否かを判断する。例えば、生育状態の判定を開始することを指示するユーザなどからの情報入力があったり、予め生育状態の判定タイミングとして規定された時刻が到来した場合に、処理部30は、生育状態の判定を開始すると判断する。生育状態の判定を開始すると判断した場合にはステップS104に進み、そうでない場合にはステップS101に戻る。
(ステップS104)生育状態判定部46は、カウンタkに1をセットする。
(ステップS105)生育状態判定部46は、判定対象であるk番目の生簀Pがあるか否かを判断する。判定対象であるk番目の生簀Pがある場合にはステップS106に進み、そうでない場合にはステップS101に戻る。
(ステップS106)生育状態判定部46は、k番目の生簀Pに関して、判定時動作を行う。判定時動作については、後述する。
(ステップS107)生育状態判定部46は、カウンタkを1だけインクリメントし、ステップS105に戻る。
図7は、同検出時動作の一例を示すフローチャートである。
(ステップS111)検出処理部31は、一の生簀Pについての検出作業が開始されたか否かを判断する。例えば、検出を開始することを指示するユーザなどからの情報入力があったり、端末装置60から送信された画像等を含む送信情報の受信が開始された場合に、検出処理部31は、一の生簀Pについての検出作業が開始されたと判断する。このとき、検出処理部31は、例えば、ユーザにより入力された情報又は端末装置60からの送信情報に含まれる、検出作業が行われる生簀Pを特定する生簀識別子に基づいて、検出作業が開始された生簀Pを特定することができる。一の生簀Pについての検出作業が開始されたと判断した場合にはステップS112に進み、そうでない場合にはステップS115に進む。
(ステップS112)状況情報取得部41は、撮影状況情報を取得する。
(ステップS113)検出処理部31は、検出処理を行う。検出処理については、後述する。
(ステップS114)生物情報取得部42は、検出処理において得られた生物情報を取得する。生物情報蓄積部43は、生物情報取得部42により取得した生物情報を、撮影状況情報に対応づけて、生物情報格納部24に蓄積する。
(ステップS115)未完生簀判定部44は、未完生簀があるか否かを判断する。未完生簀がある場合にはステップS116に進み、そうでない場合にはステップS117に進む。
(ステップS116)未完生簀情報生成部44は、未完生簀情報を生成する。送信部19は、生成された未完生簀情報を端末装置60に送信する。これにより、ユーザは、未完生簀があることやその情報を知ることができる。
(ステップS117)検出処理部31は、一の検出機会における検出作業が終了したか否かを判断する。例えば、検出作業を終了することを指示するユーザなどからの情報入力があった場合に、検出処理部31は、検出作業が終了したと判断する。なお、未完生簀がなくなったとき、検出処理部31が検出作業が終了したと判断してもよい。検出作業が終了したと判断した場合には図6の処理に戻り、そうでない場合にはステップS111に戻る。
図8は、同検出処理の一例を示すフローチャートである。
(ステップS131)検出処理部31は、カウンタiに1をセットする。
(ステップS132)画像取得部32は、カメラ81により撮影された画像を取得する。
(ステップS133)検出部33は、画像について画像認識を行い、画像に含まれる水棲動物の魚体を検出する。
(ステップS134)検出部33は、画像について魚体を検出したか否かを判断する。検出した場合にはステップS135に進み、そうでない場合にはステップS139に進む。
(ステップS135)計測部34は、検出した魚体(i番目の魚体)について、魚体長を計測する。計測部34は、計測結果を格納部21に記録する。
(ステップS136)検出処理部31は、カウンタiを1だけインクリメントする。
(ステップS137)通知判断部35は、第2通知条件に基づいて、第2通知条件が満たされたか否かを判断する。第2通知条件が満たされたと判断された場合にはステップS138に進み、そうでない場合にはステップS139に進む。
(ステップS138)通知生成部36は、第2通知情報を生成する。第2通知情報は、送信部19により端末装置60に送信される。これにより、端末装置60において、第2通知情報に基づく通知が行われる。
(ステップS139)通知判断部35は、通知条件に基づいて、通知条件が満たされたか否かを判断する。通知条件が満たされたと判断された場合にはステップS140に進み、そうでない場合にはステップS141に進む。
(ステップS140)通知生成部36は、通知情報を生成する。通知情報は、送信部19により端末装置60に送信される。これにより、端末装置60において、通知情報に基づく通知が行われる。
(ステップS141)検出処理部31は、当該生簀Pについての検出が終了したか否かを判断する。例えば、当該生簀Pについての検出を終了することを指示するユーザなどからの情報入力があった場合に、検出処理部31は、当該生簀Pについての検出が終了したと判断する。なお、通知判断部35により通知条件が満たされたと判断された場合や、所定の時間が経過した場合など、その他のトリガをもって当該生簀Pについての検出が終了したと自動的に判断されるようにしてもよい。生簀Pについての検出が終了したと判断した場合には図7の処理に戻り、そうでない場合にはステップS132に戻る。
図9は、判定時動作の一例を示すフローチャートである。
(ステップS151)生育状態判定部46は、生物情報格納部24から、k番目の生簀Pについての時系列の生物情報を取得する。
(ステップS152)生育状態判定部46は、モデル情報格納部25から、モデル情報を取得する。また、生育状態判定部46は、給餌情報格納部26から、給餌情報を取得する。
(ステップS153)生育状態判定部46は、生簀Pにおいて水棲動物が正常に生育しているか否かを判定する。判定は、例えば、取得した生物情報と、モデル情報と、給餌情報とに基づいて行うことができる。なお、取得した生物情報と給餌情報とに基づいて判定が行われてもよいし、生物情報とモデル情報とに基づいて判定が行われてもよい。正常に生育していると判定された場合にはステップS155に進み、そうでない場合にはステップS154に進む。
(ステップS154)生育状態判定部46は、生育異常であると判定する。
(ステップS155)生育状態判定部46は、生育計画情報格納部27から、生育計画情報を取得する。
(ステップS156)生育状態判定部46は、生育計画情報と生物情報とに基づいて、水棲動物の生育状態が生育計画に照らして進んでいるか否かについて判定する。そして、給餌指示情報生成部47は、生育状態判定部46の判定結果に基づいて、上述のように、給餌指示情報を生成する。
(ステップS157)生育状態判定部46は、出荷基準情報格納部28に格納されている出荷基準情報を取得する。
(ステップS158)生育状態判定部46は、生物情報と出荷基準情報とに基づいて、水棲動物の生育状態が出荷基準を満たしているか否かを判定する。出荷基準を満たしている場合にはステップS158に進み、そうでない場合には、図6の処理に戻る。
(ステップS159)生育状態判定部46は、k番目の生簀Pの水棲動物について出荷可能であると判定する。その後、図6の処理に戻る。
図10は、同生物情報蓄積部43の動作の一例について説明する図である。
本実施の形態において、端末装置60から情報処理装置10に送信される送信情報においては、生簀識別子は含まれていなくてもよい。例えば、検出作業を行う端末装置60の位置を示す位置情報が送信情報に含まれており、情報処理装置10において当該位置情報に基づいて検出作業が行われた生簀Pを特定する生簀特定処理が行われるようにしてもよい。
図10において、符号D1で示される表の各行(各レコード)は、送信情報の一例である。すなわち、送信情報は、例えば、撮影日時と、位置情報と、環境センサ84により検出された検出値(例えば、酸素濃度、pH、及び水温)と、撮影された画像を特定する画像識別子とが対応付けられた情報である。
他方、符号D2で示される表は、管理対象となっている複数の生簀Pのそれぞれについて、生簀識別子と当該生簀Pの位置情報とが対応付けられている生簀情報である。このような生簀情報は、例えば、予め格納部21に格納されていてもよいし、例えば情報入力装置90等から情報処理装置10に送信されるようにしてもよい。
処理部30は、このような送信情報が端末装置60から送信されたとき、符号D2で示される生簀情報を用いて、生簀特定処理を行う。すなわち、生簀特定処理では、処理部30は、送信情報に含まれる位置情報に基づいて、それに対応する生簀の生簀識別子を生簀情報から取得し、当該送信情報に対応付けることができる。また、画像について検出処理を行うことで、水棲動物の魚体長等の情報を得て、送信情報に含まれる情報と対応付けることができる。
符号D3で示される表の各行(各レコード)は、生物情報及びそれに対応付けられた撮影状況情報の一例である。すなわち、例えば、生物情報である平均体長と、撮影時間情報である撮影日時と、生簀識別子と、魚種と、天候と、水温と、生育日数と、水質が正常であるか否かと、のそれぞれの撮影状況情報とが、互いに対応付けられて、生物情報格納部24に格納される。なお、例えば、魚種、天候、生育日数は、情報入力装置90から送信された情報に基づいて、生簀識別子に対応付けられるが、これに限られるものではない。また、水質が正常であるか否かを示す情報は、端末装置60から送信された送信情報に含まれる水質に関する測定値に基づいて処理部30により生成された情報であるが、これに限られない。これらの情報の他にも、種々の情報(例えば、1日あたりの給餌量などの給餌情報など)が生物情報に対応付けられていてもよい。
このように複数の時点における生物情報等の情報が蓄積されることで、生簀P毎に、時系列の生物情報が蓄積される。
図11は、同生物情報格納部24に格納される時系列の生物情報の一例を示す図である。
図11においては、生簀識別子が「AA003」である生簀Pについての生物情報の一例が示されている。上述のように、生物情報蓄積部43は、生物情報を、撮影時間情報(例えば、撮影日時)と生簀識別子とに対応付けて蓄積する。そのため、生簀P毎に、生簀識別子をキーにして、時系列の生物情報を抽出することができる。時系列の生物情報により、生簀P毎に、水棲生物の成長の経過を取得することができる。このような時系列の生物情報と、例えばモデル情報とを比較することにより、水棲動物の生育状況が適正であるか否かなど、種々の判定や評価を行うことができる。
図12は、同出荷基準情報格納部28に格納される出荷基準情報の一例を示す図である。
図12に示されるように、出荷基準情報は、例えば、出荷先と、希望納期(出荷時期を特定する情報の一例)と、出荷する基準となる魚体長(出荷基準の一例)などが、生簀識別子に対応付けられているものである。これらの情報のほか、魚種に関する情報や、受注内容すなわち出荷条件を特定する受注識別子などが対応付けられていてもよい。このような出荷基準情報と、生物情報とに基づいて、生簀P毎に、水棲動物が出荷基準を満たす程度に成長しているか否かを判定することができる。
図13は、同給餌指示情報生成部47の動作について説明する表である。
図13には、給餌指示情報の生成に関して用いられる、標準給餌量を定める情報の一例が表形式で示されている。本実施の形態においては、生簀P内で生育される所定の個体数の水棲動物に与えるべき1日あたりの給餌量が示されている。給餌量は、水棲動物の体重と、水温とにそれぞれ対応して定められている。給餌指示情報生成部47は、例えば、このようにして定められた標準給餌量を定める情報と、検出された生物情報及び水温等に基づいて、標準給餌量を求めることができる。そして、給餌指示情報生成部47は、水棲動物の生育状態が生育計画に照らして遅れている場合や進んでいる場合には、標準給餌量から増減した給餌量を給餌するように、給紙指示情報を生成することができる。
なお、本実施の形態において、処理部30は、撮影状況情報を含む時系列の生物情報と、給餌情報とに基づいて、標準給餌量を定める情報を生成したり、予め設定されている情報を補正したりしてもよい。また、処理部30は、撮影状況情報を含む時系列の生物情報に基づいて、モデル情報を生成したり、予め設定されているモデル情報を補正したりしてもよい。このような標準給餌量を定める情報やモデル情報の生成や補正は、例えば、魚種毎に行ったり、生簀P毎や生簀Pのあるエリア毎に行ったりすることができる。このような標準給餌量を定める情報やモデル情報の生成は、具体的には、例えば、統計的な手法によって生物情報等を解析することにより行うことができる。また、このような標準給餌量を定める情報やモデル情報の補正は、例えば、得られた生物情報などと既存の情報との比較結果に基づいて既存の情報に対する補正値を算出することにより行うことができる。
図14は、同処理部30によるモデル情報の補正に関する動作の一例を示すフローチャートである。
本実施の形態において、処理部30は、例えば以下のようにしてモデル情報の補正を行うことができる。
(ステップS101)処理部30は、所定の魚種についての時系列の生物情報を、生物情報格納部24から取得する。
(ステップS102)処理部30は、モデル情報格納部25に格納されているモデル情報を取得する。
(ステップS103)処理部30は、取得した時系列の生物情報と、モデル情報とを比較することにより、補正値を生成する。具体的には、例えば、特定の魚種について、多数の生簀Pについての魚体長などの生物情報の平均値や、生育日数が同程度である異なる生育機会における魚体長などの生物情報の平均値が、モデル情報により特定される魚体長の平均値よりも所定の閾値以上ずれていれば、所定の値を補正値として生成する。なお、補正値の生成はこれに限られるものではない。
(ステップS104)処理部30は、生成した補正値を用いて、モデル情報を更新する。また、更新されたモデル情報は、モデル情報格納部25に格納され、以後の処理において用いられる。
なお、このような標準給餌量を定める情報やモデル情報の生成等は、例えば、上述のような、機械学習の手法を用いて行うようにしてもよい。例えば、撮影状況情報を入力情報とし生物情報を出力情報として構成した学習器を、モデル情報として用いることができる。また、撮影状況情報を含む生物情報を入力情報として、当該生物情報に対応する給餌情報を出力情報として構成した学習器を、給餌量を出力するための情報として用いることができる。この場合、給餌指示情報生成部47は、学習器に撮影状況情報を含む生物情報を入力することにより、望ましい給餌量を特定する給餌指示情報を生成することができる。例えば、情報処理装置10の格納部21に保存されている上記のような時系列の生物情報から、各パラメータの強い関係性(相関関係や逆相関など)を機械学習などの数値解析によって検知することによって、モデル情報を作成してもよい。例えば、魚体の大きさと水温などの環境データ、日間給餌量の関係性を評価し、関係式や対応表を作成することができる。これにより、リアルタイムの水棲動物の大きさに関する計測結果と、取得した関係式とに基づいて、リアルタイムの適切なs給餌量を通知することができる。
機械学習の手法を用いる場合には、以下のように工夫してもよい。すなわち、検出に用いられた画像をユーザが確認し、学習器の構成に不適であると思われるものを除外・修正してもよい。また、魚の生理学的特徴として、年齢や成熟度に応じて成長率が変わるという点が挙げられる。成長曲線の傾向は種苗や環境条件によって左右されるが、全体の傾向は同じであるため、魚体長などの測定によって得られた成長曲線の実績データを入力情報として、成長曲線の特徴量を抽出してもよい。また、既存の生物生理学の成果による成長曲線を、時系列の生物情報を活用して得たモデル情報にて補正することで、水棲動物検出システム1の適用先に特有の種苗特性や環境特性を考慮した成長モデルを作成してもよい。これによって魚体の成長曲線を算出することで、次回の検出作業を行うのが好適である目安時期をレコメンドすることができる。
従来の水棲動物検出装置においては、水中の水棲動物の検出を伴う作業を行うことは、容易ではない場合があった。すなわち、適正に検出結果を得られるだけの検出作業を行うことができているかどうか、検出作業を行うユーザが船上などで知ることが困難であった。また、検出作業に利用されるカメラも、比較的大型なものが一般的であり、検出作業自体に大掛かりな設備の用意が必要であった。
これに対し、以上説明したように、本実施の形態においては、検出作業について、所定の通知条件が満たされたときにユーザは通知を受けることができる。したがって、適正に検出結果を得られるだけの検出作業を行うことができているかどうかをユーザが速やかに知ることができるので、容易に水棲動物の検出作業を行うことができる。通知は、例えば、端末装置60に情報が表示されることにより行われてもよい。これにより、ユーザは、カメラ81により撮影されている画像を見ながら、通知を受けることができる。また、通知は、例えば、端末装置60から音声や振動が出力されることにより行われてもよい。これにより、ユーザは、端末装置60の画面に注視していなくても、通知を受けることができる。なお、端末装置60に連携して動作する機器(例えば、カメラユニット80や、端末装置60と通信可能なスピーカなどの装置など)から音声や振動、光等が出力されることにより通知が行われてもよい。
検出作業に用いるカメラ81は、比較的小型なものを用いることができる。また、カメラユニット80は、治具87を用いてユーザが把持可能な程度に小型化することができる。カメラユニット80と端末装置60とを接続して、船上等において検出作業を行うことができるので、容易に水棲生物の検出作業を行うことができる。また、そのような端末装置60を通してユーザに通知を行うことができるので、効果的に、ユーザに通知を行うことができる。カメラ81が小型であることにより、水棲動物に警戒されにくく、効果的に撮影を行うことができる。また、水棲生物の魚体を傷つける可能性も低くなる。
なお、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをソフトウェアダウンロード等により配布してもよい。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布してもよい。
例えば、本実施の形態における、水棲動物検出装置10Dを実現するソフトウェアは、以下のようなプログラムとすることができる。つまり、このプログラムは、コンピュータに、カメラにより撮影された画像を取得する画像取得ステップと、カメラにより撮影された画像に映っている水棲動物を検出する検出ステップと、検出ステップによる水棲動物の検出状況に関する通知条件が満たされた否かを判断する通知判断ステップと、通知判断ステップにより通知条件が満たされたと判断された場合に通知情報を生成する通知生成ステップとを実行させる、プログラムである。
なお、上記実施の形態においては、情報処理装置10が水棲動物検出装置10Dとして機能するような構成が示されていたが、これに限られるものではない。情報処理装置10を構成する機能ブロックのいくつかが、水棲動物検出システム1を構成する他の装置に設けられていてもよいし、端末装置60を構成する機能ブロックのいくつかが、水棲動物検出システム1を構成する他の装置に設けられていてもよい。
図15は、実施の形態1の一変形例に係る水棲動物検出システム101のブロック図である。図16は、同情報処理装置110のブロック図である。
水棲動物検出システム101は、実施の形態1の情報処理装置10及び端末装置60とはそれぞれ構成が異なる情報処理装置110及び端末装置160を有している。
端末装置160は、端末格納部171と、端末処理部173とを有している。端末格納部は、実施の形態1における端末格納部71に比べて、さらに通知条件格納部22及び第2通知条件格納部23を有している点で相違する。また、端末処理部173は、実施の形態1における端末処理部73に比べて、検出処理部31を有している点で相違する。すなわち、端末装置160は、実施の形態1における端末装置60に比べて、実施の形態1において情報処理装置10に設けられていた水棲生物検出装置10Dと同様に構成された水棲動物検出装置160Dを有している点で相違するといえる。
情報処理装置110は、格納部121と、処理部130とを有している。格納部121は、実施の形態1における格納部21に比べて、通知条件格納部22及び第2通知条件格納部23を有していない点で相違する。また、処理部130は、実施の形態1における処理部30に比べて、検出処理部31を有していない点で相違する。
このように構成されている水棲動物検出システム101においても、端末装置160と情報処理装置110とが適宜情報の送受信を行うようにすることで、大まかには実施の形態1と同様にして、検出時動作や判定時動作を行うことができる。
本変形例においては、特に、生簀Pのそばで検出作業を行うユーザの手元において用いることができる端末装置160が、水棲生物検出装置160Dとして機能する。すなわち、水棲動物の検出作業時に、端末装置160から情報処理装置110に画像を送信しなくても、端末装置160において水棲動物の検出や、通知情報の出力が行われる。この際、端末装置160の端末通知部76が、通知情報を出力する通知出力部として機能するといえる。例えば、カメラ81により撮影された画像を表示する端末表示部63に、通知生成部36により生成された通知情報が出力される。したがって、ネットワークを通じて端末装置160と情報処理装置110との通信が行えなかったり、十分な帯域の通信を行うことができない通信環境下で検出作業が行われる際でも、ユーザは、容易に検出作業を行うことができる。このような場合において、判定時動作は、端末装置160と情報処理装置110との通信を行うことができる場合において実行されるようにすればよい。
(実施の形態2)
次に、実施の形態2に係る水棲動物検出システム201について説明する。水棲動物検出システム201は、生簀Pに設置したカメラユニット280を用いて、ユーザがリモート環境においても検出作業を行うことができるように構成されているものである。
図17は、本発明の実施の形態2における水棲動物検出システム201の概要図である。図18は、同水棲動物検出システム201のブロック図である。
図17に示されるように、水棲動物検出システム201は、情報処理装置10、端末装置60、カメラユニット280、及び情報入力装置90を備える。本実施の形態においても、情報処理装置10が水棲動物検出装置10Dとしても機能するようになっているが、これに限られるものではない。
本実施の形態において、情報処理装置10、端末装置60、及び情報入力装置90は、実施の形態1と同様に構成されている。
カメラユニット280は、それ自体がネットワークに接続可能に構成されており、例えば情報処理装置10と通信可能に構成されている。すなわち、カメラユニット280は、カメラ281と、カメラ格納部282と、カメラ処理部283と、カメラ構成部284と、カメラ送信部285と、カメラ受信部286と、環境センサ84とを有している。
カメラ281は、実施の形態1のカメラ81と同様に第1撮像部82及び第2撮像部83を有するステレオカメラである。後述するように、カメラ281は、カメラ81とは異なる形状の筐体を有しているものであるが、これに限られない。すなわち、カメラユニット280にも、実施の形態1のカメラ81が用いられていてもよい。
カメラ格納部282には、種々の情報が格納される。カメラ格納部282は、不揮発性の記録媒体で実現されているが、揮発性の記録媒体でも実現可能である。カメラ格納部282には、例えばカメラ281によって撮影された画像や環境センサ84の測定値などが、外部機器への送信を行うためなどにそれぞれ格納されるが、これに限られない。
カメラ処理部283は、カメラユニット280の動作を制御したり、情報処理装置10と連携した処理などを行う。情報処理装置10や端末装置60など、ネットワークを介して接続されている装置との連携は、各装置に指令を送信したり各装置からの情報を受信したりすることなどにより行うことができる。例えば、カメラ受信部286により、情報処理装置10等から送信された撮影制御情報が受信されたとき、カメラ処理部283は、撮影制御情報に基づいて、カメラユニット280の各部を制御する。撮影制御情報は、例えば、撮影の開始又は停止指示、カメラ281の制御指示、送信情報の送信指示、カメラユニット280の状態を示すステータス情報の送信指示等であるが、これに限られない。
カメラ処理部283は、通常、MPUやメモリ等から実現されうる。カメラ処理部283は、の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。
カメラ構成部284は、カメラ処理部283に設けられている。カメラ構成部284は、カメラユニット280から情報処理装置10に送信する送信情報をカメラユニット280又はその各部を特定する識別子に対応付けて構成する。本実施の形態において、送信情報には、例えば、カメラ281により撮影される画像や、環境センサ84の測定値などが含まれるが、これに限られない。環境センサ84がGPS等を利用して取得した位置情報が、送信情報に含まれていてもよい。
カメラ送信部285及びカメラ受信部286は、カメラユニット280をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行う。カメラ送信部285及びカメラ受信部286は、例えば無線LANや携帯電話のデータ通信などを利用して無線通信を行うように構成されていてもよいし、各種の有線による通信を行うように構成されていてもよい。
カメラ送信部285は、他の装置に情報を送信する。カメラ送信部285は、例えば、カメラ格納部282に格納されている情報を送信したり、カメラ処理部283から引き渡された情報を送信する。例えば、カメラ送信部285は、カメラ構成部284により構成された送信情報を、情報処理装置10等に送信する。
カメラ受信部286は、他の装置から送信された情報を受信する。カメラ受信部286は、受信した情報を、例えば、カメラ処理部283により行われる処理に引き渡す。例えば、カメラ受信部286は、情報処理装置10等から送信される撮影制御情報を受信する。
水棲動物検出システム201においては、このようにカメラユニット280自体がネットワークを介して画像を含む送信情報を送信することができるように構成されているので、ユーザは、例えば以下のようにして、端末装置60を利用して、遠隔地から生簀Pについての検出作業を行うことができる。したがって、容易に検出作業を行うことができる。
すなわち、例えば、ユーザは、端末装置60を用いて、情報処理装置10に撮影指示等を送信する。撮影指示等においては、カメラユニット80を特定する識別子が指定されていたり、生簀Pの生簀識別子が指定されていればよい。また、一の検出機会に検出作業を行う複数の生簀Pのグループを予め指定しておき、そのグループを指定する識別子などを用いて撮影指示を行えるようにしてもよい。
情報処理装置10は、カメラユニット80に対して、撮影制御情報を送信する。そうすると、カメラユニット80が、画像を含む送信情報が情報処理装置10に送信する。
情報処理装置10は、カメラユニット80から送信された送信情報を受信し、検出時動作等を行う。また、その結果を、端末装置60に送信する。なお、検出時動作を行っている際に通知条件が満たされた場合には、実施の形態1と同様に、情報処理装置10から端末装置60に通知情報が出力され、ユーザに通知が行われるようにしてもよい。これにより、実施の形態1と同様に、ユーザは、容易に検出作業を行うことができる。
図19は、同カメラユニット280の概略構成を示す斜視図である。
図19に示されるように、実施の形態2においては、カメラユニット280は、カメラ281が取り付けられている治具287を有している。治具287は、カメラ281を水中に沈めて保持するための腕部88と、生簀Pを構成する構成部材P1に引っ掛けられるフック89とを有している。すなわち、カメラユニット280は、フック89を構成部材P1の一部(例えば、生簀Pを区画するネットの上端縁など)に引っ掛けることで、所定の位置にカメラ281を配置したまま保持することができるように構成されている。なお、治具287の形状や構成はこれに限られるものではない。例えば、カメラユニット280を構成部材P1にワイヤ等を用いてくくりつけたり螺旋止めなどの方法で取り付けたりすることができるように構成されていてもよい。
カメラ281の筐体は、本実施の形態において、撮像部82,83の光軸に平行な寸法が比較的小さい、偏平形状を有している。そのため、カメラ281の筐体が構成部材P1に沿うようにしてカメラ281を水中に配置させることができ、カメラ281の位置を安定させて保持することができる。
図20は、同カメラ281の配置例を示す斜視図である。
すなわち、図20に示されるように、カメラ281は、その筐体の背面(撮影部82,83が撮像する方向に向かう面とは反対の面)が、例えばネットである構成部材P1の内面に沿うように配置することができる。上述のように、生簀Pの中では水棲動物の動きにより径方向に水の流れが生まれるところ、その水の流れによってカメラ281が構成部材P1に向かって押し付けられる。そのため、カメラ281の位置が安定することになる。
本実施の形態においては、潜水作業なしに、カメラ281を水中に固定することができる。また、生簀毎に設置した複数のカメラユニット280を統合管理することができるので、生簀Pの数が多くなっても各生簀Pのモニタリング作業を容易に行うことができる。
(実施の形態3)
次に、実施の形態3に係る水棲動物検出システム301について説明する。水棲動物検出システム301は、生簀Pに設置した給餌装置600を用いて、生簀Pへの給餌動作を自動的に行ったりリモート制御により給餌作業を行ったりすることができるように構成されているものである。
図21は、本発明の実施の形態3における水棲動物検出システム301の概要図である。図22は、同水棲動物検出システム301のブロック図である。
図21に示されるように、水棲動物検出システム301は、実施の形態2と同様に、情報処理装置10、端末装置60、カメラユニット280、及び情報入力装置90を備える。本実施の形態においても、情報処理装置10が水棲動物検出装置10Dとしても機能するようになっているが、これに限られるものではない。水棲動物検出システム301は、さらに、ネットワークを介して例えば情報処理装置10と通信可能な給餌装置600を有している。
本実施の形態において、給餌装置600は、以下のような構成要素を有しており、生簀Pに自動的に飼料を供給する。
給餌装置600は、飼料が貯蔵される飼料タンク610のほか、飼料を計量する計量部(図示せず)と、散布機構(図示せず)と、散布機構等を駆動する駆動部(図示せず)等を有している。また、給餌装置600は、給餌格納部601と、給餌処理部603と、給餌送信部605と、給餌受信部606とを有している。給餌装置600は、例えば、生簀Pの上方に配置されている。
計量部は、飼料タンク610から取り出された飼料を計量する秤である。計量部は、給餌処理部603による制御に応じて、所定の量の飼料を計量して飼料タンク610から取り出すことができる。
散布機構は、計量部により計量された飼料を生簀Pに供給する。散布機構は、例えば、回転可能なアーム部材を有し、電動機である駆動部によってアーム部材を回転させながら、そのアーム部材から飼料を振りまくことで、生簀Pにまんべんなく飼料を散布することができるように構成されている。なお、飼料を生簀Pに供給する供給ユニットとして、このような散布機構に限られず、公知である手段を広く用いることができる。
給餌格納部601には、給餌条件に関する情報が格納されている。給餌条件は、例えば、飼料の供給タイミングに関する条件と、給餌量に関する条件とを含む。
給餌格納部601は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。本実施の形態においては、後述のようにして、情報処理装置10から送信された給餌指示情報が給餌条件として給餌格納部601に格納される(給餌条件が設定される)。なお、給餌格納部601に給餌条件が記憶される過程はこれに限られず、給餌指示情報に基づいて、ユーザが給餌条件を設定するようにしてもよい。例えば、記録媒体を介して給餌条件が給餌格納部601で記憶されるようになってもよく、端末装置60などから送信された給餌条件が給餌格納部601で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された給餌条件が給餌格納部601で記憶されるようになってもよい。
給餌処理部603は、通常、MPUやメモリ等から実現されうる。給餌処理部603の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。給餌処理部603は、給餌格納部601に格納された給餌条件に基づいて、生簀Pに飼料を供給する。
本実施の形態において、給餌処理部603は、実際に給餌を行ったとき、その給餌情報(ログ;例えば、給餌を行った時刻や給餌量等の情報が含まれる)を記録する。給餌処理部603は、記録した給餌情報等を、給餌送信部605により情報処理装置10等に送信することができる。
給餌送信部605及び給餌受信部606は、給餌装置600をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行う。給餌送信部605及び給餌受信部606は、例えば無線LANや携帯電話のデータ通信などを利用して無線通信を行うように構成されていてもよいし、各種の有線による通信を行うように構成されていてもよい。
給餌送信部605は、他の装置に情報を送信する。給餌送信部605は、例えば、給餌格納部601に格納されている情報を送信したり、給餌処理部603から引き渡された情報を送信する。例えば、給餌送信部605は、給餌を行った給餌量や日時等を示す給餌情報を、生簀Pの生簀識別子や、給餌装置600を識別する識別子などに対応付けて、情報処理装置10などに送信する。
給餌受信部606は、他の装置から送信された情報を受信する。給餌受信部606は、受信した情報を、例えば、給餌格納部601に記憶させたり、給餌処理部603により行われる処理に引き渡す。例えば、給餌受信部606は、情報処理装置10等から送信される給餌指示情報を受信する。
水棲動物検出システム301においては、このようにネットワークに接続された給餌装置600を備えているので、給餌作業を自動化させたり遠隔から実行させたりすることができる。また、給餌装置600は、情報処理装置10から送信された給餌指示情報に基づいて給餌を行う。したがって、生簀Pにおける検出作業を通して判定された、水棲動物の生育状態に基づいて情報処理装置10で給餌指示情報を生成させ、生成された給餌指示情報に基づいて給餌装置600に給餌動作を実行させることができる。したがって、生簀Pにおいて、水棲動物の生育状態を検出しながら、的確に給餌を行えるようになる。
例えば、情報処理装置10において、リアルタイムの平均魚体サイズに合わせた給餌量を判定し、リアルタイムで給餌すべき餌の量を給餌指示情報として送信するようにしてもよい。また、給餌量が所定の閾値に達した際に給餌を自動停止するように指示してもよい。また、水棲動物の券種着結果を見ながら給餌ができるため、リアルタイムで計測できる魚体活性指数と魚体サイズ等に基づいて、生簀Pの中で小さな魚体サイズの魚に十分な餌が与えられているかどうか判断し、給餌時間や量を調整するようにしてもよい。計測した魚体活性指数(飽食指数)と魚体サイズ分布を活用して、生簀Pの全体が飽食状態になるまで給餌することで飽食給餌総量を算出するようにしてもよい。
なお、ユーザは、端末装置60を用いて、情報処理装置10に給餌指示等を送信し、それに応じて情報処理装置10が給餌装置600に給餌指示情報を送信することができるようにしてもよい。給餌指示においては、給餌装置600を特定する識別子が指定されていたり、生簀Pの生簀識別子が指定されていればよい。給餌指示は、ネットワークを介して端末装置60から給餌装置600に送信されるようにしてもよい。この場合、給餌装置600は、受信した情報に基づいて給餌動作を行うように構成されていればよい。
給餌装置600による給餌動作と、カメラ281による撮影とを連動させて行うようにしてもよい。水中でカメラ281を動かして撮影範囲を調整することは困難であるところ、餌を食べる水棲動物がカメラ281により撮影されるように、給餌動作により水棲動物を誘導することで、単位時間あたりで検出可能な個体数を増加させることができる。また、カメラ281の撮影範囲との関係で水棲動物の全体が画像に納まるように誘導することにより、より正確に検出を行うことができる。
(実施の形態4)
実施の形態4においては、処理装置が用いられる。処理装置は、育成中の水棲動物の画像を取得するカメラを有する対象機器と共に用いられる。処理装置は、対象機器に電気エネルギーを供給する機能を有している。また、処理装置は、カメラにより撮影された画像やそれに基づく情報を受信したり受信した情報に基づく情報を出力したりする機能を有している。本実施の形態において、処理装置は対象機器に着脱可能に取り付けられている。処理装置と対象機器とが組み合わされて、上述の実施の形態におけるカメラユニットとして機能することができるように構成されている。処理装置は、コアモジュールと呼んでもよい。以下、このように構成された処理装置や対象機器等の構成、及びこれらを用いた水棲動物検出システムについて説明する。
まず、本実施の形態において対象機器580bと処理装置510とで構成される情報収集装置580のハードウェア構成について説明する。
図23は、本発明の実施の形態4における情報収集装置580のハードウェア構成を示す図である。図24は、同処理装置510のハードウェア構成を示す斜視図である。
図23に示されるように、情報収集装置580は、対象機器580bと処理装置510とを備えている。情報収集装置580の対象機器580bは、上述の実施の形態におけるカメラユニット280と同様に、カメラ(画像取得部の一例)581と、カメラ581が取り付けられている治具587とを有している。治具587は、カメラ581を水中に沈めて保持するための腕部88と、生簀Pの一部等に引っ掛けられるフック89とを有している。なお、治具587の形状や構成はこれに限られるものではない。また、対象機器580bは、水上の浮き等に取り付けられたり、その他の構造物に取り付けられたり内蔵されたりして用いられるようにしてもよい。例えば、カメラ581等の画像取得部が設けられている給餌装置600が対象装置580bとして用いられてもよい。
カメラ581は、2つの撮像部82,83を有するステレオカメラである。カメラ581は、生簀P等で育成中の水棲動物の画像を取得する。カメラ581の形態はこれに限られず、カメラ581は、1つの撮像部を有するものであってもよい。また、カメラ581に換えて、種々の方式により画像を取得可能な画像取得部が用いられうる。すなわち、画像取得部としては、必ずしも可視光を受光して画像を取得するものに限られず、例えば、音波や電波、不可視光等を用いて、所定の対象範囲に対応する画像を構成可能なものが用いられてもよい。例えば、画像取得部は、いわゆるソナーにより画像を取得可能なものであってもよい。また、複数のカメラ581やセンサ等が組み合わされて画像取得部が構成されていてもよい。
本実施の形態において、対象機器580bの上部は、後述のように箱形の外形形状を有する処理装置510を取り付け可能な取付部580dとなっている。本実施の形態において、取付部580dは、処理装置510が嵌め込まれる凹部580fを有している。凹部580fの上部は、カバーにより覆われている。すなわち、処理装置510は、取付部580dに取り付けられている状態で、対象機器580bの内部に収容されているといえる。
本実施の形態において、情報収集装置580は、対象機器580bに処理装置510が取り付けられている状態で、カメラ581により水棲動物等の画像を取得可能となるように構成されている。この点で、情報集装置580は、上述のカメラユニット280と同様に機能するといえる。以下、このように対象機器580bに取り付けられている状態の処理装置510の使用状態や、処理装置510の動作モードを、情報取得モードということがある。
ここで、図24に示されるように、処理装置510は、カートリッジ筐体510fの内部に各部が収容されて構成されている。カートリッジ筐体510fは、例えば略直方体形状を有している。カートリッジ筐体510fは、箱形であると言ってもよい。カートリッジ筐体510fの上部には、指掛部510gが形成されている。指掛部510gは、カートリッジ筐体510fの外周面から若干窪んだ部位であり、ユーザが指を引っ掛けることができるように構成されている。また、カートリッジ筐体510fの側面には、カートリッジ筐体510fの凹部580fへの差し込み方向に沿って形成された溝部510sが形成されている。溝部510sに、凹部580fに形成された嵌合部(図示せず)が嵌り込むようにして凹部580fにカートリッジ筐体510fを差し込むことにより、位置ずれが発生しないようにして確実に凹部580fにカートリッジ筐体510fを取り付けることができる。
カートリッジ筐体510fの底面には、コア接続部510cが設けられている。コア接続部510cは、対象機器580bの凹部580fの内部に設けられているカメラ接続部580cに接続可能である。コア接続部510cやカメラ接続部580cは、例えば、電力供給用の端子と通信用との端子とを含むコネクタと、そのドライバ等で構成されている。
本実施の形態において、図24に示されるように、処理装置510は、対象機器580bから取り外されて用いることができる。処理装置510は、この状態において、外部のネットワークを介して接続される他の装置に対して情報を出力可能である。以下、このように情報を出力可能な情報処理装置510の使用状態や動作モードを、情報取得モードと対比して、出力モードということがある。
本実施の形態においては、処理装置510は、対象機器580bから取り外されている場合に、充電装置590に取り付け可能である。充電装置590は、例えば、2つの処理装置510を同時に取り付けることができるように構成されているが、取り付け可能な処理装置510の数は2に限られない。充電装置590は、凹部である差込部590bと、差込部590bの内部に設けられた充電端子590cとを有している。充電端子590cは、差込部590bに取り付けられた処理装置510のコア接続部510cに接続される。充電端子590cがコア接続部510cに接続された状態で、充電装置590から処理装置510に対して電気エネルギーが供給される。処理装置510は、供給された電気エネルギーを利用して、情報の出力を含む種々の処理動作や、後述するような充電動作を行うことができるように構成されている。なお、充電装置590は、例えば商用電源に接続されて用いることができるように構成されているが、これに限られない。
なお、差込部590bの内側には、嵌合部590sが形成されている。嵌合部590sは、カートリッジ筐体510fの差し込み方向に沿って形成された部位である。溝部510sに、嵌合部590sが嵌り込むようにしてカートリッジ筐体510fを差込部590bに差し込むことにより、位置ずれが発生しないようにして、確実にカートリッジ筐体510fを充電装置590に取り付けることができる。
なお、上述のような、いわゆるドック(Dock)型の充電装置590が用いられなくてもよい。例えば、カートリッジ筐体510fに、直接、電力供給用のケーブル等が接続可能であってもよい。また、充電装置590を介して、外部機器と処理装置510との間での通信経路が構成されるようにしてもよい。
また、公知の非接触の給電方法により、処理装置510に電力が供給されたり、処理装置510から電力が供給可能に構成されていてもよい。また、公知の無線通信方法により、処理装置510と対象機器580bとが通信可能に接続可能であったり、処理装置510と充電装置590等とが通信可能に接続可能であったりしてもよい。
次に、情報収集装置580を用いた水棲動物検出システム501の構成や、情報収集装置580の制御回路等の構成について説明する。
図25は、同情報収集装置580を用いた水棲動物検出システム501の概要図である。図26は、同水棲動物検出システム501のブロック図である。
本実施の形態において、水棲動物検出システム501は、実施の形態2における水棲動物検出システム201と同様に、生簀Pに設置した情報収集装置580を用いて、ユーザが生簀Pの傍に居ずとも水棲動物の検出作業を行うことができるように構成されているものである。なお、水棲動物検出システム201においては、カメラユニット201がネットワークを介して情報処理装置10等に通信可能に接続されており、リモート環境において即時的な検出作業を行うことができるようになっている。これに対して、水棲動物検出システム501においては、処理装置510が用いられることにより、大まかには以下の点が相違する。すなわち、処理装置510は、情報収集装置580において情報取得モードで機能する間は情報の取得を自律的に行い、処理装置510で取得された情報の出力は、処理装置510が情報収集装置580から取り外された状態での出力モードにおいて行われうる。すなわち、本実施の形態において、養殖場(生簀P)においては情報取得モードで画像が取得され、地上又は船上等において、出力モードとなった処理装置510による情報の出力が行われる。
なお、処理装置510が情報出力装置580に取り付けられているままでも処理装置510による情報の出力が行われるようにしてもよい。また、処理装置510からの情報の出力は、有線の通信により行われるようにしてもよい。
図25に示されるように、水棲動物検出システム501は、情報処理装置10、端末装置60、情報収集装置580、及び情報入力装置90を備える。本実施の形態においても、情報処理装置10が水棲動物検出装置10Dとしても機能するようになっているが、これに限られるものではない。
本実施の形態において、情報処理装置10、端末装置60、及び情報入力装置90は、実施の形態1と同様に構成されている。
情報収集装置580は、情報取得モードにおいて、対象機器580bに処理装置510が取り付けられて用いられる。この場合、水棲動物検出システム501は、情報処理装置10、端末装置60、情報入力装置90、及び情報収集装置580により構成されているといえる。また、処理装置510は、出力モードにおいて、水棲動物検出システム501の他の機器と通信可能である。すなわち、この場合、水棲動物検出システム501は、情報処理装置10、端末装置60、情報入力装置90、及び処理装置510により構成されているといえる。
対象機器580bは、カメラ581及びカメラ接続部580cのほか、カメラ格納部582と、カメラ処理部(第一処理部の一例)583と、カメラ構成部284と、環境センサ84とを有している。
カメラ格納部582には、種々の情報が格納される。カメラ格納部582は、不揮発性の記録媒体で実現されているが、揮発性の記録媒体でも実現可能である。カメラ格納部582には、例えばカメラ581によって撮影された画像や環境センサ84の測定値などが、処理装置510に送信されるめなどにそれぞれ格納されるが、これに限られない。
カメラ処理部583は、通常、MPUやメモリ等から実現されうる。カメラ処理部583は、の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。カメラ処理部583は、情報取得モードにおけるカメラ581を用いた画像の取得(撮影)や、処理装置510への情報の送信等を行う。カメラ処理部583は、以下のように、カメラ構成部584を用いた処理(第一処理ということがある)を行う。
カメラ構成部584は、カメラ処理部583に設けられている。カメラ構成部584は、処理装置510に送信する送信情報を構成する。本実施の形態において、送信情報には、例えば、カメラ581により撮影される画像や、環境センサ84がGPS等を利用して取得した位置識別子や、対象機器580bを識別する機器識別子などが含まれるが、これに限られない。カメラ構成部584は、例えば、カメラ581により撮影された画像と、機器識別子と、位置識別子とを対応付けて、送信情報を構成する(第一処理の一例)。すなわち、第一処理は、カメラ581により取得された画像に基づいて、送信情報を取得する処理であると表現してもよい。なお、機器識別子や位置識別子は送信情報に含まれていなくてもよい。なお、位置識別子は、画像が取得された位置を示す情報であるといえる。すなわち、位置識別子は、GPS等で取得された情報であってもよいし、生け簀を特定する情報や生け簀を特定する情報に対応付けられた位置情報などであってもよい。
処理装置510は、コア接続部510cのほか、コア制御部511と、電力供給部516と、コア送信部518と、コア受信部519とを備える。
本実施の形態において、電力供給部516は、例えばリチウムイオン電池などである二次電池517を備える。電力供給部516は、二次電池517の充電及び放電に関する制御を行う。電力供給部516は、二次電池517に蓄えられた電気エネルギーを処理装置510の各部に供給したり、接続されている対象機器580bに供給したりして、情報収集装置580を機能させる。
コア送信部518は、処理装置510をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行う。コア送信部518は、例えば無線LANや携帯電話のデータ通信などを利用して無線通信を行うように構成されていてもよいし、各種の有線による通信を行うように構成されていてもよい。
コア送信部518は、外部の装置に情報を送信可能である。コア送信部518は、例えば、コア格納部521に格納されている情報など、コア制御部511から引き渡された情報を送信する。
コア受信部519は、他の装置から送信された情報を受信する。コア受信部519は、受信した情報を、例えば、コア制御部511により行われる処理に引き渡す。例えば、コア受信部519は、情報取得モードにおいて、対象機器580bから送信される情報を受信する。なお、コア受信部519は、例えば、出力モードにおいて、情報処理装置10等のネットワークを介して接続された装置から送信された情報等を受信してもよい。例えば、コア受信部519は、出力モードにおいて、情報処理装置10から送信された制御指示情報を受信する。
本実施の形態において、コア受信部519は、対象機器580bからカメラ581により取得された画像に基づく情報を受信する。例えば、コア受信部519は、カメラ581で取得された2以上の画像を含む、カメラ処理部583により取得された情報を受信する。なお、コア受信部519は、カメラ581により取得された画像そのものを受信してもよい。すなわち、カメラ581により取得された画像に基づく情報とは、カメラ581により取得された画像であってもよいし、その画像から取得された情報であってもよい。
図27は、同処理装置510のコア制御部511の構成を示すブロック図である。
コア制御部511は、例えば、コア格納部521と、対象制御部531と、出力情報取得部(第二処理部の一例)533と、機器識別子取得部535と、位置識別子取得部536と、コア出力部541とを備える。コア制御部511のうち、コア格納部521を除く部位は、通常、MPUやメモリ等から実現されうる。カコア制御部511の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。
コア格納部521は、例えば、不揮発性の記録媒体で実現されているが、揮発性の記録媒体でも実現可能である。コア格納部521には、例えばコア受信部519により受信された情報や、後述のようなコア制御部51の各部によって取得された情報などがそれぞれ格納されるが、コア格納部521の各部に情報等が記憶される過程はこれに限られない。例えば、記録媒体を介して情報等がコア格納部521で記憶されるようになってもよく、通信回線等を介して送信された情報等がコア格納部521で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報等がコア格納部521で記憶されるようになってもよい。
コア格納部521には、例えば、コア受信部519により受信された情報が格納される。また、コア格納部521には、情報の出力等に関する設定値(例えば、送信先や送信方法等を規定する設定値など、なんでもよい)などが格納され、コア制御部511により行われる処理に用いられる。
コア格納部521は、指示格納部523を備える。指示格納部523には、予め設定された、カメラ581の動作を制御するための制御指示が記憶される。制御指示とは、水棲動物の画像を取得するタイミングに関する指示を含む。具体的には、例えば、情報取得モードにおける、画像を取得する時刻や画像の撮影間隔や画像の取得方法に関する設定値(例えば、画質等に関する設定値など)などが含まれる。
対象制御部531は、指示格納部523に格納されている制御指示に基づいて、カメラ581の動作を制御する。例えば、撮影を行うことや、撮影に関する設定を行うことなど、種々の動作を制御しうる。制御の内容としては、例えば、撮影の開始又は停止指示、カメラ581の制御指示のほか、送信情報の送信指示、対象機器580bの状態を示すステータス情報の送信指示等が含まれていてもよい。
出力情報取得部533は、コア受信部519が受信した情報を用いて、他の装置で利用するための出力情報を取得する。換言すると、出力情報取得部533は、コア受信部519が受信した情報を用いて出力情報を取得する第二の処理を実行する。なお、他の装置で利用するための情報とは、全画像が取得された場合においてその一部を間引いて選ばれた画像や、選ばれた画像に基づく、魚の数、体長、識別子、健康状態等の情報などであるが、これらに限られない。
機器識別子取得部535は、コア受信部519が受信した情報から、機器識別子を取得する。すなわち、この機器識別子は、コア受信部519が受信した情報の出所である対象機器580bを識別する情報であるといえる。
位置識別子取得部536は、コア受信部519が受信した情報から、位置識別子を取得する。すなわち、取得される位置識別子は、カメラ581により画像が取得された位置を識別する情報であるといえる。各画像が生簀Pに対応するものである場合、位置識別子は、生簀Pを識別する情報であると言ってもよい。
コア出力部541は、コア受信部519が受信した情報に基づく情報を出力する。受信した情報に基づく情報とは、受信した情報そのものであってもよいし、受信した情報から取得された情報など受信した情報を加工等して得られた情報であってもよい。また、出力には、情報処理装置10等の外部の装置への送信のほか、音声の出力や画像の表示や、コア格納部521への格納等も該当しうる。
本実施の形態においては、コア出力部541は、出力情報取得部533により取得された出力情報を出力する。コア出力部541は、コア送信部518によって外部の情報処理装置10に出力情報を出力する。
本実施の形態において、コア出力部541は、出力情報と、機器識別子取得部535が取得した機器識別子とを対応付けて出力する。換言すると、コア出力部541は、出力情報を、出力情報が由来する対象機器580bを特定可能な情報と共に出力する。なお、機器識別子取得部535が取得した機器識別子と同一の対象機器580bを他の方法で識別する識別子(当該識別子も、「機器識別子取得部535が取得した機器識別子」とみなしてよい)とを対応付けて出力するようにしてもよい。
また、コア出力部541は、出力情報と、位置識別子取得部536が取得した位置識別子とを対応付けて出力する。換言すると、コア出力部541は、出力情報を、出力情報が由来する画像が取得された場所を特定可能な情報と共に出力する。なお、位置識別子取得部536が取得した位置識別子に対応する位置又は生簀P等を他の方法で識別する識別子(当該識別子も、「位置識別子取得部536が取得した位置識別子」とみなしてよい)とを対応付けて出力するようにしてもよい。
ここで、本実施の形態において、コア出力部541は、所定の出力条件が満たされる場合に、情報の出力を行うように構成されている。例えば、動作モードが出力モードである場合に、情報の出力を行うように構成されている。コア出力部541が情報を出力する状態か否か(動作モードが出力モードであるか否かと言い替えてもよい)の判断は、例えば、コア制御部511により行われればよい。
ここで、出力条件としては、例えば、以下のような要素に関する条件が挙げられる。出力条件は、これらのうちいずれか1つの条件が満たされることであってもよいし、2以上の条件がいずれも満たされることや、2以上の条件のいずれかが満たされることであってもよい。
例えば、出力条件には、電力供給部516から対象機器580bへの電気エネルギーの供給状態に関する条件が含まれうる。具体的には、例えば、コア出力部541が、電力供給部516から対象機器580bに電気エネルギーが供給されていない場合に、情報の出力を行うように構成することができる。一般に、コア送信部518により情報の出力を行う場合には、比較的大きな電気エネルギーを使用する必要がある。このような構成にすることにより、確実に情報の出力を行うことができる。
また、例えば、出力条件には、カートリッジ筐体510fが対象機器580bから取り外されているか否かや、カートリッジ筐体510fが充電装置590に取り付けられているか否かに関する条件が含まれうる。換言すると、処理装置510が対象機器580bに取り付けられているか否かや、処理装置510が充電装置590に取り付けられているか否かに関する条件が含まれうる。具体的には、例えば、処理装置510が対象機器580bから取り外されている場合においてコア出力部541が情報の出力を行い、処理装置510が対象機器580bに取り付けられている場合において情報の出力を行わないように構成することができる。処理装置510が対象機器580bに取り付けられている場合において無線通信が不安定になったり、対象機器580bにおける電力消費が大きくなる可能性がある場合には、このような構成にすることにより、確実に情報の出力を行うことができる。
また、例えば、出力条件には、二次電池517の状態に関する条件が含まれうる。例えば、二次電池517が満充電されている状態であるか否かや、所定の程度以上充電されている状態であるか否かに関する条件が含まれうる。また、例えば、外部から供給される電気エネルギーにより二次電池517が充電中である状態であるか否かに関する条件が含まれうる。具体的には、例えば、外部から供給される電気エネルギーにより二次電池517が充電中である状態又は満充電されている状態である場合においてコア出力部541が情報の出力を行うように構成することができる。このような構成にすることにより、電力の不足を防ぎ、確実に情報の出力を行うことができる。なお、満充電されている状態とは、電荷が十分に蓄えられた状態である。例えば二次電池517の電圧が所定の閾値以上である状態など、所定量以上の電荷が蓄えられている状態を、満充電されている状態と言ってもよい。
次に、処理装置510の動作の流れの一例について説明する。
図28は、同処理装置510の動作の一例を示すフローチャートである。
(ステップS511)コア制御部511は、処理装置510が出力モードであるか否かを判断する。換言すると、コア制御部511は、出力条件が満たされるか否かを判断する。出力モードであると判断した場合にはステップS521に進み、そうでない場合にはステップS512に進む。
(ステップS512)対象制御部531は、指示格納部523に格納されている制御指示に基づいて、カメラ581の動作を制御する。
(ステップS513)コア受信部519は、対象機器580bから送信された送信情報を受信する。
(ステップS514)出力情報取得部533は、受信された情報に基づいて、出力情報を取得する。出力情報取得部533は、取得した出力情報を、例えばコア格納部521には、蓄積する。その後、ステップS511に戻る。
(ステップS521)出力モードであれば、コア制御部511は、コア送信部518による情報の送信が可能であるか否かを判断する。換言すると、コア制御部511は、ネットワークを介して送信先の装置(例えば情報処理装置10)と通信可能であるか否かを判断する。情報の送信が可能であると判断した場合にはステップS522に進み、そうでない場合にはステップS511に戻る。
(ステップS522)コア出力部541は、出力情報取得部533により取得された出力情報を、情報処理装置10等に送信する。なお、送信すべき出力情報がない場合には、この処理をスキップすればよい。
(ステップS523)コア出力部541は、送信した出力情報を、コア格納部521から消去する(クリアする)。これにより、コア格納部521の記憶領域を確保し、新たな出力情報を蓄積できるようにすることができる。なお、出力情報の消去が行われなくてもよい。その後、ステップS511に戻る。
なお、図28のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了するようにすればよい。
図29は、同処理装置510の動作の一変形例を示すフローチャートである。
なお、図29に示されるように、出力情報の取得は、出力モードである場合に行われるようにしてもよい。換言すると、出力情報取得部533により比較的負荷が高い演算処理等が行われる場合に、この処理を、電力を十分に利用可能である出力モードである場合に行うようにし、確実に、又は速やかに出力情報の取得を行うことができるようにしてもよい。このような場合には、例えば、上述の図28に示される処理のうち、ステップS514の代わりに以下のステップS514Bの処理を行い、ステップS521の前に以下のステップS520Bの処理を行うようにすればよい。
(ステップS514B)すなわち、ステップS514の代わりに、コア受信部519は、受信した情報を、コア格納部521に蓄積し、ステップS511に戻る。
(ステップS520B)そして、出力モードであると判断された場合に、出力情報取得部533は、コア格納部521に蓄積された情報を用いて、出力情報を取得する処理を行う。その後、ステップS521以降の処理を行う。
以上説明したように、本実施の形態においては、このように処理装置510により行われる制御により情報収集装置580による画像の取得等が行われるので、ユーザが養殖場に待機していなくても、情報の収集を行うことができる。したがって、実施の形態2と同様に、容易に検出作業を行うことができる。処理装置510は情報収集装置580の対象機器580bに対して電気エネルギーを供給可能であるので、適時に処理装置510を交換する作業などを行うことで、対象機器580bを続けて長時間駆動させて、情報の収集を行うことが可能となる。したがって、ユーザが担う、洋上などで行う情報収集装置580の管理負担を低減させることができる。
処理装置510は、対象機器580bから取り外して利用することができる。したがって、例えば複数の処理装置510とそれより少ない数の対象機器580bなどを適宜組み合わせて複数箇所の生簀Pにおける情報の収集などを行うことなどができるなど、情報収集装置580の利便性を高くすることができる。また、処理装置510と対象機器580bとを別々に管理し、故障時の修理等のメンテナンスや交換をすることができる。したがって、複数箇所の生簀Pにおける情報の収集を継続する際に必要なコストを低く抑えることができる。
処理装置510を対象機器580bから取り外した状態で、処理装置510の単体で、情報の出力を行うことが可能である。したがって、情報の出力に適した場所や状況に処理装置510のみを運ぶなどして、容易に情報の出力を行うことができる。例えば、所定の通信環境を利用して処理装置510から情報の送信を行う場合において、洋上等の対象機器580bの設置場所では通信環境が整わなくても、処理装置510を通信環境が整った場所に移動させて、情報の送信を遂行させることができる。また、情報の送信時において電力が必要な場合においても、十分な電力が得られる環境に処理装置510を移動させて、情報の送信を遂行させることができる。したがって、容易にかつ確実に、情報の出力を行うことができる。また、例えば、電力消費が激しい情報の送信処理を、処理装置510の充電中に実施することができるので、処理装置510の二次電池517の小容量化をすること可能となっている。情報収集装置580のハードウェアの簡素化を進めることができ、情報収集装置580のコストを低減することができる。
なお、コア受信部519は、カメラ581で取得された2以上の画像を受信し、出力情報取得部533は、出力情報を取得する処理として、例えば以下のように画像選択処理を行うようにしてもよい。すなわち、画像選択処理では、出力情報取得部533は、所定の画像選択条件に基づいて、コア受信部519が受信した画像のうち、コア受信部519が受信した画像の数よりも少ない数の画像を取得する。画像選択条件としては、例えば、水棲動物の位置に関する条件や、画像中の水棲動物の有無に関する条件や、撮影時間や撮影間隔に関する条件など、種々の条件を用いることができる。例えば、水棲動物の位置に関する条件は、直前に撮影された画像における水棲動物の位置から所定量以上変位した位置に水棲動物が写っていることに設定することができる。換言すると、例えば、出力情報取得部533は、コア受信部519が受信した画像のうち、直前に撮影された画像における水棲動物の位置から所定量以上変位した位置に水棲動物が写っている画像を取得するようにしてもよい。また、例えば、所定の魚種の水棲動物に関する画像のみを選択するようにしたり、体長等を測定する処理を行う上で写りが良好であると判定した画像のみを選択するようにしたりしてもよい。かかる判定は、例えば、機械学習により分類を行うような公知技術を用いて行うようにしてもよいし、その他の方法を用いて行うようにしてもよい。
なお、カメラ581で動画像が取得された場合には、例えば各フレームの画像について画像選択処理を行うようにしてもよいし、短時間の複数の動画像のそれぞれについて、画像選択条件を満たすかどうかなどの判断が行われるようにしてもよい。
図30は、同出力情報取得部533の出力情報取得処理の一例を示すフローチャートである。
(ステップS531)出力情報取得部533は、コア受信部519により受信された未処理の画像のうち、次に対象となる画像を処理対象とする。
(ステップS532)出力情報取得部533は、処理対象とした画像について、画像選択条件を満たすか否かを判断する。条件を満たすと判断した場合にはステップS532に進み、そうでない場合にはステップS534に進む。
(ステップS533)出力情報取得部533は、処理対象としている画像を出力情報として選択する。
(ステップS534)出力情報取得部533は、すべての画像についての判断が完了したか否かを判断する。完了したと判断した場合には上位の処理に戻り、そうでない場合はステップS531に戻る。
このように、画像選択処理が行われるようにすることで、出力情報に含まれる画像の数が、カメラ581により取得された画像の数よりも少なくなる。したがって、コア出力部541により出力されるデータサイズが小さくなり、情報の出力にかかる負荷や時間等を低減することができる。
画像選択条件を設定することにより、例えば、育成中の水棲動物などが含まれるような、情報を収集価値がある画像のみを出力させることができる。したがって、容易にかつ適切に、情報収集装置580を用いた情報の収集を行うことができる。
また、本実施の形態において、出力情報取得部533は、コア受信部519により受信された画像に基づいて、育成中の水棲動物に関する情報を出力情報として取得するように構成されていてもよい。例えば、水棲動物の数、体長、水棲動物の識別子、健康状態等の情報などを取得するようにしてもよく、また、これらに限られない。このような機能は、例えば、上述の実施の形態における検出処理部31が行うのと同様にして行われるようにすればよい。換言すると、例えば、出力情報取得部533が、画像取得部32と、検出部33(計測部34の動作を含む)と同様の処理を行うことにより水棲動物の大きさなどに関する計測を行い、計測結果を育成中の水棲動物に関する情報として取得するようにしてもよい。
例えば、出力情報取得部533において、水棲動物の色や形状を検出したうえで標準的な色や形状を示すデータと比較し、比較結果に基づいて、水棲動物の生育異常の有無等を示す情報を出力情報として出力するようにしてもよい。
また、出力情報取得部533は、水棲動物の育成環境に関する環境情報を取得し、取得した環境情報に基づいて育成中の水棲動物に関する出力情報を取得するようにしてもよい。環境情報としては、環境センサ84により取得された情報であって、対象機器580bから送信されてコア受信部519により受信された情報を用いるようにしてもよい。また、このような情報に基づいて取得される情報を環境情報としてもよい。
なお、環境情報には、例えば以下のような情報が該当しうる。例えば、海水の色や、存在する他の生物の情報を環境情報として取得するようにしてもよい。このような環境情報を用いることにより、出力情報として海洋環境の異常の有無を示す情報を出力し、必要に応じてユーザが対応策を採ることができるようにすることができる。また、カメラ581への付着物の有無や付着の程度、カメラ581により検出された曇りの程度、濁りの程度などを環境情報として取得するようにしてもよい。このような環境情報に基づいて、例えば、撮影環境の異常の有無を示す情報を出力し、必要に応じてユーザが対応策を採ることができるようにすることができる。
なお、上述において出力情報取得部533が行いうると説明した処理の一部や全部が、対象機器580b内で行われるようにしてもよい。例えば、カメラ処理部583が、このような処理を行うようにすればよい。この場合、処理により取得された情報が、対象機器580bから送信され、コア受信部519により受信されるようにすればよい。例えば、上述の画像選択処理が、対象機器580b側で行われてもよい。この場合、カメラ処理部583が、カメラ581により取得された画像を画像選択条件に基づいて選択し、選択された画像のみをコア受信部519が受信することができる。処理装置510側においては、例えば、受信した画像に基づく情報取得処理を行うなど、適宜必要な処理を行うようにすればよい。この場合においても、情報処理装置10等への出力情報の送信等を、対象機器580bによる画像の撮影が行われる場面から離れて行うことができ、上述と同様の効果を得ることができる。
また、必要な場合には、情報取得モードにおいても、処理装置510が外部の機器と通信することができるように構成されていてもよい。例えば、所定の操作入力をユーザが行うことなどにより、処理装置510と、その近くに用意された情報通信端末等(例えばスマートフォンなど)とで、例えば所定の近距離通信方式などを利用した無線通信を行うことができるようにしてもよい。このような無線通信が可能となっている場合において、コア出力部541が出力情報を情報通信端末に送信可能であってもよい。ユーザが、周囲の通信環境にかかわらず、処理装置510が用いられている現場にて出力情報の確認を行うことができる。また、このような無線通信が可能となっている場合において、情報通信端末からコア制御部511に、所定の制御指示を送信可能であってもよい。ユーザが、周囲の通信環境にかかわらず、処理装置510が用いられている現場にて、所定の動作が行われるように指示を行うことができる。
なお、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをソフトウェアダウンロード等により配布してもよい。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布してもよい。なお、本実施の形態における、処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられ、対象機器に電気エネルギーを供給する電力供給部を備える処理装置のコンピュータを、対象機器から画像取得部により取得された画像に基づく情報を受信するコア受信部と、コア受信部が受信した情報に基づく情報を出力するコア出力部として機能させるための、プログラムである。
(その他)
情報処理装置は、次に検出作業を行うことが推奨される時期を算出し、ユーザに通知するようにしてもよい。例えば、出荷可能な状態に近い生育状態である場合や異常値に近い生育状態である場合などには、次の検出機会までの期間を比較的短くし、正常な生育状態であるが出荷可能な状態になるまで時間がかかると想定される場合には、次の検出機会までの期間を比較的長くするなどしてもよい。
カメラの設置時において、給餌を始める前にカメラを入れると魚が警戒をして餌を食べない場合があるため、給餌を開始して魚が活性状態になったタイミングから撮影機器を入れてもよい。
水棲動物の遊泳時の活性率を画像解析や機械学習によって定量化することで魚体活性指数(飽食指数)を得られるようにしてもよい。
餌は、水棲動物の成長に応じてより大きいサイズのものや魚粉量を減らしたものへ変更するのが好適である。そのため、予め格納された餌情報(サイズ、種類)と魚体サイズとの関係を特定する情報を予め情報処理装置の格納部に格納しておき、リアルタイムで計測した魚体サイズに最適な餌を判定し、ユーザに通知するようにしてもよい。この場合、情報処理装置において、現在給餌中の餌の情報を取得し、最適な餌と登録した餌が違う場合にユーザに通知を行うようにしてもよい。
予め情報処理装置の格納部などに保存された、水棲動物の大きさと個体あたりの飽食給餌量との関係式をベンチマークとし、飽食給餌総量と生簀内の水棲動物の大きさ分布とに基づいて、生簀全体における水棲動物の個体数や生物量を推定するようにしてもよい。
情報処理装置の処理部が、生物情報格納部に格納された情報に基づいて、過去の同じ生簀、現在の隣接生簀、又は他の生産者の生簀から得られた近しい条件下の魚の成長率および給餌方法(量や時間)などからベンチマーク(平均値や中央値)を算出し、リアルタイムで表示や比較を行えるようにしてもよい。このような他の実績結果との比較結果に基づいて、ユーザは、現在の生育状況について多面的に評価を行うことができる。また、処理部が、ベンチマークに近づけるための適切な給餌方法をレコメンドするようにしてもよい。
情報処理装置の検出部は、生物情報格納部に格納されている過去の生物情報の各パラメータの関係性に基づいて、異常値を検知するようにしてもよい。例えば、過去の給餌量と水棲動物の大きさの推移との関係と、現在の情報とを比較して、過給餌や成長不足が発生しているか否かを検知することができる。
上述の情報処理装置や端末装置などが行う処理について、一部に作業者(ユーザ)による作業が介在していたり、作業者による作業と情報処理装置により行われる処理とが並行して行われたりするようにしてもよい。例えば、カメラにより撮影された画像を確認した作業者が行う情報の入力を情報処理装置が受け付けて、受け付けられた情報に基づいて魚体長などの情報を取得するようにしてもよい。この場合、例えば、情報処理装置から作業者が操作する端末装置に対して、画像や画像の解析結果が送信され、その後、作業者が操作する端末装置から送信された情報を情報処理装置が受信するようにすればよい。また、検出部が検出を行った結果が暫定的なものとして作業者に対して送信されるようにし、送信された情報が適切であるか否かが作業者によって確認されるようにしてもよい。この場合、作業者により適切であることが確認された検出結果に基づいて、生物情報が蓄積されるようにしてもよい。また、例えば、作業者が、画像中に含まれる物体の領域の特定や、その領域の属性(水棲生物であるか否かなど)についてのアノテーションを行ったりして、その結果に基づいて計測等が行われるようにしてもよい。このように作業者による作業が介在していたり、作業者による作業と情報処理装置により行われる処理とが並行して行われたりする場合においても、容易に検出作業を行うことができる。
なお、上述の説明において、ある方向を示して各部の形状や位置関係を説明することがあるが、方向の明示はあくまで説明の便宜のためのものに過ぎず、本発明に係る各装置等の使用時における向きや姿勢などを限定するものではない。
また、取得とは、自装置又は他の装置に予め記憶されている情報を取得することのほか、当該装置において情報処理が行われることにより生成された情報を取得することを含んでいてもよい。
また、情報の取得に用いられうる分類器は、機械学習により得られる分類器に限られない。分類器は、例えば、入力情報等に基づく入力ベクトルと、出力情報との対応関係を示すテーブルであってもよい。この場合、入力情報に基づく特徴ベクトルに対応する出力情報をテーブル中から取得するようにしてもよいし、テーブル中の2以上の入力ベクトルと各入力ベクトルの重み付けなどを行うパラメータとを用いて入力情報に基づく特徴ベクトルに近似するベクトルを生成し、生成に用いた各入力ベクトルに対応する出力情報とパラメータとを用いて、最終的な出力情報を取得するようにしてもよい。また、分類器は、例えば、入力情報等に基づく入力ベクトルと、出力情報を生成するための情報との関係を表す関数などであってもよい。この場合、例えば、入力情報に基づく特徴ベクトルに対応する情報を関数により求めて、求めた情報を用いて出力情報を取得するなどしてもよい。
図31は、上記実施の形態におけるコンピュータシステム800の概観図である。図32は、同コンピュータシステム800のブロック図である。
これらの図においては、本明細書で述べたプログラムを実行して、上述した実施の形態の情報処理装置等を実現するコンピュータの構成が示されている。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現されうる。
コンピュータシステム800は、CD-ROMドライブを含むコンピュータ801と、キーボード802と、マウス803と、モニタ804とを含む。
コンピュータ801は、CD-ROMドライブ8012に加えて、MPU8013と、CD-ROMドライブ8012等に接続されたバス8014と、ブートアッププログラム等のプログラムを記憶するためのROM8015と、MPU8013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM8016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク8017とを含む。ここでは、図示しないが、コンピュータ801は、さらに、LANへの接続を提供するネットワークカードを含んでもよい。
コンピュータシステム800に、上述した実施の形態の情報処理装置等の機能を実行させるプログラムは、CD-ROM8101に記憶されて、CD-ROMドライブ8012に挿入され、さらにハードディスク8017に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ801に送信され、ハードディスク8017に記憶されてもよい。プログラムは実行の際にRAM8016にロードされる。プログラムは、CD-ROM8101又はネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ801に、上述した実施の形態の情報処理装置等の機能を実行させるオペレーティングシステム(OS)、又はサードパーティープログラム等を、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム800がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記実施の形態において、一の装置に存在する2以上の構成要素は、物理的に一の媒体で実現されてもよい。
また、上記実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい(この場合、分散処理を行う複数の装置により構成されるシステム全体を1つの「装置」として把握することが可能である)。
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う2個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、又は、その情報の受け渡しを行う2個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、又は長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、又は、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、又は、図示しない読み出し部が行ってもよい。
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、又は、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものである。
上述の複数の実施の形態を適宜組み合わせた実施の形態を構成してもよい。例えば、上述の実施の形態の構成そのものに限られず、上述の実施の形態のそれぞれの構成要素について、適宜、他の実施の形態の構成要素と置換したり組み合わせたりしてもよい。また、上述の実施の形態のうち、一部の構成要素や機能が省略されていてもよい。
以上のように、本発明にかかる処理装置は、育成場所で取得された情報を容易に出力することができるという効果を有し、処理装置等として有用である。
1、101、201、301、501 水棲動物検出システム
10、110 情報処理装置
510 処理装置(コアモジュール)
510c コア接続部
511 コア制御部
516 電力供給部
517 二次電池
518 コア送信部
519 コア受信部
521 コア格納部
523 指示格納部
531 対象制御部
533 出力情報取得部(第二処理部の一例)
535 機器識別子取得部
536 位置識別子取得部
541 コア出力部
580 情報収集装置
580b 対象機器
580c カメラ接続部
581 カメラ(画像取得部の一例)
582 カメラ格納部
583 カメラ処理部(第一処理部の一例)
584 カメラ構成部
10、110 情報処理装置
510 処理装置(コアモジュール)
510c コア接続部
511 コア制御部
516 電力供給部
517 二次電池
518 コア送信部
519 コア受信部
521 コア格納部
523 指示格納部
531 対象制御部
533 出力情報取得部(第二処理部の一例)
535 機器識別子取得部
536 位置識別子取得部
541 コア出力部
580 情報収集装置
580b 対象機器
580c カメラ接続部
581 カメラ(画像取得部の一例)
582 カメラ格納部
583 カメラ処理部(第一処理部の一例)
584 カメラ構成部
Claims (20)
- 育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられる処理装置であって、
前記対象機器から前記画像取得部により取得された画像に基づく情報を受信する受信部と、
前記受信部が受信した情報に基づく情報を出力する出力部と、
前記対象機器に電気エネルギーを供給する電力供給部とを有する、処理装置。 - 前記受信部が受信した情報を用いて、他の装置で利用するための情報を取得する出力情報取得部をさらに有し、
前記出力部は、前記出力情報取得部により取得された情報を出力する、請求項1に記載の処理装置。 - 前記受信部は、前記画像取得部で取得された2以上の画像を受信し、
前記出力情報取得部は、所定の画像選択条件に基づいて、前記受信部が受信した画像のうち、前記受信部が受信した画像の数よりも少ない数の画像を取得する、請求項2に記載の処理装置。 - 前記出力情報取得部は、前記受信部が受信した画像のうち、直前に撮影された画像における水棲動物の位置から所定量以上変位した位置に当該水棲動物が写っている画像を取得する、請求項2又は3に記載の処理装置。
- 前記出力情報取得部は、前記受信部により受信された1以上の画像に基づいて、育成中の水棲動物に関する情報を取得する、請求項2から4のいずれかに記載の処理装置。
- 前記出力情報取得部は、水棲動物の育成環境に関する環境情報を取得し、取得した環境情報に基づいて育成中の水棲動物に関する情報を取得する、請求項5に記載の処理装置。
- 前記受信部が受信した情報の出所である前記対象機器を識別する機器識別子を取得する機器識別子取得部をさらに有し、
前記出力部は、前記受信部が受信した情報に基づく情報と取得された機器識別子とを対応付けて出力する、請求項1から6のいずれかに記載の処理装置。 - 前記画像取得部により画像が取得された位置を識別する位置識別子を取得する位置識別子取得部をさらに有し、
前記出力部は、前記受信部が受信した情報に基づく情報と取得された位置識別子とを対応付けて出力する、請求項1から7のいずれかに記載の処理装置。 - 外部の装置に情報を送信可能な送信部をさらに有し、
前記出力部は、前記送信部によって外部の装置に情報を出力する、請求項1から8のいずれかに記載の処理装置。 - 前記出力部は、前記電力供給部から前記対象機器に電気エネルギーが供給されていない場合に、情報の出力を行う、請求項1から9のいずれかに記載の処理装置。
- 前記電力供給部は二次電池を有し、
前記出力部は、外部から供給される電気エネルギーにより前記二次電池が充電中である状態又は満充電されている状態である場合に、情報の出力を行う、請求項1から10のいずれかに記載の処理装置。 - 前記対象機器に形成された取付部に対して着脱可能に取り付け可能なカートリッジ筐体に各部が収容されて構成されている、請求項1から11のいずれかに記載の処理装置。
- 前記出力部は、前記処理装置が前記対象機器から取り外されている場合において情報の出力を行い、前記処理装置が前記対象機器に取り付けられている場合において情報の出力を行わない、請求項12に記載の処理装置。
- 前記画像取得部の動作を制御するための制御指示が記憶される指示格納部と、
制御指示に基づいて前記画像取得部の動作を制御する対象制御部とをさらに有する、請求項1から13のいずれかに記載の処理装置。 - 前記制御指示は、水棲動物の画像を取得するタイミングに関する指示を含む、請求項14に記載の処理装置。
- 請求項1から15のいずれかに記載の処理装置と、
前記処理装置が取り付けられた対象機器とを備える、育成中の水棲動物に関する情報を収集するための情報収集装置。 - 前記対象機器は、前記画像取得部により取得された画像に基づく情報を取得する第一の処理を行う第一処理部を有し、
前記受信部は、前記第一処理部により取得された情報を受信し、
前記処理装置は、前記受信部が受信した情報を用いた第二の処理を実行する第二処理部を有する、請求項16に記載の情報収集装置。 - 前記第一処理部は、前記画像取得部が取得した画像から、当該取得した画像の数よりも少ない数の画像を所定の画像選択条件に基づいて取得する画像選択処理を行い、
前記受信部は、前記画像選択処理により取得された画像を受信し、
前記第二処理部は、前記出力情報取得部である、請求項17に記載の情報収集装置。 - 育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられ、前記対象機器に電気エネルギーを供給する電力供給部、受信部、及び出力部を備える処理装置を用いた情報処理方法であって、
前記受信部が、前記対象機器から前記画像取得部により取得された画像に基づく情報を受信する受信ステップと、
前記出力部が、前記受信部が受信した情報に基づく情報を出力する出力ステップとを有する、情報処理方法。 - 育成中の水棲動物の画像を取得する画像取得部を有する対象機器と共に用いられ、前記対象機器に電気エネルギーを供給する電力供給部を備える処理装置のコンピュータを、
前記対象機器から前記画像取得部により取得された画像に基づく情報を受信する受信部と、
前記受信部が受信した情報に基づく情報を出力する出力部として機能させるための、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/046084 WO2022123732A1 (ja) | 2020-12-10 | 2020-12-10 | 処理装置、情報収集装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/046084 WO2022123732A1 (ja) | 2020-12-10 | 2020-12-10 | 処理装置、情報収集装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022123732A1 true WO2022123732A1 (ja) | 2022-06-16 |
Family
ID=81973410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/046084 WO2022123732A1 (ja) | 2020-12-10 | 2020-12-10 | 処理装置、情報収集装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2022123732A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7538938B1 (ja) | 2023-12-14 | 2024-08-22 | 日鉄エンジニアリング株式会社 | 給餌システムおよび学習モデル生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018042651A1 (ja) * | 2016-09-05 | 2018-03-08 | 謙 藤原 | 給餌システム及び給餌方法 |
JP2020018312A (ja) * | 2018-03-02 | 2020-02-06 | ウミトロン ピーティーイー エルティーディー | 自動給餌支援装置、自動給餌支援方法、およびプログラム |
JP6695585B1 (ja) * | 2019-06-12 | 2020-05-20 | ウミトロン ピーティーイー エルティーディー | 水棲動物養殖支援システム、昇降装置、給餌装置、水棲動物の養殖方法、及び水棲動物養殖支援プログラム |
JP2020110138A (ja) * | 2019-05-15 | 2020-07-27 | 株式会社FullDepth | 魚監視システム及びカメラユニット |
-
2020
- 2020-12-10 WO PCT/JP2020/046084 patent/WO2022123732A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018042651A1 (ja) * | 2016-09-05 | 2018-03-08 | 謙 藤原 | 給餌システム及び給餌方法 |
JP2020018312A (ja) * | 2018-03-02 | 2020-02-06 | ウミトロン ピーティーイー エルティーディー | 自動給餌支援装置、自動給餌支援方法、およびプログラム |
JP2020110138A (ja) * | 2019-05-15 | 2020-07-27 | 株式会社FullDepth | 魚監視システム及びカメラユニット |
JP6695585B1 (ja) * | 2019-06-12 | 2020-05-20 | ウミトロン ピーティーイー エルティーディー | 水棲動物養殖支援システム、昇降装置、給餌装置、水棲動物の養殖方法、及び水棲動物養殖支援プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7538938B1 (ja) | 2023-12-14 | 2024-08-22 | 日鉄エンジニアリング株式会社 | 給餌システムおよび学習モデル生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6842100B1 (ja) | 水棲動物検出装置、情報処理装置、端末装置、水棲動物検出システム、水棲動物検出方法、及び水棲動物検出プログラム | |
JP6695585B1 (ja) | 水棲動物養殖支援システム、昇降装置、給餌装置、水棲動物の養殖方法、及び水棲動物養殖支援プログラム | |
US10856520B1 (en) | Methods for generating consensus feeding appetite forecasts | |
WO2019168108A1 (ja) | 自動給餌支援装置、自動給餌支援方法、および記録媒体 | |
CN109717120A (zh) | 一种基于物联网的鱼类养殖监测投料***及方法 | |
KR101598898B1 (ko) | 음향 및 영상분석을 통한 넙치 질병 예방 시스템 | |
KR101814288B1 (ko) | 3차원 분석을 이용한 양식장 사료 급이 시스템 및 그 방법 | |
EP1510125B1 (en) | Method for monitoring and controlling the non-consumed food in fish farms | |
JP2019170349A (ja) | 水生生物生産管理システム | |
CN203492583U (zh) | 一种预防南美白对虾养殖水体富营养化的视频监控装置 | |
JP2020078278A (ja) | 養殖魚の自動給餌方法並びに自動給餌システム | |
CN103858807A (zh) | 基于物联网的投饵机终端 | |
CN114467824B (zh) | 智能投饵船 | |
US20230284600A1 (en) | Smart aquaculture grow out system | |
CN114994299B (zh) | 反刍动物碳排放气体检测方法、装置及*** | |
CN107242176A (zh) | 一种网箱养殖*** | |
Karningsih et al. | Automated fish feeding system for an offshore aquaculture unit | |
KR20160141247A (ko) | 넙치 습성을 이용한 음향분석 먹이활성도 분석 시스템 | |
WO2022123732A1 (ja) | 処理装置、情報収集装置、情報処理方法、及びプログラム | |
JP2021136965A (ja) | 養殖管理装置、養殖管理方法及び給餌ロボット | |
CN109845654A (zh) | 喂养***及喂食方法 | |
Palconit et al. | IoT-based On-demand Feeding System for Nile Tilapia (Oreochromis niloticus) | |
CN106094700A (zh) | 一种用于池塘养殖的饲料抛撒控制方法 | |
WO2023226563A1 (zh) | 动物生长辨识方法及其*** | |
TWI836453B (zh) | 動物生長辨識方法及其系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20965114 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20965114 Country of ref document: EP Kind code of ref document: A1 |