WO2022138584A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2022138584A1 WO2022138584A1 PCT/JP2021/047075 JP2021047075W WO2022138584A1 WO 2022138584 A1 WO2022138584 A1 WO 2022138584A1 JP 2021047075 W JP2021047075 W JP 2021047075W WO 2022138584 A1 WO2022138584 A1 WO 2022138584A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- individual
- animal
- mouse
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 73
- 238000003672 processing method Methods 0.000 title claims description 6
- 241001465754 Metazoa Species 0.000 claims abstract description 192
- 238000004458 analytical method Methods 0.000 claims abstract description 146
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000009471 action Effects 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 137
- 238000001514 detection method Methods 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 8
- 230000011273 social behavior Effects 0.000 claims description 2
- 241000699666 Mus <mouse, genus> Species 0.000 abstract description 199
- 241000699670 Mus sp. Species 0.000 abstract description 90
- 239000000284 extract Substances 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 73
- 238000010586 diagram Methods 0.000 description 37
- 239000003550 marker Substances 0.000 description 35
- 210000001331 nose Anatomy 0.000 description 32
- 210000001508 eye Anatomy 0.000 description 26
- 238000000034 method Methods 0.000 description 26
- 238000005259 measurement Methods 0.000 description 25
- 239000000463 material Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 15
- 230000005484 gravity Effects 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 15
- 238000013523 data management Methods 0.000 description 13
- 238000006748 scratching Methods 0.000 description 11
- 230000002393 scratching effect Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 238000013178 mathematical model Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000005069 ears Anatomy 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 241000700159 Rattus Species 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 230000035622 drinking Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 230000003370 grooming effect Effects 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000004634 feeding behavior Effects 0.000 description 3
- 230000021061 grooming behavior Effects 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 2
- 235000017491 Bambusa tulda Nutrition 0.000 description 2
- 241001330002 Bambuseae Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000011425 bamboo Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004590 drinking behavior Effects 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 210000004744 fore-foot Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000000548 hind-foot Anatomy 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000700198 Cavia Species 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 241000699800 Cricetinae Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000021824 exploration behavior Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Definitions
- the present invention relates to an information processing device, an information processing method and a program.
- Patent Document 1 As a conventional technique, there is a technique for processing biological information of an individual while identifying an individual animal such as a cat (for example, Patent Document 1 etc.).
- the biological data of an animal can be measured in a non-contact manner, it does not correspond to individual identification in the presence of a constantly moving animal or a plurality of animals.
- the conventional technique is costly because it requires thermography or the like in addition to the camera in order to confirm the health state of the identified animal in processing the biological information of the individual.
- the above literature does not mention any use other than health management.
- the present invention has been made in view of such a situation, and an object thereof is to be able to distinguish one or more mouse individuals that are active within a certain range of action.
- the information processing apparatus is An image acquisition means for acquiring an image to be analyzed, which is obtained as a result of imaging the activity of one or more animals within a certain range of action and is composed of a plurality of unit images arranged in the time direction.
- a site extraction means for extracting the body parts of each of the above-mentioned one or more animals by using a skeleton estimation model that estimates and outputs the skeleton of the animal's body when the unit image is input for each of the plurality of unit images.
- a model selection means for selecting an object to be applied to the individual identification means and To prepare for.
- a plurality of types of skeleton estimation models and a plurality of types of individual identification models are prepared, and based on the analysis attributes of the image designated by the designated means, the site extraction means is selected from the plurality of types of skeleton estimation models.
- the skeleton estimation model of the target to be applied is selected, and the individual identification model of the target to be applied to the individual identification means is selected from a plurality of types of individual identification models.
- each part of the body of one or more animals is detected for each of a plurality of unit images included in the image, the detected parts are analyzed for each time series, and one or more are analyzed based on the analysis result.
- the information processing method and program corresponding to the information processing apparatus according to one aspect of the present invention are also provided as the information processing method and program according to one aspect of the present invention.
- FIG. 1 shows the example of the structure of the information processing system including the image processing apparatus which concerns on one Embodiment of the information processing apparatus of this invention.
- FIG. 1 shows an example of the hardware composition of the image processing apparatus which concerns on the information processing apparatus of this invention among the information processing system of FIG.
- FIG. 1 shows the 1st Embodiment of the information processing system of FIG. 1, that is, 1st Embodiment of the functional configuration of the image processing apparatus of FIG.
- FIG. 1st Embodiment of the functional configuration of the image processing apparatus of FIG. shows the operation of the image processing apparatus which has the functional configuration of FIG.
- FIG. 1 shows an example of the unit image acquired from a moving image.
- FIG. 1 It is a figure which shows the state of detecting the outer shell from the unit image of FIG. It is a figure which shows the detection example of the scratching behavior. It is a figure which shows the outline of the business model which makes the information processing system of FIG. 1 commercial. It is a functional block diagram which shows the 3rd Embodiment of the information processing system of FIG. 1, that is, the functional configuration of the server which used the functional configuration of the image processing apparatus of FIG. 3 as an image analysis unit, and the PC of the requester side. It is a figure which shows the search screen displayed on the PC of FIG. 24. It is a figure which shows the analysis data addition screen pop-up displayed above the search screen of FIG. It is a figure which shows the moving image confirmation screen pop-up displayed above the search screen of FIG.
- FIG. 31 is a graph when the graph of FIG. 31 is continuously drawn up to 18030 FRAME (about 10 minutes). It is a graph which shows the distribution of the position of the mouse for each area which divided the floor surface in a cage into 9 areas (0 to 8) from the start of measurement to the initial movement of 1320 FRAME (44 seconds).
- FIG. 31 is a graph when the graph of FIG. 31 is continuously drawn up to 18030 FRAME (about 10 minutes). It is a graph which shows the distribution of the position of the mouse for each area which divided the floor surface in a cage into 9 areas (0 to 8) from the start of measurement to the initial movement of 1320 FRAME (44 seconds).
- FIG. 33 is a graph when the graph of FIG. 33 is continuously drawn up to 18030 FRAME (about 10 minutes). It is a bar graph which shows the existence time of the mouse for each area which divided the floor surface of the cage into 9 from the start of measurement to 1320 FRAME (44 seconds) of the initial movement. It is a bar graph when the graph of FIG. 35 is continuously drawn up to 18030 FRAME (about 10 minutes). It is a graph which shows the existence time of a mouse when it is divided into the vicinity of the center (4th area) of the cage from the start of measurement to the initial movement 1320FRAME (44 seconds) and the other area (near the edge).
- FIG. 37 is a graph when the graph of FIG. 37 is continuously drawn up to 18030 FRAME (about 10 minutes).
- FIG. 43 is a graph when the graph of FIG. 43 is continuously drawn up to 18030 FRAME (about 10 minutes). It is a graph which shows the relationship between the time from the start of measurement to the initial movement 1320 FRAME (44 seconds), and the rotational behavior (angular velocity) of a mouse. It is a graph when the graph of FIG. 45 is drawn continuously until 18030 FRAME (about 10 minutes) thereafter. It is a graph which shows the relationship between the time from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and the speed at which the mouse moves.
- FIG. 47 is a graph when the graph of FIG. 47 is continuously drawn up to 18030 FRAME (about 10 minutes).
- FIG. 1 is a diagram showing a configuration of an information processing system including an image processing device according to an embodiment of the information processing device of the present invention.
- the information processing system shown in FIG. 1 includes a camera 1 installed (arranged) so as to image a cage C in which one or more mice (mice X1 and X2 in the example of FIG. 1) are housed from above, and the camera 1. And the image processing device 2 connected via the network N.
- the network N includes not only a wired network but also a wireless network and the like.
- Cage C is a containment means for activating animals within a certain range of activity.
- the camera 1 is, for example, a digital camera or a network camera that captures a moving image, and outputs a moving image captured from above inside the cage C to the image processing device 2.
- the moving image refers to an image composed of a plurality of unit images arranged in the time direction, and is also called a moving image.
- a field image may be adopted as the unit image, but here, it is assumed that a frame image image is adopted.
- the image processing device 2 identifies a plurality of mice X1 and X2 individuals included in the moving image as a subject by using the moving image acquired from the camera 1 and the learning model (details will be described later) stored in the model DB 42. Further, the image processing device 2 is based on the behavior patterns (habits, etc.) of the mice X1 and X2 identified as individuals, the sociality of the mice X1 and X2, and the mutuality of the mice X1 and X2 existing in the same behavior range. Detects elements (causes) that are the basis of behavior, such as actions and relationships between mice X1 and X2.
- the image processing device 2 includes markers such as a part (tracking point) and individual ID (Identification) of one or more mouse body skeletons included in the frame image extracted from the moving image, and the outer shell (surroundings) of each mouse.
- a tracking image to which at least one of the objects for visually identifying the mouse and the like is attached is generated and output to an output unit 16 such as a display. If a printer is connected to the image processing device 2 as an output unit 16, a tracking image can be printed.
- the object is a contour line showing the outline of an individual mouse, a mask image, or the like.
- the marker includes, for example, a tracking point represented by a figure such as a circle, a triangle, or a square, an individual ID represented by alphanumericals, or the like.
- FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing device according to the information processing device of the present invention among the information processing systems of FIG.
- the image processing device 2 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an output unit 16, and an input unit.
- a 17, a storage unit 18, a communication unit 19, and a drive 20 are provided.
- the CPU 11 executes various processes according to the program recorded in the ROM 12 or the program loaded from the storage unit 18 into the RAM 13. Data and the like necessary for the CPU 11 to execute various processes are also appropriately stored in the RAM 13.
- the CPU 11, ROM 12 and RAM 13 are connected to each other via the bus 14.
- An input / output interface 15 is also connected to the bus 14.
- An output unit 16, an input unit 17, a storage unit 18, a communication unit 19, and a drive 20 are connected to the input / output interface 15.
- the output unit 16 is composed of a display, a speaker, or the like, and outputs images and sounds.
- the input unit 17 is composed of a keyboard, a mouse, and the like, and inputs various information according to a user's instruction operation.
- the storage unit 18 is composed of a hard disk or the like, and stores various information data.
- the communication unit 19 controls communication with another communication target (for example, the camera 1 in FIG. 1) via the network N.
- a removable media 21 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted on the drive 20.
- the program read from the removable media 21 by the drive 20 is installed in the storage unit 18 as needed. Further, the removable media 21 can also store various data stored in the storage unit 18 in the same manner as the storage unit 18.
- FIG. 3 is a functional block diagram showing a first embodiment of the information processing system of FIG. 1, that is, a first embodiment of the functional configuration of the image processing device 2 of FIG.
- the image DB 41, the model DB 42, and the material DB 43 are stored in the storage unit 18 of the image processing device 2 shown in FIG.
- the image DB 41 video data acquired from the camera 1, data of a plurality of frame images (still image data) constituting this video, and a marker indicating an animal tracking object or an individual in the frame image are contained in the frame image.
- the added tracking image data and a table (data frame) showing the transition of the position information of the parts of the mice X1 and X2 are stored.
- a plurality of learning models are stored in the model DB 42.
- the model DB 42 includes a plurality of types (1 or more) of skeleton estimation models that estimate the skeleton of each animal (mouse, rat, etc.), and if there are two animals (the same animal, each animal is different).
- a plurality of types (1 or more) of individual identification models for identifying each individual (identified as an individual), a plurality of types (1 or more) of mathematical models for determining the behavior of each animal, and the like are stored.
- the skeleton estimation model is a learning model designed to output the skeleton of an animal when an image of the animal is input.
- the individual identification model is a learning model designed to output an individual of the animal when a time series of one or more parts of the body of the animal is input.
- the mathematical model is a model that analyzes the behavior of animals designed to output information showing what the behavior of the animal is when one or more images of the animal that change over time are input. Is.
- Such trained training data is referred to as a "learning model" in the present specification.
- a mouse head, neck, arm, leg, and the head, neck, arm, and leg of a mouse having one or more preselected skeletal estimation models for the mouse.
- the arrangement (skeleton) of bones such as the tail is estimated, and it is selected in advance from the positions and movements of feature points (body parts such as mouse eyes, nose, ears, and toes) extracted from the skeleton of the animal.
- the individual identification model for mice identifies an individual, and the mathematical model determines the behavior of the individual and outputs the result. That is, the learning model in the first embodiment is a learning model that analyzes an individual animal or the behavior of an individual using techniques of skeleton estimation, individual identification, and behavior estimation.
- the data of any pixel in the image (all pixels in the model using CNN) is input, and an appropriate value (at the coordinates of the nose position) is used. (There is a probability that it is the coordinate of the nose) is calculated according to the model for each animal.
- the CNN is a neural network composed mainly of a convolutional layer and a pooling layer.
- the learning model stored in the model DB 42 is a learning model for reference generated by machine learning using one or more (many) learning data in advance by a learning device (not shown), and is newly learned. Data is also added.
- a convolutional learning type neural network or the like can be applied to machine learning.
- the convolution learning type neural network is only an example, and other machine learning methods may be applied.
- the learning model is not limited to the machine learning model, and a classifier that identifies an individual animal by a predetermined algorithm may be adopted. That is, the learning model is generated by learning so that when an image is input, the skeleton, outer shell, and movement of each mouse included in the image match a known mouse, and the attribute is added and output. Anything is fine.
- the material DB 43 stores data that can be used as a material for obtaining the reason for the behavior of the mouse identified based on the learning model, sociality, and the like.
- the data of the material DB43 is data that associates the behavior of the mouse with the sociality derived from the behavior and the relationship with other mice, and is used for determining various habits, habits, ecology, etc. of the behavior of the mouse. It can be used. For example, it is data that can derive habits such as not only the movement of a mouse but also a mouse having such a movement has such a sociality and has such a relationship with other mice.
- the material DB 43 stores data in which the condition in which the mouse takes action and the behavior pattern of the mouse derived from the condition are associated with each other.
- the material DB 43 stores data that can be used as a judgment material for determining what kind of behavior the mouse behavior is when the mathematical model is detected from the image. Behavioral data such as exploratory behavior, feeding and water intake, running and walking, sleeping, scratching, grooming, and fighting are stored as data that can be used as judgment materials.
- the image processing device 2 includes an image acquisition unit 51, a site extraction unit 52, a data frame generation unit 53, an individual identification unit 54, a marker image generation unit 55, an action determination unit 56, and the like.
- the image acquisition unit 51 acquires an image obtained as a result of capturing the activity of one or more animals such as mice X1 and X2 within a certain action range.
- the image acquisition unit 51 includes a moving image acquisition unit 61 and a unit image generation unit 62.
- the moving image acquisition unit 61 acquires a video (moving image) captured by the camera 1.
- the unit image generation unit 62 generates an image to be analyzed in which a plurality of unit images are arranged in the time direction from the video (moving image) acquired by the moving image acquisition unit 61, and stores the image in the image DB 41. That is, the unit image generation unit 62 generates a group (frame image) of a plurality of unit images (still images) in frame units from the moving image.
- the site extraction unit 52 uses a skeleton estimation model selected from a plurality of types of skeleton estimation models in the model DB 42 to extract body regions of one or more animals for each of a plurality of unit images. That is, the site extraction unit 52 reads out a plurality of frame images of the image DB 41 in order, and recognizes an image region of an animal that acts by itself from the unit images included in each frame image. That is, the background portion of the frame image and the contour portion of the animal body are separated to recognize the image area of the animal body. Some parts of the body are, for example, the left and right eyes, nose, left and right ears, left and right forefoot tips, left and right hindfoot tips, tail tips, bone and joint joints, and the center of gravity of the body. It is one or more feature points.
- the unit image includes one pixel (pixel), a group of a plurality of pixels, and the like.
- the site extraction unit 52 includes an individual recognition unit 71 and a site detection unit 72.
- the individual recognition unit 71 recognizes a change (movement) in each of the plurality of unit images included in the frame image as a part of one action individual. Specifically, the individual recognition unit 71 binarizes the unit image and recognizes a color different from the background image as a part of the behavioral individual. The individual recognition unit 71 uses a portion where the color changes as compared with the frame images before and after the time series as the boundary of the region.
- the site detection unit 72 superimposes the skeleton output from the skeleton estimation model on the region of what is recognized as a part of the behavioral individual in each of the plurality of unit images, extracts the site of the animal body, and extracts the site.
- At least one body part is detected, such as the nose and left and right eyes.
- the body parts of one or more animals are extracted from the image by the combination of the part extraction unit 52 including the individual recognition unit 71 and the site detection unit 72 and the skeleton estimation model.
- a part extraction model that outputs an animal body part may be stored in advance in the model DB 42, and a unit image may be input to the model DB 42 to extract the animal body part.
- the data frame generation unit 53 converts the body part extracted by the part extraction unit 52 into a data frame.
- the data frame generation unit 53 is a coordinate indicating the position of a specific part (eye, nose, ear, foot, tail, skeleton, etc.) of the animal from a predetermined reference point in the image for each region of the animal. Specify with. Specifically, the data frame generation unit 53 is two-dimensional with respect to a body part extracted by the part extraction unit 52 and a reference point of a cage C in which the part is included in a frame image or a part of an action individual. (Plane) A table corresponding to the position information represented by the coordinate system (x-axis, y-axis, etc.) is generated. The generated table is called a data frame.
- the x-axis is the horizontal axis of the two-dimensional (planar) coordinate system
- the y-axis is the vertical axis of the plane. That is, the data frame generation unit 53 generates a data frame showing the transition of the position of the portion that changes with the behavior of the animal.
- the coordinate system is three-dimensional (three-dimensional) (x-axis, y-axis, z-axis).
- the z-axis refers to the depth axis of the three-dimensional (three-dimensional) coordinate system.
- the individual identification unit 54 is the body of each of one or more animals extracted from each of the plurality of unit images by the site extraction unit 52 with respect to the individual identification model selected from the plurality of types of individual identification models of the model DB 42. Based on the output obtained as a result of inputting the time series of the site, each individual of one or more animals in each of the plurality of unit images is identified. Specifically, the individual identification unit 54 uses an individual identification model selected for an image from a plurality of types to select one or more parts extracted from each of a plurality of unit images by the site extraction unit 52. Analysis is performed for each series, and one or more individual mice X1 and X2 in each of the plurality of unit images are identified based on the analysis result.
- the individual identification unit 54 analyzes how the position coordinates of the site change with the passage of time, and identifies (classifies as different individuals) one or more animals included in the frame image based on the analysis result. That is, the individual identification unit 54 identifies what kind of animal part is one or more parts, and which animal has that part.
- the individual identification unit 54 analyzes the data frame generated by the data frame generation unit 53 for each time series with reference to the model DB 42, and based on the analysis result, in each of the plurality of data frames.
- Each individual of one or more mice X1 and X2 is identified, and the individual ID of the identified mice X1 and X2 is assigned to the tracking point (tracking point).
- the individual identification unit 54 digitizes, for example, the positional relationship of each part of each individual at an arbitrary time point and the frequency of satisfying certain conditions.
- a certain condition means that, for example, the position of a certain part and another part exists at a position of a predetermined coordinate (a predetermined range) for a certain period of time, or the distance between the part of another individual and the part is zero or close to zero. This is the case when the state of doing so continues for a certain period of time.
- the individual identification unit 54 instructs the marker image generation unit 55 to visually identify the marker indicating the tracking point (tracking point) of the mice X1 and X2 identified by the individual identification unit 54 and the individual of the mice X1 and X2.
- An image with a marker (tracking image) obtained by generating an image in which at least one of the objects to be used is superimposed on the unit image is output to the output unit 16.
- the marker image generation unit 55 is a marker associated with a marker indicating an individual of the mouse X1 and X2 extracted by the site extraction unit 52 and an individual of the mouse X1 and X2 identified by the individual identification unit 54. Generate an attached image. Specifically, the marker image generation unit 55 generates a marker-attached image (tracking image) in which a marker that makes it possible to visually identify the individual mice X1 and X2 identified by the individual identification unit 54 is attached to the unit image. do.
- the marker is, for example, an individual ID (character) or a tracking point for each individual. Objects are contour lines, frames, mask images, etc. that are colored in different colors for each individual.
- the behavior determination unit 56 determines the behavior of one or more mice X1 and X2 identified by the individual identification unit 54.
- the behavior includes not only the behavior of the mice X1 and X2, but also the behavior of the mice X1 and X2 existing in a plurality of units in the unit image. That is, when the behavior determination unit 56 satisfies any of one or more conditions in which the transition of the position of the portion in the data frame is preset, the behavior determination unit 56 determines the behavior according to the satisfied conditions.
- the behavior determination unit 56 is used for each animal identified (classified) by the individual identification unit 54 based on the mathematical model selected from the plurality of types of mathematical models of the model DB 42 and the material data of the material DB 43. , Judges whether the transition of the coordinate of the part matches the preset condition, and the behavior label of the animal corresponding to the matched condition (“01” for scratching behavior, “02” for sleeping, grooming If it is an action, “03” or the like) is added to the time information (time stamp) or data frame of the image frame including the relevant part.
- the frequency with which the nose (site) of one mouse X1 comes into contact with the nose (site) of the other mouse X2 When the number of times exceeds a predetermined number in a certain period, it is derived that the individuals are trying to establish a friendly relationship with each other in the grooming behavior, or in the case of males and females, they are trying to enter into the breeding behavior.
- the action determination unit 56 has an action detection unit 81 and an action prediction unit 82.
- the behavior detection unit 81 When the behavior detection unit 81 satisfies the condition defining the positional relationship between the animal part and another specific part (drinking place, feeding area, other animal part), the behavior detection unit 81 performs an action related to the positional relationship. To detect.
- the behavior detection unit 81 refers to the model DB 42 and the material DB 43, and refers to the positional relationship between the parts of the mice X1 and X2 at any time in the data frame and other parts of the mice X1 and X2 and the cage C.
- the behavior prediction unit 82 predicts how the mice X1 and X2 will live in the future based on the relationship between the mice X1 and X2 detected by the behavior detection unit 81.
- FIG. 4 is a flowchart illustrating an example of the flow of image processing executed by the information processing apparatus having the functional configuration of FIG.
- one or more mice X1 and X2 active in the cage C are imaged by the camera 1, and the moving image is input to the image processing device 2, so that the image processing device 2 Is to identify each individual of one or more mice X1 and X2, and execute image processing for assisting in determining the individuality, sociality, etc. of each mouse X1 and X2 as follows.
- the image acquisition unit 51 is an image formed by arranging a plurality of unit images in the time direction, which is obtained as a result of imaging the activity of one or more animals in a certain action range (for example). Get videos, etc.).
- step S12 the site extraction unit 52 uses the site extraction unit 52 for each of a plurality of unit images included in the acquired moving image to cover parts of the body of each of one or more animals (eyes, nose, ears, legs, bones and joints). Part of the body's center of gravity, etc.) is extracted.
- step S13 the individual identification unit 54 analyzes a plurality of sites extracted from each of the plurality of unit images by the site extraction unit 52 for each time series, and based on the analysis result, 1 in each of the plurality of unit images. Identify each of the above animals.
- the site of the mouse X1 is given an individual ID such as "0" to "0". It means to identify the individual as "1” and to assign an individual ID such as "1" to the site of the mouse X2 to identify the individual as "1".
- step S14 the behavior determination unit 56 determines the behavior of one or more mice X1 and X2 identified by the individual identification unit 54.
- the behavior detection unit 81 determines the sociality of the mice X1 and X2, respectively, and the mice X1 and X2 existing in the same action range, based on the positional relationship between the parts of the mice X1 and X2 at an arbitrary time point. Detects at least one of the interactions between mice and the relationships between mice X1 and X2.
- a part of the body of each mouse X1 and X2 is extracted from the moving image of the activity of the two mice X1 and X2 in the cage C. Then, the extracted parts are analyzed for each time series, and each individual of mouse X1 and X2 is identified, and a tracking image with a marker such as an individual ID and a tracking point and an object for individual identification is displayed for each of the identified individuals. Therefore, it is possible to distinguish each individual of the mice X1 and X2 that exist and are active in the same image.
- mice X1 and X2 for example, the sociality of the mouse X1 and the mouse X2, the interaction between the mice X1 and X2 existing in the same action range, the relationship between the mice X1 and X2, and the like are detected.
- the master-slave relationship (dominance, subordination, etc.), habits, ecology, etc. of the mouse X1 and the mouse X2 can be considered.
- FIG. 5 is a diagram showing an example of a frame image acquired from a video.
- FIG. 6 is a diagram showing an example of a frame image acquired from a video after the frame image of FIG.
- FIG. 7 is a diagram showing an example of a frame image acquired from a video after the frame image of FIG.
- FIG. 8 is a diagram showing a state in which an individual is identified from the frame image of FIG.
- FIG. 9 is a diagram showing a state in which a portion is detected from the frame image of FIG.
- FIG. 10 is a diagram showing a state in which the portion of FIG. 9 is extracted.
- FIG. 11 is a diagram showing a state in which the portions extracted from the frame images of FIGS. 5 to 8 are tracked.
- FIG. 12 is a diagram showing a tracking image with a marker attached to the frame image at the time t3 of FIG.
- the inside of the cage C is imaged by the camera 1, and the captured moving image is transmitted to the image processing device 2.
- the frame images G1, G2, and G3 are arranged in the order of time t1, t2, and t3 from the moving image input from the camera 1 by the image acquisition unit 51, as shown in FIGS. 5 to 7. Is obtained.
- the unit image (pixel) included in the frame image G1 at time t1 is binarized by the individual recognition unit 71, and the background (cage portion) and the white mice X1 and X2 are binarized.
- the area is recognized for each individual by dividing the body part of the mouse. In this example, as shown in FIG. 8, the region 81-1 of the body portion of the mouse X1 and the region 91-1 of the body portion of the mouse X2 are recognized.
- the sites 82-1 and 92- of the respective regions 81-1 and 91-1 as tracking points for tracking the behavior. 1 or more is detected by the site detection unit 72.
- the center of gravity of the region 81-1 is calculated by the region detection unit 72, and the two-dimensional coordinates (x1, y1) indicating the region 82-1 of the center of gravity of the region 81-1 on the frame image G1 are tracked. Detected as a point. “0” is assigned to the site 82-1 as an individual ID.
- the center of gravity of the region 91-1 is calculated, and the two-dimensional coordinates (x2, y2) indicating the portion 92-1 of the center of gravity of the region 91-1 on the frame image G1 are detected as tracking points. "1" is assigned to the site 92-1 as an individual ID. In this way, one or more parts of the animal are detected, and the movement of the body is converted into data from the parts obtained as the detection result.
- the method of finding the center of gravity of the region and using the position as the tracking point as in this embodiment is an example, and in addition to this, the left and right eyes, nose, left and right forefoot, left and right hindpaw of the animal, respectively.
- One or more of the joint of the foot, the contour and center of the ear, the spine, the center and hairline of the tail, the tip, and the like may be detected and used as a tracking point.
- an animal having a skeleton that makes such a movement can be identified, that is, the animal. It is possible to identify an individual such as what kind of animal is.
- tracking data 101 including the extracted parts 82-1 and 92-1 and the individual ID is generated.
- the process of generating the tracking data 101 is also performed for the frame images G2 and G3, and by analyzing each time series, the positional relationship of each part of each mouse X1 and X2 and certain conditions can be determined at an arbitrary time point. The frequency of satisfaction can be converted into data.
- the action locus of the mouse X1 is obtained as vector data 111-1, 111-2 indicating the locus of movement of the portions 82-1, 82-2, 82-3.
- the action locus of the mouse X2 is obtained as vector data 112-1, 112-2 indicating the locus of movement of the sites 92-1, 92-2, 92-3.
- the marker image generation unit 55 generates an image in which a marker indicating an animal part, an individual ID, and the like are superimposed on the unit image, so that the tracking image G3A is displayed as shown in FIG.
- a marker circle mark
- an individual ID "0” and a locus line 120 are added to the frame image G3 (see FIG. 7) at the time t3.
- a marker triangular mark
- the portion 92-3 of the mouse X2 the individual ID “1”, and the locus line 121 are displayed.
- mice X1 and X2 use the locus lines 120 and 121. It is possible to play a moving video with the remaining display.
- FIG. 13 is a diagram showing an example of detecting the water-drinking behavior of a mouse.
- FIG. 14 is a diagram showing an example of detecting the feeding behavior of a mouse.
- FIG. 15 is a diagram showing an example of detecting mutual interference behavior between mice.
- a specific part of the mouse (in this example, the nose and the parts of the left and right eyes) is extracted as a tracking point from the moving image of the cage containing the mouse taken by the camera 1. Then, as a result of tracking the position (coordinates x, y) of the track king point in chronological order, the coordinates indicating the positions of the mouse nose and the left and right eye parts are acquired for each mouse frame image.
- the mouse is a specific part of the mouse (in this example, the nose and the parts of the left and right eyes) is extracted as a tracking point from the moving image of the cage containing the mouse taken by the camera 1.
- the behavior determination unit 56 determines the behavior of the animal depending on whether or not the time-series change in the position of the predetermined portion of the animal meets the predetermined condition.
- the action determination unit 56 has a plurality of frames, for example, the frame No. 13 in FIG. In 150 to 156 ( ⁇ parentheses), the distance between the position (coordinates) of the mouse nose and the position (coordinates) of the drinking spout attached to the cage wall surface is zero or the proximity state close to zero continues. , Judged as drinking water by mouse.
- the frame No. of FIG. 14 At 150 to 156 ( ⁇ parentheses), if the distance between the position (coordinates) of the mouse nose and the position (coordinates) of the feeding area placed in the cage is zero or close to zero, the behavior continues.
- the determination unit 56 determines that the mouse is feeding and eating.
- the frame No. in FIG. In 150 to 156 ( ⁇ parentheses), when the distance between the mouse nose position (coordinates) and the mouse nose position (coordinates) continues to be zero or close to zero, the action determination unit 56 Is determined to be a mutual interference behavior between mice.
- the mouse X1 and X2 are taken from the moving image of the activity of the two mice X1 and X2 in the cage C. Since a part of each body part is extracted and the position of the extracted part is analyzed for each time series to identify each individual of the mice X1 and X2, the mouse X1 that is active within a certain range of action, Individuals of mice X1 and X2 can be distinguished from the moving image of X2.
- mouse behavior for example, mouse drinking behavior, feeding behavior, mutual interference behavior between mice existing in the same behavior range, etc. are determined, so that the habits and ecology of mice and the master-slave relationship (dominance power) between mice are determined.
- the individual identification unit 54 can correctly identify an individual from the continuity of the site positions extracted in the previous stage on the premise that the site positions are not significantly separated between the front and rear frames. Since the individual identification unit 54 identifies the individual based on the position information of the outer shell and the portion, the individual can be correctly identified regardless of the brightness and background of the photographing environment.
- FIG. 16 is a functional block diagram showing a second embodiment of the information processing system of FIG. 1, that is, a second embodiment of the functional configuration of the image processing apparatus 2 of FIG.
- the image processing device 2 includes an outer shell detecting unit 57.
- the outer shell detection unit 57 uses a skeleton estimation model selected from a plurality of types of skeleton estimation models of the model DB 42, and has an outer shell (body contour, etc.) of each of one or more animals for each of a plurality of unit images. Is detected.
- the outer shell detection unit 57 includes an individual recognition unit 91 and an outer shell identification unit 92.
- the individual recognition unit 91 recognizes a region including a unit image having a change (movement) as one action individual in each of the plurality of unit images. Specifically, the individual recognition unit 91 binarizes each unit image and recognizes a color different from the background image as a part of the behavioral individual.
- the region is defined as a portion where the color changes as compared with the frame images before and after the time series.
- the outer shell specifying unit 92 identifies, for each of the plurality of unit images, a region including one recognized as one behavioral individual as the outer shell (body contour, etc.) of the bodies of one or more mice X1 and X2.
- the data frame generation unit 53 generates a data frame (see FIG. 22) showing the probability that the change in the outer shell accompanying the behavior of the animal is a specific behavior.
- the individual identification unit 54 is obtained as a result of inputting the time series of the outer body of each of one or more animals detected from each of the plurality of unit images by the outer shell detection unit 57 into the skeleton estimation model of the model DB 42. Based on the output, each individual of one or more animals in each of the plurality of unit images is identified.
- the individual identification unit 54 analyzes one or more outer shells detected from each of the plurality of unit images by the outer shell detection unit 57 for each time series, and based on the analysis result, one or more animals in each of the plurality of unit images. Identify each individual.
- the individual identification unit 54 refers to the model DB 42 and analyzes one or more outer shells detected from each of the plurality of frame images for each time series to obtain individual mice X1 and X2. The identification is performed, and the information (individual ID, position of the outer shell, etc.) of the individual mice X1 and X2 obtained as the identification result is output to the behavior determination unit 56. That is, the individual identification unit 54 identifies which of the two mice X1 and X2 in the cage the detected outer shell belongs to.
- the learning model of the model DB 42 in the second embodiment when a new moving image or still image is input as a result of machine learning on the moving image and the still image for each individual mouse prepared in advance, the mouse is then used.
- the learned learning data for identifying and outputting the information of the individual as the identification result (individual ID and the position of the outer shell, etc.) is stored.
- each individual ID of one or more mice included in the moving image and the individual ID thereof are input.
- the behavior determination unit 56 digitizes, for example, the general behavior of each individual at an arbitrary time point and the frequency of satisfying certain conditions, and uses the behavior and conditions of the individual as the material DB 43. Match with data. Specifically, when the action determination unit 56 satisfies any of one or more conditions in which the value of the probability of being a specific action is preset in the data frame, the action determination unit 56 performs an action according to the satisfied condition. judge.
- the condition of one or more is, for example, that one mouse performs a general action of rounding the body, and then the other mouse performs a general action of leaning against the body of the rounded mouse, and what is the frequency thereof? The condition is that it is more than once.
- the behavior determination unit 56 refers to the material DB 43, and when the behavior of the mouse identified by the individual identification unit 54 satisfies the condition, the relationship between the mice is good and the mice are paired. It is determined that the mouse is present.
- the same effect as that of the first embodiment can be obtained, and the following effects can be obtained. That is, the outer shells of the bodies of the two mice X1 and X2 were detected from the moving images of the two mice X1 and X2 housed in the cage C and active, and the detected outer shells were analyzed in chronological order. Since the individual mice X1 and X2 are identified, it is possible to distinguish the individual mice X1 and X2 that are present and active in the same image.
- FIG. 17 is a flowchart illustrating an example of the flow of image processing executed by the information processing apparatus having the functional configuration of FIG.
- the outer shell detecting unit 57 receives each unit image of the plurality of frame images included in the acquired moving image. Detects the outline of the body of each of one or more animals (body contour, etc.).
- step S23 the individual identification unit 54 analyzes the outer shell extracted from each of the plurality of unit images by the outer shell detection unit 57 for each time series, and based on the analysis result, one or more in each of the plurality of unit images. Identify each individual animal.
- the processing after step S24 is the same as that of the first embodiment (FIG. 4).
- the bodies of the mice X1 and X2 are used for each unit image of the plurality of frame images included in the moving image acquired from the camera 1.
- each individual of the mice X1 and X2 can be identified. It is possible to distinguish each individual of X1 and X2.
- specific behaviors of the identified mice X1 and X2 are detected, so that not only the existing ecology but also new ecology Can be found.
- FIG. 18 is a diagram showing an example of a frame image acquired from a video.
- FIG. 19 is a diagram showing an example of a frame image acquired from a video after the frame image of FIG.
- FIG. 20 is a diagram showing a tracking image in which an object showing an outline and an individual marker are attached to the frame image at the time t4 of FIG.
- FIG. 21 is a diagram showing a tracking image in which an object showing an outline and an individual marker are attached to the frame image at the time t5 of FIG.
- FIG. 22 is a diagram showing an example of detecting scratching behavior.
- the mouse included in the frame image G4 at time t4 is the mouse X1-1 and the frame image at time t5.
- the mouse included in G5 will be described as mouse X1-2. The same applies to the other mouse X2-1 and mouse X2-2.
- the inside of the cage C is imaged by the camera 1, and the captured moving image is transmitted to the image processing device 2.
- the frame image G4 at time t4 shown in FIG. 18 and the frame image G5 at time t5 shown in FIG. 19 are sequentially arranged in chronological order from the moving image input from the camera 1 by the image acquisition unit 51. To be acquired.
- the unit image included in the frame image G4 at time t4 is binarized by the individual recognition unit 91, and the background (cage portion) and the white mouse body portion are separated from each other. Areas of different colors are created and the area is recognized for each individual. As a result, the region of the body part of each of the two mice is individually recognized.
- FIG. 20 shows a display example of the tracked image G4A in which an individual is identified.
- a blue object 121-1 is displayed on the outer shell (body contour) of the mouse X1-1.
- the red object 122-1 is displayed on the outer shell (outline of the body) of the mouse X2-1.
- a marker such as "mouse 0.996" and a frame body 131-1 surrounding the individual is displayed as an individual ID for identifying the individual of the mouse X1-1.
- a marker such as "mouse 0.998" and a frame 132-1 surrounding the individual is displayed as an individual ID for identifying the individual of the mouse X2-1.
- the unit image (pixel) is binarized, the background (cage part) and the white mouse body part are partitioned, and the area is recognized for each individual.
- the blue object 121-2 is displayed on the outer shell (body contour) of the mouse X1-2, and on the outer shell (body contour) of the mouse X2-2.
- the red object 122-2 is displayed.
- a marker such as "mouse 0.996" and a frame body 131-2 surrounding the individual is displayed as an individual ID for identifying the individual of the mouse X1-2.
- a marker such as "mouse 0.998" and a frame 132-2 surrounding the individual is displayed as an individual ID for identifying the individual of the mouse X2-2.
- the outer shells of the body parts of the two mice are detected, and from the situation where the outer shells change over time, the individual mice are identified, and each individual meets the predetermined conditions at an arbitrary time. Since the specific behavior of the mouse is determined at that time, the reason for the behavior of each mouse can be known.
- FIG. 22 is an example of detecting scratching behavior.
- Frame No. of FIG. 22 After the frame images are acquired in order from 1 and the mouse is individually identified, the behavior determination unit 56 calculates the probability of whether or not the mouse is performing a specific behavior for each frame image, and the probability obtained as the calculation result. Is converted into a data frame for each frame image. Then, based on the probability of the data frame, the behavior of the mouse is labeled (classified), the identification information is added to the data frame, and the mouse behavior is stored in the image DB 41.
- the behavior determination unit 56 determines that the mouse has performed a specific behavior, and the frame No. A condition in which identification information (for example, predict "1" or the like) indicating a specific behavior is given to the data frames of 4502 to 4507, and a time-series change (mouse behavior) of the outer shell of the mouse is set in the material DB 43 in advance. If the above conditions are met, it is determined that the specific behavior of the mouse derived from the condition, for example, the behavior of the mouse scratching the floor of the cage, that is, the scratching behavior.
- the probability of whether or not the individual-identified mouse is performing a specific behavior is calculated for each frame image, and the mouse is based on the probability obtained as the calculation result. Since it is labeled in the data frame at the time when a specific action is taken, it is possible to detect not only the default action of the mouse but also an unexpected action. As a result, it is possible to discover general behaviors and new behaviors of each mouse while observing while distinguishing each of the plurality of mice housed in the cage.
- a model is constructed only for a specific animal species, behavior (white mouse, scratching behavior, etc.) and shooting environment, and output as RAW data (position information of each part, etc.).
- RAW data position information of each part, etc.
- the third embodiment has been expanded to be applied to a plurality of animal species, behaviors, and imaging environments, and has been enhanced in practicality.
- an annotation for acquiring RAW data creation of teacher data for determining the position of the acquisition site
- construction of a determination condition for each action using RAW data
- Programming and modularization, movement of white mice, feeding, extension of the program for detecting drinking water, etc. were carried out.
- the minimum necessary tasks are realized in their own hardware and software environment, but in the third embodiment, the versatility is enhanced and the IT literacy is not high in general.
- UI environment user interface environment
- the system execution environment will be a cloud service assuming that it will operate stably without depending on the conditions of the user (client), and that the specifications and costs will be optimized depending on the frequency and load of the execution task.
- the system was built as a server-client system.
- FIG. 23 is a third embodiment of the information processing system, and is a diagram showing an outline of a business model in which the information processing systems of the first embodiment and the second embodiment are expanded commercially.
- the information processing system of the third embodiment is configured so that the device on the client 300 side of the requester Y and the server 200 of the contractor who undertakes the request communicate with each other.
- the server 200 Upon receiving the request from the requester Y, the server 200 analyzes the video uploaded by the requester Y and sends the analysis result to the requester Y.
- the device on the client 300 side includes a camera 310 and a cage 311 that constitute an animal shooting environment, and a client computer 320 (hereinafter referred to as “PC320”) that collects moving images to be analyzed captured by the camera 310.
- Cage 311 is a container for allowing animals to operate within a certain range.
- the camera 310 captures an animal active in the cage 311. The shooting environment of this animal can be changed as appropriate according to the content of the request.
- the PC 320 takes in moving image (image) data captured by the camera 310 and stores it locally (internal storage or the like).
- the PC 320 uploads the locally stored video data 321 to the server 200 and requests the analysis of the behavior of the animals included in the video.
- the PC 320 acquires the information of the analysis result (CSV file 330) from the server 200 and the moving image data (processed moving image 331) processed by attaching the marker M to the position of the eye of the animal in response to the request.
- the PC 320 creates a material (graph 322) for analyzing the data of the CSV file 330, and uses the processed moving image 331 as a part of the analysis material.
- the server 200 includes an image analysis unit 450, a web service unit 451 and a storage 410, and a data warehouse 411 (hereinafter referred to as “DWH411”).
- the image analysis unit 450 includes the functional configuration of FIG. 3 shown in the first embodiment and the functional configuration of FIG. 16 shown in the second embodiment, and performs image analysis processing.
- the web service unit 451 has a function of authenticating login information input from the PC 320, a function of searching an analysis target, a function of outputting a search result, a function of adding analysis data, and a function of displaying the analysis result. Has. The specific functional configuration will be described later.
- the web service unit 451 has a function of performing encrypted communication, access source IP communication, dedicated line communication, and the like, so that security measures are taken. That is, the web service unit 451 realizes an interface with the PC 320.
- the storage 410 stores the moving image data requested for analysis through the web service unit 451 and the moving image data being analyzed.
- the DWH 411 stores various related data, and systematically archives the result of processing in cooperation with the data of the storage 410. As a result, the data can be reused and the number of animal experiments can be reduced.
- step S101 the state in which the animal is active in the cage 311 is imaged as a moving image, and the moving image data 321 is stored locally in the PC 320.
- step S102 when requesting the contractor to analyze the moving image, the moving image data 321 stored in the PC 320 is uploaded to the server 200.
- the web service unit 451 stores the video data 321 uploaded from the PC 320 in the storage 410.
- the captured video data 321 is temporarily stored in the PC 320 and then uploaded to the server 200, but in the case of a video that is continuously captured for 24 hours, it is captured by the camera 310 as in step S103.
- the video data 321 may be uploaded directly to the server 200.
- step S104 in the server 200, the image analysis unit 450 reads out the moving image data stored in the storage 410, executes the analysis of the requested moving image data 321 and processes the moving image during the analysis to generate the processing.
- the moving image 331 and the CSV file 330 of the analysis result are saved in the storage 410, and the analysis completion notification is output to the PC 320.
- the search screen On the PC 320 that has received the analysis completion notification, the search screen is displayed, and when the video data to be analyzed is specified, in step S105, the web service unit 451 searches for the designated video data and displays the processed video 331.
- the CSV file 330 of the analysis result is downloaded to the PC 320.
- step S106 the PC 320 creates a graph 322 for analysis using the processed video 331 downloaded from the server 200 and the CSV file 330 of the analysis result, and attaches the processed video 331 as supporting material for the graph 322.
- the CSV file 330 (numerical data) of the analysis result was downloaded to the PC 320, and the graph 322 was created from the CSV file 330.
- the server 200 can also create a graph 322 from the CSV file 330 and download the graph 322 to the PC 320 as an analysis result.
- FIG. 24 is a functional block diagram showing a functional configuration of the information processing system according to the third embodiment of FIG. 23.
- the functional configuration of the information processing system of the third embodiment it is the same as the functional configuration of the first embodiment shown in FIG. 3 and the functional configuration of the second embodiment shown in FIG.
- the same reference numerals are given to the configurations, and the description thereof will be omitted.
- the authentication DB 44 is stored in one area of the storage unit 18 of the server 200.
- the authentication DB 44 stores authentication information for the requester Y to log in to the server 200.
- the authentication information is a login ID, a password, or the like as identification information for identifying the requester Y.
- the model DB 42 a plurality of types of learning models generated or updated by machine learning or the like are stored in advance.
- the learning model is, for example, a skeleton estimation model, an individual discriminative model, etc.) and a mathematical model.
- a plurality of types of learning models are provided, for example, for each type of animal to be analyzed, for each image imaging direction, and for each animal color.
- the image analysis unit 450, the web service unit 451 and the process unit 452 function in the CPU 11 of the server 200.
- the image analysis unit 450 performs image analysis processing using a model selected for the designated image data from the moving image data 321 acquired by the request from the requester Y.
- the image analysis unit 450 reads out the image to be analyzed designated by the designation unit 471 from the image DB 41, selects it from a plurality of types of learning models by the model selection unit 472, and extracts the learning model (skeleton estimation) from the model DB 42.
- the image is analyzed using a model, an individual identification model, a mathematical model, etc.).
- the image processing executed by the image analysis unit 450 is the processing such as individual identification, outer profile identification, and behavior analysis of an animal in a moving image shown in the first embodiment and the second embodiment.
- the web service unit 451 performs login authentication when the requester Y logs in to the server 200, searches for the video analysis result requested by the requester Y, outputs the search result, adds analysis data, controls the display of the analysis result, and the like. I do.
- the web service unit 451 has an authentication unit 461, a search unit 462, a search result output unit 463, an analysis data addition unit 464, an analysis result display control unit 465, and the like.
- the authentication unit 461 collates the input login information with the authentication information in the authentication DB to authenticate the user.
- the authentication unit 461 permits the requester Y to log in to the server 200 when the information matches as a result of collating the information with each other.
- the search unit 462 displays the search screen 251 (see FIG. 25) on the authenticated requester Y's PC 320, searches the analysis result from the image DB 41 by the search request from the search screen 251 and outputs the search result. Hand over to part 463. On the search screen 251, a list of search results, addition of analysis data, display of analysis results, and the like can be performed.
- the search result output unit 463 outputs the search results searched by the search unit 462 to the PC 320 and displays them in a list on the search screen 251 of the PC 320.
- the analysis data addition unit 464 displays the analysis data addition screen 261 (see FIG. 26) on the PC 320 by performing the analysis data addition operation on the search screen 251.
- the moving image data to be analyzed is uploaded to the image processing device 2 by the analysis data addition operation from the analysis data addition screen 261.
- the uploaded moving image data to be analyzed is additionally registered in the image DB 41. After uploading, on the analysis data addition screen 261, analysis conditions for a new file added to the image DB 41 can be specified.
- the analysis data addition unit 464 has a designation unit 471 and a model selection unit 472.
- the designation unit 471 is used to analyze the analysis attribute for the image to be analyzed (type of analysis target (for example, mouse, rat, etc.), imaging direction of analysis target (for example, upward, oblique, horizontal, etc.), color of analysis target (for example, white, black, etc.). Etc.)) is specified.
- the designation unit 471 displays the analysis data addition screen 261 of FIG. 26.
- the analysis data addition screen 261 is provided with a file column and a setting column.
- a file column an icon of the file of the image to be analyzed and a bar graph showing the progress (progress status) of the analysis are provided.
- the setting column the type of animal included in the image to be analyzed (for example, mouse, rat, etc.), the imaging direction of the animal to be analyzed (for example, upward, oblique, horizontal, etc.), and the color of the animal to be analyzed (for example, horizontal).
- a radio button (designation button) is provided for the requester Y to specify an analysis attribute such as white, black, etc.).
- the icon of the uploaded image file to be added is displayed in the file field of the analysis data addition screen 261.
- the requester Y sets the image by using the radio button provided in the corresponding setting column under the image file icon (type of animal included in the image to be analyzed, imaging direction of the animal to be analyzed, and so on.
- the image file icon type of animal included in the image to be analyzed, imaging direction of the animal to be analyzed, and so on.
- the model selection unit 472 is the site extraction unit 52 of FIG. 3 or the outer shell detection unit of FIG. 16 from among a plurality of types of skeleton estimation models stored in the model DB based on the analysis attributes of the image designated by the designation unit 471.
- a model to be applied to 57 is selected, and a model to be applied to the individual identification unit 54 is selected from a plurality of types of individual identification models stored in the model DB.
- the analysis result display control unit 465 displays the CSV file 330 of the analysis result downloaded from the server 200, the processed moving image 331, and the like.
- the process unit 452 manages image data and unprocessed data for analysis.
- the process unit 452 has an upload data management unit 491 and an unprocessed data management unit 492.
- the upload data management unit 491 moves the image data uploaded from the PC 320 to the image DB 41 and updates the management file.
- the upload data management unit 491 is provided with a cron-based minute activation function, a duplicate activation prevention function, and the like.
- the unprocessed data management unit 492 confirms the unprocessed data in the management file.
- the unprocessed data management unit 492 copies the unprocessed data.
- the unprocessed data management unit 492 performs AI processing in the processing directory.
- the unprocessed data management unit 492 stores the result file in the corresponding directory.
- the unprocessed data management unit 492 creates a CSV file 330 of the analysis result and stores it in the corresponding directory.
- the unprocessed data management unit 492 is provided with a minute start function by cron, a duplicate start prevention function, a management file update function, and the like.
- the login management unit 421, the screen control unit 422, the analysis request unit 423, and the analysis result display control unit 424 function in the CPU 141 of the PC 320. do.
- the login management unit 421 displays a login screen on the PC 320, sends the login information input to the login screen by the requester Y to the server 200, and requests login authentication.
- the screen control unit 422 displays the search screen on the PC 320, sends the search keyword input to the search screen by the requester Y to the server 200, requests the search, and displays the search result for the request on the search screen.
- a list of search results is displayed on the search screen.
- analysis data can be added and analysis results can be displayed.
- the analysis request unit 423 displays the analysis data addition screen on the PC 320, and the requester Y sends the file and the analysis condition specified by the requester Y to the server 200 on the analysis data addition screen to request analysis.
- the analysis result display control unit 424 displays the analysis result display screen on the PC 320, and displays the analysis result CSV file 330 and the processed video 331 downloaded from the server 200 on the analysis result display screen.
- FIG. 25 is a diagram showing a search screen displayed on the PC.
- FIG. 26 is a diagram showing an analysis data addition screen pop-up displayed above the search screen.
- FIG. 27 is a diagram showing a moving image confirmation screen pop-up displayed above the search screen.
- the search screen shown in FIG. 25 is displayed on the PC 320 (see FIG. 24).
- the search screen 251 is provided with an input field for inputting search conditions such as a keyword and a period, an analysis data list, an analysis data addition button, a moving image confirmation button, a CSV output button, and the like.
- the analysis data list is a list of analysis data for each item such as the file name of the analysis data, the registrant, the date and time, and the analysis.
- the analysis item indicates the current analysis state of the analysis data, for example, "analyzed", "running”, and the like.
- On the left side of the analysis data list there is a selection button for selecting each analysis data, and by operating the button for the selected analysis data, it is possible to add analysis data, check videos, output CSV, etc. Is.
- the analysis data is narrowed down by the search conditions, and the analysis data is selected (specified) by the selection button from the displayed in the analysis data list.
- the analysis data addition button By pressing any of the analysis data addition button, the moving image confirmation button, and the CSV output button, processing according to the button operation (addition of analysis data, confirmation of moving image, CSV output, etc.) can be performed.
- an analysis data file to be added On the analysis data addition screen 261, an analysis data file to be added, an analysis attribute setting field for setting (specifying) what kind of video is included in each file, a back button, a cancel button, and so on.
- a registration button etc. are provided.
- a button for selecting an animal type, an animal imaging direction, an animal color, etc. is provided, and each button can be set (designated).
- the analysis data addition screen 261 by selecting and setting a file for the video data uploaded as new analysis data to be analyzed, the subsequent analysis of the analysis data can be automatically executed. ..
- a plurality of types of learning models (skeletal estimation model, individual) stored in the model DB 42 based on the animal type, the animal imaging direction, the animal color, etc. set as the analysis attributes on the analysis data addition screen 261.
- the learning model used for the animal to be analyzed will be selected from the identification model and the mathematical model).
- the moving image confirmation screen 271 is provided with a playback area for playing back the analysis data to be added, a back button, a download button, and the like.
- the playback area is provided with an image (still image) in which the selected analysis data (video data) is stopped and a play button (triangle icon). By clicking the play button (triangle icon), the image is still. The image starts to move and is played as a moving image.
- the video data uploaded as new analysis data is played back when it is difficult to determine whether it is the data to be analyzed or the processed video that has been analyzed, etc., based on the file name alone. Can be confirmed.
- the analysis data displayed in the playback area can be downloaded by pressing the download button. This download function is effective when you want to use the processed video 331 on the PC320 side.
- FIG. 28 is a diagram showing an example of a report created from moving images.
- this information processing system it is possible to output quantitative data of the opening and closing of the eyes of a fine mouse that cannot be visually confirmed, which makes it possible to confirm unprecedented accuracy and contents that could not be grasped. It will be like. For example, as shown in FIG.
- the site detection unit 72 By setting a marker M at the position of the eyes of the mouse, it is identified that the area of the eyes increases when the mouse opens the eyes and the area decreases when the eyes are closed, that is, the opening and closing of the eyes is identified.
- a graph 283 in which the area of the eyes changes with a change in time can be created and provided to the requester Y.
- FIG. 29 is a diagram showing a configuration example of a closed network connection that forms robust security.
- This information processing system can be configured by selecting a security level according to the policy and cost of the user. It should be noted that communication encryption is indispensable and is premised on https. Examples of system configurations according to the security level include “plum”, “bamboo”, and “pine”. "Ume” can be accessed by restricting access only through the GIP of the in-house proxy. "Bamboo” can be accessed via a reverse proxy using the client's certificate. "Matsu” connects the in-house environment with a closed network by DX (Direct Connect).
- FIG. 29 shows a configuration example of the closed network connection of the above “pine”.
- FIG. 30 is a diagram showing a dashboard screen of this information processing system.
- the information processing system has a function of displaying a dashboard screen 500 for easy information management.
- the dashboard screen 500 has features such as expansion according to the animal species and experimental environment, output in a format other than the experiment report, and discovery and notification of feature points that humans do not notice by artificial intelligence. ..
- dashboard screen 500 for example, a feed storage facility installation approval application, an animal experiment plan, an animal experiment result report, a self-inspection, an evaluation item, etc. are created as various materials necessary for conducting the experiment. Can be done. It is possible to expand the applicable animals and the contents of the experiment as a work-oriented design. It is possible to support output in formats other than experimental reports.
- dashboard screen 500 it is possible to expand “discovery” by deepening machine learning. For example, “discovery” within the human cognitive range and “discovery” beyond the human cognitive range are possible. For machine learning and functional deepening, it is possible to expand applicable animals and experimental contents. It is possible to discover and notify features that humans do not notice by artificial intelligence.
- the analysis attributes for the image to be analyzed ((type of analysis target (for example, mouse, rat, etc.), imaging direction of the analysis target (for example, up, oblique, horizontal, etc.)),
- the model selection unit 472 selects FIG. 3 from a plurality of types of skeleton estimation models in the model DB 42 based on the analysis attributes of the specified image to be analyzed.
- the target skeletal estimation model to be applied to the site extraction unit 52 and the outer shell detection unit 57 of FIG. 16 is selected, and the target to be applied to the individual identification unit 54 of FIGS. 3 and 16 from among a plurality of types of individual identification models.
- the animal type is correctly identified using the model suitable for the analysis target. Analysis results such as animal behavior can be obtained.
- functions such as management and download of analysis data on the server 200 while applying it to multiple animal species and experiment contents, it is possible to reuse the analysis data, and the animal individuals actually used in the experiment can be used. It can be significantly reduced.
- the following effects can be achieved. For example, since labeling (tagging) to the analysis data is automatically performed based on the specified analysis attribute or the like, when the analysis result is reused, it can be searched from the tag, so that the analysis data can be easily searched.
- FIGS. 3, 16 and 24 are merely examples and are not particularly limited. That is, it suffices if the information processing system is equipped with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block and database is used to realize this function is particularly determined in FIGS. 3 and 16. It is not limited to the example of FIG. 24. Further, the location of the functional block and the database is not particularly limited to FIGS. 3, 16 and 24, and may be arbitrary.
- the functional blocks and the database of the image processing device 2 and the server 200 may be transferred to the camera 1, the PC 320, or the like. Furthermore, the image processing device 2 and the camera 1 or the PC 320 may have the same hardware.
- a program constituting the software is installed in a computer or the like from a network or a recording medium.
- the computer may be a computer embedded in dedicated hardware.
- the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or a personal computer in addition to a server.
- the recording medium including such a program is not only composed of a removable medium (not shown) distributed separately from the device main body in order to provide the program to the user, but is also preliminarily incorporated in the device main body. It is composed of a recording medium or the like provided to the user in the state.
- the steps for describing a program recorded on a recording medium are not only processed in chronological order but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed.
- the term of the system means an overall device composed of a plurality of devices, a plurality of means, and the like.
- the marker has a triangular or circular shape, but the present invention is not limited to this example, and other shapes may be used. The same applies to objects that indicate the outline of the body.
- the behavior determination unit 56 determines whether or not the condition that defines the positional relationship between the animal part and another specific part (drinking place, feeding place, other animal part) is satisfied.
- the conditions that define the positional relationship between the animal part and other specific parts are stored in the material DB 43 in the storage unit 18, and the behavior determination unit 56 sets the above conditions from the material DB 43. It shall be read.
- an action database may be provided separately from the material DB 43, and the above conditions may be stored in the action database.
- the machine learning method is used, but in addition to this, a rule may be set such that the part farthest from the center of gravity is the nose.
- the center of gravity is detected (extracted) as a body part, but in addition to this, for example, specific parts (eyes, nose, ears, etc.) of eyes, nose, ears, feet, bones and joints are detected. It may be detected (extracted).
- the mouse has been described as an example as an individual identification target, but by expanding the data of the model DB 42 and the material DB 43, for example, rats, hamsters, guinea pigs, rabbits and the like can also be analyzed.
- a part of the body of each of one or more animals is extracted for each of a plurality of unit images, the extracted plurality of parts are analyzed for each time series, and a plurality of parts are analyzed based on the analysis result.
- Individuals of one or more animals were identified in each of the unit images, but this order is an example.
- individual parts may be extracted after individual recognition (identification).
- individual identification and site extraction may be performed at the same time. After individual recognition (identification), when extracting a single part, first determine which part of the image each is present, trimming, and then extract the single part.
- Various indicators (immediate initial motion period when the mouse is put in the gauge, until it stabilizes) so that the position, the range of movement when the outer shell (contour) changes over time, the amount of movement, the habit of behavior, the rhythm, etc. can be understood.
- the data related by the movement locus, the distribution of the existence position in each area, the existence time in each area, the movement distance, the total movement amount, the body orientation, the speed, the angular velocity, etc.) will be described.
- the graph described below shows a pair of a graph from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and a graph from the start of measurement to 18030 FRAME (about 10 minutes).
- FIG. 31 is a graph showing the positions of mice existing in the cage from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and their movement loci.
- FIG. 32 is a graph when the graph of FIG. 31 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 31 and 32 indicates the length of the floor surface of the cage in the depth direction, and the vertical axis indicates the length of the floor surface of the cage in the width direction in terms of the number of pixels (PIXCEL).
- PXCEL number of pixels
- FIG. 33 is a graph showing the distribution of mouse presence positions for each area in which the floor surface of the cage from the start of measurement to the initial movement of 1320 FRAME (44 seconds) is divided into nine areas (numbers 0 to 8).
- FIG. 34 is a graph when the graph of FIG. 33 is continuously drawn up to 18030 FRAME (about 10 minutes).
- FIGS. 33 and 34 are diagrams in which the positions of the mouse in the gauge are plotted every second, and the floor surface of the gauge divided into nine areas is included in the coordinate information of the position where the mouse is located.
- the graphs of FIGS. 33 and 34 are created.
- the number of plots is large in the area near the edge of the gauge (0, 5, 6, 8, etc.), and the mouse spends a lot of time near the edge.
- plots are increasing in the 4th area in the center, and the mouse is in the center of the gauge. It can be seen that the frequency of moving to is increasing. It can be said that the feeling of the mouse has become calmer than it was at the time of the initial movement.
- FIG. 35 is a bar graph showing the presence time of a mouse for each area in which the floor surface of the cage from the start of measurement to the initial movement of 1320 FRAME (44 seconds) is divided into nine areas.
- FIG. 36 is a bar graph when the graph of FIG. 35 is subsequently drawn continuously up to 18030 FRAME (about 10 minutes).
- FIGS. 35 and 36 show the number of plots (COUNTS), and the horizontal axis shows the area (REGION).
- the numerical values on the horizontal axis correspond to the numbers (0 to 8) of each area in FIG. 33.
- FIGS. 35 and 36 are graphs in which the number of plots in which the mouse is present is counted for each area, that is, the presence of the mouse is accumulated for each area.
- the plots (points) in FIGS. 33 and 34 are increased by one, the bar graph in the corresponding numbered areas in FIGS. 35 and 36 is increased by one count. From these FIGS. 33 to 36, it is possible to visually (visually) know in which area of the gauge the mouse stays more (or less).
- FIG. 37 shows the mouse when divided into the vicinity of the center of the cage (area 4 shown in FIG. 33) and the vicinity of the edge (area other than the area 4) from the start of measurement to the initial movement of 1320 FRAME (44 seconds). It is a graph which shows the existence time.
- FIG. 38 is a graph when the graph of FIG. 37 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 37 and 38 shows the number of plots (COUNTS), and the horizontal axis shows the area (REGION).
- the area (REGION) is divided into two areas, one near the center (4th area) and the other near the edge (area other than the 4th area).
- the mouse is often in the vicinity of the edge (area other than the 4th area).
- the frequency with which the mouse is near the center (area other than area 4) is higher than that at the time of initial movement. I understand.
- FIG. 39 is a graph showing the relationship between the period of 1320 FRAME of the initial movement from the start of measurement and the moving distance of the mouse every 1 second (30 FRAME).
- FIG. 40 is a graph when the graph of FIG. 39 is continuously drawn up to 18030 FRAME (about 10 minutes).
- FIGS. 39 and 40 show the distance (PICXEL) on the vertical axis and the time (FRAME) on the horizontal axis.
- the graphs of FIGS. 39 and 40 show the length (PICXEL on the image) between the place where the mouse has passed and the place where the mouse is now, every 30 frames, that is, every second. That is, the graphs of FIGS. 39 and 40 show the movement distance of the mouse every second, and the higher the movement in the vertical direction, the longer the movement distance in a short period, and the numerical value on the vertical axis shows. The closer it is to 0, the more it stays in place. Further, in the graphs of FIGS. 39 and 40, the polygonal line presented near the center of each swing width indicates a moving average. In this way, the moving speed of the mouse can be known by taking the average value within a certain period of time.
- FIG. 41 is a graph showing the relationship between the time in the 1320 FRAME, which is the initial movement from the start of measurement, and the body orientation of the mouse moment by moment in the cage.
- FIG. 42 is a graph when the graph of FIG. 41 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 39 and 40 shows the angle (DEGREE), and the horizontal axis shows the time (FRAME).
- DEGREE angle
- FRAME time
- the graphs of FIGS. 39 and 40 when the body of the mouse is straightened (0 degrees on the vertical axis of the graph) at an arbitrary time, for example, when the mouse is turned to the right from that point.
- the graphs of FIGS. 41 and 42 swing in the negative direction. For example, when the mouse turns backward, the direction of the body changes by 150 degrees or more, so that the graph shakes violently.
- FIG. 43 is a graph showing the relationship between the time from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and the total moving distance of the mouse.
- FIG. 44 is a graph when the graph of FIG. 43 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 43 and 44 indicates the distance (PICXEL), and the horizontal axis indicates the time (FRAME).
- the graph of FIG. 43 is a total distance (total distance traveled), which is a graph obtained by accumulating the above-mentioned travel distances. The measurement start time is set to 0, the distance traveled by the mouse is added, and finally the measurement is performed. The distance traveled from the start is shown. In the graphs of FIGS. 43 and 44, it was difficult to understand the state at the moment in the graph of the above-mentioned movement speed (graph of FIG. 39), but the graph of the total movement distance and the graph of the movement speed should be compared with each other. Then, you can see that it is stopped at that moment.
- FIG. 45 is a graph showing the relationship between the time from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and the rotational behavior (angular velocity) of the mouse.
- FIG. 46 is a graph when the graph of FIG. 45 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 45 and 46 shows the distance X angle (PICXEL ⁇ RAD), and the horizontal axis shows the time (FRAME).
- the graphs of FIGS. 45 and 46 are graphs of the angles at which the body orientation has changed and the body orientation has changed over time, and the angles at which the body orientation has changed, such as 20 degrees and 30 degrees, etc. It is the product of the moving distance to the angle of. In the graphs of FIGS. 45 and 46, the value is 0 if the graph is simply stopped and spinning, and the graph swings up and down significantly if the body is moving further while changing the direction of the body. It will be. From the graphs of FIGS.
- FIG. 47 is a graph showing the relationship between the time from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and the speed at which the mouse moves.
- FIG. 48 is a graph when the graph of FIG. 47 is continuously drawn up to 18030 FRAME (about 10 minutes).
- FIGS. 47 and 48 show the distance / time (PICXEL / SEC) on the vertical axis and the time (FRAME) on the horizontal axis.
- the graphs of FIGS. 47 and 48 are conceptual graphs similar to the graphs of the moving speeds of FIGS. 39 and 40.
- the graphs of FIGS. 39 and 40 measure the distance every 30 frames. For example, data exists between 0 frame, 30 frame, and 60 frame, but in the graphs of FIGS. 39 and 40, the moving speed is calculated by comparing only 0 frame and 30 frame, and 30 frame and 60 frame. In the graphs of FIGS. 47 and 48, the speed is calculated by taking the difference between the 0 frame and the 1 frame and dividing it by the time, which can be said to be a more detailed speed index.
- the speed of passage of time differs between the mouse and the human, and 1 second of the human is 0. It corresponds to a few seconds.
- the graphs of FIGS. 39 and 40 output the speed per second, but since this is a human sense, the graphs of FIGS. 47 and 48 output the speed with a finer mouse sense. The behavior of the mouse will be more expressed.
- FIG. 49 is a graph showing the relationship between the time from the start of measurement to the initial movement of 1320 FRAME (44 seconds) and the angular velocity at which the mouse moves.
- FIG. 50 is a graph when the graph of FIG. 49 is continuously drawn up to 18030 FRAME (about 10 minutes).
- the vertical axis of FIGS. 49 and 50 indicates the angle / time (DEGREE ⁇ SEC), and the horizontal axis indicates the time (FRAME).
- the graphs of FIGS. 45 and 46 show the relationship between the orientation of the mouse body and the distance, but the graphs of FIGS. 49 and 50 divide the numerical values of the graphs of FIGS. 45 and 46 by time. It is calculated by. In the graphs of FIGS. 45 and 46, it was quantified that there was a change in the angle of the mouse body, but in the graphs of FIGS. 49 and 50, the change in the angle was time-differentiated, and the speed and movement described above were obtained.
- FIG. 51 is a diagram showing a unit image at a certain timing of a moving image (original moving image) obtained by photographing the inside of a gauge with a camera.
- FIG. 52 is a diagram showing the outlines (contours) of each of the plurality (two) mice identified from the unit image.
- FIG. 53 is a diagram showing the orientation (direction from the center of the body to the tip of the nose) of one of the two mice.
- FIG. 54 is a diagram showing the orientation (direction from the center of the body to the tip of the nose) of the other one of the two mice.
- the unit image shown in FIG. 51 is extracted, the extracted unit image is image-analyzed, individual identification is performed, and then, as shown in FIG. 52, a plurality (two) of white color.
- the outer outline (outline) of each mouse is output in different colors such as red and blue.
- the center of gravity of one of the two mice (the mouse having the upper outer shell (red) in FIG. 52) is detected, and the positional relationship between the ears, eyes, and nose is used.
- the orientation of the mouse's face is detected.
- the center of gravity of the other one of the two mice (the lower outer shell (blue) mouse of FIG. 52) is detected, and the ears, eyes, and nose tips are detected.
- the orientation of the mouse's face (direction of the tip of the nose) is detected by detecting the orientation of the body from the positional relationship and drawing a line segment from the center of gravity to the tip of the nose.
- mice can be analyzed in more detail.
- the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations.
- the information processing apparatus corresponds to the image processing apparatus 2 having the functional configuration of FIG. 3 described in the first embodiment and the functional configuration of FIG. 24 described in the third embodiment. That is, the information processing apparatus to which the present invention is applied (for example, the image processing apparatus 2 in FIG. 3 and the server 200 in FIG. 24) is Acquire an image to be analyzed (for example, a video such as a moving image) composed of a plurality of unit images arranged in the time direction, which is obtained as a result of imaging the activity of one or more animals in a certain range of action.
- Image acquisition means for example, image acquisition unit 51 in FIG.
- each of the above-mentioned one or more animal body parts (parts of bones and joints). , The center of gravity of the body, etc.) and the site extraction means (for example, the site extraction unit 52 in FIG. 3).
- An individual identification means eg, FIG.
- a target to be applied to the site extraction means for example, the site extraction unit 52 in FIG. 3 is selected from a plurality of types of the skeleton estimation models, and the target is selected.
- a model selection means for example, a model selection unit 472 in FIG. 24 for selecting an object to be applied to the individual identification means (for example, the individual identification unit 54 in FIG. 3) from a plurality of types of the individual identification models.
- the analysis attributes of the specified image are used.
- a target to be applied to the site extraction means (for example, the site extraction unit 52 in FIG. 3) is selected from a plurality of types of skeletal estimation models, and an individual identification means (for example, individual identification in FIG. 3) is selected from a plurality of types of individual identification models. Select the target to be applied to the part 54). Then, when an image analysis instruction is given, a plurality of parts extracted from each of a plurality of unit images of the image are time-series using an animal skeleton estimation model and an individual identification model selected from a plurality of types.
- each mouse is taken from an image of one or more animals (for example, a mouse) that are active within a certain range of action.
- Each individual can be correctly identified.
- the information processing device for example, the image processing device 2 in FIG. 3 and the server 200 in FIG. 24
- a generation means for example, a data frame generation unit 53 in FIG. 3 for generating a data frame showing a transition of the position of the portion that changes with the behavior of the animal.
- an action determining means for determining an action according to the satisfied condition (for example, the action in FIG. 3).
- the behavior determination means is Behavior detection means for detecting behavior related to the positional relationship when the conditions defining the positional relationship between the animal part and another specific part (drinking place, feeding area, other animal part) are satisfied. (For example, the behavior detection unit 81 in FIG.
- the above action Each includes at least one of the social behaviors of the animals, the interaction of animals in the same range of action, and the relationship between animals. From this, it is possible to know whether the reason for the behavior of the animal is the behavior related to sociality, the behavior related to the interaction between animals existing in the same range of action, or the behavior related to the relationship between animals. ..
- the parts of each body of the animal extracted by the site extraction means for example, the site extraction unit 52 in FIG.
- a marker image generation means (for example, a marker image generation unit 55 in FIG. 3) that generates an image with a marker in which the indicated marker is associated with the portion. To prepare for. Thereby, by displaying the image with a marker, one or more animals existing in the image can be distinguished by the marker. In addition, after distinguishing animals, it is possible to detect the parts of those individuals, give significance to their changes (body movements), and evaluate them.
- the first information processing device for example, the image processing device 2 in FIG. 3 and the server 200 in FIG.
- a group of multiple images is A group of multiple images (movies) in which frame images composed of multiple unit images (pixels) are arranged in the time direction, which is obtained as a result of capturing the activity of one or more animals within a certain range of action.
- a determination means individual recognition unit 71 in FIG. 3 or the like for determining which region of each of the above-mentioned animals 1 or more each of the unit images belongs to.
- the position of a specific part of the animal is specified by coordinates indicating a distance from a predetermined reference point in the image.
- Means for example, the data frame generation unit 53 in FIG.
- Search department 463 ... Search Result output unit, 464 ... Analysis data addition unit, 465 ... Analysis result display control unit, 471 ... Designation unit, 472 ... Model selection unit, 491 ... Upload data management unit, 492 ... ⁇ Unprocessed data management department
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Image Analysis (AREA)
Abstract
Description
また、従来の技術は、個体の生体情報を処理する上で、個体識別した動物の健康状態を確認するため、カメラの他にサーモグラフィ等を必要とするためコストがかかる。さらに、上記文献には、健康状態の管理以外の用途が言及されていない。
一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像を取得する画像取得手段と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記1以上の前記動物の夫々の体の部位を抽出する部位抽出手段と、
前記動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記1以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記1以上の前記動物の夫々の個体を識別する個体識別手段と、
前記解析対象の前記画像に対する解析属性を指定する指定手段と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段に適用させる対象を選択するモデル選択手段と、
を備える。
このように、複数種類の骨格推定モデル及び複数種類の個体識別モデルを用意しておき、指定手段により指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段に適用させる対象の骨格推定モデルを選択すると共に、複数種類の個体識別モデルの中から個体識別手段に適用させる対象の個体識別モデルを選択する。
そして、解析指示により、画像に含まれる複数の単位画像毎に、1以上の動物の夫々の体の部位を検出し、検出した部位を時系列毎に解析し、その解析結果に基づいて1以上の動物の夫々の個体を識別することで、一定の行動範囲の中で活動する1以上の動物を撮像した画像から動物の個体を見分けることができる。
図1は、本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成を示す図である。
図1に示す情報処理システムは、1以上のマウス(図1の例ではマウスX1、X2)が収容されたケージCを上方から撮像するように設置(配置)されたカメラ1と、当該カメラ1とネットワークNを介して接続された画像処理装置2とを含むように構成される。
ネットワークNには、有線ネットワークの他、無線ネットワーク等も含まれる。ケージCは、一定の行動範囲の中で動物を活動させるための収容手段である。
ここで、動画とは、時間方向に複数の単位画像が配置されて構成される画像を言い、映像とも呼ばれている。単位画像は、フィールド画像が採用されることもあるが、ここではフレーム画像画像が採用されているものとする。
画像処理装置2は、動画から抽出したフレーム画像に含まれる1以上のマウスの体の骨格の一部の部位(トラッキングポイント)や個体ID(Identification)等のマーカと、夫々のマウスの外郭(周囲との輪郭)を視覚的に識別するためのオブジェクトのうち少なくとも一方を付与した追跡画像を生成しディスプレイ等の出力部16へ出力する。
画像処理装置2に出力部16としてプリンタが接続されていれば、追跡画像を印刷することもできる。
オブジェクトは、マウスの個体の外郭を示す輪郭線やマスク画像等である。マーカは、例えば丸、三角、四角等の図形で示されるトラッキングポイントや英数字等で示される個体ID等を含む。
なお、画像処理装置2の機能的構成や処理の詳細については、図3以降の図面を参照して後述する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部16は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部17は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部18は、ハードディスク等で構成され、各種情報のデータを記憶する。
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
骨格推定モデルは、動物の画像が入力されると、動物の骨格を出力するよう作られた学習モデルである。
個体識別モデルは、動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力するよう作られた学習モデルである。
数理モデルは、時系列を追って変化する動物の1以上の画像が入力されると、動物の行動がどういった行動であるかを示す情報を出力するよう作られた動物の行動分析を行うモデルである。
予め用意した動物の個体毎の動画及び静止画について機械学習及び更新が行われた結果として、新たに動画又は静止画像が入力された場合に入力画像から動物としての識別、個体の識別、さらには夫々の個体の行動を分析して分析結果を出力するための学習済みの学習データが記憶されている。このような学習済みの学習データを、本明細書では「学習モデル」と呼ぶ。
つまりこの第1実施形態における学習モデルは、骨格推定、個体識別、行動推定の技術を使って動物の個体や個体の行動を分析する学習モデルである。
なお、上記モデル群のうち、例えば骨格推定モデルの内部では、画像内の任意のピクセル(CNNを使ったモデルでは、全てのピクセル)のデータを入力として、適切な値(鼻の位置の座標であったり、鼻の座標である確率であったり)を動物毎のモデルに従い計算する。なお、CNNとは、畳み込み層やプーリング層を中心に構成されるニューラルネットワークをいう。
即ち、学習モデルは、画像が入力されると、画像に含まれる夫々のマウスの骨格や外郭、動きが既知のマウスに合致した際にその属性を付与して出力するように学習して生成されたものであればよい。
例えば単なるマウスの動きだけでなく、こういう動きをするマウスは、このような社会性がある、他のマウスとこういった関係性がある等といった習性を導き出すことができるデータである。
材料DB43には、マウスが行動を起こす条件と、条件から導出されるマウスの行動パターンとを対応付けたデータが記憶されている。つまり材料DB43には、数理モデルが画像から検出されたマウスの行動がどういった行動かを判断するための判断材料となるデータが記憶されている。判断材料となるデータとしては、例えば探索行動、摂食摂水、走る歩く、睡眠、ひっかき、グルーミング、喧嘩等の行動データが記憶されている。
動画取得部61は、カメラ1により撮像された映像(動画)を取得する。単位画像生成部62は、動画取得部61により取得された映像(動画)から、時間方向に複数の単位画像が配置されて構成される解析対象の画像を生成し、画像DB41に記憶する。つまり単位画像生成部62は、動画からフレーム単位の複数の単位画像(静止画)の群(フレーム画像)を生成する。
体の一部の部位とは、例えば左右の目、鼻、左右の耳、左右の前足の先端、左右の後足の先端、尾の先、骨や関節の繋ぎ目、体の重心のうちの1以上の特徴点である。
単位画像には、上述したフレーム画像の他、1画素(ピクセル)、複数の画素の群等が含まれる。
個体認識部71は、フレーム画像に含まれる複数の単位画像の夫々において、変化(動き)のあるものを1つの行動個体の一部として認識する。具体的には、個体認識部71は、単位画像を2値化して背景画像と異なる色を行動個体の一部として認識する。個体認識部71は、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
部位検出部72は、複数の単位画像の夫々において、行動個体の一部として認識されたものの領域に骨格推定モデルから出力される骨格を重ねて、動物の体の部位を抽出し、その部位をトラッキングポイント(追跡点)とする。体の部位は、鼻や左右の目等、少なくとも1以上検出される。
なお、この実施形態では、個体認識部71と部位検出部72とを備える部位抽出部52と骨格推定モデルとの組み合わせにより、画像から1以上の動物の夫々の体の部位を抽出したが、単位画像を入力すると、動物の体の部位を出力する部位抽出モデルをモデルDB42に予め記憶しておき、単位画像をモデルDB42に入力することで動物の体の部位を抽出するようにしてもよい。
データフレーム生成部53は、動物の夫々の領域毎に、動物の特定の部位(目、鼻、耳、足、尾、骨格等)の位置を、画像における所定の基準点からの距離を示す座標で特定する。
具体的には、データフレーム生成部53は、部位抽出部52により抽出された体の部位とその部位をフレーム画像又は行動個体の一部に含まれるケージCのある基準点を基準とする2次元(平面)座標系(x軸、y軸等)で表す位置情報とを対応させたテーブルを生成する。生成されたテーブルをデータフレームと呼ぶ。x軸は、2次元(平面)座標系の横軸、y軸は平面の縦軸をいう。
即ち、データフレーム生成部53は、動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する。
なお、トラッキングポイント(追跡点)として空間的な位置を取得する場合は、3次元(立体)座標系(x軸、y軸、z軸)となる。z軸は、3次元(立体)座標系の奥行軸をいう。
具体的には、個体識別部54は、複数種類の中から画像用に選択された個体識別モデルを用いて、部位抽出部52により複数の単位画像の夫々から抽出された1以上の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における1以上のマウスX1、X2の夫々の個体を識別する。
個体識別部54は、部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいてフレーム画像に含まれる1以上の動物夫々を識別(違う個体として分類)する。
つまり、個体識別部54は、1以上の部位がどのような動物の部位か、またその部位を持つ動物の個体はどれかを識別する。
ここで、一定の条件とは、例えばある部位と他の部位の位置が一定期間、所定の座標の位置(所定範囲)に存在したり、他の個体の部位との距離がゼロ又はゼロに近似する状態が一定期間継続した場合等である。
具体的には、マーカ画像生成部55は、個体識別部54により識別されたマウスX1、X2の個体を目視で識別可能とするマーカを当該単位画像に付したマーカ付き画像(追跡画像)を生成する。マーカは、例えば個体毎の個体ID(文字)やトラッキングポイントである。オブジェクトは個体毎に別色で色付けした輪郭線や枠、マスク画像等である。
即ち、行動判定部56は、データフレームにおいて部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
行動検出部81は、動物の部位と、他の特定の部位(水飲み場、餌場、他の動物の部位)との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する。
具体的には、行動検出部81は、モデルDB42及び材料DB43を参照して、データフレームの任意の時点におけるマウスX1、X2どうしの部位の位置関係やマウスX1、X2とケージC内の他の生活関連部材(水飲み場、餌場等)との位置関係が、材料DB43の条件を満たす否かを確認し、満たした条件に対応する行動を検出する。夫々のマウスX1、X2の社会性、同じ行動範囲に存在するマウスX1、X2どうしの相互作用、マウスX1、X2どうしの関係性のうちの少なくとも1つを検出する。
第1実施形態の情報処理システムでは、ケージCの中で活動する1以上のマウスX1、X2がカメラ1により撮像されて、その動画が画像処理装置2に入力されることで、画像処理装置2は、1以上のマウスX1、X2の夫々の個体を識別し、夫々のマウスX1、X2の個性や社会性等を判断するのを支援するための画像処理を以下のように実行する。
また、マウスX1、X2どうしの行動として、例えばマウスX1とマウスX2の社会性、同じ行動範囲に存在するマウスX1、X2どうしの相互作用、マウスX1、X2どうしの関係性等を検出するので、マウスX1とマウスX2の主従関係(支配力や従属性等)や習性、生態等を考察することができる。
図5は、映像から取得したフレーム画像の一例を示す図である。図6は、図5のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図7は、図6のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図8は、図5のフレーム画像から個体を識別した様子を示す図である。図9は、図8のフレーム画像から部位を検出した様子を示す図である。図10は、図9の部位を抽出した様子を示す図である。図11は、図5乃至図8のフレーム画像から夫々抽出した部位をトラッキングした様子を示す図である。図12は、図8の時刻t3の時点のフレーム画像にマーカを付した追尾画像を表示した図である。
画像処理装置2では、画像取得部51により、カメラ1から入力された動画から、図5乃至図7に示すように、時刻t1、t2、t3の順に時系列を追ってフレーム画像G1、G2、G3が取得される。
このように動物の1以上の部位を検出し、検出結果として得られた部位から体の動きをデータ化する。
この追尾画像G3Aには、例えば時刻t3の時点のフレーム画像G3(図7参照)に、マウスX1の部位82-3を示すマーカ(丸マーク)と個体ID“0”と軌跡線120が付与される。
また、追尾画像G3Aには、マウスX2の部位92-3を示すマーカ(三角マーク)と個体ID“1”と軌跡線121が表示される。
図13は、マウスの水飲み行動の検出例を示す図である。図14は、マウスの餌食べ行動の検出例を示す図である。図15は、マウスどうしの相互干渉行動の検出例を示す図である。
具体的には、行動判定部56は、ある複数フレーム、例えば図13のフレームNo.150乃至156({カッコの部分)において、マウスの鼻の位置(座標)とケージ壁面に取り付けられた水飲み口の位置(座標)との間の距離がゼロ又はゼロに近い近接状態が継続した場合、マウスによる水飲み行動と判定する。
また、マウスの行動について、例えばマウスの水飲み行動、餌食べ行動、同じ行動範囲に存在するマウスどうしの相互干渉動作等を判定するので、マウスの習性、生態や、マウスどうしの主従関係(支配力や従属性等)等を考察することができる。
個体識別部54では、前後のフレーム間で部位位置が大きく離れることがないという前提のもと、前段で抽出された部位位置の連続性から個体を正しく識別できる。
個体識別部54では、外郭や部位の位置情報により個体を識別するので、撮影環境の明るさや背景に依存せず個体を正しく識別できる。
図16は、図1の情報処理システムの第2実施形態、即ち図2の画像処理装置2の機能的構成の第2実施形態を示す機能ブロック図である。
外郭検出部57は、個体認識部91と外郭特定部92を備える。
個体認識部91は、複数の単位画像の夫々において、変化(動き)のある単位画像を含む領域を1つの行動個体として認識する。
具体的には、個体認識部91は、単位画像夫々を2値化して背景画像と異なる色のものを行動個体の一部として認識する。好ましくは、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
外郭特定部92は、複数の単位画像の夫々について、1つの行動個体として認識されたものを含む領域を1以上のマウスX1、X2の夫々の体の外郭(体の輪郭等)として特定する。
データフレーム生成部53は、動物の行動に伴う外郭の変化が特定の行動である確率を示すデータフレーム(図22参照)を生成する。
個体識別部54は、外郭検出部57により複数の単位画像の夫々から検出された1以上の外郭を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における1以上の動物の夫々の個体を識別する。
具体的には、個体識別部54は、モデルDB42を参照して複数のフレーム画像の夫々から検出された1以上の外郭を時系列毎に解析することで、マウスX1、X2の夫々の個体を識別し、識別結果得られたマウスX1、X2の個体の情報(個体IDと外郭の位置等)を行動判定部56へ出力する。つまり、個体識別部54は、検出した外郭がケージ内の2匹のマウスX1、X2のうちどちらのマウスのものかを識別する。
つまりこの第2実施形態における学習モデルを用いることで、骨格推定の手法を使った学習モデルであり、識別された各個体の領域から個体の外郭の位置を検出することができる。
具体的には、行動判定部56は、データフレームにおいて特定の行動である確率の値が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
ここで、1以上の条件とは、例えば一方のマウスが体を丸くするという一般行動をした後、他方のマウスが体を丸くしたマウスの体にすり寄るという一般行動をし、その頻度が何回以上という条件である。
行動判定部56は、材料DB43を参照し、個体識別部54により識別されたマウスの行動が当該条件を満たしたとき、マウスどうしの関係性が良好であり、つがいになる、ということが起きているものと判定する。
すなわち、ケージCに収容され活動する2匹のマウスX1、X2の様子が撮像された動画から、夫々のマウスX1、X2の体の外郭を検出し、検出した外郭を時系列毎に解析し、マウスX1、X2の夫々の個体を識別するので、同じ画像の中に存在して活動するマウスX1、X2の夫々の個体を見分けることができる。
続いて、図17を参照して図16の第2実施形態の機能的構成を有する情報処理装置により実行される画像処理動作を説明する。なお、第2実施形態の画像処理動作を説明するにあたり、図4に示した第1実施形態の動作と同じ動作には、図4と同一のステップ番号を付しその説明は省略する。図17は、図16の機能的構成を有する情報処理装置により実行される画像処理の流れの一例を説明するフローチャートである。
また、識別したマウスX1、X2の外郭が時系列と共に変化する様子を監視し、所定条件を満たすことで、マウスX1、X2の特定行動を検出するので、既存の生態だけでなく、新たな生態を発見することができる。
図18は、映像から取得したフレーム画像の一例を示す図である。図19は、図18のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図20は、図18の時刻t4の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図21は、図19の時刻t5の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図22は、ひっかき行動の検出例を示す図である。
なお、図18乃至図21を説明するにあたり、フレーム画像に映る2匹のマウスのうち、1匹のマウスについて、時刻t4のフレーム画像G4に含まれるマウスをマウスX1-1、時刻t5のフレーム画像G5に含まれるマウスをマウスX1-2として説明する。他のマウスX2-1、マウスX2-2も同様である。
画像処理装置2では、画像取得部51により、カメラ1から入力された動画から、図18に示す時刻t4のフレーム画像G4と、図19に示す時刻t5のフレーム画像G5とが時系列を追って順に取得される。
また、同追跡画像G4Aには、マウスX1-1の個体を識別するための個体IDとして“mouse0.996”と個体を囲う枠体131-1等のマーカが表示される。
さらに、同追跡画像G4Aには、マウスX2-1の個体を識別するための個体IDとして“mouse0.998”と個体を囲う枠体132-1等のマーカが表示される。
また、同追跡画像G5Aには、マウスX1-2の個体を識別するための個体IDとして“mouse0.996”と個体を囲う枠体131-2等のマーカが表示される。
さらに、同追跡画像G5Aには、マウスX2-2の個体を識別するための個体IDとして“mouse0.998”と個体を囲う枠体132-2等のマーカが表示される。
図22は、ひっかき行動の検出例である。
図22のフレームNo.1から順にフレーム画像が取得され、マウスを個体識別した後、行動判定部56は、マウスが特定の行動をしているか否かの確率をフレーム画像毎に算出し、算出結果として得られた確率をフレーム画像毎にデータフレーム化する。
そして、データフレームの確率を基に、マウスの行動をラベリング(分類)しその識別情報を当該データフレームに付与して画像DB41に記憶する。
この結果、ケージに収容した複数のマウス夫々を見分けつつ観察しながらマウス夫々がする一般行動や新たな行動を発見することができる。
次に、図23乃至図30を参照して第3実施形態を説明する。
上記第1実施形態及び第2実施形態は、特定の動物種や行動(白マウス、ひっかき行動等)、撮影環境に対してのみモデルを構築し、RAWデータ(各部位の位置情報等)として出力、条件判定プログラムの構築を行うに留まったが、この第3実施形態は、複数の動物種、行動、撮影環境への適用拡大を行い、実用性を高めたものである。
第3実施形態では、RAWデータ取得のためのアノテーション(取得部位の位置の判定用の教師データの作成)、RAWデータを用いて各行動の判定条件(数理モデル)の構築、アプリケーション化するためのプログラム化及びモジュール化、白マウスの移動、摂食、飲水を検知するためのプログラムの拡張等を行った。
また、システムの実行環境も使用者(依頼者)側の条件に依存せず安定的に稼働すること、実行タスクの頻度や負荷によってスペックやコストが最適化されることを想定しクラウドサービス化、つまりサーバクライアントシステムとしてシステムを構築した。
図23は、情報処理システムの第3実施形態であり、第1実施形態及び第2実施形態の情報処理システムを商用に拡張したビジネスモデルの概要を示す図である。
サーバ200は、依頼者Yからの依頼を受けて、依頼者Yからアップロードされた動画を解析し解析結果を依頼者Yに送信する。
ケージ311は、動物を一定範囲の中で活動させるための容器である。カメラ310は、ケージ311内で活動する動物を撮像する。この動物の撮影環境は、依頼内容に応じて適宜変更可能である。
PC320は、依頼に対してサーバ200からの解析結果の情報(CSVファイル330)や動物の目の位置にマーカMを付して加工した動画データ(加工動画331)を取得する。
PC320は、CSVファイル330のデータを分析するための資料(グラフ322)を作成したり、加工動画331を分析資料の一部とする。
画像解析部450は、第1実施形態で示した図3の機能的構成や第2実施形態で示した図16の機能的構成を含み、画像の解析処理を行う。
この他、ウェブサービス部451は、暗号化通信、アクセス元IP通信、専用線通信等を行う機能有することで、セキュリティ対策が図られている。
即ち、ウェブサービス部451は、PC320とのインターフェースを実現する。
DWH411は、様々な関連データが記憶されており、ストレージ410のデータと連携し処理した結果を体系的にアーカイブする。これにより、データを再利用可能とし、動物実験数を削減することができる。
ステップS101において、ケージ311内で動物が活動する様子を動画で撮像しその動画データ321をPC320のローカルに保存する。
ステップS102において、請負者に動画の解析を依頼する際に、PC320に保存した動画データ321をサーバ200へアップロードする。
なお、ステップS101、S102では、撮像した動画データ321をPC320に一旦保存した後、サーバ200へアップロードしたが、24時間連続撮像される動画の場合、ステップS103のように、カメラ310により撮像される動画データ321をサーバ200へ直接アップロードするようにしてもよい。
解析完了通知を受けたPC320では、検索画面を表示して、解析対象の動画データが指定されると、ステップS105において、ウェブサービス部451が、指定された動画データを検索し、加工動画331とその解析結果のCSVファイル330をPC320にダウンロードする。
なお、第3実施形態の情報処理システムの機能的構成を説明するにあたり、図3に示した第1実施形態の機能的構成、及び図16に示した第2実施形態の機能的構成と同一の構成には同一の符号を付しその説明は省略する。
また、モデルDB42には、機械学習等により生成又は更新された複数種類の学習モデルが予め格納されている。学習モデルは、例えば骨格推定モデル、個体識別モデル等)と数理モデルである。複数種類の学習モデルは、例えば解析対象の動物の種別毎、画像の撮像方向毎、動物の色毎に設けられている。
画像解析部450は、依頼者Yからの依頼により取得した動画データ321のうち、指定された画像データに対して選択されたモデルを用いて画像の解析処理を行う。
画像解析部450は、指定部471により指定された解析対象の画像を画像DB41から読み出し、モデル選択部472により複数種類の学習モデルの中から選択されてモデルDB42から抽出された学習モデル(骨格推定モデル、個体識別モデル、数理モデル等)を用いて当該画像の解析処理を実行する。
画像解析部450が実行する画像処理は、第1実施形態や第2実施形態に示した、動画における動物の個体識別、外郭識別及び行動解析等の処理である。
ウェブサービス部451は、依頼者Yがサーバ200へログインする際にログイン認証、依頼者Yから依頼された動画解析の結果の検索、検索結果の出力、解析データの追加、解析結果の表示制御等を行う。
この解析データ追加画面261からの解析データ追加操作により解析対象の動画データは、画像処理装置2にアップロードされる。画像処理装置2では、アップロードされた解析対象の動画データが画像DB41に追加登録される。
アップロード後、解析データ追加画面261では、画像DB41に追加した新たなファイルに対する解析条件の指定が行える。
指定部471は、解析対象の画像に対する解析属性(解析対象の種別(例えばマウス、ラット等)、解析対象の撮像方向(例えば上、斜上、横等)、解析対象の色(例えば白、黒等))を指定する。
解析データ追加画面261には、ファイルの欄と設定の欄が設けられている。ファイルの欄には、解析対象の画像のファイルのアイコンと、解析の進み具合(進捗状況)を示すバーグラフが設けられている。
設定の欄には、解析対象の画像に含まれる動物の種別(例えばマウス、ラット等)、解析対象の動物の撮像方向(例えば上、斜上、横等)、解析対象の動物の色(例えば白、黒等)等といった解析属性を依頼者Yが指定するためのラジオボタン(指定ボタン)が設けられている。
解析結果表示制御部465は、サーバ200からダウンロードされた解析結果のCSVファイル330や加工動画331等を表示する。
プロセス部452は、アップロードデータ管理部491と、未処理データ管理部492とを有する。
アップロードデータ管理部491は、PC320からアップロードされた画像データを画像DB41に移動し管理ファイルを更新する。この他、アップロードデータ管理部491は、cronによる毎分起動機能や重複起動防止機能等を備える。
ログイン管理部421は、PC320にログイン画面を表示し、依頼者Yによりログイン画面に入力されたログイン情報をサーバ200へ送信しログイン認証を依頼する。
画面制御部422は、PC320に検索画面を表示し、依頼者Yにより検索画面に入力された検索キーワードをサーバ200へ送信し検索を依頼し、依頼に対する検索結果を検索画面に表示する。検索画面には、検索結果一覧が表示される。この他、検索画面では、解析データを追加したり、解析結果の表示等が行える。
解析依頼部423は、PC320に解析データ追加画面を表示し、依頼者Yにより解析データ追加画面にて依頼者Yにより指定されたファイルや解析条件をサーバ200へ送信し解析を依頼する。
解析結果表示制御部424は、PC320に解析結果表示画面を表示し、サーバ200からダウンロードされた解析結果のCSVファイル330や加工動画331を解析結果表示画面に表示する。
図25は、PCに表示される検索画面を示す図である。図26は、検索画面の上にポップアップ表示される解析データ追加画面を示す図である。図27は、検索画面の上にポップアップ表示される動画確認画面を示す図である。
解析データリストは、解析データのファイル名、登録者、日時、解析等の各項目で解析データがリスト化されたものである。解析の項目は、解析データの現在の解析状態を示しており、例えば「解析済」、「実行中」等が示される。解析データリストの左部には、解析データの夫々を選択するための選択ボタンが設けられており、選択された解析データに対するボタン操作により、解析データの追加、動画の確認、CSV出力等が可能である。
図25の検索画面251において、選択ボタンで所望の解析データを選択(指定)した後、例えば解析データ追加ボタンを押下すると、図26に示す解析データ追加画面261が検索画面251の上にポップアップ表示される。
解析属性の設定欄には、例えば動物の種別、動物の撮像方向、動物の色等を選択するボタンが設けられており、夫々のボタンにより設定(指定)することができる。
この解析データ追加画面261では、新たな解析データとしてアップロードされた動画データについて、解析対象とするためのファイル選択と設定を行うことで、その後の解析データの解析を自動的に実行させることができる。
このときに、解析データ追加画面261で解析属性として設定された動物の種別、動物の撮像方向、動物の色等に基づいて、モデルDB42に格納された複数種類の学習モデル(骨格推定モデル、個体識別モデル及び数理モデル)の中から、解析対象の動物に使用される学習モデルが選択されることになる。
図25の検索画面251において、選択ボタンで所望の解析データを選択(指定)した後、例えば動画確認ボタンを押下すると、図27に示す動画確認画面271が、検索画面251の上にポップアップ表示される。
動画確認画面271には、追加の対象の解析データを再生する再生エリアと、戻るボタン、ダウンロードボタン等が設けられている。再生エリアには、選択された解析データ(動画データ)が停止した画像(静止画)と再生ボタン(三角アイコン)が設けられており、再生ボタン(三角アイコン)を、クリック操作することで、静止画が動き出し動画として再生される。
この動画確認画面271では、新たな解析データとしてアップロードされた動画データについて、解析対象のデータであるか、解析済みの加工動画であるか等、ファイル名だけでは判別し難いときに動画を再生して確認することができる。
また、ダウンロードボタンを押下操作することで、再生エリアに表示されている解析データをダウンロードすることができる。このダウンロード機能は、加工動画331をPC320側で利用したいときに有効である。
図28を参照して本情報処理システムを活用するメリットを説明する。
図28は、動画から作製したレポートの一例を示す図である。
本情報処理システムでは、目視では、確認し得ない細かいマウスの目の開閉の定量的なデータの出力が可能であり、これにより、これまでにない精度や把握しきれなかった内容の確認ができるようになる。
例えば図28に示すように、依頼者YのPC320から、マウスを撮像した動画データ281がサーバ200にアップロードされ、マウスの目の様子を解析してほしいという依頼があった場合、部位検出部72により、マウスの目の位置にマーカMを設定して、マウスが目を開いたときに目の面積が広くなり、目を閉じたときに面積が狭くなることを識別、つまり目の開閉を識別することで、レポート282として、例えば時刻に変化に伴い目の面積が変化するグラフ283を作成し依頼者Yへ提供することができる。
レポート282では、例えば一定時間毎の閉目回数、閉目持続時間(1分間で何回、目を閉じたか)、その他、依頼内容に応じたデータを出力することが可能である。
即ち、本情報処理システムでは、ごくわずかな部位の変化を定量的に補足することができる。長時間の動画を自動的に処理することができる。スループット性を向上することができる。
図29を参照して本情報処理システムのセキュリティを説明する。
図29は、堅牢なセキュリティを形成する閉域網接続の構成事例を示す図である。
本情報処理システムは、使用者側のポリシーとコストに応じてセキュリティレベルを選択して構成することができる。なお、通信の暗号化は必須であり、httpsを前提とする。
セキュリティレベルに応じたシステム構成例としては、例えば「梅」、「竹」、「松」がある。「梅」は、社内プロキシのGIPのみを通す制限によるアクセスが可能である。「竹」は、クライアントの証明書を利用したリバースプロキシ経由のアクセスが可能である。「松」は、社内環境とDX(ダイレクトコネクト)による閉域網接続を行う。
上記「松」の閉域網接続の構成事例を図29に示す。
図30を参照して本情報処理システムの深化について説明する。
図30は、本情報処理システムのダッシュボード画面を示す図である。
図30に示すように、本情報処理システムは、情報管理し易いダッシュボード画面500を表示する機能を有する。
ダッシュボード画面500では、動物種や実験環境に応じた拡張が可能、実験レポート以外の形式で出力することが可能、人口知能による人間が気付かない特徴点の発見や通知が可能等といった特徴がある。
業務に合わせた作り込みとしては、適用動物や実験内容の拡張が可能である。実験レポート以外の形式での出力に対応することができる。
機械学習や機能深化としては、適用動物や実験内容の拡張が可能である。人口知能による人間が気付かない特徴点の発見や通知を行うことができる。
また、複数の動物種や実験内容に適用しつつ、サーバ200において解析データの管理やダウンロード等の機能を備えることで、解析データの再利用が可能になり、実際に実験で使用する動物個体を大幅に削減することができる。
この他、以下のような効果を奏することができる。
例えば指定された解析属性等を基に解析データへのラベリング(タグ付け)を自動的に行うので、解析結果を再利用する際、タグから検索できるので、解析データを検索し易くなる。
複数の解析属性等に対し単一のモデルのみを使用する場合は、既存のモデルをアップデートするため再学習し、再度その精度を検討する必要があるが、複数の解析属性等に対して、複数のモデルを保持しておくことで、新たな属性が現れた際には新規にモデルを作成することになるので、モデル学習がコンパクトに行える。
換言すると、図3、図16、図24の機能構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図3、図16、図24の例に限定されない。また、機能ブロック及びデータベースの存在場所も、図3、図16、図24に特に限定されず、任意でよい。画像処理装置2やサーバ200の機能ブロック及びデータベースをカメラ1やPC320等に移譲させてもよい。更に言えば、画像処理装置2とカメラ1やPC320は、同じハードウェアであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
上記実施形態では、行動判定部56が、動物の部位と、他の特定の部位(水飲み場、餌場、他の動物の部位)との位置関係を規定した条件を満たすか否かを判定することについて説明したが、動物の部位と、他の特定の部位との位置関係を規定した条件は、記憶部18に材料DB43に記憶されており、行動判定部56が、材料DB43から上記条件を読み出すものとする。この他、材料DB43とは別に行動データベースを設けて、上記条件を行動データベースに記憶してもよい。
上記実施形態では、機械学習の手法を用いたが、この他、例えば重心から一番離れた部位を鼻とする等、規則を設定してもよい。
上記実施形態では、体の部位として、重心を検出(抽出)したが、この他、例えば目、鼻、耳、足、骨や関節のうちの特定の一部(目、鼻、耳等)を検出(抽出)してもよい。
上記実施形態では、個体識別の対象としてマウスを一例として説明したが、モデルDB42や材料DB43のデータを拡充することで、例えばラット、ハムスター、モルモット、ウサギ等も解析対象にできる。また、豚、牛、羊、鶏等の家畜、さらには犬、猫、猿、人間等のさまざまな動物を対象とすることができる。
上記実施形態では、複数の単位画像毎に、1以上の動物の夫々の体の一部の部位を抽出し、抽出した複数の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における1以上の動物の夫々の個体を識別したが、この順序は一例であり、この他、例えば個体認識(識別)した後、単体の部位を抽出してもよい。また、個体識別と部位抽出とを同時に行ってもよい。
個体認識(識別)した後、単体の部位を抽出する場合、まず画像のどの部分にそれぞれが存在するかを割り出し、トリミング、その後、単体の部位を抽出する。
また、複数個体の部位検出した後、個体を識別する場合、画像中で特定の部位がどこにあるかを複数検知し、その後“それらの位置が時間方向でどのように変化するか”という推測に基づいて各部位がどちらの集合(この場合、特定の1個体の部位集合)に帰属するかを判定する。
即ち、動物の部位の位置がわかる、これに加えて個体を識別する、この結果、個体の社会性がわかる、という手順が含まれていればよい。
なお、以下に説明するグラフは、計測開始から初動の1320FRAME(44秒)までのグラフと、計測開始から18030FRAME(約10分)までのグラフとを一対で示している。
図31は、計測開始から初動の1320FRAME(44秒)までのケージ内に存在するマウスの位置とその移動軌跡を示すグラフである。図32は、図31のグラフをその後18030FRAME(約10分)まで続け描画したときのグラフである。
図31の初動の1320FRAMEのグラフでは、マウスは、ケージの中心部を避けて、縁側を移動しており、不安がっていることがうかがえる。
図32の計測開始から10分までのグラフでは、ケージの中心部と縁側とではやはり、縁側を移動する個が多いことが分かる一方、直線的な移動を示す移動線や移動線が絡まるような部分も見受けられる。移動線が絡まるような部分では、マウスは、その位置にとどまり何らかの行動(グルーミング等)をしていることが分かる。これらの情報をAIで学習することで、マウスの行動や精神的な疾患等を特定することができる。
図33、34の縦軸と横軸は、画素(PIXCEL)を示している。図33は、計測開始から初動の1320FRAME(44秒)までのケージの床面を9つのエリア(0乃至8の番号)に区分したエリア毎のマウスの存在位置の分布を示すグラフである。図34は、図33のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図33の初動の1320FRAMEのグラフでは、ゲージの縁部付近のエリア(0、5、6、8番等)にプロット数が多く、マウスは、縁部付近にいる時間が多いことが分かる。
その後、約10分まで、続けて描画された図34のグラフでは、相変わらず縁部部付近にいることが多いものの、中央部の4番エリアにもプロットが増えており、マウスがゲージの中央部に移動する頻度が多くなってきたことが分かる。これは、初動時よりもマウスの気持ちが落ち着いてきたものと言える。
図35は、計測開始から初動の1320FRAME(44秒)までのケージの床面を9つに区分したエリア毎のマウスの存在時間を示す棒グラフである。図36は、図35のグラフをその後18030FRAME(約10分)まで続けて描画したときの棒グラフである。
図35、36は、マウスが存在したプロット数をエリア毎にカウント、つまりエリア毎にマウスの存在を積み上げたグラフである。図33、34のプロット(点)が1つ増えると、図35、36の対応する番号のエリアの棒グラフが1カウント分高くなる。
これら図33乃至36から、マウスがゲージのどのエリアに多く(又は少なく)留まっているかが視覚的に(見た目で)分かる。
図37は、計測開始から初動の1320FRAME(44秒)までのケージの中央付近(図33で示した4番エリア)と縁部付近(4番エリア以外のエリア)とで区分した場合のマウスの存在時間を示すグラフである。図38は、図37のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図37の初動時のグラフでは、マウスは、縁部付近(4番エリア以外のエリア)に居ることが多いことが分かる。図38のグラフでは、圧倒的に縁部付近(4番エリア以外のエリア)が多いものの、初動時よりもマウスが中央付近(4番エリア以外のエリア)に居る頻度が高くなっていることが分かる。
図39は、計測開始から初動の1320FRAME分の期間とマウスの1秒(30FRAME)毎の移動距離との関係を示すグラフである。図40は、図39のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図39、図40のグラフは、マウスが30フレーム毎、つまり1秒毎に、過ぎた場所と今いる場所との長さ(画像上はPICXEL)を示している。
即ち、図39、図40のグラフは、1秒毎のマウスの移動距離を示しており、縦方向に高く振れれば振れるほど短期間での移動距離が長いことを示し、縦軸の数値が0に近ければそれだけその場に留まっていることを示している。
また、図39、図40の各グラフにおいて、各振れ幅の中央付近に提示されている折れ線は移動平均を示している。このように、ある程度幅を持った時間の中で平均値をとることで、マウスの移動速度が分かる。
図41は、計測開始から初動の1320FRAMEにおける時間とケージ内におけるマウスの一瞬一瞬の体の向きとの関係を示すグラフである。図42は、図41のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図39、図40のグラフの場合、ある任意の時間のマウスの体の向きを真っすぐ(グラフの縦軸の0度)としたときに、その時点から、例えばマウスが右方向に向いた場合は、図41、図42のグラフは、マイナス方向に振れる。例えばマウスが後ろに振り向く等すると、体の向きが150度以上変化するため、グラフは、激しく振れる。
図43は、計測開始から初動の1320FRAME(44秒)までの時間とマウスの総移動距離との関係を示すグラフである。図44は、図43のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図43のグラフは、トータルディスタンス(総移動距離)であり、上述した移動距離を積み上げたグラフであり、計測開始時点を0として、マウスが移動した距離を加算してゆき、最終的には計測開始からの移動距離が示される。
図43、図44のグラフでは、上述の移動速度のグラフ(図39のグラフ)では、瞬間瞬間の状態が分かり難くかったが、この総移動距離のグラフと移動速度のグラフとを照らし合わせることで、その瞬間に止まっている等のことが分かるようになる。
このグラフでは、最終的には移動距離が多かったり少なかったりすることが分かるが、途中途中のどのタイミングで急に移動量が上がっているか、といったことも分かる。
つまりこれらのグラフでは、速度の面と移動量の面の両面でマウスの行動を把握することができる。
例えば図37のグラフでは、先頭の赤点(図では丸い点)が時間経過とともに上下に振れてゆくが、赤点が横に移動すると、マウスが移動していないことを示し、図37の速度のグラフでは0に近い値となる。
図45は、計測開始から初動の1320FRAME(44秒)までの時間とマウスの回転行動(角速度)との関係を示すグラフである。図46は、図45のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図45、46のグラフは、体の向きが変わって、かつ体の向きが変わった角度を時系列を追ってグラフ化したものであり、体の向きが変わった角度、例えば20度、30度等の角度に対し移動距離を掛け算したものである。
図45、46のグラフでは、ただ単に、その場に止まってくるくる回っているのであれば、0の値となり、体の向きを変えながらさらに移動しているのであれば、グラフが上下に大きく振れることになる。
図45、46のグラフから、例えば体の向きが変わっているだけならば、きょろきょろしている程度の行動が認められるが、その場に止まって、体の向きを変えてまで回っていると、周りの状況を確認しようとして必死になっている精神状態が伺える。マウスの挙動を単に直前直前の体の向きとの比較だけでなく、移動も加味することで、別の行動が見えてくる。
図47は、計測開始から初動の1320FRAME(44秒)までの時間とマウスが動く速度との関係を示すグラフである。図48は、図47のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図47、図48のグラフは、図39、図40の移動速度のグラフに近い概念のグラフである。
図39、図40のグラフは、30フレーム毎の距離を計測している。
例えば0フレームと30フレームと60フレームの間にもデータは存在するが、図39、図40のグラフでは、0フレームと30フレーム、30フレームと60フレームだけを比較して移動速度を算出したが、この図47、図48のグラフでは、0フレームと1フレームとの差分をとってそれを時間で割ることで速度を算出しており、より詳細な速度指標と言える。
マウスと人間は、時間経過のスピードが異なり、人間の1秒がマウスの0.数秒に相当する。
図39、図40のグラフは、1秒毎の速度を出力したが、これは人間の感覚のため、図47、図48のグラフでは、より細かなマウスの感覚で速度を出力することで、マウスの行動がより表現されるものとなる。
図49は、計測開始から初動の1320FRAME(44秒)までの時間とマウスが動く角速度との関係を示すグラフである。図50は、図49のグラフをその後18030FRAME(約10分)まで続けて描画したときのグラフである。
図45、図46のグラフは、マウスの体の向きと距離との関係を示したものであったが、図49、図50のグラフは、図45、図46のグラフの数値を時間で割って算出したものである。
図45、図46のグラフでは、マウスの体に角度の変化があったことを数値化したが、図49、50のグラフは、角度の変化を時間微分したものであり、前述の速度と移動距離(移動量)との関係と同様に、角度と角速度との関係を表したものとなるので、図45、図46のグラフと共に見比べながら、例えば瞬間にマウスが止まっているかどうか等を検証することができる。つまり図45、図46のグラフでは、移動速度と移動量を同時に見ることができる。
例えば瞬間瞬間に跳ね上がっている数値があれば、この跳ね上がりの高さが高ければ高いほど、マウスが早く回転しかつ移動している状況が分かる。一方、数値が低ければ低いほど(数値が0に近いほど)、ゆっくり回転しかつ移動しているといえる。
図51は、ゲージ内をカメラで撮像して得られた動画(元動画)のあるタイミングの単位画像を示す図である。図52は、単位画像から識別される複数(2匹)のマウスの夫々の外郭(輪郭)を示す図である。図53は、2匹のマウスのうちの1匹のマウスの向き(体の中心から鼻先の方向)を示す図である。図54は、2匹のマウスのうちの他の1匹のマウスの向き(体の中心から鼻先の方向)を示す図である。
また、図53に示すように、2匹のマウスのうちの1匹のマウス(図52の上側の外郭(赤色)のマウス)の重心を検出すると共に、耳、目、鼻先の位置関係から、体の向きを検出して、重心から鼻先の方向へ線分をひくことで、マウスの顔の向き(鼻先の方向)を検出する。
即ち、本発明が適用される情報処理装置(例えば図3の画像処理装置2、図24のサーバ200)は、
一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像(例えば動画等の映像)を取得する画像取得手段(例えば図3の画像取得部51)と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記1以上の前記動物の夫々の体の部位(骨や関節の一部、体の重心等)を抽出する部位抽出手段(例えば図3の部位抽出部52)と、
前記動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記1以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記1以上の前記動物の夫々の個体を識別する個体識別手段(例えば図3の個体識別部54)と、
前記解析対象の前記画像に対する解析属性(解析対象の画像に含まれる動物の種別(例えばマウス、ラット等)、解析対象の動物の撮像方向(例えば上、斜上、横等)、解析対象の動物の色(例えば白、黒等))を指定する指定手段(例えば図24の指定部471等)と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段(例えば図3の部位抽出部52)に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段(例えば図3の個体識別部54)に適用させる対象を選択するモデル選択手段(例えば図24のモデル選択部472等)と、
を備える。
このように構成される情報処理装置では、予め複数種類の個体識別モデルや個体識別モデルを用意しておき、解析対象の画像に対する解析属性を指定すると、指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段(例えば図3の部位抽出部52)に適用させる対象を選択すると共に、複数種類の個体識別モデルの中から個体識別手段(例えば図3の個体識別部54)に適用させる対象を選択する。
そして、画像の解析指示があると、複数種類の中から選択された動物の骨格推定モデル及び個体識別モデルを用いて、その画像の複数の単位画像の夫々から抽出された複数の部位を時系列毎に解析し、その解析結果に基づいて1以上の動物の夫々の個体を識別するので、一定の行動範囲の中で活動する1以上の動物(例えばマウス等)を撮像した画像から個々のマウスの夫々の個体を正しく見分けることができる。
さらに、情報処理装置(例えば図3の画像処理装置2、図24のサーバ200)は、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成手段(例えば図3のデータフレームを生成部53)と、
前記データフレームにおいて前記部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定手段(例えば図3の行動判定部56)と、
をさらに備える。
このように構成することで、動物の部位の位置の推移が条件を満たした場合、その条件に応じた行動を判定するので、一定の行動範囲の中で行動する夫々のマウスの行動の理由を知ることができる。
即ち、動画から動物の個体を識別して、夫々の動物の夫々の部位の動きから動物の行動を評価することができる。
前記行動判定手段(例えば図3の行動判定部56)は、
前記動物の部位と、他の特定の部位(水飲み場、餌場、他の動物の部位)との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する行動検出手段(例えば図3の行動検出部81)、
をさらに備える、
ことで、動物が限られた行動範囲の中で行動する中で、例えばひっかき行動をしたことでストレスを抱えている等の行動の理由を知ることができる。また、他の動物に対してグルーミング行動をしたことで、他の動物と関係性を持とうとしている等の行動の理由を知ることができる。
前記行動が、
夫々の前記動物の社会性に関する行動、同じ行動範囲に存在する動物どうしの相互作用に関する行動、動物どうしの関係性に関する行動のうちの少なくとも1つを含む。
これにより、動物の行動の理由が、社会性に関する行動であるか、同じ行動範囲に存在する動物どうしの相互作用に関する行動であるか、動物どうしの関係性に関する行動であるかを知ることができる。
前記部位抽出手段(例えば図3の部位抽出部52)により抽出された前記動物の夫々の体の部位及び前記個体識別手段(例えば図3の個体識別部54)により識別された前記動物の個体を示すマーカを前記部位に対応付けたマーカ付き画像を生成するマーカ画像生成手段(例えば図3のマーカ画像生成部55)、
を備える。
これにより、マーカ付き画像を表示することで、画像の中に存在する1以上の動物をマーカにより見分けることができる。また、動物を見分けた上で、それら個体の部位を検出し、それらの変化(体の動き)に意義付けを行い、評価をすることができる。
第1情報処理装置(例えば図3の画像処理装置2、図24のサーバ200)は、
一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、複数の単位画像(ピクセル)から構成されるフレーム画像が時間方向に配置される複数の画像の群(動画)を取得する画像取得手段(例えば図3の画像取得部51)と、
前記単位画像の夫々が、前記1以上の前記動物の夫々のどの領域に属するかを判定する判定手段(図3等の個体認識部71)と、
前記動物の夫々の領域毎に、前記動物の特定の部位(目、鼻、耳、足、尾、骨格等)の位置を、前記画像における所定の基準点からの距離を示す座標で特定する特定手段(例えば図3のデータフレームを生成部53)と、
前記特定手段により特定される前記部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいて前記画像に含まれる前記1以上の前記動物夫々を識別(分類)する個体識別手段(例えば図3の個体識別部54)と、
を備える。
また、前記個体識別手段(例えば図3の個体識別部54)により識別(分類)される動物毎に、前記部位の座標の推移が予め設定された条件に合致するか否かを判定し、合致した前記条件に対応する前記動物の行動ラベル(ひっかき行動、睡眠中、グルーミング行動等)を、当該部位を含む前記画像の時刻情報(タイムスタンプ)に付与する行動判定手段(例えば図3の行動判定部56)、
をさらに備える。
これにより、動物の行動がひっかき行動、睡眠中、グルーミング行動等のうちどの行動に属するかを知ることができる。
Claims (6)
- 一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像を取得する画像取得手段と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記1以上の前記動物の夫々の体の部位を抽出する部位抽出手段と、
前記動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記1以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記1以上の前記動物の夫々の個体を識別する個体識別手段と、
前記解析対象の前記画像に対する解析属性を指定する指定手段と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段に適用させる対象を選択するモデル選択手段と、
を備える情報処理装置。 - 前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成手段と、
前記データフレームにおいて前記部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定手段と、
をさらに備える請求項1に記載の情報処理装置。 - 前記行動判定手段は、
前記動物の部位と、他の特定の部位との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する行動検出手段、
をさらに備える請求項2に記載の情報処理装置。 - 前記行動が、
夫々の前記動物の社会性に関する行動、同じ行動範囲に存在する動物どうしの相互作用に関する行動、動物どうしの関係性に関する行動のうちの少なくとも1つを含む、
請求項3に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法において、
一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される画像を取得する画像取得ステップと、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記1以上の前記動物の夫々の体の部位を抽出する部位抽出ステップと、
前記動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記複数の単位画像の夫々から抽出された前記1以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記1以上の前記動物の夫々の個体を識別する個体識別ステップと、
前記解析対象の前記画像に対する解析属性を指定する指定ステップと、
指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出ステップに適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別ステップに適用させる対象を選択するステップと、
を含む情報処理方法。 - 情報処理装置を制御するコンピュータに、
一定の行動範囲の中で1以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される画像を取得する画像取得ステップと、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記1以上の前記動物の夫々の体の部位を抽出する部位抽出ステップと、
前記動物の体の1以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記複数の単位画像の夫々から抽出された前記1以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記1以上の前記動物の夫々の個体を識別する個体識別ステップと、
前記解析対象の前記画像に対する解析属性を指定する指定ステップと、
指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出ステップに適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別ステップに適用させる対象を選択するモデル選択ステップと、
を含む制御処理を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21910727.3A EP4265106A4 (en) | 2020-12-21 | 2021-12-20 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
JP2022571462A JPWO2022138584A1 (ja) | 2020-12-21 | 2021-12-20 | |
CN202180086045.3A CN116669544A (zh) | 2020-12-21 | 2021-12-20 | 信息处理装置、信息处理方法及程序 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020211852 | 2020-12-21 | ||
JP2020211853 | 2020-12-21 | ||
JP2020-211852 | 2020-12-21 | ||
JP2020-211853 | 2020-12-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022138584A1 true WO2022138584A1 (ja) | 2022-06-30 |
Family
ID=82159349
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/047076 WO2022138585A1 (ja) | 2020-12-21 | 2021-12-20 | 情報処理装置、情報処理方法及びプログラム |
PCT/JP2021/047075 WO2022138584A1 (ja) | 2020-12-21 | 2021-12-20 | 情報処理装置、情報処理方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/047076 WO2022138585A1 (ja) | 2020-12-21 | 2021-12-20 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240046493A1 (ja) |
EP (2) | EP4265107A4 (ja) |
JP (2) | JPWO2022138584A1 (ja) |
WO (2) | WO2022138585A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466972B1 (ja) | 2024-01-12 | 2024-04-15 | 株式会社Eco‐Pork | 豚の活動量測定方法、豚の活動量測定プログラムが記憶された非一時的コンピュータ可読記憶媒体、および豚の活動量測定システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402902B2 (ja) * | 2003-05-23 | 2010-01-20 | 財団法人くまもとテクノ産業財団 | 実験用動物の個体識別システム及び個体識別タグ付き実験用動物 |
US20160125276A1 (en) * | 2013-06-04 | 2016-05-05 | Clic RWeight ,LLC | Methods and systems for marking animals |
JP2018007625A (ja) | 2016-07-14 | 2018-01-18 | シャープ株式会社 | 生体情報処理装置 |
JP2018520680A (ja) * | 2015-07-01 | 2018-08-02 | ヴァイキング ジェネティクス エフエムベーア | 背の画像に基づき個々の動物を識別するシステム及び方法 |
WO2019142787A1 (ja) * | 2018-01-16 | 2019-07-25 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 |
WO2020208917A1 (ja) * | 2019-04-09 | 2020-10-15 | パナソニックIpマネジメント株式会社 | 身体機能管理システム、及び、身体機能管理方法 |
JP6793383B1 (ja) * | 2020-05-25 | 2020-12-02 | 株式会社アジラ | 行動体特定システム |
JP2021101668A (ja) * | 2019-12-25 | 2021-07-15 | 国立研究開発法人農業・食品産業技術総合研究機構 | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008007471A1 (fr) * | 2006-07-10 | 2008-01-17 | Kyoto University | Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur |
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
MA41117A (fr) * | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
JP6617830B2 (ja) * | 2016-04-28 | 2019-12-11 | 富士通株式会社 | 骨格推定装置、骨格推定方法および骨格推定プログラム |
-
2021
- 2021-12-20 EP EP21910728.1A patent/EP4265107A4/en active Pending
- 2021-12-20 WO PCT/JP2021/047076 patent/WO2022138585A1/ja active Application Filing
- 2021-12-20 JP JP2022571462A patent/JPWO2022138584A1/ja active Pending
- 2021-12-20 EP EP21910727.3A patent/EP4265106A4/en active Pending
- 2021-12-20 JP JP2022571463A patent/JPWO2022138585A1/ja active Pending
- 2021-12-20 WO PCT/JP2021/047075 patent/WO2022138584A1/ja active Application Filing
- 2021-12-20 US US18/258,627 patent/US20240046493A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402902B2 (ja) * | 2003-05-23 | 2010-01-20 | 財団法人くまもとテクノ産業財団 | 実験用動物の個体識別システム及び個体識別タグ付き実験用動物 |
US20160125276A1 (en) * | 2013-06-04 | 2016-05-05 | Clic RWeight ,LLC | Methods and systems for marking animals |
JP2018520680A (ja) * | 2015-07-01 | 2018-08-02 | ヴァイキング ジェネティクス エフエムベーア | 背の画像に基づき個々の動物を識別するシステム及び方法 |
JP2018007625A (ja) | 2016-07-14 | 2018-01-18 | シャープ株式会社 | 生体情報処理装置 |
WO2019142787A1 (ja) * | 2018-01-16 | 2019-07-25 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 |
WO2020208917A1 (ja) * | 2019-04-09 | 2020-10-15 | パナソニックIpマネジメント株式会社 | 身体機能管理システム、及び、身体機能管理方法 |
JP2021101668A (ja) * | 2019-12-25 | 2021-07-15 | 国立研究開発法人農業・食品産業技術総合研究機構 | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム |
JP6793383B1 (ja) * | 2020-05-25 | 2020-12-02 | 株式会社アジラ | 行動体特定システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4265106A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466972B1 (ja) | 2024-01-12 | 2024-04-15 | 株式会社Eco‐Pork | 豚の活動量測定方法、豚の活動量測定プログラムが記憶された非一時的コンピュータ可読記憶媒体、および豚の活動量測定システム |
Also Published As
Publication number | Publication date |
---|---|
EP4265107A4 (en) | 2024-05-29 |
EP4265107A1 (en) | 2023-10-25 |
EP4265106A1 (en) | 2023-10-25 |
JPWO2022138585A1 (ja) | 2022-06-30 |
EP4265106A4 (en) | 2024-05-29 |
US20240046493A1 (en) | 2024-02-08 |
WO2022138585A1 (ja) | 2022-06-30 |
JPWO2022138584A1 (ja) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
García et al. | A systematic literature review on the use of machine learning in precision livestock farming | |
Walton et al. | Evaluation of sampling frequency, window size and sensor position for classification of sheep behaviour | |
Meunier et al. | Image analysis to refine measurements of dairy cow behaviour from a real-time location system | |
Fogarty et al. | Behaviour classification of extensively grazed sheep using machine learning | |
US7209588B2 (en) | Unified system and method for animal behavior characterization in home cages using video analysis | |
JP2022058471A (ja) | プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
Datta | Q&A: Understanding the composition of behavior | |
JP2012518236A (ja) | ジェスチャー認識のための方法及びシステム | |
CN109514582A (zh) | 一种机器人逗宠控制装置及移动机器人 | |
WO2022138584A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Kashiha et al. | Performance of an image analysis processing system for hen tracking in an environmental preference chamber | |
CN108460370B (zh) | 一种固定式家禽生命信息报警装置 | |
EP2804130A1 (en) | Identifications of individuals using multiple skeleton recording devices | |
Khairunissa et al. | Detecting poultry movement for poultry behavioral analysis using the Multi-Object Tracking (MOT) algorithm | |
CN116669544A (zh) | 信息处理装置、信息处理方法及程序 | |
Nejati et al. | Technology applications in bovine gait analysis: A scoping review | |
Kleanthous et al. | Feature extraction and random forest to identify sheep behavior from accelerometer data | |
CN117894078A (zh) | 一种基于ai视觉的宠物行为分析*** | |
Monteiro et al. | A depth-map approach for automatic mice behavior recognition | |
Mealin et al. | Towards unsupervised canine posture classification via depth shadow detection and infrared reconstruction for improved image segmentation accuracy | |
US10661176B2 (en) | Information processing system and information processing method | |
Kumar et al. | Animal biometrics: Concepts and recent application | |
CN111652084A (zh) | 一种异常蛋鸡识别方法及装置 | |
Nour et al. | Real-time detection of eating activity in elderly people with dementia using face alignment and facial landmarks | |
Maraghehmoghaddam | Synthetic data generation for deep learning model training to understand livestock behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21910727 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022571462 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180086045.3 Country of ref document: CN |
|
WWE | Wipo information: entry into national phase |
Ref document number: 18258621 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2021910727 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021910727 Country of ref document: EP Effective date: 20230721 |