WO2022162781A1 - 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム - Google Patents
行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム Download PDFInfo
- Publication number
- WO2022162781A1 WO2022162781A1 PCT/JP2021/002816 JP2021002816W WO2022162781A1 WO 2022162781 A1 WO2022162781 A1 WO 2022162781A1 JP 2021002816 W JP2021002816 W JP 2021002816W WO 2022162781 A1 WO2022162781 A1 WO 2022162781A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- action
- time
- candidate
- intervals
- actions
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 230000006399 behavior Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 230000036544 posture Effects 0.000 description 21
- 238000010276 construction Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Definitions
- the present disclosure relates to a behavioral sequence determination device, a behavioral sequence determination method, and a behavioral sequence determination program.
- the cost of determining the target action series from the various actions included in the data obtained by observing human actions is high.
- the present disclosure aims to facilitate determination of a target action series from various actions included in data obtained by observing human actions.
- a plurality of candidate intervals of the target action series are determined from a plurality of time-series observed features obtained by observing human actions.
- Each of the plurality of candidate intervals is divided into action intervals, which are action time intervals, and the likelihood corresponding to each of the plurality of actions calculated for each action interval is normalized for each action interval.
- a representative value of normalized likelihood corresponding to each action interval selected from all action intervals in the candidate interval based on the order of actions of the target action sequence is calculated as an evaluation value. If the evaluation value exceeds the common threshold, it is determined to be the target behavior series.
- FIG. 4 is a conceptual diagram illustrating the state of the first hidden Markov model of the embodiment;
- FIG. 4 is a conceptual diagram explaining padding of supervised data;
- FIG. 4 is a conceptual diagram explaining padding of supervised data;
- FIG. 4 is a conceptual diagram explaining padding of supervised data;
- FIG. 4 is a conceptual diagram explaining padding of supervised data;
- It is a block diagram which illustrates the functional composition of the action sequence judging device of this embodiment.
- FIG. 4 is a conceptual diagram for explaining target action sequence determination; It is a block diagram which illustrates the hardware constitutions of this embodiment.
- FIG. 9 is a flowchart illustrating the flow of action section estimation model construction processing; 7 is a flowchart illustrating the flow of feature vector extraction processing; It is a flow chart which illustrates a flow of action section presumption processing.
- 4 is a flowchart illustrating the flow of action sequence determination processing; It is a conceptual diagram explaining the action of related technology. It is a conceptual diagram which illustrates the hierarchical hidden Markov model of related technology. It is a conceptual diagram which illustrates the outline
- 1 is a conceptual diagram illustrating manual segmentation of related art; FIG. FIG. 4 is a conceptual diagram illustrating division of action sections; FIG. 4 is a conceptual diagram for explaining target action sequence determination; FIG. 4 is a conceptual diagram for explaining target action sequence determination; FIG. 4 is a conceptual diagram for explaining target action sequence determination;
- HSMM hidden semi-Markov model
- HMM Hidden Markov model
- the HSMM of this embodiment includes a plurality of first HMMs whose state is each of human actions, and a second HMM whose state is action.
- m1, m2, and m3 are examples of actions
- a1, a2, and a3 are examples of actions.
- a behavior is a combination of multiple motions
- a motion is a combination of multiple postures.
- the HSMM estimates an optimal action time interval (hereinafter referred to as an action interval).
- an action interval an optimal action time interval
- HMM parameters include observation probability and transition probability.
- O1, . . . , O8 are examples of observation probabilities, and transition probabilities are probabilities corresponding to arrows connecting states. Observation probability is the probability of observing a certain feature in each state, and transition probability is the probability of transitioning from one state to another. If the order of transitions is fixed, transition probabilities are unnecessary. Note that the number of actions and the number of actions, that is, the number of first HMMs and second HMMs are examples, and are not limited to the numbers illustrated in FIG.
- FIG. 2 is an example of a functional block diagram of the action section estimation model construction device 10 of this embodiment.
- the action section estimation model construction device 10 has an observation probability learning unit 11 , a transition probability learning unit 12 and a construction unit 13 .
- the observation probability learning unit 11 learns the observation probability of HSMM, which is an example of an action segment estimation model, using unsupervised data, as described below.
- This embodiment targets limited actions for achieving a certain work goal.
- Such actions are, for example, actions in routine work performed in a factory line, and have the following properties.
- Property 1 The difference in each action that constitutes a task is the difference in the combination of a plurality of limited actions.
- Property 2 Multiple postures observed when performing the same work are similar.
- all actions are composed of actions included in one action group.
- the action group includes, for example, three actions m11, m12, and m13.
- the action m11 may be "raise the arm”
- the action m12 may be “lower the arm”
- the action m13 may be "stretch the arm forward”.
- the number of actions included in the action group is not limited to the example in FIG. Also, the number of actions included in each action is not limited to the example in FIG.
- the observation probability of each action corresponding to the dashed arrow does not depend on the action, so it can be learned with unsupervised data of action intervals. Learning is performed using, for example, machine learning, neural networks, deep learning, and the like.
- the model used for unsupervised learning of observation probability may be a Gaussian mixture distribution (hereinafter referred to as GMM (Gaussian Mixture Model)).
- GMM Gaussian Mixture Model
- each observation is generated by a Gaussian distribution over which one of the actions is stochastically selected. This is a different assumption from supervised learning, which does not use temporal dependencies of observations.
- Each Gaussian parameter of the learned GMM is assigned to a Gaussian distribution that is the probability distribution of the observed probability in each action.
- the transition probability learning unit 12 learns the transition probability of the motion of the first HMM using learning data having teacher information (hereinafter referred to as supervised data), as described below.
- the teacher information is information that gives the correct answer for the time interval in which each action occurs with respect to the posture time-series data. Learning is performed using, for example, maximum likelihood estimation or EM algorithm (Expectation-Maximization algorithm) (other methods such as machine learning, neural network, and deep learning may be used).
- the observation probability learned by the observation probability learning unit 11 is fixed, and the transition probability is learned from existing supervised data.
- data of existing supervised data which is an example of the first supervised data
- seed data SD data of existing supervised data
- noise is added to the seed data SD
- oversampling is performed to obtain data.
- Inflate since the postures of the same work are similar, by adding noise, it is possible to generate data with variations similar to the actual variations for each observation, as illustrated in FIG. can.
- the noise may be random noise, for example.
- the supervised data is padded by commonly applying the supervised information TI of the seed data SD to each padded data.
- the padded supervised data which is an example of the second supervised data, is used to learn the transition probabilities of the multiple actions of the first HMM by supervised learning.
- noise within a predetermined range is generated and added to the observed samples at each time.
- noise a motion that has a high probability of generating the observed sample is identified, and an appropriate noise is generated in consideration of the relationship between the sample group of the motion and the sample group of another motion in the feature space. Generate and add noise of magnitude. This makes it possible to generate more appropriate supervised data.
- noise generated from the multivariate Gaussian distribution of the covariance that is a constant multiple of the covariance of the sample group of the specified motion may be added.
- the center distance d from the specified motion sample group to the motion sample group with the closest center distance is calculated, and the isotropic Gaussian distribution ( The noise generated from the covariance matrix is diagonal) may be added.
- FIG. 6 illustrates sample groups of actions m31, m32, and m33.
- FIG. 7 illustrates a state in which random noise is added to the samples of operation m32.
- the range of random noise is large, many samples are far from the original motion m32. Even in such a case, as described above, it is possible to add an appropriate amount of noise in consideration of the spread relationship between a sample group of a certain motion and a sample group of another motion in the feature space. , can inflate more appropriate supervised data.
- the building unit 13 uses the observation probabilities learned by the observation probability learning unit 11 and the state transition probabilities learned by the transition probability learning unit 12 to build an HSMM as illustrated in FIG. O1, O2, . corresponds to the state transition probability learned in . d1, d2, and d3 represent the duration of each action, and the probability distribution of the duration is determined from the action duration of the teacher information.
- the duration probability distribution may be a uniform distribution over a range.
- the behavior section estimation model construction device 10 of this embodiment has the following features. 1. Observation probabilities of actions common to all actions of the first HMM are learned by unsupervised learning. 2. The transition probabilities between actions of the first HMM are learned by supervised learning using supervised data padded from the supervised seed data.
- FIG. 8 is an example of a functional block diagram of the action sequence determination device 20 of this embodiment.
- the action sequence determination device 20 has a candidate section determination section 21 , an evaluation value calculation section 22 and a determination section 23 .
- the behavior sequence determination device 20 determines a target behavior sequence including a plurality of behaviors represented by a plurality of motions in a predetermined order from a plurality of time-series observed features obtained by observing human motions.
- the candidate interval determination unit 21 varies the start times of a plurality of observation features in the time series obtained by observing human motions by one hour, and sets the end time to a time later than the start time for each of the start times.
- a plurality of candidate segments are determined by changing the time by one time.
- the candidate section is a candidate for the target action sequence corresponding to the target action series. The variation is not limited to one hour, and may be, for example, two hours or three hours.
- the evaluation value calculation unit 22 uses the action interval estimation model to estimate action intervals, which are time intervals of actions included in the candidate intervals determined by the candidate interval determination unit 21 .
- the action interval may be estimated by the action interval estimation model described above, or may be estimated by other existing techniques.
- the evaluation value calculation unit 22 calculates the likelihood of the action of each action section included in the candidate section, and calculates the relative fitness by normalizing the likelihood for each action section.
- the likelihood represents the likelihood that a certain action is the action in accordance with the order of the action sequence.
- the evaluation value calculation unit 22 selects the relative fitness of the action corresponding to the action section according to the order of the actions of the target action sequence, and calculates the representative value of the selected relative fitness as the evaluation value. .
- the representative value may be the mean, median, and sum of selected relative goodness of fit, and the like.
- the determination unit 23 determines whether or not the action sequence is the target action sequence by comparing the evaluation value and the common threshold.
- a common threshold is a constant value that may be determined experimentally.
- the action sequence determination device 20 normalizes the likelihood so that the relative fitness is in the range of 0.0 to 1.0, for example.
- a common threshold ie, a non-relative constant value
- the common threshold may be determined experimentally and may be, for example, 0.5.
- the likelihood can be calculated by the following equation (1), for example, when the behavior model is GMM that does not consider the order. Assume that the action section of action A is the observed feature values x 1 , x 2 , and x 3 .
- the likelihood can be calculated by, for example, Equation (2) below when the behavior model is an HMM that considers the order.
- s t represents the state of the internal state transition of action A at each time.
- FIG. 9 exemplifies candidate sections of the target action sequence including actions in the order of action A, action B, and action C.
- the action sections of the position corresponding to the action A are x1, x2, x3
- the action sections of the position corresponding to the action B are x4 , x5 , x6 , x7 , x8
- the position corresponding to the action C. is estimated to be x 9 and x 10 .
- the representative value is the likelihood that the action section at the position corresponding to action A is action A, the likelihood that the action section at the position corresponding to action B is action B, and the likelihood that the action section at the position corresponding to action B is action B.
- the common threshold is 0.5, it can be determined that the candidate section is the target action sequence in the above example.
- the action section estimation model construction device 10 includes a CPU (Central Processing Unit) 51, a primary storage device 52, a secondary storage device 53, and an external interface 54, as shown in FIG.
- the CPU 51 is an example of a processor that is hardware.
- the CPU 51 , primary storage device 52 , secondary storage device 53 and external interface 54 are interconnected via a bus 59 .
- the CPU 51 may be a single processor or multiple processors.
- a GPU Graphics Processing Unit
- the primary storage device 52 is, for example, a volatile memory such as RAM (Random Access Memory).
- the secondary storage device 53 is, for example, a non-volatile memory such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the secondary storage device 53 includes a program storage area 53A and a data storage area 53B.
- the program storage area 53A stores, for example, programs such as an action section estimation model construction program.
- the data storage area 53B stores, for example, supervised data, unsupervised data, learned observation probabilities, transition probabilities, and the like.
- the CPU 51 reads out the action section estimation model construction program from the program storage area 53A and develops it in the primary storage device 52 .
- the CPU 51 operates as the observation probability learning unit 11, the transition probability learning unit 12, and the construction unit 13 of FIG. 2 by loading and executing the action interval estimation model construction program.
- programs such as the action section estimation model construction program may be stored in an external server and deployed to the primary storage device 52 via a network.
- the program such as the action interval estimation model generation program may be stored in a non-temporary recording medium such as a DVD (Digital Versatile Disc) and expanded in the primary storage device 52 via a recording medium reader.
- An external device is connected to the external interface 54 , and the external interface 54 controls transmission and reception of various information between the external device and the CPU 51 .
- 10 shows an example in which a display 55A and an external storage device 55B are connected to the external interface 54.
- the external storage device 55B stores, for example, supervised data, unsupervised data, constructed HSMM, and the like.
- the display 55A visually displays the constructed HSMM model, for example.
- the action interval estimation model construction device 10 may be, for example, a personal computer, a server, or a computer on the cloud.
- the action section estimation model construction device 10 of FIG. 10 also functions as the action sequence determination device 20 by storing the constructed HSMM in the data storage area 53B.
- the CPU 51 reads out the action sequence determination program from the program storage area 53A and develops it in the primary storage device 52 .
- the CPU 51 loads and executes the action sequence determination program, thereby operating as the candidate section determination unit 21, the evaluation value calculation unit 22, and the determination unit 23 of FIG.
- a program such as the action sequence determination program may be stored in an external server and expanded to the primary storage device 52 via a network. Also, the program such as the action sequence determination program may be stored in a non-temporary recording medium such as a DVD (Digital Versatile Disc), and expanded in the primary storage device 52 via a recording medium reader.
- a non-temporary recording medium such as a DVD (Digital Versatile Disc)
- the action sequence determined to be the target action sequence is stored in the external storage device 55B for use in subsequent processing.
- the display 55A visibly displays, for example, the action sequence determined to be the target action sequence.
- FIG. 11 illustrates the flow of action section estimation model construction processing.
- the CPU 51 extracts a feature vector representing a motion, which is a chain of human postures, from learning data, as will be described later.
- the CPU 51 classifies the feature vectors extracted at step 101 by clustering (GMM parameter estimation) into element motions, and learns the observation probability of each motion by unsupervised learning.
- GMM parameter estimation clustering
- step 103 the CPU 51 adds noise to the supervised seed data and adds supervised data to the data generated by oversampling, thereby padding the supervised data.
- step 104 the CPU 51 distributes the feature vectors of the supervised data for each time interval of each action given by the supervised information.
- step 105 the CPU 51 uses the series of feature vectors in the time interval distributed in step 104 as observed data and the supervised data padded in step 103 to learn the transition probability of the motion of the first HMM by supervised learning. do.
- the CPU 51 sets a uniform distribution within a predetermined range for the duration of each action given by the teacher information as the probability distribution of the duration of each action.
- the CPU 51 uses the observation probabilities learned in step 102 and the transition probabilities learned in step 105 to construct the HSMM.
- an HSMM is constructed in which the behavior of the second HMM transitions in the order of each behavior given by the teacher information after continuation for a certain period of time.
- the constructed HSMM may be stored, for example, in the data storage area 53B.
- FIG. 12 illustrates details of the feature vector extraction process in step 101 of FIG.
- the CPU 51 detects a person from the data used for learning and tracks the person to obtain posture information of the person.
- the CPU 51 acquires time-series data of posture information to be analyzed from the time-series data of posture information.
- Posture information to be analyzed is selected from the size of a bounding box surrounding a person, time, and the like.
- the CPU 51 acquires time-series data of exercise information for each part of the body from the time-series data of posture information acquired at step 152.
- the time series of motion information may be, for example, the degree of bending of each part, the speed of bending, and the like.
- Each part may be, for example, an elbow, a knee, or the like.
- the CPU 51 averages the motion information of step 153 within the window in the time direction at regular time intervals using a sliding time window to calculate a feature vector.
- FIG. 13 illustrates the flow of activity segment estimation processing using the HSMM constructed in this embodiment.
- the action interval estimation model construction device 10 of FIG. 10 may function as an action interval estimation device by storing the constructed HSMM in the data storage area 53B.
- the CPU 51 extracts feature vectors from sensor data generated by detecting a person's posture with a sensor.
- a sensor is a device that detects a person's posture, and may be, for example, a camera, an infrared sensor, a motion capture device, or the like. Since step 251 in FIG. 13 is the same as step 101 in FIG. 11, detailed description is omitted.
- the CPU 51 uses the series of feature vectors extracted at step 251 as observation data, compares it with the HSMM constructed in the action section estimation model construction process, and estimates the duration of each action state.
- the CPU 51 estimates the time interval of each action from the duration of each action state estimated at step 252 .
- a specific action in a video is a combination of elemental actions, and is a more complicated upper action.
- Basic action recognition is posture recognition for each frame
- elemental action recognition is temporal and spatial recognition, It is to recognize simple actions over a certain length of time.
- High-level behavior recognition is recognition of complex behavior over a certain length of time.
- the action interval estimation model construction processing and the constructed action interval estimation model of this embodiment can be applied to estimate the action interval.
- FIG. 14 illustrates the flow of action sequence determination processing using the HSMM constructed in this embodiment.
- the CPU 51 extracts feature vectors from sensor data generated by detecting a person's posture with a sensor.
- a sensor is a device that detects a person's posture, and may be, for example, a camera, an infrared sensor, a motion capture device, or the like. Since step 201 in FIG. 14 is the same as step 101 in FIG. 11, detailed description is omitted.
- the CPU 51 determines candidate sections for the target action sequence by trying all combinations of start times and end times.
- the CPU 51 compares the series of feature vectors extracted in step 201 as observation data with the HSMM constructed in the action section estimation model construction process to estimate the duration of each action state. The time interval of each action is estimated from the estimated duration of each action state.
- step 204 the CPU 51 calculates the relative fitness by normalizing the likelihood of the model of each action in each action section of the candidate section, that is, the observation probability.
- step 205 the CPU 51 calculates a representative value using the relative fitness of the action corresponding to the action section in accordance with the order of actions in the target action sequence, and uses the representative value as an evaluation value.
- step 206 the CPU 51 compares the evaluation value with the common threshold value to determine whether or not it is the target action sequence.
- step 202 the start time is varied from a first time to a second time, and for each start time, the end time is varied from a third time to a fourth time that is temporally later than the start time. Multiple candidate sections are determined. The processing of steps 203 to 206 is applied to each of the plurality of candidate segments determined in step 202.
- the candidate interval with the higher evaluation value may be determined to be the target action sequence.
- the action sequence determined to be the target action sequence may be extracted as the target action sequence and recorded in the data storage area 53B, or the start time and end time of the action sequence determined to be the target action sequence may be calculated. may be recorded in the data storage area 53B.
- HSMM may be used in which actions included in actions are not particularly limited.
- actions for example, as illustrated in FIG. 15, it is assumed that the following operations exist. (1) Raise arm, (2) Lower arm, (3) Extend arm forward, (4) Bring hands closer together in front of body, (5) Move forward, (6) Move sideways, (7) squat, (8) stand
- Action a31 (1) Raise your arms ⁇ (3) Stretch your arms forward ⁇ (1) Raise your arms ⁇ (4) Bring your hands closer together in front of your body ⁇ (7) Squat down.
- an upper hierarchical HMM includes a plurality of lower hierarchical HMMs as states.
- Actions a51, a52, and a53 are examples of lower-level HMMs.
- Each of the lower-level HMMs includes an action as a state, m51, m52, m53, m61, m62, m63, m71, and m72 are examples of actions.
- FIG. 17 illustrates the observation probability p11 of action a51, the transition probability p21, the observation probability p12 of action a52, the transition probability p22, the observation probability p13 of action a53, and the transition probability p23.
- the number of parameters is large and the degree of freedom of the parameters is high, so a large amount of supervised data is used for parameter learning. It takes time and effort to create teacher information for supervised data.
- the observation probability p1 common to each of the first HMMs corresponding to the behavior of the HSMM is learned by unsupervised learning using unsupervised data LDN.
- the transition probabilities p21D, p22D, and p23D of each motion of the first HMM are learned by supervised learning using supervised data.
- the supervised data is inflated and used for supervised learning by adding the teacher information TIL of the supervised data LDD to the data generated by adding noise to the existing supervised data LDD and oversampling. . Therefore, in the present embodiment, even when there is little existing supervised data, an action segment estimation model can be efficiently constructed.
- the motion during work is manually divided into intervals. Specifically, as illustrated on the left side of FIG. 19, a series of operations are photographed with a camera, and by viewing the acquired images, the work is manually divided into sections, as illustrated on the right side of FIG. do.
- each acquired video is manually divided into sections, which takes time and labor.
- the action section during work may be manually divided in the same way as in the related technologies.
- the manually divided action section as teacher information, as shown in the lower part of FIG. 20, other data can be automatically divided into action sections, saving time and effort. can be omitted.
- the video may include a plurality of action sequences, which are a series of actions to be processed corresponding to the teacher information illustrated in the upper part of FIG. 21, and further includes actions other than the target action sequence There is also In the present disclosure, for example, a target action sequence is determined from the video, as illustrated in the lower part of FIG. 21 .
- a candidate section is determined, and the target action is included in the candidate section. Evaluate whether or not That is, when the calculated evaluation value exceeds the threshold, it is determined to be the target action sequence.
- the likelihood can be calculated from the observation probability of obtaining the observation, so it is conceivable to use the likelihood as an evaluation value.
- it is relatively easy to determine the threshold because the distribution of the observation probability for the correct action interval is known. Determining the threshold is difficult.
- the value of the observation probability that can be said to be a high evaluation is a parameter of the probability model.
- a constant threshold ie a common threshold that can be commonly used when trying to apply detection of various behavioral sequences.
- Using a common threshold requires adjustment of the parameters of the probabilistic model of the behavior of the target behavior sequence, which is not practical.
- the evaluation value represents the average likelihood of observations within the action section based on the idea of geometric mean.
- candidate section 1, candidate section 2, and candidate section 3 are determined as candidate sections corresponding to action sequence M.
- candidate sections are examples, and in practice, candidate sections are determined by combining all start times and end times.
- x i (i is a natural number) represents a motion feature vector at each time.
- candidate section 1 If the evaluation values of candidate section 1, candidate section 2, and candidate section 3 are as follows, it can be determined that candidate section 2, which has the highest evaluation value, is most likely to be the target action sequence M. However, it is unknown how many target action sequences M are included in the observation series, and it is possible that they are not included at all.
- candidate section 2 is the target action sequence just because the evaluation value is the largest. For example, it is possible to compare with the evaluation value of the basic data, but in this case, it is difficult to determine to what extent the range of difference from the evaluation value of the basic data should be set.
- the observation probability P ( Consider X
- C) from action C is the highest.
- the observation probability of action A for the action section at the position of action A in the candidate section of the target action sequence is compared with the observation probabilities of actions B and C. The relation of greater is preserved.
- the candidate interval if an action interval with the highest observation probability of action A, an action interval with the highest observation probability of action B, and an action interval with the highest observation probability of action C exist in that order, the candidate interval is It can be determined that the section seems to correspond to the target action sequence.
- This determination uses the relative relationships among actions A, B, and C to evaluate the order of actions, and even a candidate section that is not the target action sequence can be highly evaluated.
- the possibility of the relative relationship appearing by chance decreases.
- A) is clearly smaller than the first worker's observation probability P(Y
- the observation probability is used as an evaluation value, for example, if the worker is different, the observation probability from action A will be the highest, but the values may differ greatly, so it is possible to use a common threshold. Have difficulty.
- a plurality of candidate intervals of the target action series are determined from a plurality of time-series observed features obtained by observing human actions.
- Each of the plurality of candidate intervals is divided into action intervals, which are action time intervals, and the likelihood corresponding to each of the plurality of actions calculated for each action interval is normalized for each action interval.
- a representative value of normalized likelihoods corresponding to each action interval selected from all action intervals in the candidate interval based on the order of actions of the target action sequence is calculated as an evaluation value. If the evaluation value exceeds the common threshold, it is determined to be the target behavior series.
- the common threshold can be used to determine the target action sequence from the observed series including various actions.
- a target action sequence from an observation sequence including a plurality of actions performed in a fixed order, such as routine work in a factory, dance choreography, and martial arts.
- the determined target behavior sequence can be used to analyze routine work in a factory, dance choreography, martial arts style, and the like.
- action sequence determination device 21 candidate section determination unit 22 evaluation value calculation unit 23 determination unit 51 CPU 52 primary storage device 53 secondary storage device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定する。複数の候補区間の各々を行動の時間区間である行動区間ごとに分割し、行動区間ごとに算出した複数の行動の各々に対応する尤度を行動区間ごとに規格化し、候補区間における全ての行動区間の各々から対象行動系列の行動の順序に基づいて選択される行動区間の各々に対応する規格化された尤度の代表値を評価値として算出する。評価値が共通閾値を超える場合に対象行動系列であると判定する。
Description
本開示は、行動系列判定装置、行動系列判定方法及び行動系列判定プログラムに関する。
ディープラーニング技術の発展により通常のRGBカメラで撮影した人の映像から姿勢を高精度に認識できるようになり、この認識情報を利用して人の行動を推定する様々な研究開発が行われている。当該状況下において、人の映像から検出した姿勢の時系列データから指定した行動が発生した時間区間を推定する取り組みが行われている。
山本龍一、酒向慎司、北村正、「隠れセミマルコフモデルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法」、研究報告音楽情報科学(MUS)、2012年
Shun-ZhengYu、「Hidden semi-Markov models」、Artificial Intelligence、Volume 174、Issue 2、2010年2月、215~243頁
若林啓、三浦孝夫、「階層型隠れマルコフモデルの高速パラメータ推定」、電子情報通信学会論文誌、2011年
"映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発"、[online]、2019年11月25日、富士通株式会社、[2021年1月19日検索]、インターネット(URL:https://pr.fujitsu.com/jp/news/2019/11/25.html)
人の動作を観測して取得したデータに含まれる様々な行動から対象行動系列を判定するコストが高い。
本開示は、1つの側面として、人の動作を観測して取得したデータに含まれる様々な行動からの対象行動系列の判定を容易にすることを目的とする。
1つの実施形態では、人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定する。複数の候補区間の各々を行動の時間区間である行動区間ごとに分割し、行動区間ごとに算出した複数の行動の各々に対応する尤度を行動区間ごとに規格化する。候補区間における全ての行動区間の各々から対象行動系列の行動の順序に基づいて選択される行動区間の各々に対応する規格化された尤度の代表値を評価値として算出する。評価値が共通閾値を超える場合に対象行動系列であると判定する。
本開示は、1つの側面として、人の動作を観測して取得したデータに含まれる様々な行動からの対象行動系列の判定を容易にすることができる。
本実施形態では、人の行動が発生した時間区間を推定する行動区間推定モデルの一例として、図1に例示するような隠れセミマルコフモデル(以下、HSMM(Hidden semi-Markov model)という。)を構築する。HSMMは、隠れマルコフモデル(以下、HMM(Hidden Markov model)という。)のパラメータに加え、状態ごとの継続時間の確率分布をパラメータとしてもつ。
本実施形態のHSMMは、人の動作の各々を状態とする複数の第1HMMと、行動を状態とする第2HMMと、を含む。m1、m2、m3は動作の一例であり、a1、a2、a3は行動の一例である。行動は、複数の動作の組合せであり、動作は、複数の姿勢の組合せである。
パラメータを設定することで構築されたHSMMに人の姿勢を検知することで生成された時系列センサデータが与えられると、HSMMは最適な行動の時間区間(以下、行動区間という。)を推定する。d1、d2、d3は行動区間の一例である。
HMMのパラメータには、観測確率及び遷移確率が存在する。O1、…、O8は観測確率の一例であり、遷移確率は状態をつなぐ矢印に対応する確率である。観測確率とは、各状態において、ある特徴が観測される確率であり、遷移確率とは、ある状態から別の状態に遷移する確率である。遷移の順番が定まっている場合は、遷移確率は不要である。なお、動作の数、行動の数、即ち、第1HMM、第2HMMの数は例示であり、図1に例示される数に限定されない。
図2は、本実施形態の行動区間推定モデル構築装置10の機能ブロック図の一例である。行動区間推定モデル構築装置10は、観測確率学習部11、遷移確率学習部12、構築部13を有する。観測確率学習部11は、以下に説明するように、教師なしデータで行動区間推定モデルの一例であるHSMMの観測確率を学習する。
本実施形態では、ある作業目標を達成するための限定された行動を対象とする。このような行動は、例えば、工場のラインで行われる定型作業での行動であり、以下の性質を有する。
性質1:作業を構成する各行動の違いは、限定された複数の動作の組合せの違いである。
性質2:同じ作業を行う際に観測される複数の姿勢は類似している。
性質1:作業を構成する各行動の違いは、限定された複数の動作の組合せの違いである。
性質2:同じ作業を行う際に観測される複数の姿勢は類似している。
本実施形態では、性質1に基づいて、全ての行動が1つの動作群に含まれる動作で構成される。図3に例示するように、動作群には、例えば、3つの動作m11、m12、m13が含まれている。
例えば、動作m11は「腕を上げる」、動作m12は「腕を降ろす」、動作m13は「腕を前に伸ばす」であってよい。動作群に含まれる動作の数は図3の例に限定されない。また、各行動に含まれる動作の数も図3の例に限定されない。
図3のHMMにおいて、破線矢印に対応する各動作の観測確率は行動には依存しないため、行動区間の教師なしデータで学習することができる。学習は、例えば、機械学習、ニューラルネットワーク、ディープラーニングなどを使用して行う。
詳細には、観測確率の教師なし学習に使用するモデルは混合ガウス分布(以下、GMM(Gaussian Mixture Model)という。)であってよい。各観測は動作のうちの1つの動作が確率的に選択され、その動作についてのガウス分布により生成されると仮定する。これは、観測の時系列的な依存関係を使用しない教師あり学習とは異なる仮定である。学習したGMMの各ガウス分布のパラメータを各動作における観測確率の確率分布であるガウス分布に割り当てる。
遷移確率学習部12は、以下に説明するように、教師情報をもつ学習データ(以下、教師ありデータという。)で、第1HMMの動作の遷移確率を学習する。教師情報は、姿勢の時系列データに対して各行動が発生している時間区間の正解を与える情報である。学習は、例えば、最尤推定やEMアルゴリズム(Expectation-Maximization algorithm)などを使用して行う(その他の機械学習、ニューラルネットワーク、ディープラーニングなどの方式を使用してもよい)。
教師ありデータの生成には、時間及び労力がかかる。したがって、本実施形態では、観測確率学習部11で学習した観測確率を固定し、既存の教師ありデータから遷移確率を学習する。
詳細には、図4に例示するように、第1教師ありデータの一例である既存の教師ありデータのデータを種データSDとし、種データSDにノイズを付加し、オーバーサンプリングすることでデータを水増しする。上記性質2によれば、同じ作業の姿勢は類似しているため、ノイズを付加することで、図5に例示するように実際の観測ごとのばらつきに類似したばらつきをもつデータを生成することができる。ノイズは、例えば、ランダムノイズであってよい。
種データSDの教師情報TIを、水増ししたデータの各々に共通に適用することで教師ありデータを水増しする。第2教師ありデータの一例である水増しした教師ありデータを使用して、第1HMMの複数の動作の遷移確率を教師あり学習で学習する。
オーバーサンプリングでは、各時刻の観測サンプルに所定の範囲のノイズを生成して付加する。ノイズを生成する際に、当該観測サンプルを生成した確率が高い動作を特定し、当該動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを生成して付加する。これにより、より適切な教師ありデータを生成することができる。
例えば、特定した動作のサンプル群の共分散の定数倍の共分散の多変量ガウス分布から生成したノイズを付加してもよい。また、特定した動作のサンプル群から最も中心距離が近い動作のサンプル群までの中心距離dを算出し、特徴空間の各軸方向の標準偏差がdの定数倍となる等方性のガウス分布(共分散行列が対角行列である)から生成したノイズを付加してもよい。
各動作のサンプル群に含まれるサンプルの散らばり、即ち、特徴空間内での広がりには差がある。即ち、散らばりが非常に小さい動作もあるし、非常に大きい動作もある。全ての動作について一律の範囲のランダムノイズを使用した場合、ある動作のサンプル群が散らばりの大きいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に小さい。一方、ある動作のサンプル群が散らばりの小さいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に大きい。
図6は、動作m31、動作m32、及び動作m33のサンプル群を例示する。図7は、動作m32のサンプル群にランダムノイズを付加した状態を例示する。図7では、ランダムノイズの範囲が大きいため、元の動作m32から離れているサンプルが多い。このような場合にも、上記したように、ある動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを付加することで、より適切な教師ありデータを水増しすることができる。
構築部13は、観測確率学習部11で学習した観測確率、及び遷移確率学習部12で学習した状態遷移確率を使用して、図1に例示するようなHSMMを構築する。O1、O2、…、O8は、観測確率学習部11で学習した観測確率を表し、行動a1、a2、a3の各々に含まれる動作m1、m2、及びm3間の矢印は、遷移確率学習部12で学習した状態遷移確率に対応する。d1、d2、d3は、各行動の継続時間を表し、継続時間の確率分布は、教師情報の行動の継続時間から決定される。例えば、継続時間の確率分布は、一定範囲の一様分布であってよい。構築したHSMMに、センサで人の姿勢を検知して生成したセンサデータを適用して、各行動の時間区間である行動区間を推定する。推定についての詳細は、後述する。
本実施形態の行動区間推定モデル構築装置10は、以下の特徴を有する。
1.第1HMMの全行動で共通な動作の観測確率は教師なし学習で学習する。
2.第1HMMの動作間の遷移確率は、教師あり種データから水増しした教師ありデータを使用して、教師あり学習で学習する。
1.第1HMMの全行動で共通な動作の観測確率は教師なし学習で学習する。
2.第1HMMの動作間の遷移確率は、教師あり種データから水増しした教師ありデータを使用して、教師あり学習で学習する。
図8は、本実施形態の行動シーケンス判定装置20の機能ブロック図の一例である。行動シーケンス判定装置20は、候補区間決定部21、評価値算出部22、判定部23を有する。行動シーケンス判定装置20は、人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を所定の順序で複数含む対象行動シーケンスを判定する。
候補区間決定部21は、人の動作を観測して取得した時系列の複数の観測特徴の開始時刻を1時刻ずつ変動させ、開始時刻の各々について、終了時刻を開始時刻より時間的に後の時刻で1時刻ずつ変動させることで、複数の候補区間を決定する。候補区間は、対象行動系列に相当する対象行動シーケンスの候補である。変動は、1時刻ずつに限定されず、例えば、2時刻ずつ、あるいは3時刻ずつであってもよい。
評価値算出部22は、候補区間決定部21で決定された候補区間に含まれる行動の時間区間である行動区間を、行動区間推定モデルを使用して推定する。行動区間は、上記行動区間推定モデルによって推定されてもよいし、他の既存の技術によって推定されてもよい。評価値算出部22は、候補区間に含まれる各行動区間の行動の尤度を算出し、行動区間ごとに尤度を規格化することで相対適合度を算出する。尤度は、ある行動が当該行動シーケンスの順序にしたがった行動である尤もらしさを表す。
評価値算出部22は、行動区間毎に、対象行動シーケンスの行動の順序にしたがって当該行動区間に対応する行動の相対適合度を選択し、選択した相対適合度の代表値を評価値として算出する。代表値は、選択された相対適合度の平均値、中央値、及び総乗などであってよい。判定部23は、評価値と共通閾値とを比較することで、対象行動シーケンスであるか否か判定する。共通閾値は、実験的に決定されてよい一定の値である。
行動シーケンス判定装置20は、相対適合度が、例えば、0.0~1.0の範囲となるように尤度を規格化する。本実施形態では、尤度を規格化するため、共通の閾値、即ち、相対的ではない一定の値を閾値として使用して対象行動シーケンスを判定することができる。共通の閾値は、実験的に定められてよいが、例えば、0.5であってよい。
図9に、行動A、行動B、行動Cの順序で行動を含む対象行動シーケンスの候補区間を例示する。行動Aに対応する位置の行動区間がx1、x2、x3、行動Bに対応する位置の行動区間がx4、x5、x6、x7、x8、行動Cに対応する位置の行動区間がx9、x10であると推定された場合について説明する。
対象行動シーケンスにおいて行動Aに対応する位置の行動区間が行動Cである尤度、行動Bである尤度、行動Aである尤度が以下の通りであるとする。
P(x1,x2,x3|C)=1.1×10-22
P(x1,x2,x3|B)=3.4×10-9
P(x1,x2,x3|A)=6.8×10-8
P(x1,x2,x3|C)=1.1×10-22
P(x1,x2,x3|B)=3.4×10-9
P(x1,x2,x3|A)=6.8×10-8
行動Cである尤度、行動Bである尤度、行動Aである尤度を各々規格化すると、相対適合度は以下の通りとなる。
1.1×10-22/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.00
3.4×10-9/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.05
6.8×10-8/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.95
1.1×10-22/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.00
3.4×10-9/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.05
6.8×10-8/(1.1×10-22+3.4×10-9+6.8×10-8)
=0.95
対象行動シーケンスにおいて行動Bに対応する位置の行動区間が行動Cである尤度、行動Bである尤度、行動Aである尤度が以下の通りであるとする。
P(x4,x5,x6,x7,x8|C)=9.0×10-9
P(x4,x5,x6,x7,x8|B)=6.1×10-7
P(x4,x5,x6,x7,x8|A)=9.1×10-9
P(x4,x5,x6,x7,x8|C)=9.0×10-9
P(x4,x5,x6,x7,x8|B)=6.1×10-7
P(x4,x5,x6,x7,x8|A)=9.1×10-9
行動Cである尤度、行動Bである尤度、行動Aである尤度を各々規格化すると、相対適合度は以下の通りとなる。
9.0×10-9/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.01
6.1×10-7/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.97
9.1×10-9/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.01
9.0×10-9/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.01
6.1×10-7/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.97
9.1×10-9/(9.0×10-9+6.1×10-7+9.1×10-9)
=0.01
対象シーケンスにおいて行動Cに対応する位置の行動区間が行動Cである尤度、行動Bである尤度、行動Aである尤度が以下の通りであるとする。
P(x9,x10|C)=3.6×10-5
P(x9,x10|B)=8.2×10-6
P(x9,x10|A)=5.7×10-8
P(x9,x10|C)=3.6×10-5
P(x9,x10|B)=8.2×10-6
P(x9,x10|A)=5.7×10-8
行動Cである尤度、行動Bである尤度、行動Aである尤度を各々規格化すると、相対適合度は以下の通りとなる。
3.6×10-5/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.81
8.2×10-6/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.19
5.7×10-8/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.00
3.6×10-5/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.81
8.2×10-6/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.19
5.7×10-8/(3.6×10-5+8.2×10-6+5.7×10-8)
=0.00
代表値が平均値である場合、代表値は、行動Aに対応する位置の行動区間が行動Aである尤度、行動Bに対応する位置の行動区間が行動Bである尤度、行動Cに対応する位置の行動区間が行動Cである尤度から以下の通りである。
(0.95+0.97+0.81)/3=0.91
(0.95+0.97+0.81)/3=0.91
共通閾値が0.5である場合、上記の例では、候補区間は対象行動シーケンスであると判定することができる。
行動区間推定モデル構築装置10は、一例として、図10に示すように、CPU(Central Processing Unit)51、一次記憶装置52、二次記憶装置53、及び、外部インターフェイス54を含む。CPU51は、ハードウェアであるプロセッサの一例である。CPU51、一次記憶装置52、二次記憶装置53、及び、外部インターフェイス54は、バス59を介して相互に接続されている。CPU51は、単一のプロセッサであってもよいし、複数のプロセッサであってもよい。また、CPU51に代えて、例えば、GPU(Graphics Processing Unit)が使用されてもよい。
一次記憶装置52は、例えば、RAM(Random Access Memory)などの揮発性のメモリである。二次記憶装置53は、例えば、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)などの不揮発性のメモリである。
二次記憶装置53は、プログラム格納領域53A及びデータ格納領域53Bを含む。プログラム格納領域53Aは、一例として、行動区間推定モデル構築プログラムなどのプログラムを記憶している。データ格納領域53Bは、一例として、教師ありデータ、教師なしデータ、学習した観測確率、及び遷移確率などを記憶する。
CPU51は、プログラム格納領域53Aから行動区間推定モデル構築プログラムを読み出して一次記憶装置52に展開する。CPU51は、行動区間推定モデル構築プログラムをロードして実行することで、図2の観測確率学習部11、遷移確率学習部12、及び、構築部13として動作する。
なお、行動区間推定モデル構築プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶装置52に展開されてもよい。また、行動区間推定モデル生成プログラムなどのプログラムは、DVD(Digital Versatile Disc)などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶装置52に展開されてもよい。
外部インターフェイス54には外部装置が接続され、外部インターフェイス54は、外部装置とCPU51との間の各種情報の送受信を司る。図10では、外部インターフェイス54に、ディスプレイ55A及び外部記憶装置55Bが接続されている例を示している。外部記憶装置55Bには、例えば、教師ありデータ、教師なしデータ、及び、構築したHSMMなどを記憶する。ディスプレイ55Aは、例えば、構築したHSMMモデルを視認可能に表示する。
行動区間推定モデル構築装置10は、例えば、パーソナルコンピュータ、サーバ、及び、クラウド上のコンピュータなどであってよい。
図10の行動区間推定モデル構築装置10は、構築したHSMMをデータ格納領域53Bに格納することで行動シーケンス判定装置20としても機能する。
CPU51は、プログラム格納領域53Aから行動シーケンス判定プログラムを読み出して一次記憶装置52に展開する。CPU51は、行動シーケンス判定プログラムをロードして実行することで、図8の候補区間決定部21、評価値算出部22、及び判定部23として動作する。
なお、行動シーケンス判定プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶装置52に展開されてもよい。また、行動シーケンス判定プログラムなどのプログラムは、DVD(Digital Versatile Disc)などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶装置52に展開されてもよい。
外部記憶装置55Bには、例えば、対象行動シーケンスであると判定された行動シーケンスを後続処理に利用するため記憶する。ディスプレイ55Aは、例えば、対象行動シーケンスであると判定された行動シーケンスを視認可能に表示する。
図11に、行動区間推定モデル構築処理の流れを例示する。CPU51は、ステップ101で、後述するように、学習データから人の姿勢の連鎖である運動を表す特徴ベクトルを抽出する。CPU51は、ステップ102で、ステップ101で抽出した特徴ベクトルのクラスタリング(GMMのパラメータ推定)により、要素となる動作に分類し、各動作の観測確率を教師なし学習で学習する。
CPU51は、ステップ103で、教師あり種データにノイズを付加し、オーバーサンプリングして生成したデータに教師あり種データの教師情報を付与することで、教師ありデータを水増しする。CPU51は、ステップ104で、教師ありデータについて、教師情報で与えられた各行動の時間区間毎に特徴ベクトルを振り分ける。
CPU51は、ステップ105で、ステップ104で振り分けた時間区間内の特徴ベクトルの系列を観測データとして、ステップ103で水増しした教師ありデータを使用し、第1HMMの動作の遷移確率を教師あり学習で学習する。
CPU51は、ステップ106で、各行動の継続時間の確率分布として、教師情報で与えられた各行動の継続時間に対して所定の範囲の一様分布を設定する。CPU51は、ステップ102で学習した観測確率及びステップ105で学習した遷移確率を使用して、HSMMを構築する。ステップ106の設定で一定時間継続後に教師情報で与えられた各行動の順番に第2HMMの行動が遷移するHSMMを構築する。構築したHSMMは、例えば、データ格納領域53Bに格納されてもよい。
図12は、図11のステップ101の特徴ベクトル抽出処理の詳細を例示する。CPU51は、ステップ151で、学習に使用するデータから人を検出し、追跡することで、人の姿勢情報を取得する。CPU51は、ステップ152で、ステップ151で取得した姿勢情報が複数人の姿勢情報を含む場合、姿勢情報の時系列データから分析対象とする姿勢情報の時系列データを取得する。分析対象とする姿勢情報は、人を囲むバウンディングボックスの大きさ、及び時間などから選択する。
CPU51は、ステップ153で、ステップ152で取得した姿勢情報の時系列データから身体の各部位についての運動情報の時系列データを取得する。運動情報の時系列とは、例えば、各部位の曲げの程度、曲げの速度などであってよい。各部位とは、例えば、肘、膝などであってよい。
CPU51は、ステップ154で、スライディングタイムウィンドウにより一定の時間間隔ごとにウィンドウ内のステップ153の運動情報を時間方向で平均化して特徴ベクトルを算出する。
図13に、本実施形態で構築したHSMMを使用した行動区間推定処理の流れを例示する。図10の行動区間推定モデル構築装置10は、構築したHSMMをデータ格納領域53Bに格納することで行動区間推定装置として機能してもよい。
CPU51は、ステップ251で、センサで人の姿勢を検知することにより生成されたセンサデータから特徴ベクトルを抽出する。センサは、人の姿勢を検知するデバイスであり、例えば、カメラ、赤外線センサ、モーションキャプチャデバイスなどであってよい。図13のステップ251は、図11のステップ101と同様であるため、詳細な説明は省略する。
CPU51は、ステップ252で、ステップ251で抽出した特徴ベクトルの系列を観測データとして、行動区間推定モデル構築処理で構築したHSMMと照合して各行動状態の継続時間を推定する。CPU51は、ステップ253で、ステップ252で推定した各行動状態の継続時間から各行動の時間区間を推定する。
例えば、映像を入力として、映像における特定の行動を認識するような技術では、基本動作認識、要素行動認識、及び上位行動認識を行う。映像における特定の行動とは、要素行動の組合せで、さらに複雑な上位行動であり、基本動作認識とは、フレームごとの姿勢認識であり、要素行動認識とは、時間的空間的認識を行い、ある程度の時間長における単純行動を認識することである。上位行動認識とは、ある程度の時間長における複雑行動の認識である。当該技術において、本実施形態の行動区間推定モデル構築処理及び構築した行動区間推定モデルを適用し、行動区間を推定することができる。
図14に、本実施形態で構築したHSMMを使用した行動シーケンス判定処理の流れを例示する。
CPU51は、ステップ201で、センサで人の姿勢を検知することにより生成されたセンサデータから特徴ベクトルを抽出する。センサは、人の姿勢を検知するデバイスであり、例えば、カメラ、赤外線センサ、モーションキャプチャデバイスなどであってよい。図14のステップ201は、図11のステップ101と同様であるため、詳細な説明は省略する。
CPU51は、ステップ202で、開始時刻と終了時刻との全ての組合せを試行することで、対象行動シーケンスの候補区間を決定する。CPU51は、ステップ203で、ステップ201で抽出した特徴ベクトルの系列を観測データとして、行動区間推定モデル構築処理で構築したHSMMと照合して各行動状態の継続時間を推定する。推定した各行動状態の継続時間から各行動の時間区間を推定する。
CPU51は、ステップ204で、候補区間の各行動区間で各行動のモデルの尤度、即ち、観測確率を規格化することで、相対適合度を算出する。CPU51は、ステップ205で、対象行動シーケンスの行動の順序にしたがって当該行動区間に対応する行動の相対適合度を使用して代表値を算出し、当該代表値を評価値とする。CPU51は、ステップ206で、評価値と共通閾値とを比較することで、対象行動シーケンスであるか否か判定する。
ステップ202で、開始時刻を第1時刻から第2時刻まで変動させ、開始時刻の各々について、終了時刻を開始時刻より時間的に後の時刻である第3時刻から第4時刻まで変動させることで候補区間を複数決定する。ステップ203~ステップ206の処理は、ステップ202で決定される複数の候補区間の各々に対して適用する。
対象行動シーケンスであると判定された複数の候補区間が部分的に重畳する場合、評価値が高いほうの候補区間を対象行動シーケンスであると判定するようにしてもよい。対象行動シーケンスであると判定された行動シーケンスを処理対象行動シーケンスとして抽出し、データ格納領域53Bに記録してもよいし、対象行動シーケンスであると判定された行動シーケンスの開始時刻と終了時刻とをデータ格納領域53Bに記録してもよい。
関連技術では、行動に含まれる動作が特に限定されないHSMMが使用され得る。当該関連技術では、図15に例示するように、例えば、以下の動作が存在すると仮定する。
(1)腕を上げる、(2)腕を降ろす、(3)腕を前に伸ばす、(4)両手を身体の前で近づける、(5)前に移動する、(6)横に移動する、(7)しゃがむ、(8)立つ
(1)腕を上げる、(2)腕を降ろす、(3)腕を前に伸ばす、(4)両手を身体の前で近づける、(5)前に移動する、(6)横に移動する、(7)しゃがむ、(8)立つ
行動の例は、例えば、以下の通りである。
行動a31:(1)腕を上げる→(3)腕を前に伸ばす→(1)腕を上げる→(4)両手を身体の前で近づける→(7)しゃがむ、
行動a32:(7)しゃがむ→(4)両手を身体の前で近づける→(8)立つ→(5)前に移動する→(3)腕を前に伸ばす、など
行動a31:(1)腕を上げる→(3)腕を前に伸ばす→(1)腕を上げる→(4)両手を身体の前で近づける→(7)しゃがむ、
行動a32:(7)しゃがむ→(4)両手を身体の前で近づける→(8)立つ→(5)前に移動する→(3)腕を前に伸ばす、など
上記のように、一般的な行動の動作、即ち、推定する行動が制限されない複数の動作をHMMが含む場合、動作の観測確率を1つの単純な確率分布で表すことは困難である。この問題に対処するために、階層型隠れマルコフモデルを使用する技術が存在する。階層型隠れマルコフモデルは、図16に例示するように、上位階層HMMが複数の下位階層HMMを状態として含む。行動a51、a52、及びa53は、下位階層HMMの例である。下位階層HMMの各々は、動作を状態として含み、m51、m52、m53、m61、m62、m63、m71、及びm72は、動作の例である。
階層型HMMでは、図17に例示するように、教師情報TILをもつ学習データLDを使用して、各行動の動作の観測確率及び遷移確率を教師あり学習で学習する。図17では、行動a51の観測確率p11、遷移確率p21、行動a52の観測確率p12、遷移確率p22、行動a53の観測確率p13、遷移確率p23を例示する。しかしながら、階層型HMMでは、パラメータの数が多く、パラメータの自由度が高いため、パラメータの学習のために教師ありデータを多数使用する。教師ありデータの教師情報を作成するには、時間及び労力を要する。
一方、本開示では、図18に例示するように、HSMMの行動に対応する第1HMMの各々で共通の観測確率p1は教師なしデータLDNを使用して教師なし学習で学習する。学習した観測確率p1を固定して、第1HMMの各々の動作の遷移確率p21D、p22D、p23Dを教師ありデータを使用して教師あり学習で学習する。本開示では、既存の教師ありデータLDDにノイズを付加しオーバーサンプリングし生成したデータに、教師ありデータLDDの教師情報TILを付加することで、教師ありデータを水増しして教師あり学習に使用する。したがって、本実施形態では、既存の教師ありデータが少ない場合でも、行動区間推定モデルを効率的に構築することができる。
例えば、関連技術では、作業中の動作を手作業で区間に分割する。詳細には、図19の左に例示するように、一連の作業の様子をカメラで撮影し、取得した映像を目視することで、図19の右に例示するように、手作業で区間に分割する。当該関連技術では、取得した映像ごとに手作業で区間に分割するため、時間と労力がかかる。
他の関連技術では、図20の上に例示するように、基本データについては、関連技術と同様に、作業中の行動区間を手作業で分割してもよい。一方、当該手作業で分割した行動区間を教師情報とすることで、図20の下に例示するように、他のデータについては、自動的に行動区間を分割することができるため時間と労力を省くことができる。
実際には、映像には、図21の上に例示する教師情報に対応する処理対象の一連の行動である行動シーケンスが複数含まれる場合があり、さらに、対象行動シーケンス以外の行動が含まれる場合もある。本開示では、例えば、当該映像から、図21の下に例示するように、対象行動シーケンスを判定する。
対象行動シーケンス間にどのような動きが含まれるか不明であるため、即ち、対象行動シーケンス以外の動きはモデル化されていないため、候補区間を決定し、当該候補区間に対象行動が含まれているか否かを評価する。即ち、算出した評価値が閾値を超える場合、対象行動シーケンスであると判定する。
行動の確率モデルにより観測情報が得られる場合、当該観測が得られる観測確率から、尤度を算出することができるため、当該尤度を評価値として利用することが考えられる。教師ありデータが大量にある場合、正解の行動区間に対する観測確率の分布がわかるため、閾値を決定することは比較的容易であるが、教師ありデータが少ない場合、即ち、基本データが少ない場合、閾値を決定することは困難である。
教師ありデータが少ない場合、例えば、1シーケンス分である場合に、当該観測確率を評価値として使用する場合、観測確率がどの程度の値であれば高評価であるといえるかは確率モデルのパラメータによって大きく変わる。したがって、様々な行動シーケンスの検出に適用しようとする際に一定の閾値、即ち、共通に使用することができる共通閾値を決定することは困難である。共通閾値を利用しようとすると、対象行動シーケンスの行動の確率モデルのパラメータを調整しなければならず、実用的ではない。
例えば、対象行動シーケンスMが、3つの行動A、B、Cを当該順序で含む場合、対象行動シーケンスMから各行動区間内の観測が出力される確率の観測数の累乗根を評価値として使用することができる。当該評価値は、幾何平均的な発想で行動区間内の観測の平均的な尤度を表す。
図22の例では、行動シーケンスMに対応する候補区間として、候補区間1、候補区間2、候補区間3を決定している。これらの候補区間は例示であり、実際には、全ての開始時刻と終了時刻との組合せで候補区間は決定される。xi(iは自然数)は、各時刻における動作特徴ベクトルを表す。
候補区間1、候補区間2、候補区間3の評価値が各々以下の通りである場合、評価値が最も大きい候補区間2が最も対象行動シーケンスMらしいと判定することができる。しかしながら、観測系列には対象行動シーケンスMがいくつ含まれているか不明であり、全く含まれていない場合もあり得る。
したがって、評価値が最も大きいからといって、候補区間2が対象行動シーケンスであると判定することはできない。例えば、基本データの評価値と比較することは可能であるが、この場合、基本データの評価値との差異の範囲をどの程度に設定するか、を決定することが困難である。
例えば、行動A,B,Cを当該順序で含む対象行動シーケンスの候補区間の行動Aの位置にある行動区間Xに対する、対象行動シーケンスの行動A、B、Cのモデル各々からの観測確率P(X|A)、P(X|B)、P(X|C)について検討する。図23の左に例示するように、第1作業者の候補区間の行動Aの位置にある行動区間がYである場合、行動Aからの観測確率P(Y|A)、行動Bからの観測確率P(Y|B)、行動Cからの観測確率P(Y|C)のうち、観測確率P(Y|A)が最も大きい。
図23の右に例示するように、第2作業者の候補区間の行動Aの位置にある行動区間がZである場合も、行動Aからの観測確率P(Z|A)、行動Bからの観測確率P(Z|B)、行動Cからの観測確率P(Z|C)のうち、行動Aからの観測確率P(Z|A)が最も大きい。このように、例えば、作業者が異なる場合であっても、対象行動シーケンスの候補区間の行動Aの位置にある行動区間に対する行動Aの観測確率が、行動B、Cの観測確率と比較して大きいという関係は保持される。
したがって、候補区間で、行動Aの観測確率が最も大きい行動区間、行動Bの観測確率が最も大きい行動区間、行動Cの観測確率が最も大きい行動区間が当該順序で存在する場合、当該候補区間は対象行動シーケンスに対応する区間らしいと判定することができる。この判定は、行動A、B、Cの相対的な関係を利用して行動の順序を評価し、対象行動シーケンスではない候補区間であっても高評価になり得る。しかしながら、対象行動シーケンスに含まれる行動数が増えると、偶然、当該相対的な関係が出現する可能性は低くなる。
一方で、第2作業者の観測確率P(Z|A)は、第1作業者の観測確率P(Y|A)と比較して明らかに小さい。このように、観測確率を評価値として使用する場合、例えば、作業者が異なると、行動Aからの観測確率が最も大きくなるが、値が大きく異なる場合があるため、共通閾値を使用することが困難である。
本実施形態では、人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定する。複数の候補区間の各々を行動の時間区間である行動区間ごとに分割し、行動区間ごとに算出した複数の行動の各々に対応する尤度を行動区間ごとに規格化する。候補区間における全ての行動区間の各々から対象行動系列の行動の順序に基づいて選択される行動区間の各々に対応する規格化された尤度の代表値を評価値として算出する。評価値が共通閾値を超える場合に対象行動系列であると判定する。
本開示によれば、人の動作を観測して取得したデータに含まれる様々な行動からの対象行動系列の判定を容易にすることができる。即ち、例えば、様々な作業者が様々な環境で作業を行う場合であっても、共通閾値を使用して、様々な行動を含む観測系列から対象行動系列を判定することができる。
本開示は、例えば、工場での定型作業、ダンスの振り付け、武道の型などのように決まった順序で動作を行う複数の行動を含む観測系列から容易に対象行動系列を判定することができる。判定された対象行動系列を使用して、工場での定型作業、ダンスの振り付け、武道の型などの分析などを行うことができる。
20 行動シーケンス判定装置
21 候補区間決定部
22 評価値算出部
23 判定部
51 CPU
52 一次記憶装置
53 二次記憶装置
21 候補区間決定部
22 評価値算出部
23 判定部
51 CPU
52 一次記憶装置
53 二次記憶装置
Claims (15)
- 人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定する候補区間決定部と、
前記複数の候補区間の各々を前記行動の時間区間である行動区間ごとに分割し、前記行動区間ごとに算出した複数の前記行動の各々に対応する尤度を前記行動区間ごとに規格化し、前記候補区間における全ての行動区間の各々から前記対象行動系列の行動の順序に基づいて選択される前記行動区間の各々に対応する規格化された尤度の代表値を評価値として算出する評価値算出部と、
前記評価値が共通閾値を超える場合に前記対象行動系列であると判定する判定部と、
を含む行動系列判定装置。 - 前記尤度は、前記行動区間の各々に含まれる前記観測特徴の観測確率を使用して算出される、
請求項1に記載の行動系列判定装置。 - 前記代表値は、平均値、中央値、及び総乗の何れかである、
請求項1または請求項2に記載の行動系列判定装置。 - 前記複数の候補区間の各々は開始時刻を第1時刻から第2時刻まで変動させ、前記開始時刻の各々について、終了時刻を前記開始時刻より時間的に後の時刻である第3時刻から第4時刻まで変動させることで決定する、
請求項1~請求項3の何れか1項に記載の行動系列判定装置。 - 前記対象行動系列であると判定された候補区間を処理対象行動系列として抽出する、
請求項1~請求項4の何れか1項に記載の行動系列判定装置。 - コンピュータが、
人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定し、
前記複数の候補区間の各々を前記行動の時間区間である行動区間ごとに分割し、前記行動区間ごとに算出した複数の前記行動の各々に対応する尤度を前記行動区間ごとに規格化し、前記候補区間における全ての行動区間の各々から前記対象行動系列の行動の順序に基づいて選択される前記行動区間の各々に対応する規格化された尤度の代表値を評価値として算出し、
前記評価値が共通閾値を超える場合に前記対象行動系列であると判定する、
行動系列判定方法。 - 前記尤度は、前記行動区間の各々に含まれる前記観測特徴の観測確率を使用して算出される、
請求項6に記載の行動系列判定方法。 - 前記代表値は、平均値、中央値、及び総乗の何れかである、
請求項6または請求項7に記載の行動系列判定方法。 - 前記複数の候補区間の各々は開始時刻を第1時刻から第2時刻まで変動させ、前記開始時刻の各々について、終了時刻を前記開始時刻より時間的に後の時刻である第3時刻から第4時刻まで変動させることで決定する、
請求項6~請求項8の何れか1項に記載の行動系列判定方法。 - 前記対象行動系列であると判定された候補区間を処理対象行動系列として抽出する、
請求項6~請求項9の何れか1項に記載の行動系列判定方法。 - 人の動作を観測して取得した時系列の複数の観測特徴から、複数の動作で表される行動を各々が複数含む対象行動系列の複数の候補区間を決定し、
前記複数の候補区間の各々を前記行動の時間区間である行動区間ごとに分割し、前記行動区間ごとに算出した複数の前記行動の各々に対応する尤度を前記行動区間ごとに規格化し、前記候補区間における全ての行動区間の各々から前記対象行動系列の行動の順序に基づいて選択される前記行動区間の各々に対応する規格化された尤度の代表値を評価値として算出し、
前記評価値が共通閾値を超える場合に前記対象行動系列であると判定する、
処理をコンピュータに実行させる行動系列判定プログラム。 - 前記尤度は、前記行動区間の各々に含まれる前記観測特徴の観測確率を使用して算出される、
請求項11に記載の行動系列判定プログラム。 - 前記代表値は、平均値、中央値、及び総乗の何れかである、
請求項11または請求項12に記載の行動系列判定プログラム。 - 前記複数の候補区間の各々は開始時刻を第1時刻から第2時刻まで変動させ、前記開始時刻の各々について、終了時刻を前記開始時刻より時間的に後の時刻である第3時刻から第4時刻まで変動させることで決定する、
請求項11~請求項13の何れか1項に記載の行動系列判定プログラム。 - 前記対象行動系列であると判定された候補区間を処理対象行動系列として抽出する、
請求項11~請求項14の何れか1項に記載の行動系列判定プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/002816 WO2022162781A1 (ja) | 2021-01-27 | 2021-01-27 | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム |
JP2022577873A JPWO2022162781A1 (ja) | 2021-01-27 | 2021-01-27 | |
EP21922805.3A EP4258184A4 (en) | 2021-01-27 | 2021-01-27 | ACTION SEQUENCE DETERMINATION APPARATUS, ACTION SEQUENCE DETERMINATION METHOD AND ACTION SEQUENCE DETERMINATION PROGRAM |
US18/341,566 US20230377374A1 (en) | 2021-01-27 | 2023-06-26 | Action series determination device, method, and non-transitory recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/002816 WO2022162781A1 (ja) | 2021-01-27 | 2021-01-27 | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/341,566 Continuation US20230377374A1 (en) | 2021-01-27 | 2023-06-26 | Action series determination device, method, and non-transitory recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022162781A1 true WO2022162781A1 (ja) | 2022-08-04 |
Family
ID=82653166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/002816 WO2022162781A1 (ja) | 2021-01-27 | 2021-01-27 | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230377374A1 (ja) |
EP (1) | EP4258184A4 (ja) |
JP (1) | JPWO2022162781A1 (ja) |
WO (1) | WO2022162781A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047863A1 (ja) * | 2016-09-06 | 2018-03-15 | 国立大学法人電気通信大学 | 情報処理装置、情報処理方法およびプログラム |
WO2020050111A1 (ja) * | 2018-09-03 | 2020-03-12 | 国立大学法人東京大学 | 動作認識方法及び装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
-
2021
- 2021-01-27 JP JP2022577873A patent/JPWO2022162781A1/ja active Pending
- 2021-01-27 EP EP21922805.3A patent/EP4258184A4/en active Pending
- 2021-01-27 WO PCT/JP2021/002816 patent/WO2022162781A1/ja unknown
-
2023
- 2023-06-26 US US18/341,566 patent/US20230377374A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047863A1 (ja) * | 2016-09-06 | 2018-03-15 | 国立大学法人電気通信大学 | 情報処理装置、情報処理方法およびプログラム |
WO2020050111A1 (ja) * | 2018-09-03 | 2020-03-12 | 国立大学法人東京大学 | 動作認識方法及び装置 |
Non-Patent Citations (5)
Title |
---|
"Fujitsu Develops New ''Actlyzer", AI TECHNOLOGY FOR VIDEO-BASED BEHAVIORAL ANALYSIS, 25 November 2019 (2019-11-25), Retrieved from the Internet <URL:https://pr.fujitsu.com/jp/news/2019/l1/25.html> |
MATSUBARA, YASUKO; SAKURAI, YASUSHI; YOSHIKAWA, MASATOSHI: "Stream Processing through Hidden Markov Models", TRANSACTIONS OF THE INFORMATION PROCESSING SOCIETY OF JAPAN (IPSJ), IPSJ, JP, vol. 4, no. 4, 28 December 2011 (2011-12-28), JP , pages 48 - 62, XP009545622, ISSN: 1882-7799 * |
MATSUBARA, YASUKO; SAKURAI, YASUSHI; YOSHIKAWA, MASATOSHI: "Stream Processing through Hidden Markov Models", TRANSACTIONS OF THE INFORMATION PROCESSING SOCIETY OF JAPAN (IPSJ), vol. 4, no. 4, 28 December 2011 (2011-12-28), JP , pages 48 - 62, XP009545622, ISSN: 1882-7799 |
RYUICHI YAMAMOTOSHINJI SAKOTADASHI KITAMURA: "Real-time Music Audio Signal to Score Alignment Using a Hybrid Hidden Semi-Markov Model and Linear Dynamical System", PROCEEDINGS OF THE INTERNATIONAL SOCIETY FOR MUSIC INFORMATION RETRIEVAL (MUS, 2012 |
SHUN-ZHENG YU: "Hidden Semi-Markov Models", ARTIFICIAL INTELLIGENCE, vol. 174, February 2010 (2010-02-01), pages 215 - 243 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022162781A1 (ja) | 2022-08-04 |
EP4258184A1 (en) | 2023-10-11 |
EP4258184A4 (en) | 2023-12-27 |
US20230377374A1 (en) | 2023-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291841B (zh) | 图像识别模型训练方法、装置、计算机设备和存储介质 | |
KR102239714B1 (ko) | 신경망 학습 방법 및 장치, 데이터 처리 장치 | |
JP7472658B2 (ja) | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム | |
JP6025845B2 (ja) | オブジェクト姿勢検索装置及び方法 | |
JP4575917B2 (ja) | 構成要素に基づいて構成された物体を識別するシステムを訓練するシステム、方法及びプログラム | |
US7978907B2 (en) | Image analyzer | |
WO2020088491A1 (zh) | 一种运动行为模式分类方法、***以及装置 | |
JP6950504B2 (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
JP6248593B2 (ja) | 姿勢検出装置、姿勢検出方法および姿勢検出プログラム | |
CN113946218A (zh) | 设备上的活动识别 | |
CN115331777A (zh) | 动作评估方法、装置、电子设备及计算机可读存储介质 | |
CN108292437B (zh) | 图像处理装置和方法 | |
WO2022162781A1 (ja) | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム | |
Wang et al. | Detection of abnormal human behavior using a matrix approximation-based approach | |
WO2022162780A1 (ja) | 部分行動区間推定モデル構築装置、部分行動区間推定モデル構築方法及び部分行動区間推定モデル構築プログラム | |
WO2022162782A1 (ja) | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム | |
JP5459312B2 (ja) | パターン照合装置、パターン照合方法及びパターン照合プログラム | |
JP7428233B2 (ja) | クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム | |
KR20230113012A (ko) | 동영상 딥페이크 탐지를 위한 페이크 비디오 검증 방법 및 이를 수행하는 전자 장치 | |
Pulgarin-Giraldo et al. | Relevant kinematic feature selection to support human action recognition in MoCap data | |
JP2022151502A (ja) | プログラム、情報処理装置、及び方法 | |
WO2023105788A1 (ja) | 行動区間検出プログラム、装置、及び方法 | |
KR102652397B1 (ko) | 뉴럴 네트워크 모델을 이용하여 제어 명령을 결정하는 사물 인터넷 장치 및 이의 명령 결정 방법, 프로그램 | |
Sun et al. | Evaluating data mining tools for authentic emotion classification | |
CN116974370B (zh) | 一种防沉迷儿童学习平板电脑控制方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21922805 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022577873 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2021922805 Country of ref document: EP Effective date: 20230704 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |