WO2023243095A1 - 情報処理プログラム、情報処理方法及び情報処理装置 - Google Patents
情報処理プログラム、情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- WO2023243095A1 WO2023243095A1 PCT/JP2022/024405 JP2022024405W WO2023243095A1 WO 2023243095 A1 WO2023243095 A1 WO 2023243095A1 JP 2022024405 W JP2022024405 W JP 2022024405W WO 2023243095 A1 WO2023243095 A1 WO 2023243095A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- posture
- motion
- information processing
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000036544 posture Effects 0.000 claims abstract description 291
- 230000007704 transition Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000003550 marker Substances 0.000 description 100
- 238000011156 evaluation Methods 0.000 description 71
- 238000005452 bending Methods 0.000 description 60
- 238000010586 diagram Methods 0.000 description 44
- 238000013500 data storage Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Definitions
- the present invention relates to an information processing program, an information processing method, and an information processing device.
- An identification technique in which a moving image of a target object is photographed and the posture of the target object is identified from skeletal information of the target object in each frame image.
- the identification technology for example, the posture of the target object when starting the motion to be recognized, the posture of the target object during execution, the posture of the target object when finishing the motion, etc. are predefined. In this way, the motion to be recognized can be recognized and extracted from a plurality of frame images.
- the term "motion" here refers to a series of movements made up of a series of multiple postures of the object.
- the recognition accuracy decreases if the target object cannot assume one of the predefined postures.
- One aspect of the present invention is to improve recognition accuracy when recognizing the motion of an object to be recognized in a plurality of frame images included in a moving image.
- the information processing program includes: From among multiple time-series image data, the posture of the object is determined by determining the posture that the object should take when it starts the movement to be recognized, and the posture the object should take while performing the movement to be recognized. identifying first image data and second image data each including an ideal posture; In the case of recognizing the motion of the recognition target based on two types of postures of the target object, the plurality of time-series image data transitions from the first image data to the second image data, Furthermore, when transitioning to image data other than the first and second image data, the object performs the recognition target operation from the first image data to the second image data. make the computer recognize that the computer was using the computer and execute the process.
- Recognition accuracy can be improved when recognizing the motion of a target object in multiple frame images included in a moving image.
- FIG. 1 is a diagram showing an example of the system configuration of an evaluation system.
- FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing device.
- FIG. 3 is an example of a flowchart showing the overall flow of evaluation processing by the evaluation system.
- FIG. 4 is a diagram illustrating an example of the functional configuration of a registration unit implemented by the information processing apparatus in the registration phase.
- FIG. 5 is a first diagram illustrating an example of a registration screen displayed on the information processing device in the registration phase and registered motion recognition data.
- FIG. 6 is a second diagram illustrating an example of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
- FIG. 7 is a third diagram illustrating an example of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
- FIG. 8 is a diagram illustrating an example of a playback screen displayed on the information processing device during the registration phase.
- FIG. 9 is a diagram for explaining an overview of processing executed by the information processing device in the motion recognition phase and the evaluation phase.
- FIG. 10 is a diagram for explaining an overview of the posture identification function realized by the motion recognition unit of the information processing device in the motion recognition phase.
- FIG. 11 is a diagram for explaining an overview of the motion recognition function realized by the motion recognition section of the information processing device in the motion recognition phase.
- FIG. 12 is a diagram for explaining an overview of the selection and evaluation functions realized by the evaluation unit of the information processing device in the evaluation phase.
- FIG. 13 is a diagram illustrating an example of the functional configuration of a motion recognition section implemented by the information processing apparatus in the motion recognition phase.
- FIG. 14 is a diagram showing the details of the functional configuration of the posture identification section included in the motion recognition section.
- FIG. 15 is a diagram illustrating a specific example of processing by the posture identifying section included in the motion recognizing section.
- FIG. 16 is a diagram showing details of the functional configuration of the motion recognition image specifying section and the recognition section included in the motion recognition section.
- FIG. 17 is a first diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIG. 18 is a first diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- FIG. 19 is a second diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIG. 20 is a second diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- FIG. 21 is a third diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIG. 22 is a third diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- FIG. 23 is a first diagram showing the advantages of the ABB type operation pattern.
- FIG. 24 is a second diagram illustrating the advantages of the ABB type operation pattern.
- FIG. 1 is a diagram showing an example of the system configuration of an evaluation system. Note that in the evaluation system to which the information processing device according to the first embodiment is applied, different processes are performed in the registration phase, the motion recognition phase, and the evaluation phase. The system configuration will be explained separately in the evaluation phase.
- FIG. 1(a) shows an example of the system configuration of the evaluation system 100A in the registration phase.
- the evaluation system 100A in the registration phase includes an imaging device 110 and an information processing device 120.
- the imaging device 110 photographs the object as a moving image, and transmits the moving image data (an example of a plurality of time-series image data) to the information processing device 120.
- An information processing program is installed in the information processing device 120.
- the information processing device 120 functions as the registration unit 121 by executing the program in the registration phase.
- the registration unit 121 reads the moving image data transmitted from the imaging device 110 and stored in the moving image data storage unit 123, and generates motion recognition data based on various specifications from the user 130. Further, the registration unit 121 stores the generated motion recognition data in the motion recognition data storage unit 124.
- motion recognition data refers to data used to identify frame images necessary to recognize the target motion from among multiple frame images included in the video data captured during the motion recognition phase.
- Point refers to a series of movements made up of a plurality of consecutive postures of an object.
- FIG. 1(b) shows an example of the system configuration of the evaluation system 100B in the motion recognition phase and evaluation phase.
- the evaluation system 100B in the motion recognition phase and the evaluation phase includes an imaging device 140 and an information processing device 120.
- the imaging device 140 photographs the object as a moving image, and transmits the moving image data (an example of a plurality of time-series image data) to the information processing device 120.
- the information processing device 120 functions as a motion recognition section 122 and an evaluation section 150 in the motion recognition phase and the evaluation phase.
- the motion recognition unit 122 reads motion recognition data from the motion recognition data storage unit 124. Furthermore, the motion recognition section 122 determines the number of frames required to recognize the motion to be recognized based on the motion recognition data read out from the moving image data transmitted from the imaging device 140 and acquired via the evaluation section 150. Identify the image and recognize the motion to be recognized. Further, the motion recognition unit 122 cuts out a frame image corresponding to the recognized motion of the recognition target and notifies the evaluation unit 150 as motion data.
- the evaluation unit 150 receives the moving image data transmitted by the imaging device 140 and notifies the motion recognition unit 122, acquires motion data from the motion recognition unit 122, and displays it to the evaluator 160 as evaluation data.
- the evaluation unit 150 acquires the motion data from the motion recognition unit 122, it selects a frame image to be evaluated from the acquired motion data, and uses the selected frame image to evaluate the posture of the target object. The evaluation unit 150 then displays the evaluation result to the evaluator 160 as evaluation data in association with the selected frame image.
- the motion recognition unit 122 may have a function of selecting a frame image to be evaluated from the motion data and evaluating the posture of the object using the selected frame image. In this case, the motion recognition unit 122 notifies the evaluation unit 150 of the evaluation result and the selected frame image, and the evaluation unit 150 associates the notified evaluation result with the selected frame image and uses it for evaluation. It is displayed to the evaluator 160 as data.
- FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing device.
- the information processing device 120 includes a processor 201, a memory 202, an auxiliary storage device 203, an I/F (Interface) device 204, a communication device 205, and a drive device 206. Note that each piece of hardware in the information processing device 120 is interconnected via a bus 207.
- the processor 201 includes various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- the processor 201 reads various programs (for example, information processing programs, etc.) onto the memory 202 and executes them.
- programs for example, information processing programs, etc.
- the memory 202 includes main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
- the processor 201 and the memory 202 form a so-called computer, and when the processor 201 executes various programs read onto the memory 202, the computer realizes various functions.
- the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201.
- the moving image data storage section 123 and the motion recognition data storage section 124 are realized in the auxiliary storage device 203.
- the I/F device 204 receives operations on the information processing device 120 via the operating device 210. Further, the I/F device 204 outputs the results of the processing by the information processing device 120 and displays them via the display device 220. Further, the communication device 205 communicates with the imaging device 110 or the imaging device 140.
- the drive device 206 is a device for setting the recording medium 230.
- the recording medium 230 here includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, or a magneto-optical disk. Further, the recording medium 230 may include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
- the various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 230 in the drive device 206 and reading out the various programs recorded on the recording medium 230 by the drive device 206. be done.
- various programs to be installed in the auxiliary storage device 203 may be installed by being downloaded from a network (not shown) via the communication device 205.
- FIG. 3 is an example of a flowchart showing the overall flow of evaluation processing by the evaluation system. As shown in FIG. 3, first, the evaluation process is executed by the evaluation system 100A under the registration phase.
- step S301 the registration unit 121 of the information processing device 120 acquires moving image data.
- step S302 the registration unit 121 of the information processing device 120 receives various specifications for motion recognition from the user 130, and generates motion recognition data.
- step S303 the registration unit 121 of the information processing device 120 stores the generated motion recognition data in the motion recognition data storage unit 124.
- step S304 the evaluation unit 150 of the information processing device 120 acquires moving image data.
- step S305 the motion recognition unit 122 of the information processing device 120 performs a motion recognition process necessary to recognize the motion to be recognized from among the plurality of frame images included in the acquired moving image data, based on the motion recognition data. Identify the frame image.
- step S306 the motion recognition unit 122 of the information processing device 120 recognizes the motion to be recognized from among the plurality of frame images included in the moving image data, based on the motion recognition data.
- step S307 the motion recognition unit 122 of the information processing device 120 cuts out a frame image corresponding to the motion to be recognized from the video data as motion data.
- step S308 the evaluation unit 150 of the information processing device 120 evaluates the posture of the target object using the extracted motion data.
- step S309 the evaluation unit 150 of the information processing device 120 displays the evaluation result of evaluating the posture of the object to the evaluator 160.
- FIG. 4 is a diagram illustrating an example of the functional configuration of a registration unit implemented by the information processing apparatus in the registration phase.
- the registration unit 121 further includes an image data display unit 401, a motion pattern designation unit 402, a posture data designation unit 403, a posture identification unit 404, a motion recognition data registration unit 405, and a playback unit 406. .
- the image data display unit 401 reads out the moving image data specified by the user 130 from among the moving image data stored in the moving image data storage unit 123, and displays each frame image included in the read moving image data to the user 130. indicate.
- the motion pattern designation section 402 is an example of a first designation section, and when the transition to the motion recognition phase occurs, the motion pattern designation section 402 specifies a "motion pattern” indicating a recognition method to be used when recognizing the motion of the recognition target in the video data. accept. Furthermore, the motion pattern designation unit 402 receives a designation of a "motion to be recognized” to be recognized based on the designated "motion pattern.”
- the operation patterns include the following three types (ABC type, ABB type, and BBB type).
- ⁇ ABC type Specify the posture of the object when starting the movement to be recognized, the posture of the object while executing the movement to be recognized, and the posture of the object when finishing the movement to be recognized.
- - ABB type A pattern that recognizes the motion of the recognition target by specifying the posture of the target when starting the motion of the recognition target and the posture of the target while executing the motion of the recognition target.
- ⁇ BBB type A pattern that recognizes the target motion by specifying the posture of the target while performing the target motion.
- the posture data specifying section 403 is an example of a second specifying section, and the frame images necessary for recognizing the motion of the recognition target according to each motion pattern are displayed as posture data by the image data display section 401. Specify from among the images.
- the posture data specifying section 403 ⁇ If the motion pattern is ABC type, specify three types of frame images as posture data, ⁇ If the motion pattern is ABB type, specify two types of frame images as posture data, - If the motion pattern is BBB type, specify one type of frame image as posture data.
- the posture identification unit 404 identifies the posture of the object included in each frame image displayed by the image data display unit 401. In addition, the posture identification unit 404 adds a marker indicating which of the postures indicated by the designated posture data corresponds to the posture of the object included in each frame image.
- the motion recognition data registration unit 405 is an example of a data registration unit, and generates motion recognition data and stores it in the motion recognition data storage unit 124. Specifically, the motion recognition data registration unit 405 stores, as motion recognition data, - The motion pattern specified by the motion pattern designation unit 402 and the motion to be recognized; - Information indicating that the posture data is specified by the posture data specifying unit 403 and the identified posture; - A marker corresponding to the orientation of the object included in each frame image identified by the orientation identification unit 404; is stored in the motion recognition data storage unit 124 in association with a plurality of frame images.
- the motion recognition data registration unit 405 uses markers corresponding to the posture of the target object.
- Marker "A” indicates that it corresponds to the posture of the target object when starting the motion to be recognized.
- Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized.
- Marker “C” indicates that it corresponds to the posture of the object at the end of the motion to be recognized.
- “D” is a marker indicating that it does not correspond to any of the postures indicated by the posture data.
- ⁇ For ABB type Marker "A” indicates that it corresponds to the posture of the target object when starting the motion to be recognized.
- Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized.
- D is a marker indicating that it does not correspond to any of the postures indicated by the posture data. and ⁇ For BBB type, Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized. "D” is a marker indicating that the posture does not correspond to the posture indicated by the posture data. It is written as
- the reproduction unit 406 reproduces the moving image data included in the motion recognition data stored in the motion recognition data storage unit 124 and displays it to the user 130. Note that when reproducing the moving image data, the reproducing unit 406 changes the display mode of the seek bar according to the type of marker added to each frame image included in the moving image data to be reproduced.
- FIGS. 5 to 7 are first to third diagrams showing examples of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
- the registration screen 510 includes an operation pattern specification field 511.
- the example in FIG. 5 shows that "ABC type" is designated in the operation pattern designation column 511.
- the registration screen 510 includes a field 512 for specifying an operation to be recognized.
- the example in FIG. 5 shows that "forward bending motion" is designated in the recognition target motion designation column 512.
- the registration screen 510 includes a display field 513 that displays each frame image included in the moving image data.
- the example in FIG. 5 shows seven frame images displayed in the display field 513.
- the registration screen 520 shows three types of posture data designated from among the seven frame images displayed in the display field 513.
- the registration screen 520 shows that the "Register” button 524 can be pressed because three types of posture data have been specified. Note that the example in FIG. 5 shows a state in which the motion recognition data 530 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 524.
- the motion recognition data 530 includes information items such as "frame image”, “identifier”, “posture data”, “motion to be recognized”, “motion pattern”, and “marker”. included.
- “Frame images” include each frame image displayed in the display field 513. “Identifier” includes an identifier that identifies each frame image displayed in the display field 513.
- Posture data includes information indicating which of the three specified types of posture data each frame image displayed in the display field 513 is, and the postures identified for the three types of posture data. It will be done.
- the "recognition target behavior” includes the specified recognition target behavior.
- "Operation pattern” includes a specified operation pattern.
- Marker includes markers added to each frame image displayed in the display field 513. Specifically, the posture of the object included in each frame image displayed in the display field 513 is identified, and the identified posture corresponds to one of the postures identified for the three specified types of posture data. In this case, the same marker as that given to the posture data is given. Furthermore, if the specified three types of posture data do not correspond to any of the identified postures, a marker indicating that the posture does not correspond to any of them is given.
- the registration screen 610 includes an operation pattern specification field 611.
- the example in FIG. 6 shows that "ABB type" is designated in the operation pattern designation column 611.
- the registration screen 610 includes a recognition target operation specification field 612.
- the example in FIG. 6 shows that "forward bending motion" is designated in the recognition target motion designation column 612.
- the registration screen 610 includes a display field 613 that displays each frame image included in the moving image data.
- the example in FIG. 6 shows seven frame images displayed in the display field 613.
- the registration screen 620 shows two types of posture data designated from among the seven frame images displayed in the display field 613.
- the registration screen 620 shows that the "registration" button 624 can be pressed because two types of posture data have been specified. Note that the example in FIG. 6 shows a state in which the motion recognition data 630 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 624.
- the motion recognition data 630 includes information items such as "frame image”, “identifier”, “posture data”, “recognition target motion”, “motion pattern”, and “marker”. included.
- “Frame images” include each frame image displayed in the display field 613.
- the "identifier” includes an identifier that identifies each frame image displayed in the display field 613.
- Posture data includes information indicating which of the two specified types of posture data each frame image displayed in the display field 613 is, and the postures identified for the two types of posture data. It will be done.
- the "recognition target behavior” includes the specified recognition target behavior.
- the "operation pattern” includes a specified operation pattern.
- Marker includes markers added to each frame image displayed in the display field 613. Specifically, the posture of the object included in each frame image displayed in the display field 613 is identified, and the identified posture corresponds to one of the postures identified for the two specified types of posture data. In this case, the same marker as that given to the posture data is given. Furthermore, if the specified two types of posture data do not correspond to any of the identified postures, a marker is provided indicating that neither of them corresponds to the postures.
- the registration screen 710 includes an operation pattern specification field 711.
- the example in FIG. 7 shows that "BBB type" is designated in the operation pattern designation column 711.
- the registration screen 710 includes a recognition target operation specification field 712.
- the example in FIG. 7 shows that "forward bending motion" is designated in the recognition target motion designation field 712.
- the registration screen 710 includes a display field 713 that displays each frame image included in the moving image data.
- the example in FIG. 7 shows seven frame images displayed in the display field 713.
- a registration screen 720 shows a state in which one type of posture data is specified from among the seven frame images displayed in the display field 713.
- the registration screen 720 shows that the "Register” button 724 can be pressed because one type of posture data has been specified. Note that the example in FIG. 7 shows a state in which the motion recognition data 730 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 724.
- the motion recognition data 730 includes information items such as "frame image”, “identifier”, “posture data”, “motion to be recognized”, “motion pattern”, and “marker”. included.
- “Frame images” include each frame image displayed in the display field 713.
- the “identifier” includes an identifier that identifies the frame image displayed in the display field 713.
- the "posture data” includes information indicating that each frame image displayed in the display field 713 is one type of specified posture data, and the posture identified for the one type of posture data.
- the "recognition target behavior” includes the specified recognition target behavior.
- the "operation pattern” includes a specified operation pattern.
- Marker includes markers added to each frame image displayed in the display field 713. Specifically, the posture of the object included in each frame image displayed in the display field 713 is identified, and if the identified posture corresponds to the posture identified for one specified type of posture data, , the same marker as that given to the posture data is given. Further, if one type of designated posture data does not correspond to the identified posture, a marker indicating that it does not correspond is given.
- FIG. 8 is a diagram illustrating an example of a playback screen displayed on the information processing device during the registration phase.
- the reproduction unit 406 reproduces the moving image data included in the motion recognition data stored in the motion recognition data storage unit 124 and displays it to the user 130.
- a moving image reproduction area 801 is an area where reproduced moving image data is displayed. Further, the seek bar 802 indicates the playback position of the moving image data that is being played back. As described above, the playback unit 406 changes the display mode of the seek bar depending on the type of marker added to each frame image included in the moving image data to be played back.
- a seek bar 811 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 530 of FIG. 5.
- the "marker” includes three types of markers (A, B, and C), so the seek bar 811 has three types of display modes.
- a seek bar 812 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 630 of FIG. 6.
- the "marker” includes three types of markers (A, B, D), so the seek bar 812 has three types of display modes.
- a seek bar 813 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 730 of FIG. 7.
- the "marker” includes two types of markers (B, D), so the seek bar 813 has two types of display modes.
- FIG. 9 is a diagram for explaining an overview of processing executed by the information processing device in the motion recognition phase and the evaluation phase. Note that here, to simplify the explanation, a case where the operation pattern is ABC type is shown.
- the motion recognition unit 122 of the information processing device 120 acquires moving image data and adds skeleton information to each frame image included in the moving image data (910). .
- the motion recognition unit 122 of the information processing device 120 identifies the posture of the object included in each frame image based on the motion recognition data, thereby identifying the frames necessary to recognize the motion of the recognition target.
- the image is identified (920).
- the motion recognition unit 122 of the information processing device 120 recognizes the motion to be recognized (in the example of FIG. 9, the forward bending motion) based on the motion recognition data, and generates a frame image corresponding to the motion to be recognized. is extracted as motion data (930).
- the evaluation unit 150 of the information processing device 120 selects a frame image to be evaluated from among the extracted motion data (940), and evaluates the target object based on the selected frame image. Evaluate the posture (950).
- the evaluation unit 150 of the information processing device 120 displays the evaluation result (reference numeral 960) to the evaluator 160.
- FIG. 10 is a diagram for explaining an overview of the posture identification function realized by the motion recognition unit of the information processing device in the motion recognition phase.
- the motion recognition unit 122 of the information processing device 120 The posture of the object included in the frame image 1010, - Judgment criteria (symbols 1021, 1022, 1023, etc.) corresponding to the posture indicated by the posture data 1020 included in the motion recognition data, By comparing the images, the frame images necessary to recognize the motion to be recognized are identified.
- the distance (distance based on skeletal information ) is calculated.
- the distance (skeletal information The figure shows how the distance (based on the distance) was calculated.
- the distance between the posture of the object included in the frame image 1010 and the criterion (numeral 1023) corresponding to walking in the posture data 1020 included in the motion recognition data (based on skeletal information
- the figure shows how the distance based on the distance was calculated.
- the motion recognition unit 122 of the information processing device 120 can identify the posture of the object included in the frame image 1010 by determining the minimum distance. As a result, the motion recognition unit 122 of the information processing device 120 can specify frame images necessary to recognize the motion to be recognized. Furthermore, the motion recognition unit 122 of the information processing device 120 can output a marker indicating which of the postures indicated by the posture data the posture of the object corresponds to.
- the example in FIG. 10 shows that the posture of the object included in the frame image 1010 is identified as "upright” (reference numeral 1030). Furthermore, the example in FIG. 10 shows that "A" is output as a marker (numeral 1040).
- FIG. 11 is a diagram for explaining an overview of the motion recognition function realized by the motion recognition section of the information processing device in the motion recognition phase.
- FIG. 11 shows that moving image data including eight frame images is acquired as moving image data, and the frame images necessary for recognizing the motion of the recognition target are identified.
- FIG. 11 in the case of ABC type, ⁇ Frame image with marker "A” attached, ⁇ Frame image with marker "B” attached, ⁇ Frame image with marker "C” attached, During this time, the object is recognized as performing the motion to be recognized, and the frame image is extracted as motion data.
- FIG. 12 is a diagram for explaining an overview of the selection and evaluation functions realized by the evaluation unit of the information processing device in the evaluation phase.
- reference numeral 1210 indicates a selection index (in the example of FIG. 12, a selection index for selecting a frame image to be evaluated) for each cut frame image, in which a frame image corresponding to a forward bending motion is cut out as motion data. ⁇ Angle of the waist'') is calculated. Note that reference numeral 1210 shows only a part of the extracted motion data in FIG. 11 due to space limitations.
- reference numeral 1230 indicates an evaluation index (in the example of FIG. 12, "hip angle”, “elbow angle”, “ The figure shows how the knee angle ”) has been calculated.
- FIG. 13 is a diagram illustrating an example of the functional configuration of a motion recognition section implemented by the information processing apparatus in the motion recognition phase.
- the motion recognition section 122 includes a moving image data acquisition section 1301, a posture identification section 1302, a motion recognition image specification section 1303, and a recognition section 1304.
- the video data acquisition unit 1301 acquires video data and adds skeleton information to each frame image included in the acquired video data. Furthermore, the moving image data acquisition unit 1301 sequentially notifies the posture identification unit 1302 of frame images to which skeleton information has been added.
- the posture identification section 1302 reads posture data included in the motion recognition data stored in the motion recognition data storage section 124.
- the posture identification unit 1302 Judgment criteria corresponding to the posture indicated by the read posture data, - The posture of the object included in the frame images sequentially notified by the video data acquisition unit 1301; Calculate the distance between.
- the posture identification unit 1302 determines which of the postures indicated by the read posture data corresponds to the determination criterion that corresponds to the minimum distance, and determines the posture of the object included in the sequentially notified frame images. identify.
- the posture identification unit 1302 recognizes the motion of the recognition target in the frame images sequentially notified from the video data acquisition unit 1301 by identifying the postures of the objects included in the frame images sequentially notified. Identify the frame images needed. In addition, the posture identifying unit 1302 adds a marker corresponding to the identified posture of the object to the frame image, and sequentially notifies the motion recognition image specifying unit 1303 of the marker.
- the motion recognition image specifying unit 1303 removes frame images that become noise from among the frame images sequentially notified by the posture identifying unit 1302.
- a "frame image that becomes noise” refers to a frame image in which markers of the same type are not consecutive for a predetermined number of frames or more.
- the motion recognition image specifying unit 1303 sequentially notifies the recognition unit 1304 of the frame images after noise removal, in which the frame images that cause noise have been removed.
- the recognition unit 1304 reads the motion pattern included in the motion recognition data stored in the motion recognition data storage unit 124. Furthermore, the recognition unit 1304 determines whether the frame images after noise removal, which are sequentially notified by the motion recognition image specifying unit 1303, transition in accordance with the read motion pattern.
- the recognition unit 1304 determines that the frame image after noise removal, which is sequentially notified by the motion recognition image specifying unit 1303, transitions along the read motion pattern, the recognition unit 1304 transitions along the read motion pattern. Cut out the frame image. Furthermore, the recognition unit 1304 notifies the evaluation unit 150 of the extracted frame image as motion data.
- the recognition unit 1304 determines that the frame image after noise removal, which is sequentially notified by the motion recognition image specifying unit 1303, does not transition along the read motion pattern, the recognition unit 1304 does not cut out the frame image. do not have.
- FIG. 14 is a diagram showing the details of the functional configuration of the posture identification section included in the motion recognition section.
- the posture identification section 1302 includes an identified posture acquisition section 1401 and a determination section 1402.
- the identification posture acquisition unit 1401 reads the motion recognition data stored in the motion recognition data storage unit 124 in the registration phase, and notifies the determination unit 1402 of the data. Specifically, the identified posture acquisition unit 1401 reads posture data and markers from the motion recognition data, and notifies the determination unit 1402 of the read posture data and markers.
- the determination unit 1402 acquires each frame image included in the video data acquired by the video data acquisition unit 1301 and to which skeleton information has been added by the video data acquisition unit 1301. Further, the determination unit 1402 identifies which orientation (reference numeral 1410) the orientation of the object included in each acquired frame image is indicated by the orientation data notified from the identified orientation acquisition unit 1401, and identifies the orientation. Output the results.
- the determination unit 1402 reads from the reference posture data storage unit 1403 the determination criterion corresponding to the posture (reference numeral 1410) indicated by the posture data notified by the identified posture acquisition unit 1401. Then, the determination unit 1402 calculates the distance between the read determination criterion and the orientation of the object included in each frame image, determines the minimum distance, and determines the orientation notified by the identified orientation acquisition unit 1401. It is identified which attitude (code 1410) the data indicates. Note that the reference posture data storage unit 1403 stores determination criteria for identifying each posture of the object.
- the code 1420 is ⁇ Judgment criteria for identifying whether the posture of the object is "upright”, ⁇ Judgment criteria for identifying whether the posture of the object is "forward bending”, ⁇ Judgment criteria for identifying whether the posture of the object is “walking”; shows how it is read out.
- the determination unit 1402 determines whether the orientation corresponds to the identified orientation. A marker is attached to the corresponding frame image. In the example 1410, the determination unit 1402 assigns "A", "B", or "C" to the corresponding frame image.
- the determining unit 1402 notifies the motion recognition image specifying unit 1303 of each frame image to which the marker has been added as the posture identification result.
- FIG. 15 is a diagram illustrating a specific example of processing by the posture identifying section included in the motion recognizing section.
- a frame image 1510 is a frame image acquired by the determination unit 1402 of the posture identification unit 1302, and is a frame image to which skeleton information is added.
- reference numerals 1421 to 1423 indicate details of determination criteria corresponding to each attitude indicated by the attitude data.
- the determination criteria corresponding to each posture indicated by the posture data include, as information items, a part used for determining the minimum distance and a physical quantity used for determining the minimum distance.
- the example in FIG. 15 shows that the criteria for determining each posture include "armpit angle,” “hip angle,” “knee angle,” etc.
- the determining unit 1402 of the posture identifying unit 1302 calculates the distance (Euclidean distance) between the skeleton information added to the frame image 1510 and the determination criterion corresponding to each posture indicated by the posture data. Specifically, the determination unit 1402 of the posture identification unit 1302 calculates the Euclidean distance D p based on Equation 1 below.
- N p is the number of parts used for determining the minimum distance
- x i is the physical quantity used for determining the minimum distance
- y p,i is the object included in the frame image 1510. Each represents the physical quantity of the corresponding part of the object.
- the determining unit 1402 of the posture identifying unit 1302 calculates the Euclidean distance D p using the determination criteria corresponding to each posture indicated by the posture data, and identifies the posture by determining the minimum Euclidean distance D p (reference numeral 1520 reference). Further, the determining unit 1402 of the posture identifying unit 1302 adds a marker corresponding to the identified posture to the frame image 1510 and outputs it as a posture identification result (see reference numeral 1530).
- the determination unit 1402 of the posture identification unit 1302 - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "upright” criterion (code 1421); - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "forward bending” criterion (code 1422); - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "walking" criterion (code 1423), The minimum Euclidean distance D p is determined from among these, and the pose is identified.
- the determination unit 1402 of the posture identification unit 1302 if any of the Euclidean distances D p calculated for each posture is equal to or greater than a predetermined threshold, the posture of the object included in the frame image 1510 is determined based on the posture data. It identifies that it does not correspond to any of the postures shown. In this case, the determination unit 1402 of the posture identification unit 1302 adds a marker to the frame image 1510 indicating that the frame image 1510 does not correspond to any of the postures indicated by the posture data, and outputs it as a posture identification result.
- FIG. 16 is a diagram showing details of the functional configuration of the motion recognition image specifying section and the recognition section included in the motion recognition section.
- the motion recognition image specifying unit 1303 further includes a continuity determining unit 1601 and a noise removing unit 1602, and the recognizing unit 1304 further includes an order determining unit 1611 and an end state determining unit 1612.
- the continuity determination unit 1601 sequentially acquires the frame images to which markers are attached, which are output from the determination unit 1402, and notifies the noise removal unit 1602. At this time, the continuity determination unit 1601 determines whether or not the same type of marker is consecutively provided for a predetermined number of frames or more for each frame image. Furthermore, if the continuity determination unit 1601 determines that the same type of marker is not consecutively attached for a predetermined number of frames or more, the same type of marker is consecutively attached for a predetermined number of frames or more for the corresponding frame image. The noise removal unit 1602 is notified that the noise removal unit 1602 is not.
- the noise removal unit 1602 removes frame images for which the same type of marker is not continuously attached for a predetermined number of frames or more from among the frame images notified by the continuity determination unit 1601. Further, the noise removal unit 1602 notifies the order determination unit 1611 of the recognition unit 1304 of the frame images that have not been removed.
- the order determination unit 1611 reads the motion recognition data from the motion recognition data storage unit 124 and determines whether the frame images sequentially notified by the noise removal unit 1602 correspond to a predetermined order.
- the order determining unit 1611 reads the motion pattern from the motion recognition data, and determines whether the frame images sequentially notified by the noise removal unit 1602 correspond to the order specified by the motion pattern. judge. Further, the order determining unit 1611 determines frame images determined to fall under the order specified by the motion pattern as motion data candidates.
- ⁇ Operation pattern “ABC type”
- the end state determination unit 1612 determines whether or not a frame image to which a predetermined marker has been added is notified after the frame image determined to be a candidate for motion data among the frame images notified by the order determination unit 1611. judge.
- the predetermined marker herein refers to a marker other than the marker corresponding to the posture of the object at the end of the motion to be recognized.
- the predetermined marker is a marker other than “C” (that is, “A”, “B”, “D"), -
- the predetermined marker is a marker other than “B” (that is, “A”, "D"), -
- the motion pattern is "BBB type”
- the predetermined marker is a marker other than “B” (that is, “D"), refers to
- the end state determination unit 1612 determines that a frame image to which a predetermined marker is attached is notified after a frame image determined to be a motion data candidate, the end state determination unit 1612 selects the motion data candidate as the motion to be recognized. recognize. Further, the end state determining unit 1612 cuts out a frame image corresponding to the recognized motion of the recognition target as motion data, transmits it to the evaluation unit 150, and then proceeds to the next frame image.
- the end state determination unit 1612 does not cut out the motion data. Proceed to the next frame image.
- FIG. 17 is a first diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIGS. 17(a), (b), and (c) shows the frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
- the operation pattern is "ABC type", as shown in FIGS. A marker is attached.
- the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done.
- FIG. 17(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
- FIG. 18 is a first diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- the left side of FIGS. 18(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
- each frame image output from the motion recognition image specifying unit 1303 is recognized as a "forward bending motion" because it is determined that it does not correspond to the order of A ⁇ B ⁇ C. It shows that there was no.
- FIG. 18(b) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B ⁇ C and is determined to be a candidate for motion data. There is.
- a frame image with a marker other than "C” is not notified after the frame image with a "C” marker, so "forward bending motion” is not detected. This indicates that it was not recognized as such.
- FIG. 18(c) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B ⁇ C and is determined to be a candidate for motion data. There is. Furthermore, in the example of FIG. 18(c), a frame image with a marker other than "C” is notified after a frame image with a "C” marker, so it is not recognized as a "forward bending motion". It shows that it has been recognized.
- FIG. 19 is a second diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIGS. 19(a), (b), and (c) show the frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
- the motion pattern is "ABB type", as shown in FIGS. 19(a), (b), and (c)
- the frame image has markers "A", "B", and "D”. Granted.
- the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done.
- FIG. 19(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
- FIG. 20 is a second diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- the left side of FIGS. 20(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
- each frame image output from the motion recognition image specifying unit 1303 was determined not to correspond to the order of A ⁇ B, and therefore was not recognized as a "forward bending motion.” It is shown that.
- FIG. 20(b) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B, and is determined to be a candidate for motion data. Furthermore, in the example of FIG. 20(b), a frame image with a marker other than "B" is notified after the frame image with a marker "B", so it is not recognized as a "forward bending motion". It shows that it has been recognized.
- each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B and is determined to be a candidate for motion data. ing. Furthermore, in the example of FIG. 20(c), a frame image with a marker other than "B" is notified after the frame image with a "B" marker, so it is not recognized as a "forward bending motion". It shows that it has been recognized.
- FIG. 21 is a third diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
- FIGS. 21(a), (b), and (c) show frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
- the motion pattern is "BBB type”
- the frame image is marked with either "B” or "D” as shown in FIGS. 21(a), (b), and (c). .
- the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done. Specifically, the example in FIG. 21(a) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames. .
- FIG. 21(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
- FIG. 22 is a third diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
- the left side of FIGS. 22(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
- FIG. 22(a) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to contain a marker "B" and is determined to be a motion data candidate. ing. Furthermore, in the example of FIG. 22(a), a frame image with a marker other than "B" is notified after a frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
- each frame image output from the motion recognition image specifying unit 1303 contains a marker "B" and is determined to be a candidate for motion data. It shows the situation. Furthermore, in the example of FIG. 22(b), a frame image with a marker other than "B" is notified after the frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
- each frame image output from the motion recognition image specifying unit 1303 contains a marker "B" and is determined to be a motion data candidate. It shows the situation. Furthermore, in the example of FIG. 22(c), a frame image with a marker other than "B" is notified after the frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
- FIG. 23 is a first diagram showing the advantages of the ABB type operation pattern.
- reference numeral 2310 indicates each frame image of the moving image data taken when the operator who performs the forward bending motion assumes an appropriate forward bending posture.
- reference numeral 2311 when the operator who performs the forward bending motion assumes an appropriate forward bending posture, the motion recognition unit 122 is more likely to misidentify the posture. .
- Reference numeral 2311 indicates that in the first, second, sixth, and seventh frame images, the posture should be identified as "upright,” but the posture was incorrectly identified as "bent forward.”
- the motion recognition unit 122 recognizes the "forward bending motion" even if the user is able to take an appropriate forward bending posture or is unable to take an appropriate forward bending posture. Be able to recognize.
- the motion recognition unit 122 detects that the posture is not "forward bending" in the first, second, fifth, and sixth frame images, as shown by reference numeral 2321 in FIG.
- the posture should have been identified as ⁇ forward bending,'' but it was incorrectly identified as ⁇ forward bending''.
- the motion recognition unit 122 can now recognize the "forward bending motion” even if the user cannot perform the motion.
- FIG. 24 is a second diagram showing the advantages of the ABB type operation pattern.
- reference numeral 2410 indicates each frame image of the moving image data taken when the operator who performs the forward bending motion assumes an appropriate posture.
- the appropriate posture here refers to the appropriate posture when the movement pattern is "ABC type" (i.e., the posture of the operator at the start, the posture of the operator during the execution, the posture of the operator at the end of the movement). This refers to the appropriate posture of the person performing the movement.
- the motion recognition unit 122 recognizes the posture of the motion person at the start, the posture of the motion during execution, and the motion pattern at the end. It is possible to identify the posture of the operator when doing so. Then, the motion recognition unit 122 can appropriately assign markers "A", "B", and "C”. As a result, the motion recognition unit 122 can recognize the "forward bending motion”.
- the motion recognition unit 122 recognizes the posture of the motion person at the time of starting, the posture of the motion person during execution. It is possible to identify the posture and appropriately assign markers "A", "B", and "D”. As a result, the motion recognition unit 122 can recognize the "forward bending motion”.
- reference numeral 2420 indicates each frame image of the moving image data taken when the operator performing the forward bending motion was unable to take an appropriate posture.
- the failure to take an appropriate posture here refers to the failure to take an appropriate posture when the movement pattern is "ABC type.” Specifically, the operator's posture at the start and during the execution was able to be properly maintained, but the operator's posture at the end of the execution was not correct. It refers to something that could not be taken.
- the motion recognition unit 122 identifies the posture of the performer at the time of starting and the posture of the performer during execution. However, the posture of the operator at the time of termination cannot be identified. Then, the motion recognition unit 122 assigns markers "A", "B", and "D". As a result, the motion recognition unit 122 cannot recognize the "forward bending motion".
- the motion recognition unit 122 recognizes the posture of the motion person at the time of starting, the posture of the motion force during execution. can be identified and appropriately assigned markers "A", "B", and "D". As a result, the motion recognition unit 122 can recognize the "forward bending motion".
- the movement recognition unit 122 can recognize the "forward bending movement” even if the operator is unable to take an appropriate posture when finishing the movement. It becomes like this.
- the motion recognition unit 122 of the information processing device 120 includes a posture recognition unit 1302 and a recognition unit 1304,
- the posture identification unit 1302 ⁇ From among the multiple frame images included in the video image data, determine the posture of the operator when starting the motion to be recognized, and the posture the motioner should take when starting the motion to be recognized.
- First and second frame images each including a posture to be taken during the process are identified.
- the recognition unit 1304 - A plurality of frame images included in the video data transitions from a first frame image to a second frame image, - Furthermore, when transitioning to a frame image other than the first and second frame images (other than the first and second image data), - Recognize that the operator was performing the recognition target action from the first frame image to the second frame image.
- the motion of the recognition target of the target in multiple frame images included in a moving image is It is possible to improve recognition accuracy when recognizing.
- the "forward bending motion” has been described as an example of the motion to be recognized, but the motion to be recognized is not limited to the "forward bending motion". Further, it is assumed that any posture can be specified as the posture of the object when starting the motion to be recognized and the posture of the object when ending the motion to be recognized.
- the condition when removing noise, is that the same type of marker is continuous for two or more frames, but the number of consecutive frames is not limited to two frames.
- the evaluation unit 150 and the motion recognition unit 122 are described as separate functions in the information processing device 120, but the evaluation unit 150 and the motion recognition unit 122 are realized as one function. may be done.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させる。情報処理プログラムは、時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第1の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第2の画像データとを特定し、前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、処理をコンピュータに実行させる。
Description
本発明は、情報処理プログラム、情報処理方法及び情報処理装置に関する。
対象物を動画像により撮影し、各フレーム画像において、対象物の骨格情報から対象物の姿勢を識別する識別技術が知られている。当該識別技術によれば、例えば、認識対象の動作を開始する際の対象物の姿勢、実行している最中の対象物の姿勢、終了する際の対象物の姿勢等を予め規定しておくことで、複数のフレーム画像の中から、当該認識対象の動作を認識して切り出すことができる。なお、ここでいう動作とは、対象物の複数の姿勢の連続からなる一連の動きを指す。
しかしながら、上記方法により認識対象の動作を認識しようとすると、対象物が、予め規定された姿勢のうちのいずれかの姿勢をとることができなかった場合に、認識精度が低下する。
一つの側面では、動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることを目的とする。
一態様によれば、情報処理プログラムは、
時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢と、対象物が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第1の画像データ及び第2の画像データを特定し、
前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、処理をコンピュータに実行させる。
時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢と、対象物が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第1の画像データ及び第2の画像データを特定し、
前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、処理をコンピュータに実行させる。
動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることできる。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
[第1の実施形態]
<評価システムのシステム構成>
はじめに、第1の実施形態に係る情報処理装置が適用される評価システム全体のシステム構成について説明する。図1は、評価システムのシステム構成の一例を示す図である。なお、第1の実施形態に係る情報処理装置が適用される評価システムは、登録フェーズと、動作認識フェーズ及び評価フェーズとで異なる処理が行われるため、以下では、登録フェーズと、動作認識フェーズ及び評価フェーズとに、分けてシステム構成を説明する。
<評価システムのシステム構成>
はじめに、第1の実施形態に係る情報処理装置が適用される評価システム全体のシステム構成について説明する。図1は、評価システムのシステム構成の一例を示す図である。なお、第1の実施形態に係る情報処理装置が適用される評価システムは、登録フェーズと、動作認識フェーズ及び評価フェーズとで異なる処理が行われるため、以下では、登録フェーズと、動作認識フェーズ及び評価フェーズとに、分けてシステム構成を説明する。
(1)登録フェーズにおけるシステム構成
図1(a)は、登録フェーズにおける評価システム100Aのシステム構成の一例を示している。図1(a)に示すように、登録フェーズにおける評価システム100Aは、撮像装置110と、情報処理装置120とを有する。
図1(a)は、登録フェーズにおける評価システム100Aのシステム構成の一例を示している。図1(a)に示すように、登録フェーズにおける評価システム100Aは、撮像装置110と、情報処理装置120とを有する。
撮像装置110は、対象物を動画像により撮影し、動画像データ(時系列の複数の画像データの一例)を情報処理装置120に送信する。
情報処理装置120には、情報処理プログラムがインストールされている。情報処理装置120は、登録フェーズにおいて、当該プログラムを実行することで、登録部121として機能する。
登録部121は、撮像装置110より送信され、動画像データ記憶部123に記憶された動画像データを読み出し、ユーザ130からの各種指定のもとで、動作認識用データを生成する。また、登録部121は、生成した動作認識用データを、動作認識用データ記憶部124に記憶する。
なお、動作認識用データとは、動作認識フェーズにおいて撮影された動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識するのに必要なフレーム画像を特定するためのデータを指す。また、動作とは、対象物の複数の姿勢の連続からなる一連の動きを指す。
(2)動作認識フェーズ及び評価フェーズにおけるシステム構成
図1(b)は、動作認識フェーズ及び評価フェーズにおける評価システム100Bのシステム構成の一例を示している。図1(b)に示すように、動作認識フェーズ及び評価フェーズにおける評価システム100Bは、撮像装置140と、情報処理装置120とを有する。
図1(b)は、動作認識フェーズ及び評価フェーズにおける評価システム100Bのシステム構成の一例を示している。図1(b)に示すように、動作認識フェーズ及び評価フェーズにおける評価システム100Bは、撮像装置140と、情報処理装置120とを有する。
撮像装置140は、対象物を動画像により撮影し、動画像データ(時系列の複数の画像データの一例)を情報処理装置120に送信する。
情報処理装置120は、動作認識フェーズ及び評価フェーズにおいて、動作認識部122及び評価部150として機能する。
動作認識部122は、動作認識用データ記憶部124から動作認識用データを読み出す。また、動作認識部122は、撮像装置140より送信され、評価部150を介して取得した動画像データについて、読み出した動作認識用データに基づいて、認識対象の動作を認識するのに必要なフレーム画像を特定し、認識対象の動作を認識する。更に、動作認識部122は、認識した認識対象の動作に対応するフレーム画像を切り出し、動作データとして、評価部150に通知する。
評価部150は、撮像装置140により送信された動画像データを受信し、動作認識部122に通知するとともに、動作認識部122より動作データを取得し、評価者160に評価用データとして表示する。
あるいは、評価部150は、動作認識部122より動作データを取得した際、取得した動作データから評価対象のフレーム画像を選択し、選択したフレーム画像を用いて、対象物の姿勢を評価する。そして、評価部150は、評価結果を、選択したフレーム画像と対応付けて、評価用データとして評価者160に表示する。
なお、動作データから評価対象のフレーム画像を選択し、選択したフレーム画像を用いて、対象物の姿勢を評価する機能は、動作認識部122が有していてもよい。この場合、動作認識部122は、評価結果と、選択したフレーム画像とを評価部150に通知し、評価部150では、通知された評価結果と、選択したフレーム画像とを対応付けて、評価用データとして評価者160に表示する。
<情報処理装置のハードウェア構成>
次に、情報処理装置120のハードウェア構成について説明する。図2は、情報処理装置のハードウェア構成の一例を示す図である。
次に、情報処理装置120のハードウェア構成について説明する。図2は、情報処理装置のハードウェア構成の一例を示す図である。
図2に示すように、情報処理装置120は、プロセッサ201、メモリ202、補助記憶装置203、I/F(Interface)装置204、通信装置205、ドライブ装置206を有する。なお、情報処理装置120の各ハードウェアは、バス207を介して相互に接続されている。
プロセッサ201は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイスを有する。プロセッサ201は、各種プログラム(例えば、情報処理プログラム等)をメモリ202上に読み出して実行する。
メモリ202は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ201とメモリ202とは、いわゆるコンピュータを形成し、プロセッサ201が、メモリ202上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置203は、各種プログラムや、各種プログラムがプロセッサ201によって実行される際に用いられる各種データを格納する。例えば、動画像データ記憶部123及び動作認識用データ記憶部124は、補助記憶装置203において実現される。
I/F装置204は、情報処理装置120に対する操作を、操作装置210を介して受け付ける。また、I/F装置204は、情報処理装置120による処理の結果を出力し、表示装置220を介して表示する。また、通信装置205は、撮像装置110または撮像装置140と通信する。
ドライブ装置206は記録媒体230をセットするためのデバイスである。ここでいう記録媒体230には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体230には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置203にインストールされる各種プログラムは、例えば、配布された記録媒体230がドライブ装置206にセットされ、該記録媒体230に記録された各種プログラムがドライブ装置206により読み出されることでインストールされる。あるいは、補助記憶装置203にインストールされる各種プログラムは、通信装置205を介して不図示のネットワークからダウンロードされることで、インストールされてもよい。
<評価システムにおける評価処理の流れ>
次に、評価システム100A及び100Bによる評価処理全体の流れについて説明する。図3は、評価システムによる評価処理全体の流れを示すフローチャートの一例である。図3に示すように、はじめに、評価処理は登録フェーズのもとで評価システム100Aにより実行される。
次に、評価システム100A及び100Bによる評価処理全体の流れについて説明する。図3は、評価システムによる評価処理全体の流れを示すフローチャートの一例である。図3に示すように、はじめに、評価処理は登録フェーズのもとで評価システム100Aにより実行される。
ステップS301において、情報処理装置120の登録部121は、動画像データを取得する。
ステップS302において、情報処理装置120の登録部121は、ユーザ130から、動作認識のための各種指定を受け付け、動作認識用データを生成する。
ステップS303において、情報処理装置120の登録部121は、生成した動作認識用データを、動作認識用データ記憶部124に記憶する。
続いて、評価処理は、登録フェーズから動作認識フェーズへと遷移し、評価システム100Bにより実行される。ステップS304において、情報処理装置120の評価部150は、動画像データを取得する。
ステップS305において、情報処理装置120の動作認識部122は、動作認識用データに基づいて、取得された動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識するのに必要なフレーム画像を特定する。
ステップS306において、情報処理装置120の動作認識部122は、動作認識用データに基づいて、動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識する。
ステップS307において、情報処理装置120の動作認識部122は、認識対象の動作に対応するフレーム画像を、動作データとして、動画像データの中から切り出す。
続いて、評価処理は、動作認識フェーズから評価フェーズへと遷移し、引き続き、評価システム100Bにより実行される。ステップS308において、情報処理装置120の評価部150は、切り出された動作データを用いて、対象物の姿勢を評価する。
ステップS309において、情報処理装置120の評価部150は、対象物の姿勢を評価した評価結果を、評価者160に表示する。
<登録部の機能構成>
次に、登録フェーズにおいて情報処理装置120により実現される登録部121の機能構成の詳細について説明する。図4は、登録フェーズにおいて情報処理装置により実現される登録部の機能構成の一例を示す図である。
次に、登録フェーズにおいて情報処理装置120により実現される登録部121の機能構成の詳細について説明する。図4は、登録フェーズにおいて情報処理装置により実現される登録部の機能構成の一例を示す図である。
図4に示すように、登録部121は、更に、画像データ表示部401、動作パターン指定部402、姿勢データ指定部403、姿勢識別部404、動作認識用データ登録部405、再生部406を有する。
画像データ表示部401は、動画像データ記憶部123に記憶された動画像データのうち、ユーザ130により指定された動画像データを読み出し、読み出した動画像データに含まれる各フレーム画像をユーザ130に表示する。
動作パターン指定部402は第1の指定部の一例であり、動作認識フェーズに遷移した際、動画像データにおいて、認識対象の動作を認識する際に用いる認識方法を示す「動作パターン」の指定を受け付ける。更に、動作パターン指定部402は、指定された「動作パターン」のもとで認識すべき「認識対象の動作」の指定を受け付ける。
なお、本実施形態において、動作パターンには、以下の3種類(ABC型、ABB型、BBB型)が含まれる。
・ABC型:認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・ABB型:認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・BBB型:認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・ABC型:認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・ABB型:認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・BBB型:認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
姿勢データ指定部403は第2の指定部の一例であり、それぞれの動作パターンにより認識対象の動作を認識するのに必要なフレーム画像を、姿勢データとして、画像データ表示部401により表示されたフレーム画像の中から指定する。姿勢データ指定部403では、
・動作パターンがABC型の場合、3種類のフレーム画像を姿勢データとして指定し、
・動作パターンがABB型の場合、2種類のフレーム画像を姿勢データとして指定し、
・動作パターンがBBB型の場合、1種類のフレーム画像を姿勢データとして指定する。
・動作パターンがABC型の場合、3種類のフレーム画像を姿勢データとして指定し、
・動作パターンがABB型の場合、2種類のフレーム画像を姿勢データとして指定し、
・動作パターンがBBB型の場合、1種類のフレーム画像を姿勢データとして指定する。
姿勢識別部404は、画像データ表示部401により表示された各フレーム画像に含まれる対象物の姿勢を識別する。また、姿勢識別部404は、各フレーム画像に含まれる対象物の姿勢が、指定された姿勢データが示す姿勢のいずれに該当するかを示すマーカを付与する。
動作認識用データ登録部405はデータ登録部の一例であり、動作認識用データを生成し、動作認識用データ記憶部124に記憶する。具体的には、動作認識用データ登録部405は、動作認識用データとして、
・動作パターン指定部402により指定された動作パターン及び認識対象の動作と、
・姿勢データ指定部403により指定された姿勢データであることを示す情報及び識別された姿勢と、
・姿勢識別部404により識別された各フレーム画像に含まれる対象物の姿勢に対応するマーカと、
を、複数のフレーム画像と対応付けて動作認識用データ記憶部124に記憶する。
・動作パターン指定部402により指定された動作パターン及び認識対象の動作と、
・姿勢データ指定部403により指定された姿勢データであることを示す情報及び識別された姿勢と、
・姿勢識別部404により識別された各フレーム画像に含まれる対象物の姿勢に対応するマーカと、
を、複数のフレーム画像と対応付けて動作認識用データ記憶部124に記憶する。
なお、動作認識用データ登録部405は、対象物の姿勢に対応するマーカとして、
・ABC型の場合、
認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"A"、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
認識対象の動作を終了する際の対象物の姿勢に該当することを示すマーカを"C"、
姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"D"、
と記載し、
・ABB型の場合、
認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"A"、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"D"、
と記載し、
・BBB型の場合、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
姿勢データが示す姿勢に該当しないこと示すマーカを"D"、
と記載する。
・ABC型の場合、
認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"A"、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
認識対象の動作を終了する際の対象物の姿勢に該当することを示すマーカを"C"、
姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"D"、
と記載し、
・ABB型の場合、
認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"A"、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"D"、
と記載し、
・BBB型の場合、
認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"B"、
姿勢データが示す姿勢に該当しないこと示すマーカを"D"、
と記載する。
再生部406は、動作認識用データ記憶部124に記憶された動作認識用データに含まれる動画像データを再生して、ユーザ130に表示する。なお、再生部406では、動画像データを再生する際、再生する動画像データに含まれる各フレーム画像に付与されたマーカの種類に応じて、シークバーの表示態様を変更する。
<登録画面の具体例及び動作認識用データの具体例>
次に、登録フェーズにおいて情報処理装置120に表示される登録画面及び登録される動作認識用データについて、動作パターンごとに分けて説明する。図5乃至図7は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第1乃至第3の図である。
次に、登録フェーズにおいて情報処理装置120に表示される登録画面及び登録される動作認識用データについて、動作パターンごとに分けて説明する。図5乃至図7は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第1乃至第3の図である。
(1)動作パターン=ABC型の場合の登録画面及び動作認識用データ
はじめに、動作パターン=ABC型の場合の登録画面及び動作認識用データについて、図5を用いて説明する。図5に示すように、登録画面510は、動作パターンの指定欄511を含む。図5の例は、動作パターンの指定欄511において"ABC型"が指定された様子を示している。
はじめに、動作パターン=ABC型の場合の登録画面及び動作認識用データについて、図5を用いて説明する。図5に示すように、登録画面510は、動作パターンの指定欄511を含む。図5の例は、動作パターンの指定欄511において"ABC型"が指定された様子を示している。
また、図5に示すように、登録画面510は、認識対象の動作指定欄512を含む。図5の例は、認識対象の動作指定欄512において"前屈動作"が指定された様子を示している。
また、図5に示すように、登録画面510は、動画像データに含まれる各フレーム画像を表示する表示欄513を含む。図5の例は、表示欄513に、7個のフレーム画像が表示された様子を示している。
また、図5において、登録画面520は、表示欄513に表示された7個のフレーム画像の中から、3種類の姿勢データを指定した様子を示している。具体的には、登録画面520は、
・認識対象の動作(ここでは、前屈動作)を開始する際の対象物の姿勢を含む姿勢データとして、識別子="Fr2"のフレーム画像521が指定され、
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢が含まれる姿勢データとして、識別子="Fr5"のフレーム画像522が指定され、
・認識対象の動作(ここでは、前屈動作)を終了する際の対象物の姿勢が含まれる姿勢データとして、識別子="Fr7"のフレーム画像523が指定された、
様子を示している。
・認識対象の動作(ここでは、前屈動作)を開始する際の対象物の姿勢を含む姿勢データとして、識別子="Fr2"のフレーム画像521が指定され、
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢が含まれる姿勢データとして、識別子="Fr5"のフレーム画像522が指定され、
・認識対象の動作(ここでは、前屈動作)を終了する際の対象物の姿勢が含まれる姿勢データとして、識別子="Fr7"のフレーム画像523が指定された、
様子を示している。
また、図5において、登録画面520は、3種類の姿勢データが指定されたことで、"登録"ボタン524が押圧可能となった様子を示している。なお、図5の例は、"登録"ボタン524が押圧されたことで、動作認識用データ530が動作認識用データ記憶部124に記憶された様子を示している。
図5に示すように、動作認識用データ530には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
"フレーム画像"には、表示欄513に表示された各フレーム画像が含まれる。"識別子"には、表示欄513に表示された各フレーム画像を識別する識別子が含まれる。
"姿勢データ"には、表示欄513に表示された各フレーム画像が、指定された3種類の姿勢データのいずれであるかを示す情報と、3種類の姿勢データについて識別された姿勢とが含まれる。
"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
"マーカ"には、表示欄513に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄513に表示された各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された3種類の姿勢データについて識別された姿勢のいずれかに該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された3種類の姿勢データについて識別された姿勢のいずれにも該当しない場合には、いずれにも該当しないことを示すマーカが付与される。
(2)動作パターン=ABB型の場合の登録画面及び動作認識用データ
次に、動作パターン=ABB型の場合の登録画面及び動作認識用データについて、図6を用いて説明する。図6に示すように、登録画面610は、動作パターンの指定欄611を含む。図6の例は、動作パターンの指定欄611において"ABB型"が指定された様子を示している。
次に、動作パターン=ABB型の場合の登録画面及び動作認識用データについて、図6を用いて説明する。図6に示すように、登録画面610は、動作パターンの指定欄611を含む。図6の例は、動作パターンの指定欄611において"ABB型"が指定された様子を示している。
また、図6に示すように、登録画面610は、認識対象の動作指定欄612を含む。図6の例は、認識対象の動作指定欄612において"前屈動作"が指定された様子を示している。
また、図6に示すように、登録画面610は、動画像データに含まれる各フレーム画像を表示する表示欄613を含む。図6の例は、表示欄613に、7個のフレーム画像が表示された様子を示している。
また、図6において、登録画面620は、表示欄613に表示された7個のフレーム画像の中から、2種類の姿勢データを指定した様子を示している。具体的には、登録画面620は、
・認識対象の動作(ここでは、前屈動作)を開始する際の対象物の姿勢を含む姿勢データとして、識別子="Fr2"のフレーム画像621が指定され、
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢を含む姿勢データとして、識別子="Fr5"のフレーム画像622が指定された、
様子を示している。
・認識対象の動作(ここでは、前屈動作)を開始する際の対象物の姿勢を含む姿勢データとして、識別子="Fr2"のフレーム画像621が指定され、
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢を含む姿勢データとして、識別子="Fr5"のフレーム画像622が指定された、
様子を示している。
また、図6において、登録画面620は、2種類の姿勢データが指定されたことで、"登録"ボタン624が押圧可能となった様子を示している。なお、図6の例は、"登録"ボタン624が押圧されたことで、動作認識用データ630が動作認識用データ記憶部124に記憶された様子を示している。
図6に示すように、動作認識用データ630には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
"フレーム画像"には、表示欄613に表示された各フレーム画像が含まれる。"識別子"には、表示欄613に表示された各フレーム画像を識別する識別子が含まれる。
"姿勢データ"には、表示欄613に表示された各フレーム画像が、指定された2種類の姿勢データのいずれであるかを示す情報と、2種類の姿勢データについて識別された姿勢とが含まれる。
"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
"マーカ"には、表示欄613に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄613に表示された各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された2種類の姿勢データについて識別された姿勢のいずれかに該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された2種類の姿勢データについて識別された姿勢のいずれにも該当しない場合には、いずれにも該当しないことを示すマーカが付与される。
(3)動作パターン=BBB型の場合の登録画面及び動作認識用データ
次に、動作パターン=BBB型の場合の登録画面及び動作認識用データについて、図7を用いて説明する。図7に示すように、登録画面710は、動作パターンの指定欄711を含む。図7の例は、動作パターンの指定欄711において"BBB型"が指定された様子を示している。
次に、動作パターン=BBB型の場合の登録画面及び動作認識用データについて、図7を用いて説明する。図7に示すように、登録画面710は、動作パターンの指定欄711を含む。図7の例は、動作パターンの指定欄711において"BBB型"が指定された様子を示している。
また、図7に示すように、登録画面710は、認識対象の動作指定欄712を含む。図7の例は、認識対象の動作指定欄712において"前屈動作"が指定された様子を示している。
また、図7に示すように、登録画面710は、動画像データに含まれる各フレーム画像を表示する表示欄713を含む。図7の例は、表示欄713に、7個のフレーム画像が表示された様子を示している。
また、図7において、登録画面720は、表示欄713に表示された7個のフレーム画像の中から、1種類の姿勢データを指定した様子を示している。具体的には、登録画面720は、
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢を含む姿勢データとして、識別子="Fr5"のフレーム画像721が指定された、
様子を示している。
・認識対象の動作(ここでは、前屈動作)を実行している最中の対象物の姿勢を含む姿勢データとして、識別子="Fr5"のフレーム画像721が指定された、
様子を示している。
また、図7において、登録画面720は、1種類の姿勢データが指定されたことで、"登録"ボタン724が押圧可能となった様子を示している。なお、図7の例は、"登録"ボタン724が押圧されたことで、動作認識用データ730が動作認識用データ記憶部124に記憶された様子を示している。
図7に示すように、動作認識用データ730には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
"フレーム画像"には、表示欄713に表示された各フレーム画像が含まれる。"識別子"には、表示欄713に表示されたフレーム画像を識別する識別子が含まれる。
"姿勢データ"には、表示欄713に表示された各フレーム画像が、指定された1種類の姿勢データであることを示す情報と、1種類の姿勢データについて識別された姿勢とが含まれる。
"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
"マーカ"には、表示欄713に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄713に表示される各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された1種類の姿勢データについて識別された姿勢に該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された1種類の姿勢データについて識別された姿勢に該当しない場合には、該当しないことを示すマーカが付与される。
<再生画面の具体例>
次に、登録フェーズにおいて情報処理装置120に表示される再生画面の具体例について説明する。図8は、登録フェーズにおいて情報処理装置に表示される再生画面の一例を示す図である。上述したように、再生部406は、動作認識用データ記憶部124に記憶された動作認識用データに含まれる動画像データを再生して、ユーザ130に表示する。
次に、登録フェーズにおいて情報処理装置120に表示される再生画面の具体例について説明する。図8は、登録フェーズにおいて情報処理装置に表示される再生画面の一例を示す図である。上述したように、再生部406は、動作認識用データ記憶部124に記憶された動作認識用データに含まれる動画像データを再生して、ユーザ130に表示する。
図8において、動画像再生領域801は、再生された動画像データが表示される領域である。また、シークバー802は、再生中の動画像データの再生位置を示す。上述したように、再生部406は、再生する動画像データに含まれる各フレーム画像に付与されたマーカの種類に応じて、シークバーの表示態様を変更する。
図8において、シークバー811は、図5の動作認識用データ530に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ530の例では、"マーカ"には3種類のマーカ(A、B、C)が含まれるため、シークバー811は、3種類の表示態様となる。
また、図8において、シークバー812は、図6の動作認識用データ630に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ630の例では、"マーカ"には3種類のマーカ(A、B、D)が含まれるため、シークバー812は、3種類の表示態様となる。
また、図8において、シークバー813は、図7の動作認識用データ730に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ730の例では、"マーカ"には2種類のマーカ(B、D)が含まれるため、シークバー813は、2種類の表示態様となる。
<動作認識フェーズ及び評価フェーズにおける処理の概要>
次に、動作認識フェーズ及び評価フェーズにおいて情報処理装置120により実行される処理の概要について説明する。図9は、動作認識フェーズ及び評価フェーズにおいて情報処理装置により実行される処理の概要を説明するための図である。なお、ここでは、説明の簡略化のため、動作パターンがABC型のケースを示している。
次に、動作認識フェーズ及び評価フェーズにおいて情報処理装置120により実行される処理の概要について説明する。図9は、動作認識フェーズ及び評価フェーズにおいて情報処理装置により実行される処理の概要を説明するための図である。なお、ここでは、説明の簡略化のため、動作パターンがABC型のケースを示している。
図9に示すように、動作認識フェーズにおいて、情報処理装置120の動作認識部122は、動画像データを取得するとともに、動画像データに含まれる各フレーム画像に骨格情報を付与する(符号910)。
続いて、情報処理装置120の動作認識部122は、動作認識用データに基づいて、各フレーム画像に含まれる対象物の姿勢を識別することで、認識対象の動作を認識するのに必要なフレーム画像を特定する(符号920)。
続いて、情報処理装置120の動作認識部122は、動作認識用データに基づいて、認識対象の動作(図9の例では、前屈動作)を認識し、認識対象の動作に対応するフレーム画像を、動作データとして切り出す(符号930)。
続いて、評価フェーズにおいて、情報処理装置120の評価部150は、切り出された動作データの中から、評価対象のフレーム画像を選択し(符号940)、選択したフレーム画像に基づいて、対象物の姿勢を評価する(符号950)。
続いて、情報処理装置120の評価部150は、評価結果(符号960)を評価者160に表示する。
<各機能の概要>
次に、動作認識フェーズ及び評価フェーズにおいて、図9に示す処理を実行する情報処理装置120の動作認識部122または評価部150の各機能(姿勢識別、動作認識、選択、評価)の概要について説明する。
次に、動作認識フェーズ及び評価フェーズにおいて、図9に示す処理を実行する情報処理装置120の動作認識部122または評価部150の各機能(姿勢識別、動作認識、選択、評価)の概要について説明する。
(1)姿勢識別機能の概要
はじめに、姿勢識別機能の概要について説明する。図10は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される姿勢識別機能の概要を説明するための図である。
はじめに、姿勢識別機能の概要について説明する。図10は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される姿勢識別機能の概要を説明するための図である。
図10に示すように、情報処理装置120の動作認識部122は、
・フレーム画像1010に含まれる対象物の姿勢と、
・動作認識用データに含まれる姿勢データ1020が示す姿勢に対応する判定基準(符号1021、1022、1023等)と、
を対比することで、認識対象の動作を認識するのに必要なフレーム画像を特定する。
・フレーム画像1010に含まれる対象物の姿勢と、
・動作認識用データに含まれる姿勢データ1020が示す姿勢に対応する判定基準(符号1021、1022、1023等)と、
を対比することで、認識対象の動作を認識するのに必要なフレーム画像を特定する。
図10の例は、フレーム画像1010に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ1020の直立に対応する判定基準(符号1021)との間の距離(骨格情報に基づく距離)を算出した様子を示している。
また、図10の例は、フレーム画像1010に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ1020の前屈に対応する判定基準(符号1022)との間の距離(骨格情報に基づく距離)を算出した様子を示している。
また、図10の例は、フレーム画像1010に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ1020の歩きに対応する判定基準(符号1023)との間の距離(骨格情報に基づく距離)を算出した様子を示している。
これにより、情報処理装置120の動作認識部122では、最小距離を判定することで、フレーム画像1010に含まれる対象物の姿勢を識別することができる。この結果、情報処理装置120の動作認識部122では、認識対象の動作を認識するのに必要なフレーム画像を特定することができる。また、情報処理装置120の動作認識部122では、対象物の姿勢が、姿勢データが示す姿勢のいずれに該当するかを示すマーカを出力することができる。
図10の例は、フレーム画像1010に含まれる対象物の姿勢が、"直立"であると識別された様子を示している(符号1030)。また、図10の例は、マーカとして、"A"が出力された様子を示している(符号1040)。
(2)動作認識機能の概要
次に、動作認識機能の概要について説明する。図11は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される動作認識機能の概要を説明するための図である。
次に、動作認識機能の概要について説明する。図11は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される動作認識機能の概要を説明するための図である。
図11の例は、動画像データとして、8つのフレーム画像が含まれる動画像データが取得され、認識対象の動作を認識するのに必要なフレーム画像が特定された様子を示している。
また、図11の例は、特定されたフレーム画像に基づいて前屈動作を認識し、対応するフレーム画像(識別子=Fr1~Fr7のフレーム画像)を、動作データとして切り出した様子を示している。図11に示すように、ABC型の場合、
・マーカ"A"が付与されたフレーム画像、
・マーカ"B"が付与されたフレーム画像、
・マーカ"C"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
・マーカ"A"が付与されたフレーム画像、
・マーカ"B"が付与されたフレーム画像、
・マーカ"C"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
なお、図11には示していないが、ABB型の場合、
・マーカ"A"が付与されたフレーム画像(第1の画像データの一例)、
・マーカ"B"が付与されたフレーム画像(第2の画像データの一例)、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
・マーカ"A"が付与されたフレーム画像(第1の画像データの一例)、
・マーカ"B"が付与されたフレーム画像(第2の画像データの一例)、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
また、BBB型の場合、
・マーカ"B"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
・マーカ"B"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
(3)選択及び評価機能の概要
次に、選択及び評価機能の概要について説明する。図12は、評価フェーズにおいて情報処理装置の評価部により実現される選択及び評価機能の概要を説明するための図である。
次に、選択及び評価機能の概要について説明する。図12は、評価フェーズにおいて情報処理装置の評価部により実現される選択及び評価機能の概要を説明するための図である。
図12において、符号1210は、前屈動作に対応するフレーム画像が動作データとして切り出され、切りされたフレーム画像それぞれについて、評価対象のフレーム画像を選択するための選択指標(図12の例では、"腰の角度")が算出された様子を示している。なお、符号1210では、紙面の都合上、図11において、切り出された動作データの一部のみを示している。
また、図12において、符号1220は、選択指標="腰の角度"が最小となる対象物が含まれるフレーム画像として、識別子="Fr4"のフレーム画像が選択された様子を示している。
また、図12において、符号1230は、選択されたフレーム画像に含まれる対象物について、姿勢を評価するための評価指標(図12の例では、"腰の角度"、"肘の角度"、"膝の角度")が算出された様子を示している。
<動作認識部の機能構成>
次に、動作認識フェーズにおいて情報処理装置120により実現される動作認識部122の機能構成の詳細について説明する。図13は、動作認識フェーズにおいて情報処理装置により実現される動作認識部の機能構成の一例を示す図である。
次に、動作認識フェーズにおいて情報処理装置120により実現される動作認識部122の機能構成の詳細について説明する。図13は、動作認識フェーズにおいて情報処理装置により実現される動作認識部の機能構成の一例を示す図である。
図13に示すように、動作認識部122は、動画像データ取得部1301、姿勢識別部1302、動作認識用画像特定部1303、認識部1304を有する。
動画像データ取得部1301は、動画像データを取得し、取得した動画像データに含まれる各フレーム画像において、骨格情報を付与する。また、動画像データ取得部1301は、骨格情報を付与したフレーム画像を、順次、姿勢識別部1302に通知する。
姿勢識別部1302は、動作認識用データ記憶部124に記憶された動作認識用データに含まれる姿勢データを読み出す。また、姿勢識別部1302は、
・読み出した姿勢データが示す姿勢に対応する判定基準と、
・動画像データ取得部1301より順次通知されるフレーム画像に含まれる対象物の姿勢と、
の間の距離を算出する。これにより、姿勢識別部1302は、読み出した姿勢データが示す姿勢のうちのいずれの姿勢に対応する判定基準が最小距離となるかを判定し、順次通知されるフレーム画像に含まれる対象物の姿勢を識別する。また、姿勢識別部1302は、順次通知されるフレーム画像に含まれる対象物の姿勢を識別することで、動画像データ取得部1301より順次通知されるフレーム画像について、認識対象の動作を認識するのに必要なフレーム画像を特定する。また、姿勢識別部1302は、識別した対象物の姿勢に対応するマーカを、フレーム画像に付与して、動作認識用画像特定部1303に順次通知する。
・読み出した姿勢データが示す姿勢に対応する判定基準と、
・動画像データ取得部1301より順次通知されるフレーム画像に含まれる対象物の姿勢と、
の間の距離を算出する。これにより、姿勢識別部1302は、読み出した姿勢データが示す姿勢のうちのいずれの姿勢に対応する判定基準が最小距離となるかを判定し、順次通知されるフレーム画像に含まれる対象物の姿勢を識別する。また、姿勢識別部1302は、順次通知されるフレーム画像に含まれる対象物の姿勢を識別することで、動画像データ取得部1301より順次通知されるフレーム画像について、認識対象の動作を認識するのに必要なフレーム画像を特定する。また、姿勢識別部1302は、識別した対象物の姿勢に対応するマーカを、フレーム画像に付与して、動作認識用画像特定部1303に順次通知する。
動作認識用画像特定部1303は、姿勢識別部1302より順次通知されるフレーム画像の中から、ノイズとなるフレーム画像を除去する。なお、本実施形態において"ノイズとなるフレーム画像"とは、同じ種類のマーカが、所定フレーム数以上連続していないフレーム画像を指す。
また、動作認識用画像特定部1303は、ノイズとなるフレーム画像が除去された、ノイズ除去後のフレーム画像を、順次、認識部1304に通知する。
認識部1304は、動作認識用データ記憶部124に記憶された動作認識用データに含まれる動作パターンを読み出す。また、認識部1304は、動作認識用画像特定部1303より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移するか否かを判定する。
認識部1304は、動作認識用画像特定部1303より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移すると判定した場合には、読み出した動作パターンに沿って遷移するフレーム画像を切り出す。更に、認識部1304は、切り出したフレーム画像を、動作データとして、評価部150に通知する。
一方、認識部1304は、動作認識用画像特定部1303より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移しないと判定した場合には、フレーム画像の切り出しは行わない。
<動作認識部に含まれる姿勢識別部の機能構成の詳細>
次に、動作認識部122に含まれる姿勢識別部1302の機能構成の詳細について説明する。図14は、動作認識部に含まれる姿勢識別部の機能構成の詳細を示す図である。図14に示すように、姿勢識別部1302は、識別姿勢取得部1401と、判定部1402とを有する。
次に、動作認識部122に含まれる姿勢識別部1302の機能構成の詳細について説明する。図14は、動作認識部に含まれる姿勢識別部の機能構成の詳細を示す図である。図14に示すように、姿勢識別部1302は、識別姿勢取得部1401と、判定部1402とを有する。
識別姿勢取得部1401は、登録フェーズにおいて動作認識用データ記憶部124に記憶された動作認識用データを読み出し、判定部1402に通知する。具体的には、識別姿勢取得部1401は、動作認識用データのうち、姿勢データ及びマーカを読み出し、判定部1402に通知する。
図14において符号1410は、
・認識対象の動作=「前屈動作」、
・動作パターン=「ABC型」、
の場合の姿勢データ及びマーカであり、
・認識対象の動作を開始する際の対象物の姿勢=「直立」、マーカ=「A」、
・認識対象の動作を実行している最中の対象物の姿勢=「前屈」、マーカ=「B」、
・認識対象の動作を終了する際の対象物の姿勢=「歩き」、マーカ=「C」、
が含まれる。
・認識対象の動作=「前屈動作」、
・動作パターン=「ABC型」、
の場合の姿勢データ及びマーカであり、
・認識対象の動作を開始する際の対象物の姿勢=「直立」、マーカ=「A」、
・認識対象の動作を実行している最中の対象物の姿勢=「前屈」、マーカ=「B」、
・認識対象の動作を終了する際の対象物の姿勢=「歩き」、マーカ=「C」、
が含まれる。
判定部1402は、動画像データ取得部1301により取得された動画像データに含まれる各フレーム画像であって、動画像データ取得部1301により骨格情報が付与された各フレーム画像を取得する。また、判定部1402は、取得した各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部1401より通知された姿勢データが示すいずれの姿勢(符号1410)であるかを識別し、姿勢識別結果を出力する。
具体的には、判定部1402は、識別姿勢取得部1401より通知された姿勢データが示す姿勢(符号1410)に対応する判定基準を、基準姿勢データ記憶部1403より読み出す。そして、判定部1402は、読み出した判定基準と、各フレーム画像に含まれる対象物の姿勢との間の距離を算出し、最小距離を判定することで、識別姿勢取得部1401より通知された姿勢データが示すいずれの姿勢(符号1410)であるかを識別する。なお、基準姿勢データ記憶部1403は、対象物の各姿勢を識別するための判定基準が格納されている。
図14において符号1420は、
・対象物の姿勢が「直立」であるかを識別するための判定基準、
・対象物の姿勢が「前屈」であるかを識別するための判定基準、
・対象物の姿勢が「歩き」であるかを識別するための判定基準、
が読み出された様子を示している。
・対象物の姿勢が「直立」であるかを識別するための判定基準、
・対象物の姿勢が「前屈」であるかを識別するための判定基準、
・対象物の姿勢が「歩き」であるかを識別するための判定基準、
が読み出された様子を示している。
判定部1402は、各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部1401より通知された姿勢データが示すいずれかの姿勢(符号1410)であると識別した場合、識別した姿勢に対応するマーカを、対応するフレーム画像に付与する。符号1410の例では、判定部1402は、"A"、"B"、"C"のいずれかを、対応するフレーム画像に付与する。
一方、各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部1401より通知された姿勢データが示すいずれの姿勢にも該当しないと識別した場合、いずれの姿勢にも該当しないことを示すマーカを、対応するフレーム画像に付与する。判定部1402は、"D"を、対応するフレーム画像に付与する。
判定部1402は、マーカが付与された各フレーム画像を、姿勢識別結果として、動作認識用画像特定部1303に通知する。
<動作認識部に含まれる姿勢識別部の処理の具体例>
次に、動作認識部122に含まれる姿勢識別部1302の処理の具体例について説明する。図15は、動作認識部に含まれる姿勢識別部の処理の具体例を示す図である。
次に、動作認識部122に含まれる姿勢識別部1302の処理の具体例について説明する。図15は、動作認識部に含まれる姿勢識別部の処理の具体例を示す図である。
図15において、フレーム画像1510は、姿勢識別部1302の判定部1402が取得したフレーム画像であって、骨格情報が付与されたフレーム画像である。
また、図15において、符号1421~符号1423は、姿勢データが示す各姿勢に対応する判定基準の詳細を示している。符号1421~符号1423に示すように、姿勢データが示す各姿勢に対応する判定基準には、情報の項目として、最小距離の判定に用いる部位及び最小距離の判定に用いる物理量が含まれる。図15の例は、各姿勢の判定基準として、"脇の角度"、"腰の角度"、"膝の角度"等が含まれることを示している。
姿勢識別部1302の判定部1402では、フレーム画像1510に付与された骨格情報と、姿勢データが示す各姿勢に対応する判定基準との間の距離(ユークリッド距離)を算出する。具体的には、姿勢識別部1302の判定部1402では、下式1に基づいて、ユークリッド距離Dpを算出する。
姿勢識別部1302の判定部1402では、姿勢データが示す各姿勢に対応する判定基準を用いてユークリッド距離Dpを算出し、最小のユークリッド距離Dpを判定することで姿勢を識別する(符号1520参照)。また、姿勢識別部1302の判定部1402では、識別した姿勢に対応するマーカをフレーム画像1510に付与し、姿勢識別結果として出力する(符号1530参照)。
図15の例の場合、姿勢識別部1302の判定部1402では、
・フレーム画像1510に含まれる対象物の姿勢と、「直立」の判定基準(符号1421)との間で算出されたユークリッド距離Dp、
・フレーム画像1510に含まれる対象物の姿勢と、「前屈」の判定基準(符号1422)との間で算出されたユークリッド距離Dp、
・フレーム画像1510に含まれる対象物の姿勢と、「歩き」の判定基準(符号1423)との間で算出されたユークリッド距離Dp、
の中から、最小のユークリッド距離Dpを判定し、姿勢を識別する。なお、姿勢識別部1302の判定部1402では、各姿勢について算出したユークリッド距離Dpのいずれもが、所定の閾値以上であった場合、フレーム画像1510に含まれる対象物の姿勢は、姿勢データが示すいずれの姿勢にも該当しないことを識別する。この場合、姿勢識別部1302の判定部1402では、姿勢データが示すいずれの姿勢にも該当しないことを示すマーカをフレーム画像1510に付与し、姿勢識別結果として出力する。
・フレーム画像1510に含まれる対象物の姿勢と、「直立」の判定基準(符号1421)との間で算出されたユークリッド距離Dp、
・フレーム画像1510に含まれる対象物の姿勢と、「前屈」の判定基準(符号1422)との間で算出されたユークリッド距離Dp、
・フレーム画像1510に含まれる対象物の姿勢と、「歩き」の判定基準(符号1423)との間で算出されたユークリッド距離Dp、
の中から、最小のユークリッド距離Dpを判定し、姿勢を識別する。なお、姿勢識別部1302の判定部1402では、各姿勢について算出したユークリッド距離Dpのいずれもが、所定の閾値以上であった場合、フレーム画像1510に含まれる対象物の姿勢は、姿勢データが示すいずれの姿勢にも該当しないことを識別する。この場合、姿勢識別部1302の判定部1402では、姿勢データが示すいずれの姿勢にも該当しないことを示すマーカをフレーム画像1510に付与し、姿勢識別結果として出力する。
<動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成>
次に、動作認識部122に含まれる動作認識用画像特定部1303及び認識部1304の機能構成の詳細について説明する。図16は、動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成の詳細を示す図である。図16に示すように、動作認識用画像特定部1303は、更に、連続性判定部1601、ノイズ除去部1602を有し、認識部1304は、更に、順序判定部1611、終了状態判定部1612を有する。
次に、動作認識部122に含まれる動作認識用画像特定部1303及び認識部1304の機能構成の詳細について説明する。図16は、動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成の詳細を示す図である。図16に示すように、動作認識用画像特定部1303は、更に、連続性判定部1601、ノイズ除去部1602を有し、認識部1304は、更に、順序判定部1611、終了状態判定部1612を有する。
連続性判定部1601は、判定部1402より出力された、マーカが付与されたフレーム画像を順次取得し、ノイズ除去部1602に通知する。その際、連続性判定部1601は、各フレーム画像について、同じ種類のマーカが所定フレーム数以上連続して付与されているか否かを判定する。また、連続性判定部1601は、同じ種類のマーカが所定フレーム数以上連続して付与されていないと判定した場合、対応するフレーム画像について、同じ種類のマーカが所定フレーム数以上連続して付与されていないことをノイズ除去部1602に通知する。
ノイズ除去部1602は、連続性判定部1601より通知されたフレーム画像のうち、同じ種類のマーカが所定フレーム数以上連続して付与されていなことが通知されたフレーム画像を除去する。また、ノイズ除去部1602は、除去されていなフレーム画像を、認識部1304の順序判定部1611に通知する。
順序判定部1611は、動作認識用データ記憶部124より動作認識用データを読み出し、ノイズ除去部1602より順次通知されたフレーム画像が、所定の順序に該当するか否かを判定する。
具体的には、順序判定部1611は、動作認識用データのうち、動作パターンを読み出し、ノイズ除去部1602より順次通知されたフレーム画像が、動作パターンにより特定される順序に該当するか否かを判定する。また、順序判定部1611は、動作パターンにより特定される順序に該当すると判定したフレーム画像を、動作データの候補と判定する。
図16において符号1620は、
・認識対象の動作=「前屈動作」、
・動作パターン=「ABC型」、
であり、ノイズ除去部1602より順次通知されたフレーム画像に付与されているマーカが、A→B→Cの順序に該当すると判定した場合、対応するフレーム画像を、「前屈動作」の動作データの候補と判定することを示している。
・認識対象の動作=「前屈動作」、
・動作パターン=「ABC型」、
であり、ノイズ除去部1602より順次通知されたフレーム画像に付与されているマーカが、A→B→Cの順序に該当すると判定した場合、対応するフレーム画像を、「前屈動作」の動作データの候補と判定することを示している。
終了状態判定部1612は、順序判定部1611より通知されたフレーム画像のうち、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されているか否かを判定する。ここでいう所定のマーカとは、認識対象の動作を終了する際の対象物の姿勢に対応するマーカ以外のマーカを指す。具体的には、
・動作パターン=「ABC型」の場合、所定のマーカは、"C"以外のマーカ(つまり、"A"、"B"、"D")、
・動作パターン=「ABB型」の場合、所定のマーカは、"B"以外のマーカ(つまり、"A"、"D")、
・動作パターン=「BBB型」の場合、所定のマーカは、"B"以外のマーカ(つまり、"D")、
を指す。
・動作パターン=「ABC型」の場合、所定のマーカは、"C"以外のマーカ(つまり、"A"、"B"、"D")、
・動作パターン=「ABB型」の場合、所定のマーカは、"B"以外のマーカ(つまり、"A"、"D")、
・動作パターン=「BBB型」の場合、所定のマーカは、"B"以外のマーカ(つまり、"D")、
を指す。
終了状態判定部1612は、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されていると判定した場合、動作データの候補を、認識対象の動作として認識する。また、終了状態判定部1612は、認識した認識対象の動作に対応するフレーム画像を、動作データとして切り出し、評価部150に送信したうえで、次のフレーム画像に進む。
一方、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されていないと判定した場合、終了状態判定部1612は、動作データの切り出しを行うことなく、次のフレーム画像に進む。
<動作認識部に含まれる動作認識用画像特定部及び動作認識部による処理の具体例>
次に、動作認識部122に含まれる動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。なお、以下では、それぞれの動作パターン(「ABC型」、「ABB型」、「BBB型」)について、動作認識用画像特定部1303、認識部1304による処理の具体例を説明する。
次に、動作認識部122に含まれる動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。なお、以下では、それぞれの動作パターン(「ABC型」、「ABB型」、「BBB型」)について、動作認識用画像特定部1303、認識部1304による処理の具体例を説明する。
(1)動作パターン=「ABC型」の場合
はじめに、動作パターン=「ABC型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図17は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第1の図である。
はじめに、動作パターン=「ABC型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図17は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第1の図である。
図17(a)、(b)、(c)の左側は、動作認識用画像特定部1303に順次入力されたフレーム画像(マーカが付与されたフレーム画像)を、右側は、動作認識用画像特定部1303より順次出力されたフレーム画像をそれぞれ表している。動作パターン=「ABC型」の場合、図17(a)、(b)、(c)に示すように、フレーム画像には、"A"、"B"、"C"、"D"のいずれかのマーカが付与されている。
図17(a)、(b)、(c)の例は、同じ種類のマーカが2フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部1303が除去した様子を示している。具体的には、図17(a)の例は、8番目のフレーム画像(マーカ="A"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されていないと判定され除去された様子を示している。また、図17(a)の例は、9番目のフレーム画像(マーカ="C"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されていないと判定され除去された様子を示している。
また、図17(b)の例は、同じ種類のマーカが2フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
また、図17(c)の例は、5番目のフレーム画像(マーカ="D"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されてないと判定され除去された様子を示している。
図18は、動作認識部に含まれる認識部による処理の具体例を示す第1の図である。図18(a)、(b)、(c)の左側は、動作認識用画像特定部1303より出力された各フレーム画像を示しており、図17(a)、(b)、(c)の右側と同じである。
図18(a)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→B→Cの順序に該当しないと判定されたことで、「前屈動作」として認識されなかったことを示している。
図18(b)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→B→Cの順序に該当すると判定され、動作データの候補と判定された様子を示している。一方で、図18(b)の例は、"C"のマーカが付与されたフレーム画像の後に、"C"以外のマーカが付与されたフレーム画像が通知されていないため、「前屈動作」として認識されなかったことを示している。
図18(c)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→B→Cの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図18(c)の例は、"C"のマーカが付与されたフレーム画像の後に、"C"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
(2)動作パターン=「ABB型」の場合
次に、動作パターン=「ABB型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図19は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第2の図である。
次に、動作パターン=「ABB型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図19は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第2の図である。
図19(a)、(b)、(c)の左側は、動作認識用画像特定部1303に順次入力されたフレーム画像(マーカが付与されたフレーム画像)を、右側は、動作認識用画像特定部1303より順次出力されたフレーム画像をそれぞれ表している。動作パターン=「ABB型」の場合、図19(a)、(b)、(c)に示すように、フレーム画像には、"A"、"B"、"D"のいずれかのマーカが付与されている。
図19(a)、(b)、(c)の例は、同じ種類のマーカが2フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部1303が除去した様子を示している。具体的には、図19(a)の例は、8番目のフレーム画像(マーカ="A"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されていないと判定され除去された様子を示している。
また、図19(b)の例は、同じ種類のマーカが2フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
また、図19(c)の例は、5番目のフレーム画像(マーカ="D"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されてないと判定され除去された様子を示している。
図20は、動作認識部に含まれる認識部による処理の具体例を示す第2の図である。図20(a)、(b)、(c)の左側は、動作認識用画像特定部1303より出力された各フレーム画像を示しており、図19(a)、(b)、(c)の右側と同じである。
図20(a)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→Bの順序に該当しないと判定されたことで、「前屈動作」として認識されなかったことを示している。
図20(b)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→Bの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図20(b)の例は、"B"のマーカが付与されたフレーム画像の後に、"B"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
同様に、図20(c)の例は、動作認識用画像特定部1303より出力された各フレーム画像が、A→Bの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図20(c)の例は、"B"のマーカが付与されたフレーム画像の後に、"B"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
(3)動作パターン=「BBB型」の場合
次に、動作パターン=「BBB型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図21は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第3の図である。
次に、動作パターン=「BBB型」の場合の、動作認識用画像特定部1303、認識部1304による処理の具体例について説明する。図21は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第3の図である。
図21(a)、(b)、(c)の左側は、動作認識用画像特定部1303に順次入力されたフレーム画像(マーカが付与されたフレーム画像)を、右側は、動作認識用画像特定部1303より順次出力されたフレーム画像をそれぞれ表している。動作パターン=「BBB型」の場合、図21(a)、(b)、(c)に示すように、フレーム画像には、"B"、"D"のいずれかのマーカが付与されている。
図21(a)、(b)、(c)の例は、同じ種類のマーカが2フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部1303が除去した様子を示している。具体的には、図21(a)の例は、同じ種類のマーカが2フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
同様に、図21(b)の例は、同じ種類のマーカが2フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
一方、図21(c)の例は、5番目のフレーム画像(マーカ="D"が付与されたフレーム画像)が、同じ種類のマーカが2フレーム以上連続して付与されてないと判定され除去された様子を示している。
図22は、動作認識部に含まれる認識部による処理の具体例を示す第3の図である。図22(a)、(b)、(c)の左側は、動作認識用画像特定部1303より出力された各フレーム画像を示しており、図21(a)、(b)、(c)の右側と同じである。
図22(a)の例は、動作認識用画像特定部1303より出力された各フレーム画像の中に、"B"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図22(a)の例は、"B"のマーカが付与されたフレーム画像の後に、"B"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
同様に、図22(b)の例は、動作認識用画像特定部1303より出力された各フレーム画像の中に、"B"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図22(b)の例は、"B"のマーカが付与されたフレーム画像の後に、"B"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
同様に、図22(c)の例は、動作認識用画像特定部1303より出力された各フレーム画像の中に、"B"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図22(c)の例は、"B"のマーカが付与されたフレーム画像の後に、"B"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
<ABB型の動作パターンの利点>
次に、ABB型の動作パターンの利点について説明する。ここでは、比較として、「BBB型」を適用するよりも、「ABB型」を適用した方がよいケース、及び、「ABC型」を適用するよりも、「ABB型」を適用した方がよいケース、それぞれについて説明する。
次に、ABB型の動作パターンの利点について説明する。ここでは、比較として、「BBB型」を適用するよりも、「ABB型」を適用した方がよいケース、及び、「ABC型」を適用するよりも、「ABB型」を適用した方がよいケース、それぞれについて説明する。
(1)「BBB型」よりも「ABB型」を適用した方がよいケース
図23は、ABB型の動作パターンの利点を示す第1の図である。図23において、符号2310は、前屈動作を実行する動作者が、適切な前屈の姿勢をとった際に撮影された動画像データの各フレーム画像を示している。符号2310に示すように、動作者が適切な前屈の姿勢をとった場合、動作パターン=「BBB型」を適用することで、動作認識部122では、前屈動作を認識することができる。
図23は、ABB型の動作パターンの利点を示す第1の図である。図23において、符号2310は、前屈動作を実行する動作者が、適切な前屈の姿勢をとった際に撮影された動画像データの各フレーム画像を示している。符号2310に示すように、動作者が適切な前屈の姿勢をとった場合、動作パターン=「BBB型」を適用することで、動作認識部122では、前屈動作を認識することができる。
一方、図23において、符号2320は、前屈動作を実行する動作者が、例えば、高齢者であって、適切な前屈の姿勢をとることができなかった(前屈を深くできなかった)際に撮影された動画像データの各フレーム画像を示している。符号2320に示すように、動作者が適切な前屈の姿勢をとることができなかった場合、動作パターン=「BBB型」を適用しても、動作認識部122では、前屈動作を認識することができない。
そこで、ユーザ130が、姿勢="前屈"の判定基準を緩め、姿勢="前屈"と識別しやすくしたとする。この場合、符号2321に示すように、前屈動作を実行する動作者が、適切な前屈の姿勢をとることができなかった場合でも、動作認識部122では、「前屈」と識別することができるようになる。
一方で、この場合、符号2311に示すように、前屈動作を実行する動作者が、適切な前屈の姿勢をとった際に、動作認識部122が、姿勢を誤識別する可能性が高まる。符号2311は、1番目、2番目、6番目、7番目のフレーム画像において、姿勢=「直立」と識別すべきところを、姿勢=「前屈」と誤識別された様子を示している。
このような状況において、ユーザ130が、動作パターンを「BBB型」から「ABB型」に変更したとする。この場合、適切な前屈の姿勢をとることができる動作者であっても、適切な前屈の姿勢をとることができない動作者であっても、動作認識部122では、「前屈動作」を認識できるようになる。
具体的には、「BBB型」の場合、動作認識部122では、図23の符号2311に示したように、1番目、2番目、6番目、7番目のフレーム画像において、姿勢=「前屈」以外と識別すべきところを、姿勢=「前屈」と誤識別していた。これに対して、図23の符号2312に示すように、「ABB型」の場合、動作認識部122では、当該フレーム画像を、姿勢=「直立」と識別することができる。
同様に、「BBB型」の場合、動作認識部122では、図23の符号2321に示したように、1番目、2番目、5番目、6番目のフレーム画像において、姿勢=「前屈」以外と識別すべきところを、姿勢=「前屈」と誤識別していた。これに対して、図23の符号2322に示すように、「ABB型」の場合、動作認識部122では、当該フレーム画像を、姿勢=「直立」と識別することができる。
このように、動作パターンを「BBB型」から「ABB型」に変更することで、適切な前屈の姿勢をとることができる動作者であっても、適切な前屈の姿勢をとることができない動作者であっても、動作認識部122では、「前屈動作」を認識できるようになる。
(2)「ABC型」よりも「ABB型」を適用した方がよいケース
図24は、ABB型の動作パターンの利点を示す第2の図である。図24において、符号2410は、前屈動作を実行する動作者が、適切な姿勢をとった際に撮影された動画像データの各フレーム画像を示している。ここでいう適切な姿勢とは、動作パターン=「ABC型」の場合の適切な姿勢(つまり、開始する際の動作者の姿勢、実行している最中の動作者の姿勢、終了する際の動作者の姿勢が適切であること)を指す。
図24は、ABB型の動作パターンの利点を示す第2の図である。図24において、符号2410は、前屈動作を実行する動作者が、適切な姿勢をとった際に撮影された動画像データの各フレーム画像を示している。ここでいう適切な姿勢とは、動作パターン=「ABC型」の場合の適切な姿勢(つまり、開始する際の動作者の姿勢、実行している最中の動作者の姿勢、終了する際の動作者の姿勢が適切であること)を指す。
この場合、符号2411に示すように、動作パターン=「ABC型」を適用した場合、動作認識部122では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢、終了する際の動作者の姿勢を識別することができる。そして、動作認識部122では、マーカ"A"、"B"、"C"を適切に付与することができる。この結果、動作認識部122では、「前屈動作」を認識することができる。
また、符号2412に示すように、動作パターン=「ABB型」を適用した場合であっても、動作認識部122では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢を識別し、マーカ"A"、"B"、"D"を適切に付与することができる。この結果、動作認識部122では、「前屈動作」を認識することができる。
一方、図24において、符号2420は、前屈動作を行う動作者が、適切な姿勢をとることができなかった際に撮影された動画像データの各フレーム画像を示している。ここでいう適切な姿勢をとることができなかったとは、動作パターン=「ABC型」の場合の適切な姿勢をとることができなかったことを指す。具体的には、開始する際の動作者の姿勢、実行している最中の動作者の姿勢は適切にとることができたが、終了する際の動作者の姿勢については、動作者が適切にとることができなかったことを指す。
この場合、符号2421に示すように、動作パターン=「ABC型」を適用した場合、動作認識部122では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢は識別できるが、終了する際の動作者の姿勢は識別できない。そして、動作認識部122では、マーカ"A"、"B"、"D"を付与することになる。この結果、動作認識部122では、「前屈動作」を認識することができない。
これに対して、符号2422に示すように、動作パターン=「ABB型」を適用した場合、動作認識部122では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢を識別し、マーカ"A"、"B"、"D"を適切に付与することができる。この結果、動作認識部122では、「前屈動作」を認識することができる。
このように、動作パターンとして「ABB型」を適用することで、終了する際の姿勢を適切にとることができない動作者であっても、動作認識部122では、「前屈動作」を認識できるようになる。
以上の説明から明らかなように、第1の実施形態に係る情報処理装置120の動作認識部122は、姿勢識別部1302と認識部1304とを有し、
姿勢識別部1302は、
・動画像データに含まれる複数のフレーム画像の中から、動作者の姿勢として、動作者が認識対象の動作を開始する際にとるべき姿勢と、動作者が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第1及び第2のフレーム画像を特定する。
姿勢識別部1302は、
・動画像データに含まれる複数のフレーム画像の中から、動作者の姿勢として、動作者が認識対象の動作を開始する際にとるべき姿勢と、動作者が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第1及び第2のフレーム画像を特定する。
また、認識部1304は、ABB型の動作パターンで認識対象の動作を認識する場合において、
・動画像データに含まれる複数のフレーム画像が、第1のフレーム画像から第2のフレーム画像へと遷移し、
・更に、第1及び第2のフレーム画像以外(第1及び第2の画像データ以外)のフレーム画像へと遷移した場合に、
・第1のフレーム画像から第2のフレーム画像までの間、動作者が認識対象の動作を実行していたと認識する。
・動画像データに含まれる複数のフレーム画像が、第1のフレーム画像から第2のフレーム画像へと遷移し、
・更に、第1及び第2のフレーム画像以外(第1及び第2の画像データ以外)のフレーム画像へと遷移した場合に、
・第1のフレーム画像から第2のフレーム画像までの間、動作者が認識対象の動作を実行していたと認識する。
このように、ABB型の動作パターンのもとで認識対象の動作を認識することで、第1の実施形態によれば、動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることできる。
[第2の実施形態]
上記第1の実施形態では、認識対象の動作として、「前屈動作」を例に説明したが、認識対象の動作は、「前屈動作」に限定されない。また、認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢も、任意の姿勢が指定されうるものとする。
上記第1の実施形態では、認識対象の動作として、「前屈動作」を例に説明したが、認識対象の動作は、「前屈動作」に限定されない。また、認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢も、任意の姿勢が指定されうるものとする。
また、上記第1の実施形態では、ノイズを除去する際、同じ種類のマーカが2フレーム以上連続していることを条件としたが、連続するフレーム数は2フレームに限定されない。
また、上記第1の実施形態では、登録フェーズと動作認識フェーズとで同一の情報処理装置120を用いる場合について説明したが、登録フェーズと動作認識フェーズとで別体の情報処理装置を用いてもよい。
また、上記第1の実施形態では、情報処理装置120において、評価部150と動作認識部122とを、別の機能として説明したが、評価部150と動作認識部122とは1つの機能として実現されてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100A、100B :評価システム
110 :撮像装置
111 :階層符号化装置
120 :情報処理装置
121 :登録部
122 :動作認識部
133 :映像表示部
140 :撮像装置
150 :評価部
401 :画像データ表示部
402 :動作パターン指定部
403 :姿勢データ指定部
404 :姿勢識別部
405 :動作認識用データ登録部
406 :再生部
510、520 :登録画面
530 :動作認識用データ
610、620 :登録画面
630 :動作認識用データ
710、720 :登録画面
730 :動作認識用データ
800 :再生画面
811~813 :シークバー
1301 :動画像データ取得部
1302 :姿勢識別部
1303 :動作認識用画像特定部
1304 :認識部
1401 :識別姿勢取得部
1402 :判定部
1601 :連続性判定部
1602 :ノイズ除去部
1611 :順序判定部
1612 :終了状態判定部
110 :撮像装置
111 :階層符号化装置
120 :情報処理装置
121 :登録部
122 :動作認識部
133 :映像表示部
140 :撮像装置
150 :評価部
401 :画像データ表示部
402 :動作パターン指定部
403 :姿勢データ指定部
404 :姿勢識別部
405 :動作認識用データ登録部
406 :再生部
510、520 :登録画面
530 :動作認識用データ
610、620 :登録画面
630 :動作認識用データ
710、720 :登録画面
730 :動作認識用データ
800 :再生画面
811~813 :シークバー
1301 :動画像データ取得部
1302 :姿勢識別部
1303 :動作認識用画像特定部
1304 :認識部
1401 :識別姿勢取得部
1402 :判定部
1601 :連続性判定部
1602 :ノイズ除去部
1611 :順序判定部
1612 :終了状態判定部
Claims (14)
- 時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第1の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第2の画像データとを特定し、
前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、
処理をコンピュータに実行させる情報処理プログラム。 - 対象物が前記認識対象の動作を開始する際にとるべき姿勢に関する情報と、対象物が前記認識対象の動作を実行している最中にとるべき姿勢に関する情報とを記憶部に記憶する処理を、前記コンピュータに実行させ、
前記記憶部を参照することで、前記第1の画像データと前記第2の画像データとを特定する、請求項1に記載の情報処理プログラム。 - 前記第1及び第2の画像データ以外の画像データが、所定フレーム数以上連続した場合に、前記第1及び第2の画像データ以外の画像データへと遷移したと判定する、請求項1に記載の情報処理プログラム。
- 対象物が前記認識対象の動作を開始する際にとるべき姿勢が含まれる画像データが、所定フレーム数以上連続した場合に、連続した画像データを前記第1の画像データと特定し、
対象物が前記認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データが、所定フレーム数以上連続した場合に、連続した画像データを前記第2の画像データと特定する、
請求項3に記載の情報処理プログラム。 - 時系列の複数の画像データを表示し、
対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付け、
表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付け、
指定を受け付けた画像データに含まれる対象物の姿勢を識別し、
指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶する、
処理をコンピュータに実行させるための情報処理プログラム。 - 対象物の2種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる画像データの指定と、
対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定と、
を受け付ける、請求項5に記載の情報処理プログラム。 - 対象物の3種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる画像データの指定と、
対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定と、
対象物が認識対象の動作を終了する際にとるべき姿勢が含まれる画像データの指定と、
を受け付ける、請求項5に記載の情報処理プログラム。 - 対象物の1種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定
を受け付ける、請求項5に記載の情報処理プログラム。 - 前記表示された複数の画像データに含まれる対象物の姿勢が、前記指定を受け付けた画像データに含まれる対象物の姿勢のいずれに該当するかを示す情報を、前記表示された複数の画像データと対応付けて前記記憶部に記憶する、請求項6乃至8のいずれか1項に記載の情報処理プログラム。
- 前記複数の画像データを再生する際、シークバーの各位置の表示態様を、前記記憶部に記憶された情報に応じた表示態様で表示する、請求項9に記載の情報処理プログラム。
- 時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第1の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第2の画像データとを特定し、
前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、
処理をコンピュータが実行する情報処理方法。 - 時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第1の画像データと、対象物が認識対象の動作の実行している最中にとるべき姿勢が含まれる第2の画像データとを特定する姿勢識別部と、
前記対象物の2種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第1の画像データから前記第2の画像データへと遷移し、更に前記第1及び第2の画像データ以外の画像データへと遷移した場合に、前記第1の画像データから前記第2の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する認識部と
を有する情報処理装置。 - 時系列の複数の画像データを表示し、
対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付け、
表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付け、
指定を受け付けた画像データに含まれる対象物の姿勢を識別し、
指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶する、
処理をコンピュータが実行する情報処理方法。 - 時系列の複数の画像データを表示する表示部と、
対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付ける第1の指定部と、
表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付ける第2の指定部と、
指定を受け付けた画像データに含まれる対象物の姿勢を識別する姿勢識別部と、
指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶するデータ登録部と
を有する情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/024405 WO2023243095A1 (ja) | 2022-06-17 | 2022-06-17 | 情報処理プログラム、情報処理方法及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/024405 WO2023243095A1 (ja) | 2022-06-17 | 2022-06-17 | 情報処理プログラム、情報処理方法及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023243095A1 true WO2023243095A1 (ja) | 2023-12-21 |
Family
ID=89190904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/024405 WO2023243095A1 (ja) | 2022-06-17 | 2022-06-17 | 情報処理プログラム、情報処理方法及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023243095A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015027437A (ja) * | 2013-07-01 | 2015-02-12 | 株式会社東芝 | 動作情報処理装置及び方法 |
JP2017080414A (ja) * | 2015-10-29 | 2017-05-18 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2019116495A1 (ja) * | 2017-12-14 | 2019-06-20 | 富士通株式会社 | 技認識プログラム、技認識方法および技認識システム |
JP2020199049A (ja) * | 2019-06-10 | 2020-12-17 | Kddi株式会社 | コーチングアプリケーションの構築装置、方法およびプログラム |
-
2022
- 2022-06-17 WO PCT/JP2022/024405 patent/WO2023243095A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015027437A (ja) * | 2013-07-01 | 2015-02-12 | 株式会社東芝 | 動作情報処理装置及び方法 |
JP2017080414A (ja) * | 2015-10-29 | 2017-05-18 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2019116495A1 (ja) * | 2017-12-14 | 2019-06-20 | 富士通株式会社 | 技認識プログラム、技認識方法および技認識システム |
JP2020199049A (ja) * | 2019-06-10 | 2020-12-17 | Kddi株式会社 | コーチングアプリケーションの構築装置、方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
SHIN JEONG-YIN, SHINJI OZAWA: "Research on sports motion analysis using video image processing ", IEICE TECHNICAL REPORT, 15 May 2008 (2008-05-15), pages 13 - 18, XP009551157 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5035035B2 (ja) | 対象物追跡方法、対象物追跡装置および対象物追跡プログラム | |
US10893207B2 (en) | Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program | |
Lee et al. | Handy AR: Markerless inspection of augmented reality objects using fingertip tracking | |
KR100958379B1 (ko) | 복수 객체 추적 방법과 장치 및 저장매체 | |
US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
JP2010519629A (ja) | 画像内の3次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも1つのキー画像を創出する方法及びデバイス | |
CN101578613A (zh) | 在运动捕捉中使用的标记 | |
JP5247569B2 (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
CN110651298A (zh) | 距离图像处理装置、距离图像处理***、距离图像处理方法以及距离图像处理程序 | |
JP2019101919A (ja) | 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体 | |
JP3836814B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム | |
JP2005115544A (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
KR101431840B1 (ko) | 프레임 시퀀스에서의 모션 캡쳐 마커들의 그룹을 트래킹하는 방법, 장치 및 시스템, 및 저장 매체 | |
WO2023243095A1 (ja) | 情報処理プログラム、情報処理方法及び情報処理装置 | |
US20210158032A1 (en) | System, apparatus and method for recognizing motions of multiple users | |
JP2010146522A (ja) | 顔画像追跡装置及び顔画像追跡方法並びにプログラム | |
JP2010193406A (ja) | 画像入力装置及び被写体検出方法、プログラム | |
JP2003256850A (ja) | 動き認識装置および画像処理装置並びにプログラム | |
JP2021068443A (ja) | 手の動作の検出方法及び装置 | |
JP2003308532A (ja) | 受動的光学式モーションキャプチャデータの処理法 | |
EP2784720B1 (en) | Image processing device and method | |
JP7253872B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JPH08279044A (ja) | パターン認識装置およびジェスチャ認識装置 | |
JP2007257489A (ja) | 画像処理装置および画像処理方法 | |
JP6929043B2 (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22946910 Country of ref document: EP Kind code of ref document: A1 |