WO2023243095A1 - 情報処理プログラム、情報処理方法及び情報処理装置 - Google Patents

情報処理プログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
WO2023243095A1
WO2023243095A1 PCT/JP2022/024405 JP2022024405W WO2023243095A1 WO 2023243095 A1 WO2023243095 A1 WO 2023243095A1 JP 2022024405 W JP2022024405 W JP 2022024405W WO 2023243095 A1 WO2023243095 A1 WO 2023243095A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
posture
motion
information processing
unit
Prior art date
Application number
PCT/JP2022/024405
Other languages
English (en)
French (fr)
Inventor
遼太郎 佐野
和雄 佐々木
孝倫 伊東
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2022/024405 priority Critical patent/WO2023243095A1/ja
Publication of WO2023243095A1 publication Critical patent/WO2023243095A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to an information processing program, an information processing method, and an information processing device.
  • An identification technique in which a moving image of a target object is photographed and the posture of the target object is identified from skeletal information of the target object in each frame image.
  • the identification technology for example, the posture of the target object when starting the motion to be recognized, the posture of the target object during execution, the posture of the target object when finishing the motion, etc. are predefined. In this way, the motion to be recognized can be recognized and extracted from a plurality of frame images.
  • the term "motion" here refers to a series of movements made up of a series of multiple postures of the object.
  • the recognition accuracy decreases if the target object cannot assume one of the predefined postures.
  • One aspect of the present invention is to improve recognition accuracy when recognizing the motion of an object to be recognized in a plurality of frame images included in a moving image.
  • the information processing program includes: From among multiple time-series image data, the posture of the object is determined by determining the posture that the object should take when it starts the movement to be recognized, and the posture the object should take while performing the movement to be recognized. identifying first image data and second image data each including an ideal posture; In the case of recognizing the motion of the recognition target based on two types of postures of the target object, the plurality of time-series image data transitions from the first image data to the second image data, Furthermore, when transitioning to image data other than the first and second image data, the object performs the recognition target operation from the first image data to the second image data. make the computer recognize that the computer was using the computer and execute the process.
  • Recognition accuracy can be improved when recognizing the motion of a target object in multiple frame images included in a moving image.
  • FIG. 1 is a diagram showing an example of the system configuration of an evaluation system.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing device.
  • FIG. 3 is an example of a flowchart showing the overall flow of evaluation processing by the evaluation system.
  • FIG. 4 is a diagram illustrating an example of the functional configuration of a registration unit implemented by the information processing apparatus in the registration phase.
  • FIG. 5 is a first diagram illustrating an example of a registration screen displayed on the information processing device in the registration phase and registered motion recognition data.
  • FIG. 6 is a second diagram illustrating an example of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
  • FIG. 7 is a third diagram illustrating an example of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
  • FIG. 8 is a diagram illustrating an example of a playback screen displayed on the information processing device during the registration phase.
  • FIG. 9 is a diagram for explaining an overview of processing executed by the information processing device in the motion recognition phase and the evaluation phase.
  • FIG. 10 is a diagram for explaining an overview of the posture identification function realized by the motion recognition unit of the information processing device in the motion recognition phase.
  • FIG. 11 is a diagram for explaining an overview of the motion recognition function realized by the motion recognition section of the information processing device in the motion recognition phase.
  • FIG. 12 is a diagram for explaining an overview of the selection and evaluation functions realized by the evaluation unit of the information processing device in the evaluation phase.
  • FIG. 13 is a diagram illustrating an example of the functional configuration of a motion recognition section implemented by the information processing apparatus in the motion recognition phase.
  • FIG. 14 is a diagram showing the details of the functional configuration of the posture identification section included in the motion recognition section.
  • FIG. 15 is a diagram illustrating a specific example of processing by the posture identifying section included in the motion recognizing section.
  • FIG. 16 is a diagram showing details of the functional configuration of the motion recognition image specifying section and the recognition section included in the motion recognition section.
  • FIG. 17 is a first diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIG. 18 is a first diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • FIG. 19 is a second diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIG. 20 is a second diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • FIG. 21 is a third diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIG. 22 is a third diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • FIG. 23 is a first diagram showing the advantages of the ABB type operation pattern.
  • FIG. 24 is a second diagram illustrating the advantages of the ABB type operation pattern.
  • FIG. 1 is a diagram showing an example of the system configuration of an evaluation system. Note that in the evaluation system to which the information processing device according to the first embodiment is applied, different processes are performed in the registration phase, the motion recognition phase, and the evaluation phase. The system configuration will be explained separately in the evaluation phase.
  • FIG. 1(a) shows an example of the system configuration of the evaluation system 100A in the registration phase.
  • the evaluation system 100A in the registration phase includes an imaging device 110 and an information processing device 120.
  • the imaging device 110 photographs the object as a moving image, and transmits the moving image data (an example of a plurality of time-series image data) to the information processing device 120.
  • An information processing program is installed in the information processing device 120.
  • the information processing device 120 functions as the registration unit 121 by executing the program in the registration phase.
  • the registration unit 121 reads the moving image data transmitted from the imaging device 110 and stored in the moving image data storage unit 123, and generates motion recognition data based on various specifications from the user 130. Further, the registration unit 121 stores the generated motion recognition data in the motion recognition data storage unit 124.
  • motion recognition data refers to data used to identify frame images necessary to recognize the target motion from among multiple frame images included in the video data captured during the motion recognition phase.
  • Point refers to a series of movements made up of a plurality of consecutive postures of an object.
  • FIG. 1(b) shows an example of the system configuration of the evaluation system 100B in the motion recognition phase and evaluation phase.
  • the evaluation system 100B in the motion recognition phase and the evaluation phase includes an imaging device 140 and an information processing device 120.
  • the imaging device 140 photographs the object as a moving image, and transmits the moving image data (an example of a plurality of time-series image data) to the information processing device 120.
  • the information processing device 120 functions as a motion recognition section 122 and an evaluation section 150 in the motion recognition phase and the evaluation phase.
  • the motion recognition unit 122 reads motion recognition data from the motion recognition data storage unit 124. Furthermore, the motion recognition section 122 determines the number of frames required to recognize the motion to be recognized based on the motion recognition data read out from the moving image data transmitted from the imaging device 140 and acquired via the evaluation section 150. Identify the image and recognize the motion to be recognized. Further, the motion recognition unit 122 cuts out a frame image corresponding to the recognized motion of the recognition target and notifies the evaluation unit 150 as motion data.
  • the evaluation unit 150 receives the moving image data transmitted by the imaging device 140 and notifies the motion recognition unit 122, acquires motion data from the motion recognition unit 122, and displays it to the evaluator 160 as evaluation data.
  • the evaluation unit 150 acquires the motion data from the motion recognition unit 122, it selects a frame image to be evaluated from the acquired motion data, and uses the selected frame image to evaluate the posture of the target object. The evaluation unit 150 then displays the evaluation result to the evaluator 160 as evaluation data in association with the selected frame image.
  • the motion recognition unit 122 may have a function of selecting a frame image to be evaluated from the motion data and evaluating the posture of the object using the selected frame image. In this case, the motion recognition unit 122 notifies the evaluation unit 150 of the evaluation result and the selected frame image, and the evaluation unit 150 associates the notified evaluation result with the selected frame image and uses it for evaluation. It is displayed to the evaluator 160 as data.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing device.
  • the information processing device 120 includes a processor 201, a memory 202, an auxiliary storage device 203, an I/F (Interface) device 204, a communication device 205, and a drive device 206. Note that each piece of hardware in the information processing device 120 is interconnected via a bus 207.
  • the processor 201 includes various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, information processing programs, etc.) onto the memory 202 and executes them.
  • programs for example, information processing programs, etc.
  • the memory 202 includes main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and when the processor 201 executes various programs read onto the memory 202, the computer realizes various functions.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201.
  • the moving image data storage section 123 and the motion recognition data storage section 124 are realized in the auxiliary storage device 203.
  • the I/F device 204 receives operations on the information processing device 120 via the operating device 210. Further, the I/F device 204 outputs the results of the processing by the information processing device 120 and displays them via the display device 220. Further, the communication device 205 communicates with the imaging device 110 or the imaging device 140.
  • the drive device 206 is a device for setting the recording medium 230.
  • the recording medium 230 here includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, or a magneto-optical disk. Further, the recording medium 230 may include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • the various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 230 in the drive device 206 and reading out the various programs recorded on the recording medium 230 by the drive device 206. be done.
  • various programs to be installed in the auxiliary storage device 203 may be installed by being downloaded from a network (not shown) via the communication device 205.
  • FIG. 3 is an example of a flowchart showing the overall flow of evaluation processing by the evaluation system. As shown in FIG. 3, first, the evaluation process is executed by the evaluation system 100A under the registration phase.
  • step S301 the registration unit 121 of the information processing device 120 acquires moving image data.
  • step S302 the registration unit 121 of the information processing device 120 receives various specifications for motion recognition from the user 130, and generates motion recognition data.
  • step S303 the registration unit 121 of the information processing device 120 stores the generated motion recognition data in the motion recognition data storage unit 124.
  • step S304 the evaluation unit 150 of the information processing device 120 acquires moving image data.
  • step S305 the motion recognition unit 122 of the information processing device 120 performs a motion recognition process necessary to recognize the motion to be recognized from among the plurality of frame images included in the acquired moving image data, based on the motion recognition data. Identify the frame image.
  • step S306 the motion recognition unit 122 of the information processing device 120 recognizes the motion to be recognized from among the plurality of frame images included in the moving image data, based on the motion recognition data.
  • step S307 the motion recognition unit 122 of the information processing device 120 cuts out a frame image corresponding to the motion to be recognized from the video data as motion data.
  • step S308 the evaluation unit 150 of the information processing device 120 evaluates the posture of the target object using the extracted motion data.
  • step S309 the evaluation unit 150 of the information processing device 120 displays the evaluation result of evaluating the posture of the object to the evaluator 160.
  • FIG. 4 is a diagram illustrating an example of the functional configuration of a registration unit implemented by the information processing apparatus in the registration phase.
  • the registration unit 121 further includes an image data display unit 401, a motion pattern designation unit 402, a posture data designation unit 403, a posture identification unit 404, a motion recognition data registration unit 405, and a playback unit 406. .
  • the image data display unit 401 reads out the moving image data specified by the user 130 from among the moving image data stored in the moving image data storage unit 123, and displays each frame image included in the read moving image data to the user 130. indicate.
  • the motion pattern designation section 402 is an example of a first designation section, and when the transition to the motion recognition phase occurs, the motion pattern designation section 402 specifies a "motion pattern” indicating a recognition method to be used when recognizing the motion of the recognition target in the video data. accept. Furthermore, the motion pattern designation unit 402 receives a designation of a "motion to be recognized” to be recognized based on the designated "motion pattern.”
  • the operation patterns include the following three types (ABC type, ABB type, and BBB type).
  • ⁇ ABC type Specify the posture of the object when starting the movement to be recognized, the posture of the object while executing the movement to be recognized, and the posture of the object when finishing the movement to be recognized.
  • - ABB type A pattern that recognizes the motion of the recognition target by specifying the posture of the target when starting the motion of the recognition target and the posture of the target while executing the motion of the recognition target.
  • ⁇ BBB type A pattern that recognizes the target motion by specifying the posture of the target while performing the target motion.
  • the posture data specifying section 403 is an example of a second specifying section, and the frame images necessary for recognizing the motion of the recognition target according to each motion pattern are displayed as posture data by the image data display section 401. Specify from among the images.
  • the posture data specifying section 403 ⁇ If the motion pattern is ABC type, specify three types of frame images as posture data, ⁇ If the motion pattern is ABB type, specify two types of frame images as posture data, - If the motion pattern is BBB type, specify one type of frame image as posture data.
  • the posture identification unit 404 identifies the posture of the object included in each frame image displayed by the image data display unit 401. In addition, the posture identification unit 404 adds a marker indicating which of the postures indicated by the designated posture data corresponds to the posture of the object included in each frame image.
  • the motion recognition data registration unit 405 is an example of a data registration unit, and generates motion recognition data and stores it in the motion recognition data storage unit 124. Specifically, the motion recognition data registration unit 405 stores, as motion recognition data, - The motion pattern specified by the motion pattern designation unit 402 and the motion to be recognized; - Information indicating that the posture data is specified by the posture data specifying unit 403 and the identified posture; - A marker corresponding to the orientation of the object included in each frame image identified by the orientation identification unit 404; is stored in the motion recognition data storage unit 124 in association with a plurality of frame images.
  • the motion recognition data registration unit 405 uses markers corresponding to the posture of the target object.
  • Marker "A” indicates that it corresponds to the posture of the target object when starting the motion to be recognized.
  • Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized.
  • Marker “C” indicates that it corresponds to the posture of the object at the end of the motion to be recognized.
  • “D” is a marker indicating that it does not correspond to any of the postures indicated by the posture data.
  • ⁇ For ABB type Marker "A” indicates that it corresponds to the posture of the target object when starting the motion to be recognized.
  • Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized.
  • D is a marker indicating that it does not correspond to any of the postures indicated by the posture data. and ⁇ For BBB type, Marker “B” indicates that it corresponds to the posture of the object while it is performing the motion to be recognized. "D” is a marker indicating that the posture does not correspond to the posture indicated by the posture data. It is written as
  • the reproduction unit 406 reproduces the moving image data included in the motion recognition data stored in the motion recognition data storage unit 124 and displays it to the user 130. Note that when reproducing the moving image data, the reproducing unit 406 changes the display mode of the seek bar according to the type of marker added to each frame image included in the moving image data to be reproduced.
  • FIGS. 5 to 7 are first to third diagrams showing examples of the registration screen displayed on the information processing device and registered motion recognition data in the registration phase.
  • the registration screen 510 includes an operation pattern specification field 511.
  • the example in FIG. 5 shows that "ABC type" is designated in the operation pattern designation column 511.
  • the registration screen 510 includes a field 512 for specifying an operation to be recognized.
  • the example in FIG. 5 shows that "forward bending motion" is designated in the recognition target motion designation column 512.
  • the registration screen 510 includes a display field 513 that displays each frame image included in the moving image data.
  • the example in FIG. 5 shows seven frame images displayed in the display field 513.
  • the registration screen 520 shows three types of posture data designated from among the seven frame images displayed in the display field 513.
  • the registration screen 520 shows that the "Register” button 524 can be pressed because three types of posture data have been specified. Note that the example in FIG. 5 shows a state in which the motion recognition data 530 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 524.
  • the motion recognition data 530 includes information items such as "frame image”, “identifier”, “posture data”, “motion to be recognized”, “motion pattern”, and “marker”. included.
  • “Frame images” include each frame image displayed in the display field 513. “Identifier” includes an identifier that identifies each frame image displayed in the display field 513.
  • Posture data includes information indicating which of the three specified types of posture data each frame image displayed in the display field 513 is, and the postures identified for the three types of posture data. It will be done.
  • the "recognition target behavior” includes the specified recognition target behavior.
  • "Operation pattern” includes a specified operation pattern.
  • Marker includes markers added to each frame image displayed in the display field 513. Specifically, the posture of the object included in each frame image displayed in the display field 513 is identified, and the identified posture corresponds to one of the postures identified for the three specified types of posture data. In this case, the same marker as that given to the posture data is given. Furthermore, if the specified three types of posture data do not correspond to any of the identified postures, a marker indicating that the posture does not correspond to any of them is given.
  • the registration screen 610 includes an operation pattern specification field 611.
  • the example in FIG. 6 shows that "ABB type" is designated in the operation pattern designation column 611.
  • the registration screen 610 includes a recognition target operation specification field 612.
  • the example in FIG. 6 shows that "forward bending motion" is designated in the recognition target motion designation column 612.
  • the registration screen 610 includes a display field 613 that displays each frame image included in the moving image data.
  • the example in FIG. 6 shows seven frame images displayed in the display field 613.
  • the registration screen 620 shows two types of posture data designated from among the seven frame images displayed in the display field 613.
  • the registration screen 620 shows that the "registration" button 624 can be pressed because two types of posture data have been specified. Note that the example in FIG. 6 shows a state in which the motion recognition data 630 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 624.
  • the motion recognition data 630 includes information items such as "frame image”, “identifier”, “posture data”, “recognition target motion”, “motion pattern”, and “marker”. included.
  • “Frame images” include each frame image displayed in the display field 613.
  • the "identifier” includes an identifier that identifies each frame image displayed in the display field 613.
  • Posture data includes information indicating which of the two specified types of posture data each frame image displayed in the display field 613 is, and the postures identified for the two types of posture data. It will be done.
  • the "recognition target behavior” includes the specified recognition target behavior.
  • the "operation pattern” includes a specified operation pattern.
  • Marker includes markers added to each frame image displayed in the display field 613. Specifically, the posture of the object included in each frame image displayed in the display field 613 is identified, and the identified posture corresponds to one of the postures identified for the two specified types of posture data. In this case, the same marker as that given to the posture data is given. Furthermore, if the specified two types of posture data do not correspond to any of the identified postures, a marker is provided indicating that neither of them corresponds to the postures.
  • the registration screen 710 includes an operation pattern specification field 711.
  • the example in FIG. 7 shows that "BBB type" is designated in the operation pattern designation column 711.
  • the registration screen 710 includes a recognition target operation specification field 712.
  • the example in FIG. 7 shows that "forward bending motion" is designated in the recognition target motion designation field 712.
  • the registration screen 710 includes a display field 713 that displays each frame image included in the moving image data.
  • the example in FIG. 7 shows seven frame images displayed in the display field 713.
  • a registration screen 720 shows a state in which one type of posture data is specified from among the seven frame images displayed in the display field 713.
  • the registration screen 720 shows that the "Register” button 724 can be pressed because one type of posture data has been specified. Note that the example in FIG. 7 shows a state in which the motion recognition data 730 is stored in the motion recognition data storage unit 124 by pressing the "Register” button 724.
  • the motion recognition data 730 includes information items such as "frame image”, “identifier”, “posture data”, “motion to be recognized”, “motion pattern”, and “marker”. included.
  • “Frame images” include each frame image displayed in the display field 713.
  • the “identifier” includes an identifier that identifies the frame image displayed in the display field 713.
  • the "posture data” includes information indicating that each frame image displayed in the display field 713 is one type of specified posture data, and the posture identified for the one type of posture data.
  • the "recognition target behavior” includes the specified recognition target behavior.
  • the "operation pattern” includes a specified operation pattern.
  • Marker includes markers added to each frame image displayed in the display field 713. Specifically, the posture of the object included in each frame image displayed in the display field 713 is identified, and if the identified posture corresponds to the posture identified for one specified type of posture data, , the same marker as that given to the posture data is given. Further, if one type of designated posture data does not correspond to the identified posture, a marker indicating that it does not correspond is given.
  • FIG. 8 is a diagram illustrating an example of a playback screen displayed on the information processing device during the registration phase.
  • the reproduction unit 406 reproduces the moving image data included in the motion recognition data stored in the motion recognition data storage unit 124 and displays it to the user 130.
  • a moving image reproduction area 801 is an area where reproduced moving image data is displayed. Further, the seek bar 802 indicates the playback position of the moving image data that is being played back. As described above, the playback unit 406 changes the display mode of the seek bar depending on the type of marker added to each frame image included in the moving image data to be played back.
  • a seek bar 811 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 530 of FIG. 5.
  • the "marker” includes three types of markers (A, B, and C), so the seek bar 811 has three types of display modes.
  • a seek bar 812 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 630 of FIG. 6.
  • the "marker” includes three types of markers (A, B, D), so the seek bar 812 has three types of display modes.
  • a seek bar 813 indicates a seek bar when reproducing moving image data consisting of each frame image included in the motion recognition data 730 of FIG. 7.
  • the "marker” includes two types of markers (B, D), so the seek bar 813 has two types of display modes.
  • FIG. 9 is a diagram for explaining an overview of processing executed by the information processing device in the motion recognition phase and the evaluation phase. Note that here, to simplify the explanation, a case where the operation pattern is ABC type is shown.
  • the motion recognition unit 122 of the information processing device 120 acquires moving image data and adds skeleton information to each frame image included in the moving image data (910). .
  • the motion recognition unit 122 of the information processing device 120 identifies the posture of the object included in each frame image based on the motion recognition data, thereby identifying the frames necessary to recognize the motion of the recognition target.
  • the image is identified (920).
  • the motion recognition unit 122 of the information processing device 120 recognizes the motion to be recognized (in the example of FIG. 9, the forward bending motion) based on the motion recognition data, and generates a frame image corresponding to the motion to be recognized. is extracted as motion data (930).
  • the evaluation unit 150 of the information processing device 120 selects a frame image to be evaluated from among the extracted motion data (940), and evaluates the target object based on the selected frame image. Evaluate the posture (950).
  • the evaluation unit 150 of the information processing device 120 displays the evaluation result (reference numeral 960) to the evaluator 160.
  • FIG. 10 is a diagram for explaining an overview of the posture identification function realized by the motion recognition unit of the information processing device in the motion recognition phase.
  • the motion recognition unit 122 of the information processing device 120 The posture of the object included in the frame image 1010, - Judgment criteria (symbols 1021, 1022, 1023, etc.) corresponding to the posture indicated by the posture data 1020 included in the motion recognition data, By comparing the images, the frame images necessary to recognize the motion to be recognized are identified.
  • the distance (distance based on skeletal information ) is calculated.
  • the distance (skeletal information The figure shows how the distance (based on the distance) was calculated.
  • the distance between the posture of the object included in the frame image 1010 and the criterion (numeral 1023) corresponding to walking in the posture data 1020 included in the motion recognition data (based on skeletal information
  • the figure shows how the distance based on the distance was calculated.
  • the motion recognition unit 122 of the information processing device 120 can identify the posture of the object included in the frame image 1010 by determining the minimum distance. As a result, the motion recognition unit 122 of the information processing device 120 can specify frame images necessary to recognize the motion to be recognized. Furthermore, the motion recognition unit 122 of the information processing device 120 can output a marker indicating which of the postures indicated by the posture data the posture of the object corresponds to.
  • the example in FIG. 10 shows that the posture of the object included in the frame image 1010 is identified as "upright” (reference numeral 1030). Furthermore, the example in FIG. 10 shows that "A" is output as a marker (numeral 1040).
  • FIG. 11 is a diagram for explaining an overview of the motion recognition function realized by the motion recognition section of the information processing device in the motion recognition phase.
  • FIG. 11 shows that moving image data including eight frame images is acquired as moving image data, and the frame images necessary for recognizing the motion of the recognition target are identified.
  • FIG. 11 in the case of ABC type, ⁇ Frame image with marker "A” attached, ⁇ Frame image with marker "B” attached, ⁇ Frame image with marker "C” attached, During this time, the object is recognized as performing the motion to be recognized, and the frame image is extracted as motion data.
  • FIG. 12 is a diagram for explaining an overview of the selection and evaluation functions realized by the evaluation unit of the information processing device in the evaluation phase.
  • reference numeral 1210 indicates a selection index (in the example of FIG. 12, a selection index for selecting a frame image to be evaluated) for each cut frame image, in which a frame image corresponding to a forward bending motion is cut out as motion data. ⁇ Angle of the waist'') is calculated. Note that reference numeral 1210 shows only a part of the extracted motion data in FIG. 11 due to space limitations.
  • reference numeral 1230 indicates an evaluation index (in the example of FIG. 12, "hip angle”, “elbow angle”, “ The figure shows how the knee angle ”) has been calculated.
  • FIG. 13 is a diagram illustrating an example of the functional configuration of a motion recognition section implemented by the information processing apparatus in the motion recognition phase.
  • the motion recognition section 122 includes a moving image data acquisition section 1301, a posture identification section 1302, a motion recognition image specification section 1303, and a recognition section 1304.
  • the video data acquisition unit 1301 acquires video data and adds skeleton information to each frame image included in the acquired video data. Furthermore, the moving image data acquisition unit 1301 sequentially notifies the posture identification unit 1302 of frame images to which skeleton information has been added.
  • the posture identification section 1302 reads posture data included in the motion recognition data stored in the motion recognition data storage section 124.
  • the posture identification unit 1302 Judgment criteria corresponding to the posture indicated by the read posture data, - The posture of the object included in the frame images sequentially notified by the video data acquisition unit 1301; Calculate the distance between.
  • the posture identification unit 1302 determines which of the postures indicated by the read posture data corresponds to the determination criterion that corresponds to the minimum distance, and determines the posture of the object included in the sequentially notified frame images. identify.
  • the posture identification unit 1302 recognizes the motion of the recognition target in the frame images sequentially notified from the video data acquisition unit 1301 by identifying the postures of the objects included in the frame images sequentially notified. Identify the frame images needed. In addition, the posture identifying unit 1302 adds a marker corresponding to the identified posture of the object to the frame image, and sequentially notifies the motion recognition image specifying unit 1303 of the marker.
  • the motion recognition image specifying unit 1303 removes frame images that become noise from among the frame images sequentially notified by the posture identifying unit 1302.
  • a "frame image that becomes noise” refers to a frame image in which markers of the same type are not consecutive for a predetermined number of frames or more.
  • the motion recognition image specifying unit 1303 sequentially notifies the recognition unit 1304 of the frame images after noise removal, in which the frame images that cause noise have been removed.
  • the recognition unit 1304 reads the motion pattern included in the motion recognition data stored in the motion recognition data storage unit 124. Furthermore, the recognition unit 1304 determines whether the frame images after noise removal, which are sequentially notified by the motion recognition image specifying unit 1303, transition in accordance with the read motion pattern.
  • the recognition unit 1304 determines that the frame image after noise removal, which is sequentially notified by the motion recognition image specifying unit 1303, transitions along the read motion pattern, the recognition unit 1304 transitions along the read motion pattern. Cut out the frame image. Furthermore, the recognition unit 1304 notifies the evaluation unit 150 of the extracted frame image as motion data.
  • the recognition unit 1304 determines that the frame image after noise removal, which is sequentially notified by the motion recognition image specifying unit 1303, does not transition along the read motion pattern, the recognition unit 1304 does not cut out the frame image. do not have.
  • FIG. 14 is a diagram showing the details of the functional configuration of the posture identification section included in the motion recognition section.
  • the posture identification section 1302 includes an identified posture acquisition section 1401 and a determination section 1402.
  • the identification posture acquisition unit 1401 reads the motion recognition data stored in the motion recognition data storage unit 124 in the registration phase, and notifies the determination unit 1402 of the data. Specifically, the identified posture acquisition unit 1401 reads posture data and markers from the motion recognition data, and notifies the determination unit 1402 of the read posture data and markers.
  • the determination unit 1402 acquires each frame image included in the video data acquired by the video data acquisition unit 1301 and to which skeleton information has been added by the video data acquisition unit 1301. Further, the determination unit 1402 identifies which orientation (reference numeral 1410) the orientation of the object included in each acquired frame image is indicated by the orientation data notified from the identified orientation acquisition unit 1401, and identifies the orientation. Output the results.
  • the determination unit 1402 reads from the reference posture data storage unit 1403 the determination criterion corresponding to the posture (reference numeral 1410) indicated by the posture data notified by the identified posture acquisition unit 1401. Then, the determination unit 1402 calculates the distance between the read determination criterion and the orientation of the object included in each frame image, determines the minimum distance, and determines the orientation notified by the identified orientation acquisition unit 1401. It is identified which attitude (code 1410) the data indicates. Note that the reference posture data storage unit 1403 stores determination criteria for identifying each posture of the object.
  • the code 1420 is ⁇ Judgment criteria for identifying whether the posture of the object is "upright”, ⁇ Judgment criteria for identifying whether the posture of the object is "forward bending”, ⁇ Judgment criteria for identifying whether the posture of the object is “walking”; shows how it is read out.
  • the determination unit 1402 determines whether the orientation corresponds to the identified orientation. A marker is attached to the corresponding frame image. In the example 1410, the determination unit 1402 assigns "A", "B", or "C" to the corresponding frame image.
  • the determining unit 1402 notifies the motion recognition image specifying unit 1303 of each frame image to which the marker has been added as the posture identification result.
  • FIG. 15 is a diagram illustrating a specific example of processing by the posture identifying section included in the motion recognizing section.
  • a frame image 1510 is a frame image acquired by the determination unit 1402 of the posture identification unit 1302, and is a frame image to which skeleton information is added.
  • reference numerals 1421 to 1423 indicate details of determination criteria corresponding to each attitude indicated by the attitude data.
  • the determination criteria corresponding to each posture indicated by the posture data include, as information items, a part used for determining the minimum distance and a physical quantity used for determining the minimum distance.
  • the example in FIG. 15 shows that the criteria for determining each posture include "armpit angle,” “hip angle,” “knee angle,” etc.
  • the determining unit 1402 of the posture identifying unit 1302 calculates the distance (Euclidean distance) between the skeleton information added to the frame image 1510 and the determination criterion corresponding to each posture indicated by the posture data. Specifically, the determination unit 1402 of the posture identification unit 1302 calculates the Euclidean distance D p based on Equation 1 below.
  • N p is the number of parts used for determining the minimum distance
  • x i is the physical quantity used for determining the minimum distance
  • y p,i is the object included in the frame image 1510. Each represents the physical quantity of the corresponding part of the object.
  • the determining unit 1402 of the posture identifying unit 1302 calculates the Euclidean distance D p using the determination criteria corresponding to each posture indicated by the posture data, and identifies the posture by determining the minimum Euclidean distance D p (reference numeral 1520 reference). Further, the determining unit 1402 of the posture identifying unit 1302 adds a marker corresponding to the identified posture to the frame image 1510 and outputs it as a posture identification result (see reference numeral 1530).
  • the determination unit 1402 of the posture identification unit 1302 - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "upright” criterion (code 1421); - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "forward bending” criterion (code 1422); - Euclidean distance D p calculated between the posture of the object included in the frame image 1510 and the "walking" criterion (code 1423), The minimum Euclidean distance D p is determined from among these, and the pose is identified.
  • the determination unit 1402 of the posture identification unit 1302 if any of the Euclidean distances D p calculated for each posture is equal to or greater than a predetermined threshold, the posture of the object included in the frame image 1510 is determined based on the posture data. It identifies that it does not correspond to any of the postures shown. In this case, the determination unit 1402 of the posture identification unit 1302 adds a marker to the frame image 1510 indicating that the frame image 1510 does not correspond to any of the postures indicated by the posture data, and outputs it as a posture identification result.
  • FIG. 16 is a diagram showing details of the functional configuration of the motion recognition image specifying section and the recognition section included in the motion recognition section.
  • the motion recognition image specifying unit 1303 further includes a continuity determining unit 1601 and a noise removing unit 1602, and the recognizing unit 1304 further includes an order determining unit 1611 and an end state determining unit 1612.
  • the continuity determination unit 1601 sequentially acquires the frame images to which markers are attached, which are output from the determination unit 1402, and notifies the noise removal unit 1602. At this time, the continuity determination unit 1601 determines whether or not the same type of marker is consecutively provided for a predetermined number of frames or more for each frame image. Furthermore, if the continuity determination unit 1601 determines that the same type of marker is not consecutively attached for a predetermined number of frames or more, the same type of marker is consecutively attached for a predetermined number of frames or more for the corresponding frame image. The noise removal unit 1602 is notified that the noise removal unit 1602 is not.
  • the noise removal unit 1602 removes frame images for which the same type of marker is not continuously attached for a predetermined number of frames or more from among the frame images notified by the continuity determination unit 1601. Further, the noise removal unit 1602 notifies the order determination unit 1611 of the recognition unit 1304 of the frame images that have not been removed.
  • the order determination unit 1611 reads the motion recognition data from the motion recognition data storage unit 124 and determines whether the frame images sequentially notified by the noise removal unit 1602 correspond to a predetermined order.
  • the order determining unit 1611 reads the motion pattern from the motion recognition data, and determines whether the frame images sequentially notified by the noise removal unit 1602 correspond to the order specified by the motion pattern. judge. Further, the order determining unit 1611 determines frame images determined to fall under the order specified by the motion pattern as motion data candidates.
  • ⁇ Operation pattern “ABC type”
  • the end state determination unit 1612 determines whether or not a frame image to which a predetermined marker has been added is notified after the frame image determined to be a candidate for motion data among the frame images notified by the order determination unit 1611. judge.
  • the predetermined marker herein refers to a marker other than the marker corresponding to the posture of the object at the end of the motion to be recognized.
  • the predetermined marker is a marker other than “C” (that is, “A”, “B”, “D"), -
  • the predetermined marker is a marker other than “B” (that is, “A”, "D"), -
  • the motion pattern is "BBB type”
  • the predetermined marker is a marker other than “B” (that is, “D"), refers to
  • the end state determination unit 1612 determines that a frame image to which a predetermined marker is attached is notified after a frame image determined to be a motion data candidate, the end state determination unit 1612 selects the motion data candidate as the motion to be recognized. recognize. Further, the end state determining unit 1612 cuts out a frame image corresponding to the recognized motion of the recognition target as motion data, transmits it to the evaluation unit 150, and then proceeds to the next frame image.
  • the end state determination unit 1612 does not cut out the motion data. Proceed to the next frame image.
  • FIG. 17 is a first diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIGS. 17(a), (b), and (c) shows the frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
  • the operation pattern is "ABC type", as shown in FIGS. A marker is attached.
  • the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done.
  • FIG. 17(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
  • FIG. 18 is a first diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • the left side of FIGS. 18(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
  • each frame image output from the motion recognition image specifying unit 1303 is recognized as a "forward bending motion" because it is determined that it does not correspond to the order of A ⁇ B ⁇ C. It shows that there was no.
  • FIG. 18(b) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B ⁇ C and is determined to be a candidate for motion data. There is.
  • a frame image with a marker other than "C” is not notified after the frame image with a "C” marker, so "forward bending motion” is not detected. This indicates that it was not recognized as such.
  • FIG. 18(c) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B ⁇ C and is determined to be a candidate for motion data. There is. Furthermore, in the example of FIG. 18(c), a frame image with a marker other than "C” is notified after a frame image with a "C” marker, so it is not recognized as a "forward bending motion". It shows that it has been recognized.
  • FIG. 19 is a second diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIGS. 19(a), (b), and (c) show the frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
  • the motion pattern is "ABB type", as shown in FIGS. 19(a), (b), and (c)
  • the frame image has markers "A", "B", and "D”. Granted.
  • the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done.
  • FIG. 19(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
  • FIG. 20 is a second diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • the left side of FIGS. 20(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
  • each frame image output from the motion recognition image specifying unit 1303 was determined not to correspond to the order of A ⁇ B, and therefore was not recognized as a "forward bending motion.” It is shown that.
  • FIG. 20(b) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B, and is determined to be a candidate for motion data. Furthermore, in the example of FIG. 20(b), a frame image with a marker other than "B" is notified after the frame image with a marker "B", so it is not recognized as a "forward bending motion". It shows that it has been recognized.
  • each frame image output from the motion recognition image specifying unit 1303 is determined to correspond to the order of A ⁇ B and is determined to be a candidate for motion data. ing. Furthermore, in the example of FIG. 20(c), a frame image with a marker other than "B" is notified after the frame image with a "B" marker, so it is not recognized as a "forward bending motion". It shows that it has been recognized.
  • FIG. 21 is a third diagram showing a specific example of processing by the motion recognition image specifying section included in the motion recognition section.
  • FIGS. 21(a), (b), and (c) show frame images (frame images to which markers have been added) sequentially input to the motion recognition image specifying unit 1303, and the right side shows the motion recognition image specifying unit 1303. Each of the frame images sequentially output from the unit 1303 is shown.
  • the motion pattern is "BBB type”
  • the frame image is marked with either "B” or "D” as shown in FIGS. 21(a), (b), and (c). .
  • the motion recognition image specifying unit 1303 removes the corresponding frame image. It shows how it was done. Specifically, the example in FIG. 21(a) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames. .
  • FIG. 21(b) shows that no frame images were removed because there were no frame images to which the same type of marker was attached for two or more consecutive frames.
  • FIG. 22 is a third diagram showing a specific example of processing by the recognition unit included in the motion recognition unit.
  • the left side of FIGS. 22(a), (b), and (c) shows each frame image output from the motion recognition image specifying unit 1303, and the left side of FIGS. Same as the right side.
  • FIG. 22(a) shows how each frame image output from the motion recognition image specifying unit 1303 is determined to contain a marker "B" and is determined to be a motion data candidate. ing. Furthermore, in the example of FIG. 22(a), a frame image with a marker other than "B" is notified after a frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
  • each frame image output from the motion recognition image specifying unit 1303 contains a marker "B" and is determined to be a candidate for motion data. It shows the situation. Furthermore, in the example of FIG. 22(b), a frame image with a marker other than "B" is notified after the frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
  • each frame image output from the motion recognition image specifying unit 1303 contains a marker "B" and is determined to be a motion data candidate. It shows the situation. Furthermore, in the example of FIG. 22(c), a frame image with a marker other than "B" is notified after the frame image with a "B” marker, so it is treated as a "forward bending image”. It shows how it is recognized.
  • FIG. 23 is a first diagram showing the advantages of the ABB type operation pattern.
  • reference numeral 2310 indicates each frame image of the moving image data taken when the operator who performs the forward bending motion assumes an appropriate forward bending posture.
  • reference numeral 2311 when the operator who performs the forward bending motion assumes an appropriate forward bending posture, the motion recognition unit 122 is more likely to misidentify the posture. .
  • Reference numeral 2311 indicates that in the first, second, sixth, and seventh frame images, the posture should be identified as "upright,” but the posture was incorrectly identified as "bent forward.”
  • the motion recognition unit 122 recognizes the "forward bending motion" even if the user is able to take an appropriate forward bending posture or is unable to take an appropriate forward bending posture. Be able to recognize.
  • the motion recognition unit 122 detects that the posture is not "forward bending" in the first, second, fifth, and sixth frame images, as shown by reference numeral 2321 in FIG.
  • the posture should have been identified as ⁇ forward bending,'' but it was incorrectly identified as ⁇ forward bending''.
  • the motion recognition unit 122 can now recognize the "forward bending motion” even if the user cannot perform the motion.
  • FIG. 24 is a second diagram showing the advantages of the ABB type operation pattern.
  • reference numeral 2410 indicates each frame image of the moving image data taken when the operator who performs the forward bending motion assumes an appropriate posture.
  • the appropriate posture here refers to the appropriate posture when the movement pattern is "ABC type" (i.e., the posture of the operator at the start, the posture of the operator during the execution, the posture of the operator at the end of the movement). This refers to the appropriate posture of the person performing the movement.
  • the motion recognition unit 122 recognizes the posture of the motion person at the start, the posture of the motion during execution, and the motion pattern at the end. It is possible to identify the posture of the operator when doing so. Then, the motion recognition unit 122 can appropriately assign markers "A", "B", and "C”. As a result, the motion recognition unit 122 can recognize the "forward bending motion”.
  • the motion recognition unit 122 recognizes the posture of the motion person at the time of starting, the posture of the motion person during execution. It is possible to identify the posture and appropriately assign markers "A", "B", and "D”. As a result, the motion recognition unit 122 can recognize the "forward bending motion”.
  • reference numeral 2420 indicates each frame image of the moving image data taken when the operator performing the forward bending motion was unable to take an appropriate posture.
  • the failure to take an appropriate posture here refers to the failure to take an appropriate posture when the movement pattern is "ABC type.” Specifically, the operator's posture at the start and during the execution was able to be properly maintained, but the operator's posture at the end of the execution was not correct. It refers to something that could not be taken.
  • the motion recognition unit 122 identifies the posture of the performer at the time of starting and the posture of the performer during execution. However, the posture of the operator at the time of termination cannot be identified. Then, the motion recognition unit 122 assigns markers "A", "B", and "D". As a result, the motion recognition unit 122 cannot recognize the "forward bending motion".
  • the motion recognition unit 122 recognizes the posture of the motion person at the time of starting, the posture of the motion force during execution. can be identified and appropriately assigned markers "A", "B", and "D". As a result, the motion recognition unit 122 can recognize the "forward bending motion".
  • the movement recognition unit 122 can recognize the "forward bending movement” even if the operator is unable to take an appropriate posture when finishing the movement. It becomes like this.
  • the motion recognition unit 122 of the information processing device 120 includes a posture recognition unit 1302 and a recognition unit 1304,
  • the posture identification unit 1302 ⁇ From among the multiple frame images included in the video image data, determine the posture of the operator when starting the motion to be recognized, and the posture the motioner should take when starting the motion to be recognized.
  • First and second frame images each including a posture to be taken during the process are identified.
  • the recognition unit 1304 - A plurality of frame images included in the video data transitions from a first frame image to a second frame image, - Furthermore, when transitioning to a frame image other than the first and second frame images (other than the first and second image data), - Recognize that the operator was performing the recognition target action from the first frame image to the second frame image.
  • the motion of the recognition target of the target in multiple frame images included in a moving image is It is possible to improve recognition accuracy when recognizing.
  • the "forward bending motion” has been described as an example of the motion to be recognized, but the motion to be recognized is not limited to the "forward bending motion". Further, it is assumed that any posture can be specified as the posture of the object when starting the motion to be recognized and the posture of the object when ending the motion to be recognized.
  • the condition when removing noise, is that the same type of marker is continuous for two or more frames, but the number of consecutive frames is not limited to two frames.
  • the evaluation unit 150 and the motion recognition unit 122 are described as separate functions in the information processing device 120, but the evaluation unit 150 and the motion recognition unit 122 are realized as one function. may be done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させる。情報処理プログラムは、時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第１の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第２の画像データとを特定し、前記対象物の２種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第１の画像データから前記第２の画像データへと遷移し、更に前記第１及び第２の画像データ以外の画像データへと遷移した場合に、前記第１の画像データから前記第２の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、処理をコンピュータに実行させる。

Description

情報処理プログラム、情報処理方法及び情報処理装置
　本発明は、情報処理プログラム、情報処理方法及び情報処理装置に関する。
　対象物を動画像により撮影し、各フレーム画像において、対象物の骨格情報から対象物の姿勢を識別する識別技術が知られている。当該識別技術によれば、例えば、認識対象の動作を開始する際の対象物の姿勢、実行している最中の対象物の姿勢、終了する際の対象物の姿勢等を予め規定しておくことで、複数のフレーム画像の中から、当該認識対象の動作を認識して切り出すことができる。なお、ここでいう動作とは、対象物の複数の姿勢の連続からなる一連の動きを指す。
国際公開第２０１９／１１６４９５号
　しかしながら、上記方法により認識対象の動作を認識しようとすると、対象物が、予め規定された姿勢のうちのいずれかの姿勢をとることができなかった場合に、認識精度が低下する。
　一つの側面では、動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることを目的とする。
　一態様によれば、情報処理プログラムは、
　時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢と、対象物が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第１の画像データ及び第２の画像データを特定し、
　前記対象物の２種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第１の画像データから前記第２の画像データへと遷移し、更に前記第１及び第２の画像データ以外の画像データへと遷移した場合に、前記第１の画像データから前記第２の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、処理をコンピュータに実行させる。
　動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることできる。
図１は、評価システムのシステム構成の一例を示す図である。 図２は、情報処理装置のハードウェア構成の一例を示す図である。 図３は、評価システムによる評価処理全体の流れを示すフローチャートの一例である。 図４は、登録フェーズにおいて情報処理装置により実現される登録部の機能構成の一例を示す図である。 図５は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第１の図である。 図６は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第２の図である。 図７は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第３の図である。 図８は、登録フェーズにおいて情報処理装置に表示される再生画面の一例を示す図である。 図９は、動作認識フェーズ及び評価フェーズにおいて情報処理装置により実行される処理の概要を説明するための図である。 図１０は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される姿勢識別機能の概要を説明するための図である。 図１１は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される動作認識機能の概要を説明するための図である。 図１２は、評価フェーズにおいて情報処理装置の評価部により実現される選択及び評価機能の概要を説明するための図である。 図１３は、動作認識フェーズにおいて情報処理装置により実現される動作認識部の機能構成の一例を示す図である。 図１４は、動作認識部に含まれる姿勢識別部の機能構成の詳細を示す図である。 図１５は、動作認識部に含まれる姿勢識別部の処理の具体例を示す図である。 図１６は、動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成の詳細を示す図である。 図１７は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第１の図である。 図１８は、動作認識部に含まれる認識部による処理の具体例を示す第１の図である。 図１９は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第２の図である。 図２０は、動作認識部に含まれる認識部による処理の具体例を示す第２の図である。 図２１は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第３の図である。 図２２は、動作認識部に含まれる認識部による処理の具体例を示す第３の図である。 図２３は、ＡＢＢ型の動作パターンの利点を示す第１の図である。 図２４は、ＡＢＢ型の動作パターンの利点を示す第２の図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜評価システムのシステム構成＞
　はじめに、第１の実施形態に係る情報処理装置が適用される評価システム全体のシステム構成について説明する。図１は、評価システムのシステム構成の一例を示す図である。なお、第１の実施形態に係る情報処理装置が適用される評価システムは、登録フェーズと、動作認識フェーズ及び評価フェーズとで異なる処理が行われるため、以下では、登録フェーズと、動作認識フェーズ及び評価フェーズとに、分けてシステム構成を説明する。
　（１）登録フェーズにおけるシステム構成
　図１（ａ）は、登録フェーズにおける評価システム１００Ａのシステム構成の一例を示している。図１（ａ）に示すように、登録フェーズにおける評価システム１００Ａは、撮像装置１１０と、情報処理装置１２０とを有する。
　撮像装置１１０は、対象物を動画像により撮影し、動画像データ（時系列の複数の画像データの一例）を情報処理装置１２０に送信する。
　情報処理装置１２０には、情報処理プログラムがインストールされている。情報処理装置１２０は、登録フェーズにおいて、当該プログラムを実行することで、登録部１２１として機能する。
　登録部１２１は、撮像装置１１０より送信され、動画像データ記憶部１２３に記憶された動画像データを読み出し、ユーザ１３０からの各種指定のもとで、動作認識用データを生成する。また、登録部１２１は、生成した動作認識用データを、動作認識用データ記憶部１２４に記憶する。
　なお、動作認識用データとは、動作認識フェーズにおいて撮影された動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識するのに必要なフレーム画像を特定するためのデータを指す。また、動作とは、対象物の複数の姿勢の連続からなる一連の動きを指す。
　（２）動作認識フェーズ及び評価フェーズにおけるシステム構成
　図１（ｂ）は、動作認識フェーズ及び評価フェーズにおける評価システム１００Ｂのシステム構成の一例を示している。図１（ｂ）に示すように、動作認識フェーズ及び評価フェーズにおける評価システム１００Ｂは、撮像装置１４０と、情報処理装置１２０とを有する。
　撮像装置１４０は、対象物を動画像により撮影し、動画像データ（時系列の複数の画像データの一例）を情報処理装置１２０に送信する。
　情報処理装置１２０は、動作認識フェーズ及び評価フェーズにおいて、動作認識部１２２及び評価部１５０として機能する。
　動作認識部１２２は、動作認識用データ記憶部１２４から動作認識用データを読み出す。また、動作認識部１２２は、撮像装置１４０より送信され、評価部１５０を介して取得した動画像データについて、読み出した動作認識用データに基づいて、認識対象の動作を認識するのに必要なフレーム画像を特定し、認識対象の動作を認識する。更に、動作認識部１２２は、認識した認識対象の動作に対応するフレーム画像を切り出し、動作データとして、評価部１５０に通知する。
　評価部１５０は、撮像装置１４０により送信された動画像データを受信し、動作認識部１２２に通知するとともに、動作認識部１２２より動作データを取得し、評価者１６０に評価用データとして表示する。
　あるいは、評価部１５０は、動作認識部１２２より動作データを取得した際、取得した動作データから評価対象のフレーム画像を選択し、選択したフレーム画像を用いて、対象物の姿勢を評価する。そして、評価部１５０は、評価結果を、選択したフレーム画像と対応付けて、評価用データとして評価者１６０に表示する。
　なお、動作データから評価対象のフレーム画像を選択し、選択したフレーム画像を用いて、対象物の姿勢を評価する機能は、動作認識部１２２が有していてもよい。この場合、動作認識部１２２は、評価結果と、選択したフレーム画像とを評価部１５０に通知し、評価部１５０では、通知された評価結果と、選択したフレーム画像とを対応付けて、評価用データとして評価者１６０に表示する。
　＜情報処理装置のハードウェア構成＞
　次に、情報処理装置１２０のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。
　図２に示すように、情報処理装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、情報処理装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、情報処理プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。例えば、動画像データ記憶部１２３及び動作認識用データ記憶部１２４は、補助記憶装置２０３において実現される。
　Ｉ／Ｆ装置２０４は、情報処理装置１２０に対する操作を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、情報処理装置１２０による処理の結果を出力し、表示装置２２０を介して表示する。また、通信装置２０５は、撮像装置１１０または撮像装置１４０と通信する。
　ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介して不図示のネットワークからダウンロードされることで、インストールされてもよい。
　＜評価システムにおける評価処理の流れ＞
　次に、評価システム１００Ａ及び１００Ｂによる評価処理全体の流れについて説明する。図３は、評価システムによる評価処理全体の流れを示すフローチャートの一例である。図３に示すように、はじめに、評価処理は登録フェーズのもとで評価システム１００Ａにより実行される。
　ステップＳ３０１において、情報処理装置１２０の登録部１２１は、動画像データを取得する。
　ステップＳ３０２において、情報処理装置１２０の登録部１２１は、ユーザ１３０から、動作認識のための各種指定を受け付け、動作認識用データを生成する。
　ステップＳ３０３において、情報処理装置１２０の登録部１２１は、生成した動作認識用データを、動作認識用データ記憶部１２４に記憶する。
　続いて、評価処理は、登録フェーズから動作認識フェーズへと遷移し、評価システム１００Ｂにより実行される。ステップＳ３０４において、情報処理装置１２０の評価部１５０は、動画像データを取得する。
　ステップＳ３０５において、情報処理装置１２０の動作認識部１２２は、動作認識用データに基づいて、取得された動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識するのに必要なフレーム画像を特定する。
　ステップＳ３０６において、情報処理装置１２０の動作認識部１２２は、動作認識用データに基づいて、動画像データに含まれる複数のフレーム画像の中から、認識対象の動作を認識する。
　ステップＳ３０７において、情報処理装置１２０の動作認識部１２２は、認識対象の動作に対応するフレーム画像を、動作データとして、動画像データの中から切り出す。
　続いて、評価処理は、動作認識フェーズから評価フェーズへと遷移し、引き続き、評価システム１００Ｂにより実行される。ステップＳ３０８において、情報処理装置１２０の評価部１５０は、切り出された動作データを用いて、対象物の姿勢を評価する。
　ステップＳ３０９において、情報処理装置１２０の評価部１５０は、対象物の姿勢を評価した評価結果を、評価者１６０に表示する。
　＜登録部の機能構成＞
　次に、登録フェーズにおいて情報処理装置１２０により実現される登録部１２１の機能構成の詳細について説明する。図４は、登録フェーズにおいて情報処理装置により実現される登録部の機能構成の一例を示す図である。
　図４に示すように、登録部１２１は、更に、画像データ表示部４０１、動作パターン指定部４０２、姿勢データ指定部４０３、姿勢識別部４０４、動作認識用データ登録部４０５、再生部４０６を有する。
　画像データ表示部４０１は、動画像データ記憶部１２３に記憶された動画像データのうち、ユーザ１３０により指定された動画像データを読み出し、読み出した動画像データに含まれる各フレーム画像をユーザ１３０に表示する。
　動作パターン指定部４０２は第１の指定部の一例であり、動作認識フェーズに遷移した際、動画像データにおいて、認識対象の動作を認識する際に用いる認識方法を示す「動作パターン」の指定を受け付ける。更に、動作パターン指定部４０２は、指定された「動作パターン」のもとで認識すべき「認識対象の動作」の指定を受け付ける。
　なお、本実施形態において、動作パターンには、以下の３種類（ＡＢＣ型、ＡＢＢ型、ＢＢＢ型）が含まれる。
・ＡＢＣ型：認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・ＡＢＢ型：認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
・ＢＢＢ型：認識対象の動作を実行している最中の対象物の姿勢を指定して、認識対象の動作を認識するパターン。
　姿勢データ指定部４０３は第２の指定部の一例であり、それぞれの動作パターンにより認識対象の動作を認識するのに必要なフレーム画像を、姿勢データとして、画像データ表示部４０１により表示されたフレーム画像の中から指定する。姿勢データ指定部４０３では、
・動作パターンがＡＢＣ型の場合、３種類のフレーム画像を姿勢データとして指定し、
・動作パターンがＡＢＢ型の場合、２種類のフレーム画像を姿勢データとして指定し、
・動作パターンがＢＢＢ型の場合、１種類のフレーム画像を姿勢データとして指定する。
　姿勢識別部４０４は、画像データ表示部４０１により表示された各フレーム画像に含まれる対象物の姿勢を識別する。また、姿勢識別部４０４は、各フレーム画像に含まれる対象物の姿勢が、指定された姿勢データが示す姿勢のいずれに該当するかを示すマーカを付与する。
　動作認識用データ登録部４０５はデータ登録部の一例であり、動作認識用データを生成し、動作認識用データ記憶部１２４に記憶する。具体的には、動作認識用データ登録部４０５は、動作認識用データとして、
・動作パターン指定部４０２により指定された動作パターン及び認識対象の動作と、
・姿勢データ指定部４０３により指定された姿勢データであることを示す情報及び識別された姿勢と、
・姿勢識別部４０４により識別された各フレーム画像に含まれる対象物の姿勢に対応するマーカと、
を、複数のフレーム画像と対応付けて動作認識用データ記憶部１２４に記憶する。
　なお、動作認識用データ登録部４０５は、対象物の姿勢に対応するマーカとして、
・ＡＢＣ型の場合、
　　認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"Ａ"、
　　認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"Ｂ"、
　　認識対象の動作を終了する際の対象物の姿勢に該当することを示すマーカを"Ｃ"、
　　姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"Ｄ"、
と記載し、
・ＡＢＢ型の場合、
　　認識対象の動作を開始する際の対象物の姿勢に該当することを示すマーカを"Ａ"、
　　認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"Ｂ"、
　　姿勢データが示すいずれの姿勢にも該当しないこと示すマーカを"Ｄ"、
と記載し、
・ＢＢＢ型の場合、
　　認識対象の動作を実行している最中の対象物の姿勢に該当することを示すマーカを"Ｂ"、
　　姿勢データが示す姿勢に該当しないこと示すマーカを"Ｄ"、
と記載する。
　再生部４０６は、動作認識用データ記憶部１２４に記憶された動作認識用データに含まれる動画像データを再生して、ユーザ１３０に表示する。なお、再生部４０６では、動画像データを再生する際、再生する動画像データに含まれる各フレーム画像に付与されたマーカの種類に応じて、シークバーの表示態様を変更する。
　＜登録画面の具体例及び動作認識用データの具体例＞
　次に、登録フェーズにおいて情報処理装置１２０に表示される登録画面及び登録される動作認識用データについて、動作パターンごとに分けて説明する。図５乃至図７は、登録フェーズにおいて情報処理装置に表示される登録画面及び登録される動作認識用データの一例を示す第１乃至第３の図である。
　（１）動作パターン＝ＡＢＣ型の場合の登録画面及び動作認識用データ
　はじめに、動作パターン＝ＡＢＣ型の場合の登録画面及び動作認識用データについて、図５を用いて説明する。図５に示すように、登録画面５１０は、動作パターンの指定欄５１１を含む。図５の例は、動作パターンの指定欄５１１において"ＡＢＣ型"が指定された様子を示している。
　また、図５に示すように、登録画面５１０は、認識対象の動作指定欄５１２を含む。図５の例は、認識対象の動作指定欄５１２において"前屈動作"が指定された様子を示している。
　また、図５に示すように、登録画面５１０は、動画像データに含まれる各フレーム画像を表示する表示欄５１３を含む。図５の例は、表示欄５１３に、７個のフレーム画像が表示された様子を示している。
　また、図５において、登録画面５２０は、表示欄５１３に表示された７個のフレーム画像の中から、３種類の姿勢データを指定した様子を示している。具体的には、登録画面５２０は、
・認識対象の動作（ここでは、前屈動作）を開始する際の対象物の姿勢を含む姿勢データとして、識別子＝"Ｆｒ２"のフレーム画像５２１が指定され、
・認識対象の動作（ここでは、前屈動作）を実行している最中の対象物の姿勢が含まれる姿勢データとして、識別子＝"Ｆｒ５"のフレーム画像５２２が指定され、
・認識対象の動作（ここでは、前屈動作）を終了する際の対象物の姿勢が含まれる姿勢データとして、識別子＝"Ｆｒ７"のフレーム画像５２３が指定された、
様子を示している。
　また、図５において、登録画面５２０は、３種類の姿勢データが指定されたことで、"登録"ボタン５２４が押圧可能となった様子を示している。なお、図５の例は、"登録"ボタン５２４が押圧されたことで、動作認識用データ５３０が動作認識用データ記憶部１２４に記憶された様子を示している。
　図５に示すように、動作認識用データ５３０には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
　"フレーム画像"には、表示欄５１３に表示された各フレーム画像が含まれる。"識別子"には、表示欄５１３に表示された各フレーム画像を識別する識別子が含まれる。
　"姿勢データ"には、表示欄５１３に表示された各フレーム画像が、指定された３種類の姿勢データのいずれであるかを示す情報と、３種類の姿勢データについて識別された姿勢とが含まれる。
　"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
　"マーカ"には、表示欄５１３に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄５１３に表示された各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された３種類の姿勢データについて識別された姿勢のいずれかに該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された３種類の姿勢データについて識別された姿勢のいずれにも該当しない場合には、いずれにも該当しないことを示すマーカが付与される。
　（２）動作パターン＝ＡＢＢ型の場合の登録画面及び動作認識用データ
　次に、動作パターン＝ＡＢＢ型の場合の登録画面及び動作認識用データについて、図６を用いて説明する。図６に示すように、登録画面６１０は、動作パターンの指定欄６１１を含む。図６の例は、動作パターンの指定欄６１１において"ＡＢＢ型"が指定された様子を示している。
　また、図６に示すように、登録画面６１０は、認識対象の動作指定欄６１２を含む。図６の例は、認識対象の動作指定欄６１２において"前屈動作"が指定された様子を示している。
　また、図６に示すように、登録画面６１０は、動画像データに含まれる各フレーム画像を表示する表示欄６１３を含む。図６の例は、表示欄６１３に、７個のフレーム画像が表示された様子を示している。
　また、図６において、登録画面６２０は、表示欄６１３に表示された７個のフレーム画像の中から、２種類の姿勢データを指定した様子を示している。具体的には、登録画面６２０は、
・認識対象の動作（ここでは、前屈動作）を開始する際の対象物の姿勢を含む姿勢データとして、識別子＝"Ｆｒ２"のフレーム画像６２１が指定され、
・認識対象の動作（ここでは、前屈動作）を実行している最中の対象物の姿勢を含む姿勢データとして、識別子＝"Ｆｒ５"のフレーム画像６２２が指定された、
様子を示している。
　また、図６において、登録画面６２０は、２種類の姿勢データが指定されたことで、"登録"ボタン６２４が押圧可能となった様子を示している。なお、図６の例は、"登録"ボタン６２４が押圧されたことで、動作認識用データ６３０が動作認識用データ記憶部１２４に記憶された様子を示している。
　図６に示すように、動作認識用データ６３０には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
　"フレーム画像"には、表示欄６１３に表示された各フレーム画像が含まれる。"識別子"には、表示欄６１３に表示された各フレーム画像を識別する識別子が含まれる。
　"姿勢データ"には、表示欄６１３に表示された各フレーム画像が、指定された２種類の姿勢データのいずれであるかを示す情報と、２種類の姿勢データについて識別された姿勢とが含まれる。
　"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
　"マーカ"には、表示欄６１３に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄６１３に表示された各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された２種類の姿勢データについて識別された姿勢のいずれかに該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された２種類の姿勢データについて識別された姿勢のいずれにも該当しない場合には、いずれにも該当しないことを示すマーカが付与される。
　（３）動作パターン＝ＢＢＢ型の場合の登録画面及び動作認識用データ
　次に、動作パターン＝ＢＢＢ型の場合の登録画面及び動作認識用データについて、図７を用いて説明する。図７に示すように、登録画面７１０は、動作パターンの指定欄７１１を含む。図７の例は、動作パターンの指定欄７１１において"ＢＢＢ型"が指定された様子を示している。
　また、図７に示すように、登録画面７１０は、認識対象の動作指定欄７１２を含む。図７の例は、認識対象の動作指定欄７１２において"前屈動作"が指定された様子を示している。
　また、図７に示すように、登録画面７１０は、動画像データに含まれる各フレーム画像を表示する表示欄７１３を含む。図７の例は、表示欄７１３に、７個のフレーム画像が表示された様子を示している。
　また、図７において、登録画面７２０は、表示欄７１３に表示された７個のフレーム画像の中から、１種類の姿勢データを指定した様子を示している。具体的には、登録画面７２０は、
・認識対象の動作（ここでは、前屈動作）を実行している最中の対象物の姿勢を含む姿勢データとして、識別子＝"Ｆｒ５"のフレーム画像７２１が指定された、
様子を示している。
　また、図７において、登録画面７２０は、１種類の姿勢データが指定されたことで、"登録"ボタン７２４が押圧可能となった様子を示している。なお、図７の例は、"登録"ボタン７２４が押圧されたことで、動作認識用データ７３０が動作認識用データ記憶部１２４に記憶された様子を示している。
　図７に示すように、動作認識用データ７３０には、情報の項目として、"フレーム画像"、"識別子"、"姿勢データ"、"認識対象の動作"、"動作パターン"、"マーカ"が含まれる。
　"フレーム画像"には、表示欄７１３に表示された各フレーム画像が含まれる。"識別子"には、表示欄７１３に表示されたフレーム画像を識別する識別子が含まれる。
　"姿勢データ"には、表示欄７１３に表示された各フレーム画像が、指定された１種類の姿勢データであることを示す情報と、１種類の姿勢データについて識別された姿勢とが含まれる。
　"認識対象の動作"には、指定された認識対象の動作が含まれる。"動作パターン"には、指定された動作パターンが含まれる。
　"マーカ"には、表示欄７１３に表示された各フレーム画像に付与されたマーカが含まれる。具体的には、表示欄７１３に表示される各フレーム画像に含まれる対象物の姿勢を識別し、識別した姿勢が、指定された１種類の姿勢データについて識別された姿勢に該当する場合には、姿勢データに付与されたマーカと同じマーカが付与される。また、指定された１種類の姿勢データについて識別された姿勢に該当しない場合には、該当しないことを示すマーカが付与される。
　＜再生画面の具体例＞
　次に、登録フェーズにおいて情報処理装置１２０に表示される再生画面の具体例について説明する。図８は、登録フェーズにおいて情報処理装置に表示される再生画面の一例を示す図である。上述したように、再生部４０６は、動作認識用データ記憶部１２４に記憶された動作認識用データに含まれる動画像データを再生して、ユーザ１３０に表示する。
　図８において、動画像再生領域８０１は、再生された動画像データが表示される領域である。また、シークバー８０２は、再生中の動画像データの再生位置を示す。上述したように、再生部４０６は、再生する動画像データに含まれる各フレーム画像に付与されたマーカの種類に応じて、シークバーの表示態様を変更する。
　図８において、シークバー８１１は、図５の動作認識用データ５３０に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ５３０の例では、"マーカ"には３種類のマーカ（Ａ、Ｂ、Ｃ）が含まれるため、シークバー８１１は、３種類の表示態様となる。
　また、図８において、シークバー８１２は、図６の動作認識用データ６３０に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ６３０の例では、"マーカ"には３種類のマーカ（Ａ、Ｂ、Ｄ）が含まれるため、シークバー８１２は、３種類の表示態様となる。
　また、図８において、シークバー８１３は、図７の動作認識用データ７３０に含まれる各フレーム画像からなる動画像データを再生する場合のシークバーを示している。動作認識用データ７３０の例では、"マーカ"には２種類のマーカ（Ｂ、Ｄ）が含まれるため、シークバー８１３は、２種類の表示態様となる。
　＜動作認識フェーズ及び評価フェーズにおける処理の概要＞
　次に、動作認識フェーズ及び評価フェーズにおいて情報処理装置１２０により実行される処理の概要について説明する。図９は、動作認識フェーズ及び評価フェーズにおいて情報処理装置により実行される処理の概要を説明するための図である。なお、ここでは、説明の簡略化のため、動作パターンがＡＢＣ型のケースを示している。
　図９に示すように、動作認識フェーズにおいて、情報処理装置１２０の動作認識部１２２は、動画像データを取得するとともに、動画像データに含まれる各フレーム画像に骨格情報を付与する（符号９１０）。
　続いて、情報処理装置１２０の動作認識部１２２は、動作認識用データに基づいて、各フレーム画像に含まれる対象物の姿勢を識別することで、認識対象の動作を認識するのに必要なフレーム画像を特定する（符号９２０）。
　続いて、情報処理装置１２０の動作認識部１２２は、動作認識用データに基づいて、認識対象の動作（図９の例では、前屈動作）を認識し、認識対象の動作に対応するフレーム画像を、動作データとして切り出す（符号９３０）。
　続いて、評価フェーズにおいて、情報処理装置１２０の評価部１５０は、切り出された動作データの中から、評価対象のフレーム画像を選択し（符号９４０）、選択したフレーム画像に基づいて、対象物の姿勢を評価する（符号９５０）。
　続いて、情報処理装置１２０の評価部１５０は、評価結果（符号９６０）を評価者１６０に表示する。
　＜各機能の概要＞
　次に、動作認識フェーズ及び評価フェーズにおいて、図９に示す処理を実行する情報処理装置１２０の動作認識部１２２または評価部１５０の各機能（姿勢識別、動作認識、選択、評価）の概要について説明する。
　（１）姿勢識別機能の概要
　はじめに、姿勢識別機能の概要について説明する。図１０は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される姿勢識別機能の概要を説明するための図である。
　図１０に示すように、情報処理装置１２０の動作認識部１２２は、
・フレーム画像１０１０に含まれる対象物の姿勢と、
・動作認識用データに含まれる姿勢データ１０２０が示す姿勢に対応する判定基準（符号１０２１、１０２２、１０２３等）と、
を対比することで、認識対象の動作を認識するのに必要なフレーム画像を特定する。
　図１０の例は、フレーム画像１０１０に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ１０２０の直立に対応する判定基準（符号１０２１）との間の距離（骨格情報に基づく距離）を算出した様子を示している。
　また、図１０の例は、フレーム画像１０１０に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ１０２０の前屈に対応する判定基準（符号１０２２）との間の距離（骨格情報に基づく距離）を算出した様子を示している。
　また、図１０の例は、フレーム画像１０１０に含まれる対象物の姿勢と、動作認識用データに含まれる姿勢データ１０２０の歩きに対応する判定基準（符号１０２３）との間の距離（骨格情報に基づく距離）を算出した様子を示している。
　これにより、情報処理装置１２０の動作認識部１２２では、最小距離を判定することで、フレーム画像１０１０に含まれる対象物の姿勢を識別することができる。この結果、情報処理装置１２０の動作認識部１２２では、認識対象の動作を認識するのに必要なフレーム画像を特定することができる。また、情報処理装置１２０の動作認識部１２２では、対象物の姿勢が、姿勢データが示す姿勢のいずれに該当するかを示すマーカを出力することができる。
　図１０の例は、フレーム画像１０１０に含まれる対象物の姿勢が、"直立"であると識別された様子を示している（符号１０３０）。また、図１０の例は、マーカとして、"Ａ"が出力された様子を示している（符号１０４０）。
　（２）動作認識機能の概要
　次に、動作認識機能の概要について説明する。図１１は、動作認識フェーズにおいて情報処理装置の動作認識部により実現される動作認識機能の概要を説明するための図である。
　図１１の例は、動画像データとして、８つのフレーム画像が含まれる動画像データが取得され、認識対象の動作を認識するのに必要なフレーム画像が特定された様子を示している。
　また、図１１の例は、特定されたフレーム画像に基づいて前屈動作を認識し、対応するフレーム画像（識別子＝Ｆｒ１～Ｆｒ７のフレーム画像）を、動作データとして切り出した様子を示している。図１１に示すように、ＡＢＣ型の場合、
・マーカ"Ａ"が付与されたフレーム画像、
・マーカ"Ｂ"が付与されたフレーム画像、
・マーカ"Ｃ"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
　なお、図１１には示していないが、ＡＢＢ型の場合、
・マーカ"Ａ"が付与されたフレーム画像（第１の画像データの一例）、
・マーカ"Ｂ"が付与されたフレーム画像（第２の画像データの一例）、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
　また、ＢＢＢ型の場合、
・マーカ"Ｂ"が付与されたフレーム画像、
の間、対象物が、認識対象の動作を実行していたと認識されて、当該フレーム画像が動作データとして切り出される。
　（３）選択及び評価機能の概要
　次に、選択及び評価機能の概要について説明する。図１２は、評価フェーズにおいて情報処理装置の評価部により実現される選択及び評価機能の概要を説明するための図である。
　図１２において、符号１２１０は、前屈動作に対応するフレーム画像が動作データとして切り出され、切りされたフレーム画像それぞれについて、評価対象のフレーム画像を選択するための選択指標（図１２の例では、"腰の角度"）が算出された様子を示している。なお、符号１２１０では、紙面の都合上、図１１において、切り出された動作データの一部のみを示している。
　また、図１２において、符号１２２０は、選択指標＝"腰の角度"が最小となる対象物が含まれるフレーム画像として、識別子＝"Ｆｒ４"のフレーム画像が選択された様子を示している。
　また、図１２において、符号１２３０は、選択されたフレーム画像に含まれる対象物について、姿勢を評価するための評価指標（図１２の例では、"腰の角度"、"肘の角度"、"膝の角度"）が算出された様子を示している。
　＜動作認識部の機能構成＞
　次に、動作認識フェーズにおいて情報処理装置１２０により実現される動作認識部１２２の機能構成の詳細について説明する。図１３は、動作認識フェーズにおいて情報処理装置により実現される動作認識部の機能構成の一例を示す図である。
　図１３に示すように、動作認識部１２２は、動画像データ取得部１３０１、姿勢識別部１３０２、動作認識用画像特定部１３０３、認識部１３０４を有する。
　動画像データ取得部１３０１は、動画像データを取得し、取得した動画像データに含まれる各フレーム画像において、骨格情報を付与する。また、動画像データ取得部１３０１は、骨格情報を付与したフレーム画像を、順次、姿勢識別部１３０２に通知する。
　姿勢識別部１３０２は、動作認識用データ記憶部１２４に記憶された動作認識用データに含まれる姿勢データを読み出す。また、姿勢識別部１３０２は、
・読み出した姿勢データが示す姿勢に対応する判定基準と、
・動画像データ取得部１３０１より順次通知されるフレーム画像に含まれる対象物の姿勢と、
の間の距離を算出する。これにより、姿勢識別部１３０２は、読み出した姿勢データが示す姿勢のうちのいずれの姿勢に対応する判定基準が最小距離となるかを判定し、順次通知されるフレーム画像に含まれる対象物の姿勢を識別する。また、姿勢識別部１３０２は、順次通知されるフレーム画像に含まれる対象物の姿勢を識別することで、動画像データ取得部１３０１より順次通知されるフレーム画像について、認識対象の動作を認識するのに必要なフレーム画像を特定する。また、姿勢識別部１３０２は、識別した対象物の姿勢に対応するマーカを、フレーム画像に付与して、動作認識用画像特定部１３０３に順次通知する。
　動作認識用画像特定部１３０３は、姿勢識別部１３０２より順次通知されるフレーム画像の中から、ノイズとなるフレーム画像を除去する。なお、本実施形態において"ノイズとなるフレーム画像"とは、同じ種類のマーカが、所定フレーム数以上連続していないフレーム画像を指す。
　また、動作認識用画像特定部１３０３は、ノイズとなるフレーム画像が除去された、ノイズ除去後のフレーム画像を、順次、認識部１３０４に通知する。
　認識部１３０４は、動作認識用データ記憶部１２４に記憶された動作認識用データに含まれる動作パターンを読み出す。また、認識部１３０４は、動作認識用画像特定部１３０３より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移するか否かを判定する。
　認識部１３０４は、動作認識用画像特定部１３０３より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移すると判定した場合には、読み出した動作パターンに沿って遷移するフレーム画像を切り出す。更に、認識部１３０４は、切り出したフレーム画像を、動作データとして、評価部１５０に通知する。
　一方、認識部１３０４は、動作認識用画像特定部１３０３より順次通知される、ノイズ除去後のフレーム画像が、読み出した動作パターンに沿って遷移しないと判定した場合には、フレーム画像の切り出しは行わない。
　＜動作認識部に含まれる姿勢識別部の機能構成の詳細＞
　次に、動作認識部１２２に含まれる姿勢識別部１３０２の機能構成の詳細について説明する。図１４は、動作認識部に含まれる姿勢識別部の機能構成の詳細を示す図である。図１４に示すように、姿勢識別部１３０２は、識別姿勢取得部１４０１と、判定部１４０２とを有する。
　識別姿勢取得部１４０１は、登録フェーズにおいて動作認識用データ記憶部１２４に記憶された動作認識用データを読み出し、判定部１４０２に通知する。具体的には、識別姿勢取得部１４０１は、動作認識用データのうち、姿勢データ及びマーカを読み出し、判定部１４０２に通知する。
　図１４において符号１４１０は、
・認識対象の動作＝「前屈動作」、
・動作パターン＝「ＡＢＣ型」、
の場合の姿勢データ及びマーカであり、
・認識対象の動作を開始する際の対象物の姿勢＝「直立」、マーカ＝「Ａ」、
・認識対象の動作を実行している最中の対象物の姿勢＝「前屈」、マーカ＝「Ｂ」、
・認識対象の動作を終了する際の対象物の姿勢＝「歩き」、マーカ＝「Ｃ」、
が含まれる。
　判定部１４０２は、動画像データ取得部１３０１により取得された動画像データに含まれる各フレーム画像であって、動画像データ取得部１３０１により骨格情報が付与された各フレーム画像を取得する。また、判定部１４０２は、取得した各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部１４０１より通知された姿勢データが示すいずれの姿勢（符号１４１０）であるかを識別し、姿勢識別結果を出力する。
　具体的には、判定部１４０２は、識別姿勢取得部１４０１より通知された姿勢データが示す姿勢（符号１４１０）に対応する判定基準を、基準姿勢データ記憶部１４０３より読み出す。そして、判定部１４０２は、読み出した判定基準と、各フレーム画像に含まれる対象物の姿勢との間の距離を算出し、最小距離を判定することで、識別姿勢取得部１４０１より通知された姿勢データが示すいずれの姿勢（符号１４１０）であるかを識別する。なお、基準姿勢データ記憶部１４０３は、対象物の各姿勢を識別するための判定基準が格納されている。
　図１４において符号１４２０は、
・対象物の姿勢が「直立」であるかを識別するための判定基準、
・対象物の姿勢が「前屈」であるかを識別するための判定基準、
・対象物の姿勢が「歩き」であるかを識別するための判定基準、
が読み出された様子を示している。
　判定部１４０２は、各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部１４０１より通知された姿勢データが示すいずれかの姿勢（符号１４１０）であると識別した場合、識別した姿勢に対応するマーカを、対応するフレーム画像に付与する。符号１４１０の例では、判定部１４０２は、"Ａ"、"Ｂ"、"Ｃ"のいずれかを、対応するフレーム画像に付与する。
　一方、各フレーム画像に含まれる対象物の姿勢が、識別姿勢取得部１４０１より通知された姿勢データが示すいずれの姿勢にも該当しないと識別した場合、いずれの姿勢にも該当しないことを示すマーカを、対応するフレーム画像に付与する。判定部１４０２は、"Ｄ"を、対応するフレーム画像に付与する。
　判定部１４０２は、マーカが付与された各フレーム画像を、姿勢識別結果として、動作認識用画像特定部１３０３に通知する。
　＜動作認識部に含まれる姿勢識別部の処理の具体例＞
　次に、動作認識部１２２に含まれる姿勢識別部１３０２の処理の具体例について説明する。図１５は、動作認識部に含まれる姿勢識別部の処理の具体例を示す図である。
　図１５において、フレーム画像１５１０は、姿勢識別部１３０２の判定部１４０２が取得したフレーム画像であって、骨格情報が付与されたフレーム画像である。
　また、図１５において、符号１４２１～符号１４２３は、姿勢データが示す各姿勢に対応する判定基準の詳細を示している。符号１４２１～符号１４２３に示すように、姿勢データが示す各姿勢に対応する判定基準には、情報の項目として、最小距離の判定に用いる部位及び最小距離の判定に用いる物理量が含まれる。図１５の例は、各姿勢の判定基準として、"脇の角度"、"腰の角度"、"膝の角度"等が含まれることを示している。
　姿勢識別部１３０２の判定部１４０２では、フレーム画像１５１０に付与された骨格情報と、姿勢データが示す各姿勢に対応する判定基準との間の距離（ユークリッド距離）を算出する。具体的には、姿勢識別部１３０２の判定部１４０２では、下式１に基づいて、ユークリッド距離Ｄｐを算出する。
Figure JPOXMLDOC01-appb-M000001
 　なお、上式（１）において、Ｎｐは、最小距離の判定に用いる部位の数を、ｘｉは、最小距離の判定に用いる物理量を、ｙｐ，ｉは、フレーム画像１５１０に含まれる対象物の対応する部位の物理量をそれぞれ表している。
　姿勢識別部１３０２の判定部１４０２では、姿勢データが示す各姿勢に対応する判定基準を用いてユークリッド距離Ｄｐを算出し、最小のユークリッド距離Ｄｐを判定することで姿勢を識別する（符号１５２０参照）。また、姿勢識別部１３０２の判定部１４０２では、識別した姿勢に対応するマーカをフレーム画像１５１０に付与し、姿勢識別結果として出力する（符号１５３０参照）。
　図１５の例の場合、姿勢識別部１３０２の判定部１４０２では、
・フレーム画像１５１０に含まれる対象物の姿勢と、「直立」の判定基準（符号１４２１）との間で算出されたユークリッド距離Ｄｐ、
・フレーム画像１５１０に含まれる対象物の姿勢と、「前屈」の判定基準（符号１４２２）との間で算出されたユークリッド距離Ｄｐ、
・フレーム画像１５１０に含まれる対象物の姿勢と、「歩き」の判定基準（符号１４２３）との間で算出されたユークリッド距離Ｄｐ、
の中から、最小のユークリッド距離Ｄｐを判定し、姿勢を識別する。なお、姿勢識別部１３０２の判定部１４０２では、各姿勢について算出したユークリッド距離Ｄｐのいずれもが、所定の閾値以上であった場合、フレーム画像１５１０に含まれる対象物の姿勢は、姿勢データが示すいずれの姿勢にも該当しないことを識別する。この場合、姿勢識別部１３０２の判定部１４０２では、姿勢データが示すいずれの姿勢にも該当しないことを示すマーカをフレーム画像１５１０に付与し、姿勢識別結果として出力する。
　＜動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成＞
　次に、動作認識部１２２に含まれる動作認識用画像特定部１３０３及び認識部１３０４の機能構成の詳細について説明する。図１６は、動作認識部に含まれる動作認識用画像特定部及び認識部の機能構成の詳細を示す図である。図１６に示すように、動作認識用画像特定部１３０３は、更に、連続性判定部１６０１、ノイズ除去部１６０２を有し、認識部１３０４は、更に、順序判定部１６１１、終了状態判定部１６１２を有する。
　連続性判定部１６０１は、判定部１４０２より出力された、マーカが付与されたフレーム画像を順次取得し、ノイズ除去部１６０２に通知する。その際、連続性判定部１６０１は、各フレーム画像について、同じ種類のマーカが所定フレーム数以上連続して付与されているか否かを判定する。また、連続性判定部１６０１は、同じ種類のマーカが所定フレーム数以上連続して付与されていないと判定した場合、対応するフレーム画像について、同じ種類のマーカが所定フレーム数以上連続して付与されていないことをノイズ除去部１６０２に通知する。
　ノイズ除去部１６０２は、連続性判定部１６０１より通知されたフレーム画像のうち、同じ種類のマーカが所定フレーム数以上連続して付与されていなことが通知されたフレーム画像を除去する。また、ノイズ除去部１６０２は、除去されていなフレーム画像を、認識部１３０４の順序判定部１６１１に通知する。
　順序判定部１６１１は、動作認識用データ記憶部１２４より動作認識用データを読み出し、ノイズ除去部１６０２より順次通知されたフレーム画像が、所定の順序に該当するか否かを判定する。
　具体的には、順序判定部１６１１は、動作認識用データのうち、動作パターンを読み出し、ノイズ除去部１６０２より順次通知されたフレーム画像が、動作パターンにより特定される順序に該当するか否かを判定する。また、順序判定部１６１１は、動作パターンにより特定される順序に該当すると判定したフレーム画像を、動作データの候補と判定する。
　図１６において符号１６２０は、
・認識対象の動作＝「前屈動作」、
・動作パターン＝「ＡＢＣ型」、
であり、ノイズ除去部１６０２より順次通知されたフレーム画像に付与されているマーカが、Ａ→Ｂ→Ｃの順序に該当すると判定した場合、対応するフレーム画像を、「前屈動作」の動作データの候補と判定することを示している。
　終了状態判定部１６１２は、順序判定部１６１１より通知されたフレーム画像のうち、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されているか否かを判定する。ここでいう所定のマーカとは、認識対象の動作を終了する際の対象物の姿勢に対応するマーカ以外のマーカを指す。具体的には、
・動作パターン＝「ＡＢＣ型」の場合、所定のマーカは、"Ｃ"以外のマーカ（つまり、"Ａ"、"Ｂ"、"Ｄ"）、
・動作パターン＝「ＡＢＢ型」の場合、所定のマーカは、"Ｂ"以外のマーカ（つまり、"Ａ"、"Ｄ"）、
・動作パターン＝「ＢＢＢ型」の場合、所定のマーカは、"Ｂ"以外のマーカ（つまり、"Ｄ"）、
を指す。
　終了状態判定部１６１２は、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されていると判定した場合、動作データの候補を、認識対象の動作として認識する。また、終了状態判定部１６１２は、認識した認識対象の動作に対応するフレーム画像を、動作データとして切り出し、評価部１５０に送信したうえで、次のフレーム画像に進む。
　一方、動作データの候補と判定されたフレーム画像の後に、所定のマーカが付与されたフレーム画像が通知されていないと判定した場合、終了状態判定部１６１２は、動作データの切り出しを行うことなく、次のフレーム画像に進む。
　＜動作認識部に含まれる動作認識用画像特定部及び動作認識部による処理の具体例＞
　次に、動作認識部１２２に含まれる動作認識用画像特定部１３０３、認識部１３０４による処理の具体例について説明する。なお、以下では、それぞれの動作パターン（「ＡＢＣ型」、「ＡＢＢ型」、「ＢＢＢ型」）について、動作認識用画像特定部１３０３、認識部１３０４による処理の具体例を説明する。
　（１）動作パターン＝「ＡＢＣ型」の場合
　はじめに、動作パターン＝「ＡＢＣ型」の場合の、動作認識用画像特定部１３０３、認識部１３０４による処理の具体例について説明する。図１７は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第１の図である。
　図１７（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３に順次入力されたフレーム画像（マーカが付与されたフレーム画像）を、右側は、動作認識用画像特定部１３０３より順次出力されたフレーム画像をそれぞれ表している。動作パターン＝「ＡＢＣ型」の場合、図１７（ａ）、（ｂ）、（ｃ）に示すように、フレーム画像には、"Ａ"、"Ｂ"、"Ｃ"、"Ｄ"のいずれかのマーカが付与されている。
　図１７（ａ）、（ｂ）、（ｃ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部１３０３が除去した様子を示している。具体的には、図１７（ａ）の例は、８番目のフレーム画像（マーカ＝"Ａ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されていないと判定され除去された様子を示している。また、図１７（ａ）の例は、９番目のフレーム画像（マーカ＝"Ｃ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されていないと判定され除去された様子を示している。
　また、図１７（ｂ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
　また、図１７（ｃ）の例は、５番目のフレーム画像（マーカ＝"Ｄ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されてないと判定され除去された様子を示している。
　図１８は、動作認識部に含まれる認識部による処理の具体例を示す第１の図である。図１８（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３より出力された各フレーム画像を示しており、図１７（ａ）、（ｂ）、（ｃ）の右側と同じである。
　図１８（ａ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂ→Ｃの順序に該当しないと判定されたことで、「前屈動作」として認識されなかったことを示している。
　図１８（ｂ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂ→Ｃの順序に該当すると判定され、動作データの候補と判定された様子を示している。一方で、図１８（ｂ）の例は、"Ｃ"のマーカが付与されたフレーム画像の後に、"Ｃ"以外のマーカが付与されたフレーム画像が通知されていないため、「前屈動作」として認識されなかったことを示している。
　図１８（ｃ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂ→Ｃの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図１８（ｃ）の例は、"Ｃ"のマーカが付与されたフレーム画像の後に、"Ｃ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
　（２）動作パターン＝「ＡＢＢ型」の場合
　次に、動作パターン＝「ＡＢＢ型」の場合の、動作認識用画像特定部１３０３、認識部１３０４による処理の具体例について説明する。図１９は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第２の図である。
　図１９（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３に順次入力されたフレーム画像（マーカが付与されたフレーム画像）を、右側は、動作認識用画像特定部１３０３より順次出力されたフレーム画像をそれぞれ表している。動作パターン＝「ＡＢＢ型」の場合、図１９（ａ）、（ｂ）、（ｃ）に示すように、フレーム画像には、"Ａ"、"Ｂ"、"Ｄ"のいずれかのマーカが付与されている。
　図１９（ａ）、（ｂ）、（ｃ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部１３０３が除去した様子を示している。具体的には、図１９（ａ）の例は、８番目のフレーム画像（マーカ＝"Ａ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されていないと判定され除去された様子を示している。
　また、図１９（ｂ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
　また、図１９（ｃ）の例は、５番目のフレーム画像（マーカ＝"Ｄ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されてないと判定され除去された様子を示している。
　図２０は、動作認識部に含まれる認識部による処理の具体例を示す第２の図である。図２０（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３より出力された各フレーム画像を示しており、図１９（ａ）、（ｂ）、（ｃ）の右側と同じである。
　図２０（ａ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂの順序に該当しないと判定されたことで、「前屈動作」として認識されなかったことを示している。
　図２０（ｂ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図２０（ｂ）の例は、"Ｂ"のマーカが付与されたフレーム画像の後に、"Ｂ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
　同様に、図２０（ｃ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像が、Ａ→Ｂの順序に該当すると判定され、動作データの候補と判定された様子を示している。更に、図２０（ｃ）の例は、"Ｂ"のマーカが付与されたフレーム画像の後に、"Ｂ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈動作」として認識されたことを示している。
　（３）動作パターン＝「ＢＢＢ型」の場合
　次に、動作パターン＝「ＢＢＢ型」の場合の、動作認識用画像特定部１３０３、認識部１３０４による処理の具体例について説明する。図２１は、動作認識部に含まれる動作認識用画像特定部による処理の具体例を示す第３の図である。
　図２１（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３に順次入力されたフレーム画像（マーカが付与されたフレーム画像）を、右側は、動作認識用画像特定部１３０３より順次出力されたフレーム画像をそれぞれ表している。動作パターン＝「ＢＢＢ型」の場合、図２１（ａ）、（ｂ）、（ｃ）に示すように、フレーム画像には、"Ｂ"、"Ｄ"のいずれかのマーカが付与されている。
　図２１（ａ）、（ｂ）、（ｃ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていない場合に、対応するフレーム画像について、動作認識用画像特定部１３０３が除去した様子を示している。具体的には、図２１（ａ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
　同様に、図２１（ｂ）の例は、同じ種類のマーカが２フレーム以上連続して付与されていないフレーム画像が存在しないため、いずれのフレーム画像も除去されなかった様子を示している。
　一方、図２１（ｃ）の例は、５番目のフレーム画像（マーカ＝"Ｄ"が付与されたフレーム画像）が、同じ種類のマーカが２フレーム以上連続して付与されてないと判定され除去された様子を示している。
　図２２は、動作認識部に含まれる認識部による処理の具体例を示す第３の図である。図２２（ａ）、（ｂ）、（ｃ）の左側は、動作認識用画像特定部１３０３より出力された各フレーム画像を示しており、図２１（ａ）、（ｂ）、（ｃ）の右側と同じである。
　図２２（ａ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像の中に、"Ｂ"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図２２（ａ）の例は、"Ｂ"のマーカが付与されたフレーム画像の後に、"Ｂ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
　同様に、図２２（ｂ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像の中に、"Ｂ"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図２２（ｂ）の例は、"Ｂ"のマーカが付与されたフレーム画像の後に、"Ｂ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
　同様に、図２２（ｃ）の例は、動作認識用画像特定部１３０３より出力された各フレーム画像の中に、"Ｂ"のマーカが含まれると判定され、動作データの候補と判定された様子を示している。更に、図２２（ｃ）の例は、"Ｂ"のマーカが付与されたフレーム画像の後に、"Ｂ"以外のマーカが付与されたフレーム画像が通知されているため、「前屈画像」として認識された様子を示している。
　＜ＡＢＢ型の動作パターンの利点＞
　次に、ＡＢＢ型の動作パターンの利点について説明する。ここでは、比較として、「ＢＢＢ型」を適用するよりも、「ＡＢＢ型」を適用した方がよいケース、及び、「ＡＢＣ型」を適用するよりも、「ＡＢＢ型」を適用した方がよいケース、それぞれについて説明する。
　（１）「ＢＢＢ型」よりも「ＡＢＢ型」を適用した方がよいケース
　図２３は、ＡＢＢ型の動作パターンの利点を示す第１の図である。図２３において、符号２３１０は、前屈動作を実行する動作者が、適切な前屈の姿勢をとった際に撮影された動画像データの各フレーム画像を示している。符号２３１０に示すように、動作者が適切な前屈の姿勢をとった場合、動作パターン＝「ＢＢＢ型」を適用することで、動作認識部１２２では、前屈動作を認識することができる。
　一方、図２３において、符号２３２０は、前屈動作を実行する動作者が、例えば、高齢者であって、適切な前屈の姿勢をとることができなかった（前屈を深くできなかった）際に撮影された動画像データの各フレーム画像を示している。符号２３２０に示すように、動作者が適切な前屈の姿勢をとることができなかった場合、動作パターン＝「ＢＢＢ型」を適用しても、動作認識部１２２では、前屈動作を認識することができない。
　そこで、ユーザ１３０が、姿勢＝"前屈"の判定基準を緩め、姿勢＝"前屈"と識別しやすくしたとする。この場合、符号２３２１に示すように、前屈動作を実行する動作者が、適切な前屈の姿勢をとることができなかった場合でも、動作認識部１２２では、「前屈」と識別することができるようになる。
　一方で、この場合、符号２３１１に示すように、前屈動作を実行する動作者が、適切な前屈の姿勢をとった際に、動作認識部１２２が、姿勢を誤識別する可能性が高まる。符号２３１１は、１番目、２番目、６番目、７番目のフレーム画像において、姿勢＝「直立」と識別すべきところを、姿勢＝「前屈」と誤識別された様子を示している。
　このような状況において、ユーザ１３０が、動作パターンを「ＢＢＢ型」から「ＡＢＢ型」に変更したとする。この場合、適切な前屈の姿勢をとることができる動作者であっても、適切な前屈の姿勢をとることができない動作者であっても、動作認識部１２２では、「前屈動作」を認識できるようになる。
　具体的には、「ＢＢＢ型」の場合、動作認識部１２２では、図２３の符号２３１１に示したように、１番目、２番目、６番目、７番目のフレーム画像において、姿勢＝「前屈」以外と識別すべきところを、姿勢＝「前屈」と誤識別していた。これに対して、図２３の符号２３１２に示すように、「ＡＢＢ型」の場合、動作認識部１２２では、当該フレーム画像を、姿勢＝「直立」と識別することができる。
　同様に、「ＢＢＢ型」の場合、動作認識部１２２では、図２３の符号２３２１に示したように、１番目、２番目、５番目、６番目のフレーム画像において、姿勢＝「前屈」以外と識別すべきところを、姿勢＝「前屈」と誤識別していた。これに対して、図２３の符号２３２２に示すように、「ＡＢＢ型」の場合、動作認識部１２２では、当該フレーム画像を、姿勢＝「直立」と識別することができる。
　このように、動作パターンを「ＢＢＢ型」から「ＡＢＢ型」に変更することで、適切な前屈の姿勢をとることができる動作者であっても、適切な前屈の姿勢をとることができない動作者であっても、動作認識部１２２では、「前屈動作」を認識できるようになる。
　（２）「ＡＢＣ型」よりも「ＡＢＢ型」を適用した方がよいケース
　図２４は、ＡＢＢ型の動作パターンの利点を示す第２の図である。図２４において、符号２４１０は、前屈動作を実行する動作者が、適切な姿勢をとった際に撮影された動画像データの各フレーム画像を示している。ここでいう適切な姿勢とは、動作パターン＝「ＡＢＣ型」の場合の適切な姿勢（つまり、開始する際の動作者の姿勢、実行している最中の動作者の姿勢、終了する際の動作者の姿勢が適切であること）を指す。
　この場合、符号２４１１に示すように、動作パターン＝「ＡＢＣ型」を適用した場合、動作認識部１２２では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢、終了する際の動作者の姿勢を識別することができる。そして、動作認識部１２２では、マーカ"Ａ"、"Ｂ"、"Ｃ"を適切に付与することができる。この結果、動作認識部１２２では、「前屈動作」を認識することができる。
　また、符号２４１２に示すように、動作パターン＝「ＡＢＢ型」を適用した場合であっても、動作認識部１２２では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢を識別し、マーカ"Ａ"、"Ｂ"、"Ｄ"を適切に付与することができる。この結果、動作認識部１２２では、「前屈動作」を認識することができる。
　一方、図２４において、符号２４２０は、前屈動作を行う動作者が、適切な姿勢をとることができなかった際に撮影された動画像データの各フレーム画像を示している。ここでいう適切な姿勢をとることができなかったとは、動作パターン＝「ＡＢＣ型」の場合の適切な姿勢をとることができなかったことを指す。具体的には、開始する際の動作者の姿勢、実行している最中の動作者の姿勢は適切にとることができたが、終了する際の動作者の姿勢については、動作者が適切にとることができなかったことを指す。
　この場合、符号２４２１に示すように、動作パターン＝「ＡＢＣ型」を適用した場合、動作認識部１２２では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢は識別できるが、終了する際の動作者の姿勢は識別できない。そして、動作認識部１２２では、マーカ"Ａ"、"Ｂ"、"Ｄ"を付与することになる。この結果、動作認識部１２２では、「前屈動作」を認識することができない。
　これに対して、符号２４２２に示すように、動作パターン＝「ＡＢＢ型」を適用した場合、動作認識部１２２では、開始する際の動作者の姿勢、実行している最中の動作者の姿勢を識別し、マーカ"Ａ"、"Ｂ"、"Ｄ"を適切に付与することができる。この結果、動作認識部１２２では、「前屈動作」を認識することができる。
　このように、動作パターンとして「ＡＢＢ型」を適用することで、終了する際の姿勢を適切にとることができない動作者であっても、動作認識部１２２では、「前屈動作」を認識できるようになる。
　以上の説明から明らかなように、第１の実施形態に係る情報処理装置１２０の動作認識部１２２は、姿勢識別部１３０２と認識部１３０４とを有し、
　姿勢識別部１３０２は、
・動画像データに含まれる複数のフレーム画像の中から、動作者の姿勢として、動作者が認識対象の動作を開始する際にとるべき姿勢と、動作者が認識対象の動作を実行している最中にとるべき姿勢とがそれぞれ含まれる第１及び第２のフレーム画像を特定する。
　また、認識部１３０４は、ＡＢＢ型の動作パターンで認識対象の動作を認識する場合において、
・動画像データに含まれる複数のフレーム画像が、第１のフレーム画像から第２のフレーム画像へと遷移し、
・更に、第１及び第２のフレーム画像以外（第１及び第２の画像データ以外）のフレーム画像へと遷移した場合に、
・第１のフレーム画像から第２のフレーム画像までの間、動作者が認識対象の動作を実行していたと認識する。
　このように、ＡＢＢ型の動作パターンのもとで認識対象の動作を認識することで、第１の実施形態によれば、動画像に含まれる複数のフレーム画像において、対象物の認識対象の動作を認識する場合の、認識精度を向上させることできる。
　［第２の実施形態］
　上記第１の実施形態では、認識対象の動作として、「前屈動作」を例に説明したが、認識対象の動作は、「前屈動作」に限定されない。また、認識対象の動作を開始する際の対象物の姿勢、認識対象の動作を終了する際の対象物の姿勢も、任意の姿勢が指定されうるものとする。
　また、上記第１の実施形態では、ノイズを除去する際、同じ種類のマーカが２フレーム以上連続していることを条件としたが、連続するフレーム数は２フレームに限定されない。
　また、上記第１の実施形態では、登録フェーズと動作認識フェーズとで同一の情報処理装置１２０を用いる場合について説明したが、登録フェーズと動作認識フェーズとで別体の情報処理装置を用いてもよい。
　また、上記第１の実施形態では、情報処理装置１２０において、評価部１５０と動作認識部１２２とを、別の機能として説明したが、評価部１５０と動作認識部１２２とは１つの機能として実現されてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００Ａ、１００Ｂ　：評価システム
　１１０　　　　　　　：撮像装置
　１１１　　　　　　　：階層符号化装置
　１２０　　　　　　　：情報処理装置
　１２１　　　　　　　：登録部
　１２２　　　　　　　：動作認識部
　１３３　　　　　　　：映像表示部
　１４０　　　　　　　：撮像装置
　１５０　　　　　　　：評価部
　４０１　　　　　　　：画像データ表示部
　４０２　　　　　　　：動作パターン指定部
　４０３　　　　　　　：姿勢データ指定部
　４０４　　　　　　　：姿勢識別部
　４０５　　　　　　　：動作認識用データ登録部
　４０６　　　　　　　：再生部
　５１０、５２０　　　：登録画面
　５３０　　　　　　　：動作認識用データ
　６１０、６２０　　　：登録画面
　６３０　　　　　　　：動作認識用データ
　７１０、７２０　　　：登録画面
　７３０　　　　　　　：動作認識用データ
　８００　　　　　　　：再生画面
　８１１～８１３　　　：シークバー
　１３０１　　　　　　：動画像データ取得部
　１３０２　　　　　　：姿勢識別部
　１３０３　　　　　　：動作認識用画像特定部
　１３０４　　　　　　：認識部
　１４０１　　　　　　：識別姿勢取得部
　１４０２　　　　　　：判定部
　１６０１　　　　　　：連続性判定部
　１６０２　　　　　　：ノイズ除去部
　１６１１　　　　　　：順序判定部
　１６１２　　　　　　：終了状態判定部

Claims (14)

  1. 　時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第１の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第２の画像データとを特定し、
    　前記対象物の２種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第１の画像データから前記第２の画像データへと遷移し、更に前記第１及び第２の画像データ以外の画像データへと遷移した場合に、前記第１の画像データから前記第２の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、
    　処理をコンピュータに実行させる情報処理プログラム。
  2. 　対象物が前記認識対象の動作を開始する際にとるべき姿勢に関する情報と、対象物が前記認識対象の動作を実行している最中にとるべき姿勢に関する情報とを記憶部に記憶する処理を、前記コンピュータに実行させ、
    　前記記憶部を参照することで、前記第１の画像データと前記第２の画像データとを特定する、請求項１に記載の情報処理プログラム。
  3. 　前記第１及び第２の画像データ以外の画像データが、所定フレーム数以上連続した場合に、前記第１及び第２の画像データ以外の画像データへと遷移したと判定する、請求項１に記載の情報処理プログラム。
  4. 　対象物が前記認識対象の動作を開始する際にとるべき姿勢が含まれる画像データが、所定フレーム数以上連続した場合に、連続した画像データを前記第１の画像データと特定し、
    　対象物が前記認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データが、所定フレーム数以上連続した場合に、連続した画像データを前記第２の画像データと特定する、
    　請求項３に記載の情報処理プログラム。
  5. 　時系列の複数の画像データを表示し、
    　対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付け、
    　表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付け、
    　指定を受け付けた画像データに含まれる対象物の姿勢を識別し、
    　指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶する、
    　処理をコンピュータに実行させるための情報処理プログラム。
  6. 　対象物の２種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
    　　対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる画像データの指定と、
    　　対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定と、
    　を受け付ける、請求項５に記載の情報処理プログラム。
  7. 　対象物の３種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
    　　対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる画像データの指定と、
    　　対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定と、
    　　対象物が認識対象の動作を終了する際にとるべき姿勢が含まれる画像データの指定と、
    　を受け付ける、請求項５に記載の情報処理プログラム。
  8. 　対象物の１種類の姿勢により、認識対象の動作を認識する場合の動作パターンについて指定を受け付けた場合、
    　　対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる画像データの指定
    　を受け付ける、請求項５に記載の情報処理プログラム。
  9. 　前記表示された複数の画像データに含まれる対象物の姿勢が、前記指定を受け付けた画像データに含まれる対象物の姿勢のいずれに該当するかを示す情報を、前記表示された複数の画像データと対応付けて前記記憶部に記憶する、請求項６乃至８のいずれか１項に記載の情報処理プログラム。
  10. 　前記複数の画像データを再生する際、シークバーの各位置の表示態様を、前記記憶部に記憶された情報に応じた表示態様で表示する、請求項９に記載の情報処理プログラム。
  11. 　時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第１の画像データと、対象物が認識対象の動作を実行している最中にとるべき姿勢が含まれる第２の画像データとを特定し、
    　前記対象物の２種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第１の画像データから前記第２の画像データへと遷移し、更に前記第１及び第２の画像データ以外の画像データへと遷移した場合に、前記第１の画像データから前記第２の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する、
    　処理をコンピュータが実行する情報処理方法。
  12. 　時系列の複数の画像データの中から、対象物の姿勢として、対象物が認識対象の動作を開始する際にとるべき姿勢が含まれる第１の画像データと、対象物が認識対象の動作の実行している最中にとるべき姿勢が含まれる第２の画像データとを特定する姿勢識別部と、
    　前記対象物の２種類の姿勢に基づいて前記認識対象の動作を認識する場合において、前記時系列の複数の画像データが、前記第１の画像データから前記第２の画像データへと遷移し、更に前記第１及び第２の画像データ以外の画像データへと遷移した場合に、前記第１の画像データから前記第２の画像データまでの間、前記対象物が前記認識対象の動作を実行していたと認識する認識部と
    　を有する情報処理装置。
  13. 　時系列の複数の画像データを表示し、
    　対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付け、
    　表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付け、
    　指定を受け付けた画像データに含まれる対象物の姿勢を識別し、
    　指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶する、
    　処理をコンピュータが実行する情報処理方法。
  14. 　時系列の複数の画像データを表示する表示部と、
    　対象物により実行される認識対象の動作を認識するための動作パターンについて指定を受け付ける第１の指定部と、
    　表示された前記複数の画像データの中から、前記動作パターンに対応する画像データの指定を受け付ける第２の指定部と、
    　指定を受け付けた画像データに含まれる対象物の姿勢を識別する姿勢識別部と、
    　指定を受け付けた動作パターンと識別した姿勢とを対応付けて記憶部に記憶するデータ登録部と
    　を有する情報処理装置。
PCT/JP2022/024405 2022-06-17 2022-06-17 情報処理プログラム、情報処理方法及び情報処理装置 WO2023243095A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024405 WO2023243095A1 (ja) 2022-06-17 2022-06-17 情報処理プログラム、情報処理方法及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024405 WO2023243095A1 (ja) 2022-06-17 2022-06-17 情報処理プログラム、情報処理方法及び情報処理装置

Publications (1)

Publication Number Publication Date
WO2023243095A1 true WO2023243095A1 (ja) 2023-12-21

Family

ID=89190904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024405 WO2023243095A1 (ja) 2022-06-17 2022-06-17 情報処理プログラム、情報処理方法及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2023243095A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027437A (ja) * 2013-07-01 2015-02-12 株式会社東芝 動作情報処理装置及び方法
JP2017080414A (ja) * 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
WO2019116495A1 (ja) * 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム
JP2020199049A (ja) * 2019-06-10 2020-12-17 Kddi株式会社 コーチングアプリケーションの構築装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027437A (ja) * 2013-07-01 2015-02-12 株式会社東芝 動作情報処理装置及び方法
JP2017080414A (ja) * 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
WO2019116495A1 (ja) * 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム
JP2020199049A (ja) * 2019-06-10 2020-12-17 Kddi株式会社 コーチングアプリケーションの構築装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN JEONG-YIN, SHINJI OZAWA: "Research on sports motion analysis using video image processing ", IEICE TECHNICAL REPORT, 15 May 2008 (2008-05-15), pages 13 - 18, XP009551157 *

Similar Documents

Publication Publication Date Title
JP5035035B2 (ja) 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
US10893207B2 (en) Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
Lee et al. Handy AR: Markerless inspection of augmented reality objects using fingertip tracking
KR100958379B1 (ko) 복수 객체 추적 방법과 장치 및 저장매체
US8971585B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
JP2010519629A (ja) 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス
CN101578613A (zh) 在运动捕捉中使用的标记
JP5247569B2 (ja) 人物追跡装置、人物追跡方法及びプログラム
CN110651298A (zh) 距离图像处理装置、距离图像处理***、距离图像处理方法以及距离图像处理程序
JP2019101919A (ja) 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
JP3836814B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム
JP2005115544A (ja) 動作識別装置、及び対象物の姿勢識別装置
KR101431840B1 (ko) 프레임 시퀀스에서의 모션 캡쳐 마커들의 그룹을 트래킹하는 방법, 장치 및 시스템, 및 저장 매체
WO2023243095A1 (ja) 情報処理プログラム、情報処理方法及び情報処理装置
US20210158032A1 (en) System, apparatus and method for recognizing motions of multiple users
JP2010146522A (ja) 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP2010193406A (ja) 画像入力装置及び被写体検出方法、プログラム
JP2003256850A (ja) 動き認識装置および画像処理装置並びにプログラム
JP2021068443A (ja) 手の動作の検出方法及び装置
JP2003308532A (ja) 受動的光学式モーションキャプチャデータの処理法
EP2784720B1 (en) Image processing device and method
JP7253872B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPH08279044A (ja) パターン認識装置およびジェスチャ認識装置
JP2007257489A (ja) 画像処理装置および画像処理方法
JP6929043B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946910

Country of ref document: EP

Kind code of ref document: A1