WO2019035586A1 - 자세 가이드 제공 방법 및 그 장치 - Google Patents

자세 가이드 제공 방법 및 그 장치 Download PDF

Info

Publication number
WO2019035586A1
WO2019035586A1 PCT/KR2018/008908 KR2018008908W WO2019035586A1 WO 2019035586 A1 WO2019035586 A1 WO 2019035586A1 KR 2018008908 W KR2018008908 W KR 2018008908W WO 2019035586 A1 WO2019035586 A1 WO 2019035586A1
Authority
WO
WIPO (PCT)
Prior art keywords
tutoring
line
user
posture
image
Prior art date
Application number
PCT/KR2018/008908
Other languages
English (en)
French (fr)
Inventor
강다겸
Original Assignee
강다겸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180067791A external-priority patent/KR101986327B1/ko
Application filed by 강다겸 filed Critical 강다겸
Publication of WO2019035586A1 publication Critical patent/WO2019035586A1/ko
Priority to US16/793,871 priority Critical patent/US10898755B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services

Definitions

  • the present invention relates to a method and apparatus for providing an attitude guide. And more particularly, to a method and apparatus for providing an attitude guide through image analysis of a user's attitude.
  • a service for providing an image analysis of a user's motion such as a movement posture, a dance motion, and a rehabilitation posture, and providing feedback to a user on a correct posture.
  • a service analyzes a user's posture by detecting movement of a user's body joint by photographing with a three-dimensional camera or attaching a sensor to a user's body to extract motion. Also, the analysis result of the user's posture is compared with a reference posture stored in advance to provide feedback.
  • Such services are advantageous in that users can utilize them without restriction of time and space.
  • expensive equipment such as a three-dimensional camera or a sensor should be purchased.
  • the user himself or herself must install the purchased equipment or wear the sensor equipment directly to the body.
  • the above-mentioned services provide feedback information by simply comparing only the pre-stored reference posture with the posture of the user, so that the disadvantage of not providing customized feedback to the current state of the user have.
  • the guide information on the user attitude can not be dynamically changed and provided.
  • the present invention provides a method of measuring a user's attitude, comparing a user's attitude with a tutoring image provided to the user, and providing feedback information on the attitude to the user.
  • a posture guide providing method performed by a posture guide providing apparatus using a predetermined machine learning model, the method comprising: acquiring an image of a user posture; Displaying a tutoring image in a region of the display section, displaying the obtained image in a second area of the display section, extracting a feature point from the obtained image, and extracting a user attitude corresponding to the user attitude based on the extracted feature point
  • the image and the posture It may comprise the step of displaying a combination of id information.
  • generating the posture guide information for guiding the user posture may include extracting a tutoring line from the tutoring image, associating the user posture line with the tutoring line, And scaling the corresponding user attitude line, based on the scaling result, and generating the posture guide information based on the scaling result.
  • generating the posture guide information for guiding the user posture may include extracting a tutoring line from the tutoring image, identifying a posture stop line in the tutoring line, Extracting information of a line corresponding to the posture stop line, and generating the posture guide information based on the information of the posture stop line and the corresponding line.
  • the step of generating posture guide information for guiding the user posture includes extracting a tutoring line from the tutoring image and extracting an object line corresponding to the tutoring line from the user posture line And generating a tutoring target line corresponding to the tutoring line having the changed angle when the angle of the tutoring line is changed by the tutoring motion.
  • combining and displaying the obtained image and the orientation guide information may further include displaying the generated tutoring target line in the second area, and displaying the angle of the created tutoring target line and the angle of the object line Generating a guide line for guiding the object line toward the tutoring target line based on the difference, and displaying the generated guide line in the second area.
  • the step of displaying the generated guide line in the second area may include modifying at least one of length and direction in response to movement of the object line based on the generated tutoring target line, ≪ / RTI >
  • the step of displaying the generated guide line in the second area may include determining whether the object line and the tutoring target line are matched with the movement of the object line, , Generating feedback information on the user attitude, and displaying the generated feedback information.
  • the step of displaying the feedback information may include changing and displaying the color of the tutoring target line as the object line and the tutoring target line overlap for a predetermined time.
  • the step of displaying the feedback information may include: calculating a first angle difference between the object line and the tutoring target line after the movement of the object line occurs; Generating a first modified tutoring image for the tutoring image and outputting the replaced first tutoring image in the first area with the first corrected tutoring image if the setting range is exceeded have.
  • the step of determining whether the object line and the tutoring target line are matched includes a first calculation of an angular difference between the object line and the tutoring target line after the motion of the object line occurs, Counting the number of times that one calculated angle difference has a value within a predetermined range, and determining whether the object line and the tutoring target line are matched based on the counted number.
  • extracting a first modified tutoring line from the first modified tutoring image and, when the angle of the first modified tutoring line is changed by a tutoring motion comprising: generating a first modified tutoring target line corresponding to the object line and the first modified tutoring target line; displaying the generated first modified tutoring target line in the second area; A second calculation of the angular difference of the tutoring target line, and a step of regenerating the posture guide information based on the second calculated angle difference.
  • regenerating the posture guide information may include generating a second modified tutoring image for the tutoring image if the second calculated angular difference is within a predetermined range.
  • the step of generating the first corrected tutoring image may include the steps of acquiring the biometric information of the user from the biometric information recognizing apparatus and generating the first corrected tutoring image based on the obtained biometric information Step < / RTI >
  • the step of determining whether the object line and the tutoring target line are matched based on the counted number may include: when the counted number is less than a predetermined number of times, Wherein the step of generating feedback information on the user attitude includes generating the feedback information based on the obtained biometric information.
  • a computer readable recording medium storing a computer readable recording medium storing a computer readable recording medium storing a computer readable recording medium having computer readable program code embodied therein, Extracting feature points from the obtained image using a predetermined machine learning model and generating a user attitude line corresponding to the user attitude based on the extracted feature points, Generating the posture guide information for guiding the user attitude based on the tutoring image and the user attitude information, combining the obtained image and the attitude guide information in the second area of the display unit Display stage May be stored on a recording medium in order to execute the system.
  • an apparatus for providing a posture guide comprising: at least one processor; a camera for acquiring an image of a user's posture; a display unit for displaying a tutoring image in a first area, A memory for loading a computer program executed by the processor and a storage for storing the computer program, the computer program comprising: extracting a feature point from the acquired image using a predetermined machine learning model; And generating a user attitude line corresponding to the user attitude based on the extracted minutiae, thereby generating a user attitude line for acquiring user attitude information, an operation for guiding the user attitude based on the tutoring image and the user attitude information posture An operation for generating guide information, and an operation for controlling the combined image and the orientation guide information to be displayed on the second area of the display unit.
  • the attitude guide solution is applied to the two-dimensional camera and the display device, so that the service can be used.
  • a solution can be used not only for a simple motion and a dance motion but also for a posture guide service in the field of rehabilitation exercise, and its application can be extended in all cases where the user's posture and motion are required to be measured.
  • a service in which a user can calibrate a posture in real time is provided by providing a degree of correction required in a user's posture as a visual guide in real time.
  • an optimal posture is guided to a user by analyzing a current state of a user and correcting a presenting tutoring posture.
  • FIG. 1 is a conceptual diagram of an apparatus for providing an orientation guide according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an apparatus for providing an attitude guide according to another embodiment of the present invention.
  • FIG. 3 is a flowchart of a method of providing an orientation guide according to another embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for describing an image of a tutoring image and a user's posture, which is referred to in some embodiments of the present invention.
  • Figures 5 and 6 are illustrations for illustrating guide information, which is referenced in some embodiments of the present invention.
  • Figs. 7 and 8 are illustrations for explaining posture guide information generated based on posture information, which is referred to in some embodiments of the present invention. Fig.
  • 9 and 10 are illustrations for explaining a plurality of object lines, which are referred to in some embodiments of the present invention.
  • 11 and 12 are illustrations for explaining a user attitude recognition solution when a user moves a position, which is referred to in some embodiments of the present invention.
  • FIG. 13 is a flowchart of a method of adjusting a tutoring level according to another embodiment of the present invention.
  • an image and a tutoring image for a user attitude may be a moving image including a plurality of image frames.
  • the tutoring image may be an image in which the tutor repeats a particular action, and according to some embodiments, the particular action may be a yoga action, a pilates action, a rehabilitative exercise action, . ≪ / RTI >
  • FIG. 1 is a conceptual diagram of an apparatus for providing an orientation guide according to an embodiment of the present invention.
  • the posture guide providing apparatus 100 may be a fixed computing apparatus such as a personal desktop PC or a smart TV, and may be a multimedia reproducing apparatus including a display unit 10 and a camera 20.
  • the embodiment of the present invention is not limited to this. That is, the attitude-guide providing apparatus 100 may be a portable computing device such as a smart phone, a tablet PC, a laptop PC, a PDA, or a computing device such as a virtual reality (VR) image device and an Augmented Reality And may be an apparatus 100 for providing an orientation guide if it can display an image of the user's attitude.
  • VR virtual reality
  • the attitude-guide providing apparatus 100 can acquire an image for the user 40 via the camera 20 and display the obtained user image 41 through the display unit 10. [ Further, the attitude-guide providing apparatus 100 may display a tutoring image 30 for tutoring the user.
  • the tutoring image 30 may be an image of a virtual tutor generated and output by execution of a program stored in advance, or may be an image reproduced after a tutoring image of an actual tutor is photographed. Alternatively, it may be a processed image based on the tutoring image of the actual tutor.
  • the attitude-guide providing apparatus 100 acquires the user's posture image 41 of the user 40 who follows the tutoring posture by viewing the tutoring image 30 and acquires the user posture image 41 in the tutoring image 30
  • the degree of matching can be provided as the feedback information 50.
  • the feedback information 50 is located on the right side of the tutoring image 30 and the user attitude image 41 but the embodiment of the present invention is not limited to this, And may be located at the lower end of the user orientation image 41.
  • the above-described attitude-guide providing apparatus 100 of FIG. 1 can be connected to or communicate with a wearable device or a body-contact sensor for acquiring biometric information of a user, in addition to the above-described configuration.
  • the posture-guide providing apparatus 100 can collect status information such as the user's muscle activity information by connecting or communicating with the electromyography measuring apparatus.
  • 1 is an example in which the camera 20 and the display unit 10 are integrated with each other, according to another embodiment of the present invention, the camera 20 and the display unit 10 10 may be provided separately from the posture guide providing apparatus 100.
  • the camera 20 and the display unit 10 may not be the equipment specialized in the apparatus 100 for providing an orientation guide according to the embodiment of the present invention but may be applied to the apparatus for providing an orientation guide 100 as general purpose equipment.
  • FIG. 2 is a block diagram of an apparatus 100 for providing an orientation-guiding guide according to another embodiment of the present invention.
  • the posture guide providing apparatus 100 includes the camera 20 and the display unit 10 as constituent elements.
  • the attitude guide providing apparatus 100 includes at least one processor 101, a network interface 102 to which an external device is connected or communicates with an external device, a memory (not shown) for loading a computer program executed by the processor 101 103, and a storage 104 for storing computer programs.
  • the processor 101 controls the overall operation of each configuration of the attitude-guide providing apparatus 100.
  • the processor 101 may be configured to include a Central Processing Unit (CPU), a Micro Processor Unit (MPU), a Micro Controller Unit (MCU), or any type of processor well known in the art.
  • the processor 101 may also perform operations on at least one application or program to perform the method according to embodiments of the present invention.
  • the attitude-guide providing apparatus 100 may include one or more processors.
  • the network interface 102 supports wired / wireless Internet communication of the attitude-guide providing apparatus 100.
  • the network interface 102 may support various communication methods other than the Internet, which is a public communication network.
  • the network interface 102 may provide a connection with an external device.
  • the network interface 102 may comprise at least one of a communication module and a connection terminal well known in the art.
  • the external device may be a sensor for measuring the user's electromyogram, a wearable device for measuring the user's biometric information, or a body contact type sensor device.
  • the memory 103 stores various data, commands and / or information.
  • the memory 103 may load one or more programs 105 from the storage 104 to execute methods in accordance with embodiments of the present invention.
  • RAM is shown as an example of the memory 103 in Fig.
  • the storage 104 may non-provisionally store the one or more programs 105, the tutoring attitude data 106, and the learning data 107.
  • the attitude-guiding software 105 is shown as an example of the one or more programs 105.
  • FIG. The attitude-guide providing software 105 may be referred to as an attitude-guiding providing program.
  • the storage 104 may be a nonvolatile memory such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an Electrically Erasable Programmable ROM (EEPROM), a flash memory or the like, a hard disk, a removable disk, And any form of computer-readable recording medium known in the art.
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • the attitude-guide providing software 105 can support the attitude-guide providing apparatus 100 to provide various user interfaces (UI) through the display unit 10 according to an embodiment of the present invention.
  • the posture guide providing software 105 may include a machine learning model generated based on the learning data 107 to be described later.
  • the machine learning model may include an artificial neural network and may include a convolution neural network (CNN), an auto encoder, a feedforward neural network, a radial basis function network ), A Kohnon self-organizing network, and a recurrent neural network (RNN).
  • CNN convolution neural network
  • RNN recurrent neural network
  • the machine learning model is based on a convolutional neural network
  • the feature values of the user orientation image 41 are filtered, Only certain values of pixels are newly acquired. By repeating this learning, desired feature points can be extracted.
  • the feature point may be a part of the body which is a joint part of the user's body.
  • the feature point is a part of the body that the processor 101 can grasp by executing the posture guide providing program 105.
  • the feature point may be an eye, a nose, a mouth, a shoulder, an elbow, a wrist, A knee, an ankle, or a point corresponding to a part of the body.
  • the learning data 107 may be minutia point extraction result data accumulated through such machine learning. Alternatively, the learning data 107 may be feed data as the minutia data for the machine learning modeling.
  • the attitude-guide providing software 105 is an algorithm in which such a machine learning model is extended. By operating the attitude-guiding providing software 105, the attitude-guide providing apparatus 100 can perform the following functions.
  • the posture providing apparatus 100 can recognize, analyze, and link feature points using a confidence map. Also, the posture guide providing apparatus 100 can associate each feature point by analyzing the directionality and similarity based on the feature points using, for example, PAF (Part Affinity Fields). That is, the posture providing apparatus 100 can create a line by associating and connecting each feature point, and the generated line corresponds to the bones of the user's body. For example, the line connecting the minutiae of the wrist and the minutiae of the elbow corresponds to a human beneath the elbow.
  • PAF Part Affinity Fields
  • the posture guide providing apparatus 100 can analyze the motion of the minutiae points using, for example, the Greedy algorithm. By continuously tracking the line, the posture guide providing apparatus 100 can identify the movement of the line corresponding to the user's posture.
  • the confidence map refers to a function of displaying the elasticity data of the tissue in accordance with the reliability.
  • Part Affinity Fields (PAFs) refer to the use of nonparameters to associate body parts with individuals in an image.
  • the Greedy algorithm is an algorithm that solves the whole problem while making greedy choices at every moment when solving the whole problem.
  • the machine learning model extracts feature points corresponding to a plurality of parts of the user's body on each frame of the user image continuously input to the attitude-guide providing apparatus 100, analyzes the association between the feature points, . ≪ / RTI > Accordingly, the machine learning model can generate lines by connecting the determined minutia information.
  • Tutoring attitude data 106 may be continuous attitude data, including a plurality of tutor image frames.
  • the tutor attitude data 106 may include minutiae and / or line information on the tutor image.
  • the attitude-guide providing apparatus 100 can create or modify a tutoring image by utilizing the tutoring attitude data 106 by executing the attitude-guiding software 105.
  • the attitude-guide providing apparatus 100 may scale the user's attitude image based on the tutor image on the tutor attitude data 106 by executing the attitude-guide providing software 105.
  • the attitude-guide providing apparatus 100 may include an acoustic output unit for outputting feedback information according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method of providing an orientation guide according to another embodiment of the present invention.
  • 4 is an exemplary diagram for describing an image of a tutoring image and a user's posture, which is referred to in some embodiments of the present invention.
  • each of the following steps is performed by the posture guiding apparatus 100, and in particular, each of the following steps is performed as the processor 101 performs an operation according to the posture guiding software 105.
  • the first region of the display unit 10 is the left region where the tutor image is displayed, and the second region is the right region where the user orientation image is displayed.
  • the degree of feedback is displayed in the lower region of the first region and the second region is illustrated.
  • the posture guide providing apparatus 100 can acquire an image of the user's posture through the camera 20 (S10).
  • the posture guide providing apparatus 100 may display the tutoring image 30 in the first area of the display unit 10 and the acquired image 41 in the two areas (S20).
  • the attitude-guide providing apparatus 100 can extract a feature point from the acquired image 41 (S30). Further, the attitude-guide providing apparatus 100 can acquire user attitude information by generating a user attitude line corresponding to the user attitude based on the extracted feature points (S40).
  • the user attitude information may be information such as an angle and a length between the skeletons constituting the user attitude. The description of the user attitude line will be described later with reference to Fig.
  • the posture guide providing apparatus 100 may generate posture guide information for guiding the user posture (S50), and may combine and display the obtained user posture image and posture guide information (S60).
  • Fig. 5 and 6 are exemplary diagrams for describing posture guide information, which is referred to in some embodiments of the present invention.
  • the posture-guide providing apparatus 100 can display a tutoring motion in the tutoring image 30.
  • FIG. 5 as an example of the tutoring motion 501, there is a case where the tutor changes the operation to move downward (hereinafter referred to as a second operation) in an operation of holding both arms up Respectively.
  • the attitude-guide providing apparatus 100 can identify the tutoring motion 501 and, in response to the tutoring motion 501, acquires an image of the user's attitude when the user's attitude is changed, can do. At this time, the posture guide providing apparatus 100 displays an image of the user's posture in the second area, and can display the posture guide information for both arms of the user. 5, attitude guiding lines 511 and 521 are shown as an example of attitude guiding information, and attitude guiding line 511 and attitude guiding line 521 are used to guide the movement of a skeleton, Line. In particular, although the guideline is indicated by a directional arrow, the embodiment of the present invention is not limited thereto.
  • the posture guide providing apparatus 100 may display feedback information.
  • the feedback information may include guide information in a text format while the user's posture image is moving.
  • a text for correcting the right shoulder posture may be displayed as guide information.
  • the feedback information when the user's posture image is stopped for a predetermined time or more may include the matching rate of the tutoring image and the user's posture image.
  • the posture guide providing apparatus 100 can determine that the user has moved along with the tutoring image and the movement operation is completed. Accordingly, the posture guide providing apparatus 100 may analyze the similarity of the tutoring image and the user's posture image, and may display information obtained by digitizing the degree of similarity.
  • the feedback information may include a matching rate of time required for the tutoring image to change from the first operation to the second operation according to the tutoring motion and the time required for the user's posture image to change in response thereto.
  • the posture guide information may include not only guide lines 603 and 605 but also a tutoring target line 601. [ In Figure 6, as the tutor raises both arms on the tutoring image 30, the tutoring target line 601 on the user attitude image 41 is displayed and the guideline 603,605 for the user attitude image 41 Is displayed is shown as an example.
  • the tutoring target line is a line corresponding to the tutoring line extracted based on the attitude of the tutor on the tutoring image 30 displayed in the first area. That is, the tutoring line is an action line to be followed by the user posture image, but may be displayed in the first area, and may inconvenience to directly compare with the user posture image. Accordingly, the attitude-guide providing apparatus 100 takes the tutoring target line 601 corresponding to the tutoring line of the first area as the target line of the user's attitude image, and supplies it to the user attitude image 41 To display on the second area.
  • the tutoring target line 601 may be a line where the tutoring line is adjusted by the attitude-guide providing apparatus 100 on the basis of the user's posture image 41.
  • the orientation-guide providing apparatus 100 determines that the user orientation image 41 follows the tutoring target line 601, Lines 603 and 605 can be displayed.
  • the posture guide providing apparatus 100 sets the time for which the angle change lasts one As a time limit of the tutoring motion of the user.
  • the attitude-guide providing apparatus 100 may measure the time the user orientation image 41 moves along the tutoring target line 601 to determine whether the user follows the guide of the tutoring motion.
  • a user attitude line 620 is shown on the user attitude image 41.
  • the user attitude line is a line connected to minutiae points extracted on the user attitude image, and can be generated by the attitude guide providing apparatus 100 according to the method described above with reference to Fig.
  • Figs. 7 and 8 are illustrations for explaining posture guide information generated based on posture information, which is referred to in some embodiments of the present invention. Fig.
  • the attitude-guide providing apparatus 100 may extract a tutoring line from the tutoring image 30 and associate a user attitude line with the tutoring line.
  • the attitude-guide providing apparatus 100 can extract the tutoring lines 701, 702, 703, 705, and 707 from the tutoring image 30, The lines 711, 712, 713, 715, and 717 can be extracted. Next, the attitude-guide providing apparatus 100 can associate the user attitude lines 711, 712, 713, 715, and 717 with the tutoring lines 701, 702, 703, 705, and 707, respectively.
  • the corresponding user attitude line and the tutoring line have different lengths and ratios. That is, the lengths of the tutoring line 703 and the user attitude line 713 corresponding to the body are different from each other, and thus the ratio of the two is different.
  • the mutual length ratio of the tutoring line 703 to the torso and the tutoring line 705 to the arm is different from the ratio of the mutual lengths of the user attitude line 713 to the torso and the user attitude line 715 to the arm .
  • the amount of movement when a specific angle is generated between the tutoring line 703 for the body and the tutoring line 705 for the arm by the tutoring motion may be different from each other.
  • the posture guide providing apparatus 100 In order to prevent the occurrence of side effects such as improper posture or excessive exercise amount when the posture and motion amount have a significant influence on the health of the user as in the rehabilitation exercise of the tutoring motion, the posture guide providing apparatus 100, The user attitude line can be scaled. That is, the length and the ratio of each user's attitude line can be scaled according to the length and the ratio of the tutoring line, and the attitude-guide providing apparatus 100, after such scaling, Can be generated.
  • the guideline and the tutoring target line described above in the description of Figures 5 and 6 can be customized based on the user attitude image. More specifically, the angles of the tutoring line and the tutoring target line after the tutoring motion may be different from each other.
  • the attitude-guide providing apparatus 100 may identify a tutoring line 705 to which a tutoring motion is applied on the tutoring image. Further, the attitude-guide providing apparatus 100 can extract the object line 715 corresponding to the identified tutoring line 705 among the user attitude lines.
  • the object line means a user attitude line to be a target of movement along a tutoring motion.
  • the attitude guide providing apparatus 100 may generate a tutoring target line corresponding to the tutoring line 705 when the angle of the tutoring line 705 is changed by the tutoring motion.
  • the tutoring target line 730 is shown by way of example.
  • the attitude-guide providing apparatus 100 can display the tutoring target line 730 created in the second area.
  • the attitude-guide providing apparatus 100 can display the tutoring target line created in the second area in step S60 of Fig.
  • the posture guide providing apparatus 100 may generate a guide line for guiding the object line toward the tutoring target line based on the angular difference between the generated tutoring target line and the object line.
  • a guideline 720 is shown by way of example.
  • the attitude-guide providing apparatus 100 can display the generated guide line 720 in the second area.
  • the posture guide providing apparatus 100 can identify the posture stop line among the tutoring lines 701, 702, 703, 705, and 707.
  • the posture stop line is a line excluding the tutoring line 705 by the tutoring lines 701, 702, 703, and 707.
  • the attitude-guide providing apparatus 100 can extract information on the user attitude lines 711, 712, 713, and 717 corresponding to the attitude stop line.
  • the posture guiding apparatus 100 may generate posture guide information based on the information of the posture stop line and the corresponding line. 7, the angle between the tutoring line 701 and the tutoring line 703 in the posture stop line is inclined, and the user posture line 711 and the user posture line 713 are straight lines. That is, the dynamic structure of the remaining posture stop lines other than the operation line 705 is different from the dynamic structure of the rest of the user posture lines other than the object line 715. In this case, even if the tutoring motion is applied equally, the momentum of the tutor on the tutoring image and the momentum on the user's posture image may be different from each other.
  • the attitude-guide providing apparatus 100 may calculate at least one of the length and the angle of the guide line and the tutor target guide based on the calculation of the amount of exercise suitable for the user in consideration of different dynamic structures.
  • the attitude guide providing apparatus 100 judges the matching rate of the tutoring target line and the user attitude line by comparing the coordinates of the minutiae points on the tutoring target line and the user attitude line, May be generated.
  • the posture guide providing apparatus 100 can display the guide line 720 generated in the second area, and based on the generated tutoring target line 730, 715 in response to the motion of at least one of the length and direction. That is, with reference to the tutoring target line, as the user moves, the object line 715 approaches toward the tutoring target line and the angle decreases. In this case, the guideline 720 gradually decreases in length and angle.
  • the attitude-guide providing apparatus 100 can determine whether the object line and the tutoring target line match each other.
  • the attitude-guide providing apparatus 100 may generate feedback information on the user's posture and display feedback information based on the determination result of the matching.
  • the posture guide providing apparatus 100 may display and change the color of the tutoring target line as the object line 715 and the tutoring target line overlap for a preset time. That is, when the user moves along the tutoring motion, the user's attitude line is positioned on the tutoring target line, and when the user's tutoring posture line is located beyond the preset time on the tutoring target line, Can change the color of the tutoring target guide of the first color to the second color and display it.
  • 9 and 10 are illustrations for explaining a plurality of object lines, which are referred to in some embodiments of the present invention.
  • the posture guide providing apparatus 100 can identify that the user posture line corresponding to the tutoring line 901 is incorrect because the user posture line 912 has moved, even though the user posture line is the object line 911 .
  • the posture guide providing apparatus 100 can identify the object line 911 and generate guide information therefor. That is, the posture guide providing apparatus 100 can control the display of the guideline 920 for the object line 911.
  • FIG. 10 the user attitude image shown in Fig. 9 has been changed, and a case where the user holds both arms and legs is shown as an example.
  • the posture guiding apparatus 100 can generate posture guiding information for the object line 1014 in the same manner as in the case of Fig.
  • the posture guide providing apparatus 100 can identify the lines 1011 and 1012 corresponding to the user's arms, which were not object lines in Fig. 9, as object lines. That is, the posture guide providing apparatus 100 can identify the new object lines 1011 and 1012 in correspondence with the change of the attitude of the user as compared with FIG. 9, and generate posture guide information therefor.
  • 10, guidelines 1021 and 1022 are shown as examples of generated posture guide information.
  • 11 and 12 are illustrations for explaining a user attitude recognition solution when a user moves a position, which is referred to in some embodiments of the present invention.
  • the posture-guide providing apparatus 100 is able to receive the tutoring line and the corresponding posture line Can be identified. That is, even if the user walks to the left or right with reference to the center position 1100, the machine learning model of the posture-guide providing apparatus 100 continues to extract the corresponding feature points by tracking the feature points, Can be generated.
  • FIG. 13 is a flowchart of a method of adjusting a tutoring level according to another embodiment of the present invention.
  • the user's motion may be a case of negligence or a problem in the user's physical condition.
  • a problem occurs in the user's physical condition.
  • the case where a problem occurs in the user's physical condition may be a case where the user can not follow the sudden tutoring motion due to injury or the like, or the user has difficulty in tutoring motion or in the case of rehabilitation exercise, it is difficult to extinguish the motion yet.
  • the orientation-guide providing apparatus 100 may display the tutoring target line and the guide line on the second area in step S60 of FIG. 3 (S1301).
  • the posture guide providing apparatus 100 can first calculate the angle difference between the object line and the tutoring target line (S1303).
  • the first calculation means an angle calculation between the object line corresponding to the user's attitude and the tutoring target line prior to adjustment of the tutoring level
  • the attitude-guide providing apparatus 100 can determine that the first calculated angle difference does not exceed a predetermined range (S1305). As a result of the determination, if the first calculated angular difference exceeds a preset range, the orientation-guide providing apparatus 100 can adjust the tutoring level (S1307). For example, the posture guiding apparatus 100 may generate a first modified tutoring image for the tutoring image. The first modified tutoring image may be slower, the number of times smaller, or the moving angle lower than that of the existing tutoring image. That is, the angle of the tutoring target line may be lowered or the length of the guiding line may be reduced so that the user can easily follow the tutoring target line. Next, the attitude-guide providing apparatus 100 may output the tutoring image being displayed in the first area by replacing it with the first corrected tutoring image. Accordingly, the operation of the tutor on the tutorial image is changed to an image that is easy for the user to follow and is output.
  • the posture-guide providing apparatus 100 can extract a first modified tutoring line from the first corrected tutoring image.
  • the description thereof is the same as that described with reference to FIG.
  • the attitude-guide providing apparatus 100 When the angle of the first modified tutoring line is changed by the tutoring motion, the attitude-guide providing apparatus 100 generates a first modified tutoring target line corresponding to the first modified tutoring line having the changed angle, Area.
  • the attitude-guide providing apparatus 100 can further calculate the angle difference between the object line and the first corrected tutoring target line after the motion of the object line occurs. Further, the attitude-guide providing apparatus 100 may regenerate the attitude-guiding information based on the second calculated angle difference. For example, after lowering the tutoring level in step S1307, the user follows the low-level tutoring level well. In this case, the attitude-guide providing apparatus 100 may calculate a second angle difference between the object line and the first corrected tutoring target line, and generate a second corrected tutoring image based on the second calculated result.
  • the second modified tutoring image may be faster in speed, higher in frequency, or larger in movement angle than the first modified tutoring image. That is, the attitude-guide providing apparatus 100 can increase the tutoring level by changing the attitude-guiding information about the user's attitude.
  • the orientation-guide providing apparatus 100 determines whether the first calculated angle difference is within the preset range. If it is determined in step S1305 that the first calculated angle difference is within the preset range, the orientation-guide providing apparatus 100 generates the orientation-guide information, Lines can be generated and displayed. Further, the attitude-guide providing apparatus 100 may count the number of times that the first calculated angle difference has a value within a preset range. For example, when the preset range is an angle of 10 degrees, when the angle between the object line and the tutoring target line is 10 degrees or less and counted seven or more times for a total of 10 repetitions, The providing apparatus 100 may determine that the object line and the tutoring target line are matched based on this.
  • the attitude-guide providing apparatus 100 may generate the first modified tutoring image, but it may improve the accuracy of the adjusting of the tutoring level by acquiring the biometric information and checking the user's physical condition .
  • the attitude-guide providing apparatus 100 may acquire the biometric information of the user from the biometric information recognizing device, and may generate the first modified tutoring image based on the obtained biometric information.
  • the biometric information recognizing device may be an electromyography measuring device, and may acquire the user's physical condition information and provide the information to the attitude-guide providing device 100.
  • the attitude-guide providing apparatus 100 can count the number of times that the first calculated angular difference has a value within a predetermined range, and when the counted number is less than a preset number of times, Information can be obtained.
  • the attitude-guide providing apparatus 100 can generate feedback information based on the acquired biometric information.
  • the methods according to embodiments of the present invention described above with reference to the accompanying drawings can be performed by the execution of a computer program embodied in computer readable code.
  • the computer program may be transmitted from a first computing device to a second computing device via a network, such as the Internet, and installed in the second computing device, thereby enabling it to be used in the second computing device.
  • the first computing device and the second computing device all include mobile computing devices such as a server device, a fixed computing device such as a desktop PC, a notebook, a smart phone, and a tablet PC.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 자세 가이드 제공 방법은, 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함할 수 있다.

Description

자세 가이드 제공 방법 및 그 장치
본 발명은 자세 가이드 제공 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 사용자의 자세에 대한 이미지 분석을 통해 자세 가이드를 제공하는 방법 및 장치에 관한 것이다.
최근, 운동 자세, 춤 동작, 재활 자세 등 사용자의 모션을 영상 분석하고, 사용자에게 올바른 자세에 대한 피드백을 제공하는 서비스가 제공되고 있다. 이와 같은 서비스는, 3차원 카메라로 촬영하여 사용자의 신체 관절을 움직임을 검출하거나, 사용자의 신체에 센서를 부착하여 움직임을 추출함으로써, 사용자의 자세를 분석한다. 또한, 사용자의 자세에 대한 분석 결과를, 미리 저장된 기준 자세와 비교하여 피드백을 제공한다.
이와 같은 서비스들을, 사용자가 시간 및 공간의 제약없이 이용할 수 있는 장점이 있지만, 서비스 이용을 위해서는, 3차원 카메라 또는 센서와 같이 고가의 장비를 구매해야 한다. 또한, 구매한 장비를 사용자가 스스로 적절한 위치에 설치해야 하거나, 신체에 직접 센서 장비를 착용해야 하는 불편함이 발생한다. 또한, 전술한 서비스들은, 사용자에게 피드백을 제공함에 있어, 미리 저장된 기준 자세와 사용자의 자세만을 단순 비교하여 피드백 정보를 제공하므로, 자세를 취하고 있는 사용자의 현재 상태에 맞춤형 피드백을 제공하지 못하는 단점이 있다. 또한, 사용자의 현재 상태에 반응하여, 사용자 자세에 대한 가이드 정보를 동적으로 변경하여 제공하지 못하였다.
그럼에도, 고가의 장비 없이 단순히 2차원 카메라로 촬영된 영상에 대하여, 기계 학습 기반의 사용자 자세 측정을 통해 사용자의 현재 상태에 맞춤형 피드백을 제공하고, 동적으로 가이드 정보를 제공하는 서비스는 제공되지 않고 있다.
본 발명이 해결하고자 하는 기술적 과제는, 딥러닝 솔루션을 이용하여 사용자의 자세를 측정하고, 사용자에게 자세 가이드 정보를 제공하는 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 기술적 과제는, 사용자의 자세를 측정하고, 사용자에게 제공되는 튜터링 이미지와 사용자 자세를 비교하여, 사용자에게 자세에 대한 피드백 정보를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자의 자세로부터 사용자의 현재 상태를 분석하고, 분석된 사용자의 현재 상태를 기초로, 사용자 맞춤형 튜터링 이미지를 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 튜터링 이미지와 사용자의 자세를 비교하여, 사용자에게 요구되는 실시간 자세 가이드 정보를 디스플레하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 방법은, 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 사용자 자세 라인을 상기 튜터링 라인에 대응시키는 단계와 상기 튜터링 라인을 기초로, 상기 대응된 상기 사용자 자세 라인을 스케일링 하는 단계와 상기 스케일링 결과를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 튜터링 라인 중, 자세 정지 라인을 식별하는 단계와 상기 사용자 자세 라인 중, 상기 자세 정지 라인에 대응되는 라인의 정보를 추출하는 단계와 상기 자세 정지 라인 및 상기 대응되는 라인의 정보를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 사용자 자세 라인 중, 상기 튜터링 라인에 대응되는 오브젝트 라인을 추출하는 단계와 상기 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 튜터링 라인에 대응되는 튜터링 타겟 라인을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계는, 상기 제2 영역에 상기 생성된 튜터링 타겟 라인을 디스플레이하는 단계와 상기 생성된 튜터링 타겟 라인과 상기 오브젝트 라인의 각도 차이를 기초로, 상기 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성하는 단계와 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는, 상기 생성된 튜터링 타겟 라인을 기초로, 상기 오브젝트 라인의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 상기 가이드 라인을 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는, 상기 오브젝트 라인이 움직임에 따라, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계와 상기 판단 결과를 기초로, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계와 상기 생성된 피드백 정보를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 피드백 정보를 디스플레이하는 단계는, 상기 오브젝트 라인 및 상기 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 상기 튜터링 타겟 라인의 색상을 변경하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 피드백 정보를 디스플레이하는 단계는, 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계와 상기 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 상기 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성하는 단계와 상기 제1 영역에 디스플레이 중인 상기 튜터링 이미지를, 상기 제1 수정 튜터링 이미지로 교체하여 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는, 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계와 상기 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트하는 단계와 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출하는 단계와 상기 제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하는 단계와 상기 제2 영역에 상기 생성된 제1 수정 튜터링 타겟 라인을 디스플레이하는 단계와 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하는 단계와 상기 제2 연산된 각도 차이를 기초로, 상기 자세 가이드 정보를 재생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 자세 가이드 정보를 재생성하는 단계는, 상기 제2 연산된 각도 차이가 미리 설정된 범위 이내인 경우, 상기 튜터링 이미지에 대한 제2 수정 튜터링 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 수정 튜터링 이미지를 생성하는 단계는, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계와 상기 획득된 생체 정보를 기초로, 상기 제1 수정 튜터링 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는, 상기 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계를 포함하고, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계는, 상기 획득된 생체 정보를 기초로, 상기 피드백 정보를 생성하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 프로그램은 컴퓨팅 장치와 결합하여, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 실행시키기 위하여, 기록매체에 저장될 수 있다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 장치는, 하나 이상의 프로세서와 사용자 자세에 대한 이미지를 획득하는 카메라와 제1 영역에 튜터링 이미지를 디스플레이하고, 제2 영역에 상기 획득된 이미지를 디스플레이하는 디스플레이부와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 오퍼레이션과 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 오퍼레이션과 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 오퍼레이션과 상기 디스플레이부의 상기 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보가 결합되어 디스플레이되도록 제어하는 오퍼레이션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 별도의 장비를 구매하지 않더라도, 2차원 카메라와 디스플레이 장치에 자세 가이드 솔루션이 적용됨으로써, 서비스 이용이 가능하다. 또한, 이와 같은 솔루션은 단순 운동, 춤 동작뿐만 아니라, 재활 운동 분야의 자세 가이드 서비스에도 이용될 수 있으며, 사용자의 자세 및 동작의 측정이 필요한 모든 경우에 그 적용이 확장될 수 있는 장점이 있다.
또한, 본 발명의 다른 실시예에 따르면, 사용자의 자세에 있어서 교정이 필요한 정도를 실시간으로 시각적 가이드로 제공하여, 사용자가 실시간으로 자세를 교정할 수 있는 서비스가 제공되는 효과가 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 사용자의 현재 상태를 분석하여, 제공 중인 튜터링 자세를 수정함으로써, 사용자에게 최적의 자세가 가이드 되는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 자세 가이드 제공 장치의 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 자세 가이드 제공 장치의 블록(Block)도이다.
도 3은 본 발명의 또 다른 실시예에 따른 자세 가이드 제공 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 튜터링 이미지와 사용자의 자세에 대한 이미지를 설명하기 위한 예시도이다.
도 5 및 도 6은 본 발명의 몇몇 실시예에서 참조되는, 가이드 정보를 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 몇몇 실시예에서 참조되는, 정지 자세 정보를 기초로 생성되는 자세 가이드 정보를 설명하기 위한 예시도이다.
도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 복수의 오브젝트 라인을 설명하기 위한 예시도이다.
도 11 및 도 12는 본 발명의 몇몇 실시예에서 참조되는, 사용자의 위치 이동 시의 사용자 자세 인식 솔루션을 설명하기 위한 예시도이다.
도 13은 본 발명의 또 다른 실시예에 따른, 튜터링 레벨 조절 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서, 사용자 자세에 대한 이미지 및 튜터링 이미지는, 복수의 이미지 프레임을 포함하는 동영상일 수 있다. 예를 들어, 튜터링 이미지는, 튜터가 특정 동작을 반복하는 이미지일 수 있으며, 몇몇 실시예에 따르면, 상기 특정 동작은, 요가 동작, 필라테스 동작, 재활 운동 동작, 근력 운동 동작, 춤 동작, 게임 동작 중 어느 하나일 수 있다.
도 1은 본 발명의 일 실시예에 따른 자세 가이드 제공 장치의 개념도이다.
도 1을 참조하면, 자세 가이드 제공 장치(100)는 개인용 데스크톱 PC, 스마트 TV와 같은 고정식 컴퓨팅 장치로서, 특히, 디스플레이부(10)와 카메라(20)를 포함한 멀티미디어 재생 장치일 수 있으나, 본 발명의 실시예는 이에 한정되지 않는다. 즉, 자세 가이드 제공 장치(100)는, 스마트 폰, 태블릿 PC, 랩톱 PC, PDA와 같은 이동식 컴퓨팅 장치일 수도 있고, VR(Virtual Reality) 영상 장치, AR(Augmented Reality) 영상 장치 등과 같은 컴퓨팅 장치 중 어느 하나일 수도 있으며, 사용자의 자세에 대한 영상을 디스플레이할 수 있으면, 자세 가이드 제공 장치(100)일 수 있다.
자세 가이드 제공 장치(100)는 카메라(20)를 통해 사용자(40)에 대한 이미지를 획득하고, 획득된 사용자 이미지(41)를 디스플레이부(10)를 통해 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 사용자에게 자세를 튜터링하는 튜터링 이미지(30)를 디스플레이할 수도 있다. 튜터링 이미지(30)는 미리 저장된 프로그램의 실행에 의해 생성되고 출력되는 가상 튜터에 대한 이미지일 수 있으며, 또한, 실제 튜터의 튜터링 영상이 촬영된 후, 재생되는 이미지일 수도 있다. 또는, 실제 튜터의 튜터링 영상을 기초로, 가공된 이미지일 수도 있다.
자세 가이드 제공 장치(100)는, 튜터링 이미지(30)를 보고, 튜터링 자세를 따라하는 사용자(40)의 사용자 자세 이미지(41)로 획득하고, 사용자 자세 이미지(41)가 튜터링 이미지(30)에 매칭되는 정도를 피드백 정보(50)로서 제공할 수 있다. 도 1에서, 특히, 튜터링 이미지(30)와 사용자 자세 이미지(41)가 동시에 디스플레이부(10)를 통해 디스플레이되는 경우가 예시되었다. 피드백 정보(50)는 튜터링 이미지(30) 및 사용자 자세 이미지(41)의 오른쪽에 위치한 경우가 도시되었으나, 본 발명의 실시예는 이에 한정되지 않으며, 피드백 정보(50)는 튜터링 이미지(30) 및 사용자 자세 이미지(41)의 하단에 위치할 수도 있다.
상술한 도 1의 자세 가이드 제공 장치(100)는 상술한 구성 외에, 사용자의 생체 정보를 획득하기 위한 웨어러블 디바이스 또는 신체 접촉형 센서와 연결되거나 통신할 수 있다. 예를 들어, 자세 가이드 제공 장치(100)는 근전도 측정 장치와 접속 또는 통신함으로써, 사용자의 근육 활동 정보 등 상태 정보를 수집할 수 있다. 또한, 도 1의 자세 가이드 제공 장치(100)는 카메라(20)와 디스플레이부(10)와 일체형인 경우가 예로써 도시되었으나, 본 발명의 다른 실시예에 따르면, 카메라(20) 및 디스플레이부(10)가 자세 가이드 제공 장치(100)와 별도 구성으로 존재할 수도 있다. 카메라(20) 및 디스플레이부(10)는, 본 발명의 실시예에 따른 자세 가이드 제공 장치(100)에 특화된 장비가 아니며, 범용 장비로서 자세 가이드 제공 장치(100)에 적용된 것일 수 있다.
다음으로, 도 2를 참조하여 자세 가이드 제공 장치(100)에 대하여 보다 구체적으로 설명하도록 한다. 도 2는 본 발명의 다른 실시예에 따른 자세 가이드 제공 장치(100)의 블록(Block)도이다. 특히, 도 2에서, 자세 가이드 제공 장치(100)가 카메라(20)와 디스플레이부(10)를 구성요소로 포함하는 경우가 예시되었다.
자세 가이드 제공 장치(100)는 하나 이상의 프로세서(101), 외부 디바이스가 연결되거나, 외부 디바이스와 통신하는 네트워크 인터페이스(102), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.
프로세서(101)는 자세 가이드 제공 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 자세 가이드 제공 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
네트워크 인터페이스(102)는 자세 가이드 제공 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 외부 디바이스와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. 여기에서 외부 디바이스는, 사용자의 근전도를 측정하기 위한 센서, 사용자의 생체 정보를 측정하기 위한 웨어러블 디바이스, 또는 신체 접촉형 센서 장치일 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도 3에서 메모리(103)의 예시로 RAM이 도시되었다.
스토리지(104)는 상기 하나 이상의 프로그램(105), 튜터링 자세 데이터(106) 및 학습 데이터(107)를 비임시적으로 저장할 수 있다. 도 3에서 상기 하나 이상의 프로그램(105)의 예시로 자세 가이드 제공 소프트웨어(105)가 도시되었다. 자세 가이드 제공 소프트웨어(105)는, 자세 가이드 제공 프로그램으로 칭해질 수도 있다.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
자세 가이드 제공 소프트웨어(105)는 본 발명의 실시예에 따라, 자세 가이드 제공 장치(100)가 디스플레이부(10)를 통해 각종 사용자 인터페이스(UI)를 제공하도록 지원할 수 있다. 또한, 본 발명의 실시예에 따르면, 자세 가이드 제공 소프트웨어(105)는 후술할 학습 데이터(107)를 기반으로 생성된 기계 학습 모델을 포함할 수 있다.
프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 다수의 사용자 자세 이미지 프레임을 분석하여 특징점을 추출할 수 있다. 여기에서, 기계 학습 모델은, 인공 신경망을 포함할 수 있으며, 컨볼루션 신경망(convolution neural network: CNN), 오토 인코더(auto encoder), 피드포워드 신경망(feedforward neural network), 방사 신경망(radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 신경망(RNN:recurrent neural network) 중 적어도 하나를 포함하여 구성될 수 있다.
예를 들어, 기계 학습 모델이 컨볼루션 신경망에 의한 것일 경우, 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 사용자 자세 이미지(41)의 특징 값이 필터링되고, 컨볼루션 계산을 통해 여러 이미지 픽셀 중 특정한 값만 새롭게 취해진다. 이를 반복 학습함으로써, 원하는 특징점이 추출될 수 있다.
상기 특징점은, 사용자 신체의 관절 부위인 신체의 일부일 수 있다. 상기 특징점은 프로세서(101)가 자세 가이드 제공 프로그램(105)을 실행함으로써 파악할 수 있는 신체의 일부로서, 예를 들어, 사람의 신체의 일부인 눈, 코, 입, 어깨, 팔꿈치, 손목, 가슴, 골반, 무릎, 발목 등에 대응되는 점, 또는 상기 신체의 일부에 대응되는 선을 구성하는 점일 수 있다.
학습 데이터(107)는 이와 같은 기계 학습을 통해 축적된 특징점 추출 결과 데이터일 수 있다. 또는, 학습 데이터(107)는 기계 학습 모델링을 위한 특징점 데이터일로서 피드(Feed) 데이터일 수도 있다.
자세 가이드 제공 소프트웨어(105)는 이와 같은 기계 학습 모델이 확장된 알고리즘으로서, 이를 구동함으로써, 자세 가이드 제공 장치(100)는, 아래와 같은 기능을 수행할 수 있다.
예를 들어, 자세 제공 장치(100)는 컨피던스 맵을 이용하여 특징점을 인식, 분석 및 연결할 수 있다. 또한, 자세 가이드 제공 장치(100)는 예를 들어, PAF(Part Affinity Fields)를 이용하여 특징점을 기준으로 방향성 및 유사성을 분석함으로써, 각각의 특징점을 연관 지을 수 있다. 즉, 자세 제공 장치(100)는 각 특징점을 연관 짓고 연결함으로써 라인을 생성할 수 있으며, 생성된 라인은 사용자 신체의 뼈에 대응된다. 예를 들어, 손목의 특징점과 팔꿈치의 특징점을 연결한 라인은, 사람의 팔꿈치 이하 팔 뼈에 대응된다.
또한, 자세 가이드 제공 장치(100)는 예를 들어, Greedy 알고리즘을 이용하여 특징점의 움직임을 분석할 수 있다. 라인을 지속적으로 트래킹(Tracking)함으로써, 자세 가이드 제공 장치(100)는 사용자의 자세에 대응되는 라인의 움직임을 식별할 수 있다.
여기에서, 컨피던스 맵은 조직의 탄성도 데이터를 신뢰도에 따라 구분해 표시하는 기능을 말한다. 또한, PAF(Part Affinity Fields)는 비 매개 변수를 사용하여 신체 부위를 이미지의 개인과 연관시키는 방법을 말한다. 또한, Greedy 알고리즘은 전체 문제를 해결해 나갈 때 매순간　탐욕적인 선택을 해 나가면서 전체 문제를 해결하는 알고리즘을 말한다.
기계 학습 모델은, 연속적으로 자세 가이드 제공 장치(100)에 입력되는 사용자 이미지의 각각의 프레임 상에서 사용자의 신체의 복수 부위에 대응되는 특징점을 추출하고, 각 특징점 사이의 연관을 분석하여, 추출된 특징점을 확정할 수 있다. 이에 따라, 기계 학습 모델은, 확정된 특징점 정보를 연결하여 라인을 생성할 수 있다.
튜터링 자세 데이터(106)는 다수의 튜터 이미지 프레임을 포함하는, 연속적인 자세 데이터일 수 있다. 튜터 자세 데이터(106)는 튜터 이미지 상의 특징점 및/또는 라인 정보를 포함할 수 있다.
자세 가이드 제공 장치(100)는 자세 가이드 제공 소프트웨어(105)를 실행함에 따라, 튜터링 자세 데이터(106)를 활용하여, 튜터링 이미지를 생성, 또는 수정할 수 있다.
자세 가이드 제공 장치(100)는 자세 가이드 제공 소프트웨어(105)를 실행함에 따라, 사용자 자세 이미지를 튜터 자세 데이터(106) 상의 튜터 이미지를 기준으로 스케일링할 수도 있다.
또한, 도시되지 않았으나, 자세 가이드 제공 장치(100)는 본 발명의 실시예에 따른 피드백 정보를 음성 출력하기 위한 음향 출력부를 포함할 수도 있다.
도 3은 본 발명의 또 다른 실시예에 따른 자세 가이드 제공 방법의 순서도이다. 도 4는 본 발명의 몇몇 실시예에서 참조되는, 튜터링 이미지와 사용자의 자세에 대한 이미지를 설명하기 위한 예시도이다.
이하의 각 단계는 자세 가이드 제공 장치(100)에 의해 수행되며, 특히, 이하의 각 단계는 프로세서(101)가 자세 가이드 제공 소프트웨어(105)에 따른 연산을 수행함에 따라 수행된다. 또한, 도 4에서 특히, 디스플레이부(10)의 제1 영역은 튜터 이미지가 디스플레이되는 왼쪽 영역이고, 제2 영역은 사용자 자세 이미지가 디스플레이되는 오른쪽 영역인 경우가 예로써 도시되었다. 또한, 도 4에서, 제1 영역 및 제2 영역의 하단 영역에 피드백 정도가 디스플레이된 경우가 예시되었다.
도 3을 참조하면, 자세 가이드 제공 장치(100)는 카메라(20)를 통해 사용자 자세에 대한 이미지를 획득할 수 있다(S10).
도 3 및 도 4를 참조하면, 자세 가이드 제공 장치(100)는 디스플레이부(10)의 제1 영역에 튜터링 이미지(30)를 디스플레이하고, 2 영역에 획득된 이미지(41)를 디스플레이할 수 있다(S20).
다음으로, 자세 가이드 제공 장치(100)는, 획득된 이미지(41)로부터 특징점을 추출할 수 있다(S30). 또한, 자세 가이드 제공 장치(100)는, 추출된 특징점을 기초로 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득할 수 있다(S40). 여기에서, 사용자 자세 정보는, 사용자 자세를 구성하는 각 뼈대 사이의 각도, 길이와 같은 정보일 수 있다. 사용자 자세 라인에 대한 설명은, 도 6에 대한 설명에서 후술한다.
또한, 자세 가이드 제공 장치(100)는, 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하고(S50), 획득된 사용자 자세 이미지 및 자세 가이드 정보를 결합하여 디스플레이할 수도 있다(S60).
단계(S50) 및 단계(S60)에 대하여, 도 5 및 도 6을 참조하여 자세히 설명한다. 도 5 및 도 6은 본 발명의 몇몇 실시예에서 참조되는, 자세 가이드 정보를 설명하기 위한 예시도이다.
도 5를 참조하면, 자세 가이드 제공 장치(100)는 튜터링 이미지(30)에서, 튜터링 모션을 디스플레이할 수 있다. 특히, 도 5에서, 튜터링 모션(501)의 예로써, 튜터가 양 팔을 위로 들고 있는 동작(이하, 제1 동작)에서 아래로 내리는 동작(이하, 제2 동작)을 동작을 변경하는 경우가 도시되었다.
자세 가이드 제공 장치(100)는 튜터링 모션(501)을 식별할 수 있으며, 튜터링 모션(501)에 반응하여, 사용자 자세가 변경되면, 이에 대한 이미지를 획득하고 사용자 자세 이미지(41)의 변경을 디스플레이 할 수 있다. 이때, 자세 가이드 제공 장치(100)는 사용자 자세에 대한 이미지를 제2 영역에 디스플레이하며, 사용자의 양팔에 대한 자세 가이드 정보를 디스플레이할 수 있다. 도 5에서, 자세 가이드 정보의 예로써, 자세 가이드 라인(511, 521)이 도시되었으며, 자세 가이드 라인(511) 및 자세 가이드 라인(521)은 각각 팔의 골격 구조를 이루는 뼈대의 움직임을 가이드하기 위한 라인이다. 특히, 가이드 라인은 방향성을 갖는 화살표로 표시되었으나, 본 발명의 실시예는 이에 한정되지 않는다.
한편, 도 5 및 도 6를 참조하면, 자세 가이드 제공 장치(100)는, 피드백 정보를 디스플레이할 수 있다. 이때, 피드백 정보는 사용자 자세 이미지가 움직이는 동안에는, 텍스트 형식의 가이드 정보를 포함할 수 있다. 예를 들어, 오른쪽 어깨 자세를 수정하라는 내용의 텍스트가 가이드 정보로 디스플레이될 수 있다.
한편, 사용자 자세 이미지가 미리 설정된 시간 이상 정지되어 있는 경우의 피드백 정보는, 튜터링 이미지와 사용자 자세 이미지의 매칭률을 포함할 수도 있다. 자세 가이드 제공 장치(100)는 사용자 자세 이미지가 미리 설정된 시간 이상 정지된 경우, 사용자가 튜터링 이미지를 따라 움직이다가 움직임 동작이 완료된 것으로 판단할 수 있다. 이에 따라, 자세 가이드 제공 장치(100)는 튜터링 이미지 및 사용자 자세 이미지의 유사 정도를 분석하고, 유사 정도를 수치화한 정보를 디스플레이할 수도 있다. 피드백 정보는, 튜터링 이미지가 튜터링 모션에 따라, 제1 동작에서 제2 동작으로 변화하는데 소요되는 시간 및 이에 반응하여 사용자 자세 이미지가 변경되는데 소요되는 시간의 매칭률을 포함할 수도 있다.
도 6을 참조하면, 자세 가이드 정보는, 가이드 라인(603, 605)뿐만 아니라, 튜터링 타겟 라인(601)을 포함할 수도 있다. 도 6에서, 튜터링 이미지(30) 상에서 튜터가 양팔을 위로 올림에 따라, 사용자 자세 이미지(41) 상의 튜터링 타겟 라인(601)이 디스플레이되고, 사용자 자세 이미지(41)에 대한 가이드 라인(603, 605)가 디스플레이된 경우가 예로써 도시되었다.
튜터링 타겟 라인이란, 제1 영역에 디스플레이된 튜터링 이미지(30) 상에서 튜터의 자세를 기초로 추출된 튜터링 라인에 대응되는 라인이다. 즉, 튜터링 라인은 사용자 자세 이미지가 따라해야 할 동작 라인이지만, 제1 영역에 디스플레이되어, 직접적으로 사용자 자세 이미지와 비교하는데 불편이 따를 수 있다. 이에, 자세 가이드 제공 장치(100)는, 제1 영역의 튜터링 라인에 대응되는 튜터링 타겟 라인(601)을 사용자 자세 이미지의 목표 라인으로 삼고, 이를 카메라(20)를 통해 획득된 사용자 자세 이미지(41)와 결합하여 제2 영역 상에 디스플레이할 수 있다. 다시 말해, 튜터링 타겟 라인(601)은 튜터링 라인이 자세 가이드 제공 장치(100)에 의해 사용자 자세 이미지(41)를 기준으로 조정된 라인일 수 있다.
이때, 사용자 자세 이미지(41)와 튜터링 타겟 라인(601)의 각도 차이가 발생하는 경우, 자세 가이드 제공 장치(100)는, 사용자 자세 이미지(41)가 튜터링 타겟 라인(601)을 따르도록, 가이드 라인(603, 605)을 디스플레이할 수 있다.
또한, 자세 가이드 제공 장치(100)는, 튜터링 모션에 의해 튜터링 이미지(30) 상에서, 하나의 튜터링 라인과 다른 하나의 튜터링 라인 사이의 각도 변경이 발생하는 경우, 상기 각도 변경이 지속되는 시간을 하나의 튜터링 모션 제한 시간으로 인식할 수도 있다. 자세 가이드 제공 장치(100)는, 사용자 자세 이미지(41)가 튜터링 타겟 라인(601)을 따라 움직이는 시간을 측정하여, 사용자가 튜터링 모션의 가이드를 잘 따르는 지 판단할 수 있다.
한편, 도 6에서, 사용자 자세 이미지(41) 상에서 사용자 자세 라인(620)이 도시되었다. 사용자 자세 라인이란, 사용자 자세 이미지 상에서 추출된 특징점으로 연결된 라인으로써, 도 2에 대한 설명에서 전술한 방법에 따라, 자세 가이드 제공 장치(100)가 생성할 수 있다.
도 7 및 도 8은 본 발명의 몇몇 실시예에서 참조되는, 정지 자세 정보를 기초로 생성되는 자세 가이드 정보를 설명하기 위한 예시도이다.
도 3의 단계(S50)에서, 자세 가이드 제공 장치(100)는, 튜터링 이미지(30)로부터, 튜터링 라인을 추출하고, 사용자 자세 라인을 상기 튜터링 라인에 대응시킬 수 있다.
도 7을 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 이미지(30)로부터, 튜터링 라인(701, 702, 703, 705, 707)을 추출할 수 있으며, 사용자 자세 이미지(41)로부터 사용자 자세 라인(711, 712, 713, 715, 717)을 추출할 수 있다. 다음으로, 자세 가이드 제공 장치(100)는, 사용자 자세 라인(711, 712, 713, 715, 717)을 튜터링 라인(701, 702, 703, 705, 707)에 각각 대응시킬 수 있다.
이때, 대응되는 사용자 자세 라인과 튜터링 라인은 길이 및 비율이 서로 다르다. 즉, 몸통에 해당하는 튜터링 라인(703)과 사용자 자세 라인(713)은 길이가 서로 다르며, 이에 따라, 양자의 비율이 달라진다. 또한, 몸통에 대한 튜터링 라인(703) 및 팔에 대한 튜터링 라인(705)의 상호 길이 비율과, 몸통에 대한 사용자 자세 라인(713) 및 팔에 대한 사용자 자세 라인(715)의 상호 길이 비율이 다르다. 이 경우, 튜터링 모션에 의해 몸통에 대한 튜터링 라인(703) 및 팔에 대한 튜터링 라인(705) 사이에 특정 각도가 발생되는 경우의 운동량과, 튜터링 모션과 같은 움직임으로 사용자가 움직이더라도, 몸통에 대한 사용자 자세 라인(713) 및 팔에 대한 사용자 자세 라인(715) 사이 발생하는 운동량은 서로 다를 수 있다.
튜터링 모션이 재활 운동과 같이 자세 및 운동량이 사용자의 건강에 중대한 영향을 끼치는 경우, 부적절한 자세 또는 과다 운동량으로 부작용 발생하는 경우를 방지하기 위하여, 자세 가이드 제공 장치(100)는 튜터링 라인을 기준으로, 사용자 자세 라인을 스케일링할 수 있다. 즉, 각 사용자 자세 라인의 길이, 비율을 튜터링 라인의 길이 및 비율에 맞게 스케일링할 수 있으며, 자세 가이드 제공 장치(100)는 이와 같은 스케일링 후, 이를 기초로, 사용자 자세 라인에 대한 자세 가이드 정보를 생성할 수 있다. 일 실시예에 따르면, 도 5 및 도 6에 대한 설명에서 상술한, 가이드 라인 및 튜터링 타겟 라인이 사용자 자세 이미지를 기초로, 사용자 맞춤형으로 변경될 수 있다. 보다 구체적으로, 튜터링 모션 이후의 튜터링 라인과 튜터링 타겟 라인의 각도가 서로 다를 수 있다.
본 발명의 다른 실시예에 따르면, 자세 가이드 제공 장치(100)는, 튜터링 이미지 상에서 튜터링 모션이 가해지는, 튜터링 라인(705)을 식별할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 사용자 자세 라인 중, 식별된 튜터링 라인(705)에 대응되는 오브젝트 라인(715)를 추출할 수 있다. 여기에서 오브젝트 라인이란, 튜터링 모션을 따라, 움직임의 대상이 되는 사용자 자세 라인을 의미한다. 자세 가이드 제공 장치(100)는 튜터링 라인(705)의 각도가 튜터링 모션에 의해 변경되는 경우, 튜터링 라인(705)에 대응되는 튜터링 타겟 라인을 생성할 수 있다.
도 8에서, 튜터링 타겟 라인(730)이 예로써 도시되었다. 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 튜터링 타겟 라인(730)을 디스플레이할 수 있다.
자세 가이드 제공 장치(100)는, 도 3의 단계(S60)에서, 제2 영역에 생성된 튜터링 타겟 라인을 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는 생성된 튜터링 타겟 라인과 오브젝트 라인의 각도 차이를 기초로, 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성할 수 있다.
도 7에서, 가이드 라인(720)이 예로써 도시되었다. 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 가이드 라인(720)을 디스플레이할 수 있다.
본 발명의 또 다른 실시예를 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 라인(701, 702, 703, 705, 707) 중, 자세 정지 라인을 식별할 수 있다. 도 7에서 자세 정지 라인이란, 튜터링 라인(701, 702, 703, 707)으로 튜터링 라인(705)를 제외한 라인이다. 자세 가이드 제공 장치(100)는, 자세 정지 라인에 대응되는 사용자 자세 라인(711, 712, 713, 717)의 정보를 추출할 수 있다.
자세 가이드 제공 장치(100)는 자세 정지 라인 및 대응되는 라인의 정보를 기초로, 자세 가이드 정보를 생성할 수도 있다. 도 7을 참조하면, 자세 정지 라인 중, 튜터링 라인(701) 및 튜터링 라인(703) 사이의 각도는 기울어져 있는데, 사용자 자세 라인(711) 및 사용자 자세 라인(713)은 직선을 이루고 있다. 즉, 동작 라인(705)이 아닌 나머지 자세 정지 라인의 역학 구조와 오브젝트 라인(715)이 아닌 나머지 사용자 자세 라인의 역학 구조가 서로 다른다. 이 경우, 튜터링 모션이 동일하게 적용되더라도, 튜터링 이미지 상의 튜터의 운동량과 사용자 자세 이미지 상의 운동량은 서로 다를 수 있다. 자세 가이드 제공 장치(100)는 서로 다른 역학 구조를 고려하여, 사용자에 적합한 운동량을 연산하고, 이를 기초로, 가이드 라인 및 튜터 타겟 가이드의 길이 및 각도 중 적어도 하나를 조절할 수 있다.
지금까지, 자세 가이드 정보를 생성하는 방법으로, 튜터링 타겟 라인 및 사용자 자세 라인의 길이, 비율 및 각도에 대하여 설명하였으나, 본 발명의 실시예는 이에 한정되지 않는다. 자세 가이드 제공 장치(100)는, 튜터링 타겟 라인 및 사용자 자세 라인 상의 특징점 좌표를 비교하거나, 화면을 분할하여 픽셀 단위로 비교함으로써, 튜터링 타겟 라인 및 사용자 자세 라인의 매칭률을 판단하고, 자세 가이드 정보를 생성할 수도 있다.
도 7 및 도 8을 참조하면, 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 가이드 라인(720)을 디스플레이할 수 있으며, 생성된 튜터링 타겟 라인(730)을 기초로, 오브젝트 라인(715)의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 가이드 라인(720)을 디스플레이할 수 있다. 즉, 튜터링 타겟 라인을 기준으로, 사용자가 움직임에 따라, 오브젝트 라인(715)이 튜터링 타겟 라인을 향하여 가까워지고, 각도도 줄어든다. 이 경우, 가이드 라인(720)는 점점 길이가 줄고, 각도도 줄어든다.
계속하여 오브젝트 라인(715)이 튜터링 타겟 라인을 향하여 가까워짐에 따라, 자세 가이드 제공 장치(100)는 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단할 수 있다. 자세 가이드 제공 장치(100)는 매칭여부에 대한 판단 결과를 기초로, 사용자 자세에 대한 피드백 정보를 생성하고 피드백 정보를 디스플레이할 수 있다.
이때, 자세 가이드 제공 장치(100)는 오브젝트 라인(715) 및 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 튜터링 타겟 라인의 색상을 변경하여 디스플레이할 수도 있다. 즉, 사용자가 튜터링 모션을 따라 움직이다가 사용자 자세 라인이 튜터링 타겟 라인에 위치하게 되고, 이때, 사용자 튜터링 자세 라인이 튜터링 타켓 라인에 미리 설정된 시간을 초과하여 위치하는 경우, 자세 가이드 제공 장치(100)는 제1 색상의 튜터링 타겟 가이드의 색상을 제2 색상으로 변경하여 디스플레이할 수 있다.
도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 복수의 오브젝트 라인을 설명하기 위한 예시도이다.
도 9를 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 라인(901)에 대응되는 사용자 자세 라인이 오브젝트 라인(911)임에도, 사용자 자세 라인(912)가 움직였으므로 틀렸음을 식별할 수 있다. 이 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인(911)을 식별하고, 이에 대한 가이드 정보를 생성할 수 있다. 즉, 자세 가이드 제공 장치(100)는, 오브젝트 라인(911)에 대한 가이드 라인(920)이 디스플레이되도록 제어할 수 있다.
도 10을 참조하면, 도 9에 도시된 사용자 자세 이미지가 변경되었으며, 사용자가 양팔을 들고, 다리는 내리고 있는 경우가 예로써 도시되었다.
자세 가이드 제공 장치(100)는, 도 9의 경우와 마찬가지로, 오브젝트 라인(1014)에 대한 자세 가이드 정보를 생성할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 도 9에서는 오브젝트 라인이 아니었던 사용자 양팔에 대응되는 라인(1011, 1012)를 오브젝트 라인으로 식별할 수 있다. 즉, 자세 가이드 제공 장치(100)는 도 9 대비 사용자의 자세 변화에 대응하여 신규 오브젝트 라인(1011, 1012)을 식별하고, 이에 대한 자세 가이드 정보를 생성할 수 있다. 도 10에서, 생성된 자세 가이드 정보의 예로써, 가이드 라인(1021, 1022)가 도시되었다.
도 11 및 도 12는 본 발명의 몇몇 실시예에서 참조되는, 사용자의 위치 이동 시의 사용자 자세 인식 솔루션을 설명하기 위한 예시도이다.
도 11 및 도 12를 참조하면, 사용자가 제2 영역의 중앙 위치(1100)에서 오른쪽으로 이동하거나, 왼쪽으로 이동하여도, 자세 가이드 제공 장치(100)는, 튜터링 라인과 이에 대응되는 사용자 자세 라인을 식별할 수 있다. 즉, 사용자가 중앙 위치(1100)를 기준으로 좌측 또는 우측으로 걸어가며 이동하더라도, 자세 가이드 제공 장치(100)의 기계 학습 모델은, 계속하여, 특징점을 트래킹함으로써, 대응되는 특징점을 추출해내고, 라인을 생성할 수 있다.
지금까지, 사용자 자세에 대한 자세 가이드 정보를 생성하고, 디스플레이하는 방법에 대하여 주로 설명하였다. 이하, 튜토링 타겟 라인 대비 오브젝트 라인이 반복된 오류를 보이는 경우, 사용자 상태 판단에 대한 실시예를 설명하도록 한다.
도 13은 본 발명의 또 다른 실시예에 따른, 튜터링 레벨 조절 방법의 순서도이다.
사용자의 움직임이 자세 가이드 정보를 못 따라오는 경우는, 고의 태만 또는 사용자의 신체 상태에 문제가 발생한 경우일 수 있다. 이하, 사용자 신체 상태에 문제가 발생한 것으로 가정한다. 사용자 신체 상태에 문제가 발생한 경우란, 사용자가 부상 등의 이유로 급작스레 튜터링 모션을 따라할 수 없게 되거나, 사용자에게 튜터링 모션이 어려운 경우 또는 재활 운동의 경우 아직 동작을 소화하기 어려운 경우일 수 있다.
도 13을 참조하면, 자세 가이드 제공 장치(100)는, 도 3의 단계(S60)에서 튜터링 타겟 라인과 가이드 라인을 제2 영역 상에 디스플레이할 수 있다(S1301).
다음으로, 자세 가이드 제공 장치(100)는, 오브젝트 라인의 움직임이 발생 후, 오브젝트 라인과 튜터링 타겟 라인의 각도 차이를 제1 연산할 수 있다(S1303). 여기에서 제1 연산은, 튜터링 레벨의 조절에 앞서, 사용자의 자세에 해당하는 오브젝트 라인과 튜터링 타겟 라인 사이의 각도 연산을 의미한다
자세 가이드 제공 장치(100)는, 제1 연산된 각도 차이가 미리 설정된 범위를 초과하지 판단할 수 있다(S1305). 판단 결과, 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 자세 가이드 제공 장치(100)는, 튜터링 레벨을 조절할 수 있다(S1307). 예를 들어, 자세 가이드 제공 장치(100)는, 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성할 수 있다. 제1 수정 튜터링 이미지는, 기존의 튜터링 이미지 대비, 속도가 늦거나, 횟수가 적거나, 움직임 각도가 작을 수 있다. 즉, 사용자가 튜터링 타겟 라인을 따라하기가 용이하도록, 튜터링 타겟 라인의 각도가 낮아지거나, 가이드 라인의 길이가 줄어들 수 있다. 다음으로, 자세 가이드 제공 장치(100)는, 제1 영역에 디스플레이 중인 튜터링 이미지를, 셍성된 제1 수정 튜터링 이미지로 교체하여 출력할 수 있다. 이에 따라, 튜터리 이미지 상의 튜터의 동작이 사용자가 따라하기 쉬운 이미지로 변경되어 출력되게 된다.
구체적으로, 단계(S1307)에서, 자세 가이드 제공 장치(100)는, 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출할 수 있다. 이에 대한 설명은 도 7에서 설명한 방식과 동일하므로 생략한다.
제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 자세 가이드 제공 장치(100)는, 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하고, 이를 제2 영역에 디스플레이할 수 있다.
자세 가이드 제공 장치(100)는, 또한, 오브젝트 라인의 움직임이 발생 후, 오브젝트 라인과 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 제2 연산된 각도 차이를 기초로, 자세 가이드 정보를 재생성할 수도 있다. 예를 들어, 단계(S1307)에서 튜터링 레벨을 낮춘 후, 사용자가 낮은 수준의 튜터링 레벨을 잘 따라하는 경우이다. 이 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인과 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하고, 제2 연산 결과를 바탕으로, 제2 수정 튜터링 이미지를 생성할 수 있다. 여기에서, 제2 수정 튜터링 이미지는, 제1 수정 튜터링 이미지 대비, 속도가 빠르거나, 횟수가 많거나, 움직임 각도가 큰 것일 수 있다. 즉, 자세 가이드 제공 장치(100)는 사용자 자세에 대한 자세 가이드 정보를 변경함으로써, 튜터링 수준을 높일 수 있다.
한편, 단계(S1305)에서 판단 결과, 제1 연산된 각도 차이가 미리 설정된 범위를 이내인 경우, 자세 가이드 제공 장치(100)는, 자세 가이드 정보를 생성하고, 튜터링 타겟 라인과 차이나는 각도만큼 가이드 라인을 생성하여 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트할 수 있다. 예를 들어, 미리 설정된 범위가 각도 10도인 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인과 튜터링 타겟 라인 사이의 각도가 10도 이내로, 총 10회의 반복에 대하여 7회 이상 카운트되는 경우, 자세 가이드 제공 장치(100)는, 이를 기초로, 오브젝트 라인과 튜터링 타겟 라인이 매칭되는 것으로 판단할 수도 있다.
상기에서, 오브젝트 라인과 튜터링 타겟 라인의 각도 차이를 제1 연산한 결과가 미리 설정된 범위를 초과하는 경우, 사용자 신체 상태에 문제가 발생한 경우를 예로 들어 설명하였으나, 우연에 의한 오류 발생, 사용자 고의 태만 또는 기타 사유를 배제할 수 없다. 본 발명의 또 다른 실시예에 따르면, 자세 가이드 제공 장치(100)는, 제1 수정 튜터링 이미지를 생성할 수 있으나, 생체정보를 획득하여 사용자의 신체 상태를 점검함으로써 튜터링 레벨 조절의 정확도를 향상시킬 수 있다.
즉, 자세 가이드 제공 장치(100)는 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하고, 획득된 생체 정보를 기초로, 제1 수정 튜터링 이미지를 생성할 수도 있다. 예를 들어, 생체정보 인식 장치는 근전도 측정 장비로서, 사용자의 신체 상태 정보를 획득하여, 자세 가이드 제공 장치(100)에 제공할 수 있다.
또한, 자세 가이드 제공 장치(100)는 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트할 수 있으며, 생체정보 인식 장치로부터, 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 사용자의 생체 정보를 획득할 수 있다. 자세 가이드 제공 장치(100)는 획득된 생체 정보를 기초로, 피드백 정보를 생성할 수 있다.
지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (16)

  1. 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서,
    사용자 자세에 대한 이미지를 획득하는 단계;
    디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계;
    상기 미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 단계;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계; 및
    상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  2. 제 1 항에 있어서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 사용자 자세 라인을 상기 튜터링 라인에 대응시키는 단계;
    상기 튜터링 라인을 기초로, 상기 대응된 상기 사용자 자세 라인을 스케일링 하는 단계; 및
    상기 스케일링 결과를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  3. 제 1 항에 있어서 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 튜터링 라인 중, 자세 정지 라인을 식별하는 단계;
    상기 사용자 자세 라인 중, 상기 자세 정지 라인에 대응되는 라인의 정보를 추출하는 단계; 및
    상기 자세 정지 라인 및 상기 대응되는 라인의 정보를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  4. 제 1 항에 있어서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 사용자 자세 라인 중, 상기 튜터링 라인에 대응되는 오브젝트 라인을 추출하는 단계; 및
    상기 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 튜터링 라인에 대응되는 튜터링 타겟 라인을 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  5. 제 4 항에 있어서, 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계는,
    상기 제2 영역에 상기 생성된 튜터링 타겟 라인을 디스플레이하는 단계;
    상기 생성된 튜터링 타겟 라인과 상기 오브젝트 라인의 각도 차이를 기초로, 상기 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성하는 단계; 및
    상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  6. 제 5 항에 있어서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는,
    상기 생성된 튜터링 타겟 라인을 기초로, 상기 오브젝트 라인의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 상기 가이드 라인을 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  7. 제 5 항에 있어서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는,
    상기 오브젝트 라인이 움직임에 따라, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계;
    상기 판단 결과를 기초로, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계; 및
    상기 생성된 피드백 정보를 디스플레이하는 단계를 포함하는
    자세 가이드 제공 방법.
  8. 제 7 항에 있어서, 상기 피드백 정보를 디스플레이하는 단계는,
    상기 오브젝트 라인 및 상기 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 상기 튜터링 타겟 라인의 색상을 변경하여 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  9. 제 7 항에 있어서, 상기 피드백 정보를 디스플레이하는 단계는,
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계;
    상기 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 상기 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성하는 단계; 및
    상기 제1 영역에 디스플레이 중인 상기 튜터링 이미지를, 상기 제1 수정 튜터링 이미지로 교체하여 출력하는 단계를 포함하는,
    자세 가이드 제공 방법.
  10. 제 7 항에 있어서, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는,
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계;
    상기 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트하는 단계; 및
    상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계를 포함하는,
    자세 가이드 제공 방법.
  11. 제 9 항에 있어서,
    상기 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출하는 단계;
    상기 제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하는 단계;
    상기 제2 영역에 상기 생성된 제1 수정 튜터링 타겟 라인을 디스플레이하는 단계;
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하는 단계; 및
    상기 제2 연산된 각도 차이를 기초로, 상기 자세 가이드 정보를 재생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  12. 제 11 항에 있어서, 상기 자세 가이드 정보를 재생성하는 단계는,
    상기 제2 연산된 각도 차이가 미리 설정된 범위 이내인 경우, 상기 튜터링 이미지에 대한 제2 수정 튜터링 이미지를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  13. 제 9 항에 있어서, 상기 제1 수정 튜터링 이미지를 생성하는 단계는,
    생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계; 및
    상기 획득된 생체 정보를 기초로, 상기 제1 수정 튜터링 이미지를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  14. 제 10 항에 있어서, 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는,
    상기 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계를 포함하고,
    상기 사용자 자세에 대한 피드백 정보를 생성하는 단계는,
    상기 획득된 생체 정보를 기초로, 상기 피드백 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  15. 컴퓨팅 장치와 결합하여,
    사용자 자세에 대한 이미지를 획득하는 단계;
    디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계;
    미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 단계;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계; 및
    상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 실행시키기 위하여,
    기록매체에 저장된 자세 가이드 제공 프로그램.
  16. 하나 이상의 프로세서;
    사용자 자세에 대한 이미지를 획득하는 카메라;
    제1 영역에 튜터링 이미지를 디스플레이하고, 제2 영역에 상기 획득된 이미지를 디스플레이하는 디스플레이부;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 오퍼레이션;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 오퍼레이션;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 오퍼레이션; 및
    상기 디스플레이부의 상기 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보가 결합되어 디스플레이되도록 제어하는 오퍼레이션을 포함하는,
    자세 가이드 제공 장치.
PCT/KR2018/008908 2017-08-18 2018-08-06 자세 가이드 제공 방법 및 그 장치 WO2019035586A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/793,871 US10898755B2 (en) 2017-08-18 2020-02-18 Method for providing posture guide and apparatus thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0104492 2017-08-18
KR20170104492 2017-08-18
KR1020180067791A KR101986327B1 (ko) 2017-08-18 2018-06-13 자세 가이드 제공 방법 및 그 장치
KR10-2018-0067791 2018-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/793,871 Continuation US10898755B2 (en) 2017-08-18 2020-02-18 Method for providing posture guide and apparatus thereof

Publications (1)

Publication Number Publication Date
WO2019035586A1 true WO2019035586A1 (ko) 2019-02-21

Family

ID=65362575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/008908 WO2019035586A1 (ko) 2017-08-18 2018-08-06 자세 가이드 제공 방법 및 그 장치

Country Status (1)

Country Link
WO (1) WO2019035586A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079616A (zh) * 2019-12-10 2020-04-28 西安电子科技大学 基于神经网络的单人运动姿态矫正方法
CN111803904A (zh) * 2019-04-11 2020-10-23 上海天引生物科技有限公司 一种舞蹈教学练习装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
KR101036429B1 (ko) * 2010-08-24 2011-05-23 윤상범 가상현실 무도 수련장치 및 방법, 그 기록 매체
US20130185233A1 (en) * 2012-01-16 2013-07-18 Samsung Electronics Co., Ltd. System and method for learning pose classifier based on distributed learning architecture
KR20140137789A (ko) * 2013-05-24 2014-12-03 (주) 골프존 골프 스윙에 대한 정보제공을 위한 골프 연습 시스템 및 이를 이용한 골프 스윙에 대한 정보 처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
KR101036429B1 (ko) * 2010-08-24 2011-05-23 윤상범 가상현실 무도 수련장치 및 방법, 그 기록 매체
US20130185233A1 (en) * 2012-01-16 2013-07-18 Samsung Electronics Co., Ltd. System and method for learning pose classifier based on distributed learning architecture
KR20140137789A (ko) * 2013-05-24 2014-12-03 (주) 골프존 골프 스윙에 대한 정보제공을 위한 골프 연습 시스템 및 이를 이용한 골프 스윙에 대한 정보 처리방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803904A (zh) * 2019-04-11 2020-10-23 上海天引生物科技有限公司 一种舞蹈教学练习装置及方法
CN111079616A (zh) * 2019-12-10 2020-04-28 西安电子科技大学 基于神经网络的单人运动姿态矫正方法
CN111079616B (zh) * 2019-12-10 2022-03-04 西安电子科技大学 基于神经网络的单人运动姿态矫正方法

Similar Documents

Publication Publication Date Title
KR101986327B1 (ko) 자세 가이드 제공 방법 및 그 장치
WO2016163793A1 (ko) 개인 트레이닝 서비스 방법 및 시스템
WO2018217060A1 (en) Method and wearable device for performing actions using body sensor array
WO2020040363A1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
WO2018217652A1 (en) Systems and methods for markerless tracking of subjects
WO2015008935A1 (ko) 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법
WO2017217725A1 (ko) 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
KR20180130834A (ko) 운동 치료를 위한 동작 가이드 제공 방법 및 장치
US20190310714A1 (en) Motion evaluation system, method thereof and computer-readable recording medium
JP2020174910A (ja) 運動支援システム
WO2020054954A1 (en) Method and system for providing real-time virtual feedback
WO2019035586A1 (ko) 자세 가이드 제공 방법 및 그 장치
WO2021162217A1 (en) System and method for conducting on-device spirometry test
KR20140112121A (ko) 네츄럴 인터렉션 기반의 건강 및 재활 게임 장치 및 방법
WO2022050489A1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
WO2021066392A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20210043174A (ko) 운동 코칭 기능을 제공하는 방법 및 이를 수행하는 전자 장치
WO2023243959A1 (ko) 사용자 자세 인식 기반 신체 부상 위험 예측을 위한 방법 및 이를 위한 장치
WO2022182096A1 (en) Real-time limb motion tracking
WO2014104463A1 (ko) 네츄럴 인터렉션 기반의 건강 및 재활 장치
CN115240247A (zh) 一种用于进行动作和姿态检测的识别方法及***
WO2017090815A1 (ko) 관절 가동 범위를 측정하는 장치 및 방법
WO2024150926A1 (ko) 골프 스윙 분석 장치 및 그 방법
WO2018044059A1 (ko) 피트니스 모니터링 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18845490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18845490

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18845490

Country of ref document: EP

Kind code of ref document: A1