WO2022054366A1 - 姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システム - Google Patents
姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システム Download PDFInfo
- Publication number
- WO2022054366A1 WO2022054366A1 PCT/JP2021/023272 JP2021023272W WO2022054366A1 WO 2022054366 A1 WO2022054366 A1 WO 2022054366A1 JP 2021023272 W JP2021023272 W JP 2021023272W WO 2022054366 A1 WO2022054366 A1 WO 2022054366A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- body part
- posture evaluation
- specified
- point
- orientation
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 78
- 230000006870 function Effects 0.000 claims description 33
- 238000009877 rendering Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 124
- 238000004891 communication Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 32
- 210000003128 head Anatomy 0.000 description 29
- 210000004197 pelvis Anatomy 0.000 description 29
- 238000012545 processing Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 210000000038 chest Anatomy 0.000 description 22
- 238000003860 storage Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 14
- 210000000115 thoracic cavity Anatomy 0.000 description 13
- 210000003205 muscle Anatomy 0.000 description 11
- 238000012854 evaluation process Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 210000000142 acromioclavicular joint Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000009207 exercise therapy Methods 0.000 description 2
- 210000001562 sternum Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010020852 Hypertonia Diseases 0.000 description 1
- 206010021118 Hypotonia Diseases 0.000 description 1
- 208000007379 Muscle Hypotonia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009232 chiropractic Methods 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000003692 ilium Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001991 scapula Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0636—3D visualisation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/05—Image processing for measuring physical parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Definitions
- the present invention relates to a posture evaluation program, a posture evaluation device, a posture evaluation method, and a posture evaluation system capable of grasping the state of the posture of the body.
- an object of the present invention is to provide a posture evaluation program, a posture evaluation device, a posture evaluation method, and a posture evaluation system capable of grasping a posture state.
- a posture evaluation program executed in a computer device also includes a first specific means for specifying at least two points of the body part of the evaluated person and a point specified by the first specific means.
- a posture evaluation program that functions as an orientation identification means to identify the orientation of body parts;
- the computer device is associated with a second specific means for specifying at least one point of the body part and a point specified by the second specific means, and functions as an orientation display means for displaying information regarding the specified orientation.
- the posture evaluation program according to the above [1]; [3] There are a plurality of body parts, and the position of one body part and the position of another body part based on the point specified by the second specific means for each body part of the computer device.
- a first specific means for specifying at least two points of the body part of the evaluated person and a direction specifying means for specifying the direction of the body part based on the points specified by the first specific means are provided.
- Posture evaluation device [5] A posture evaluation method executed in a computer device, based on a first specific step for specifying at least two points of the body part of the evaluated person and a point specified by the first specific step, the body.
- Posture evaluation method having a direction specifying step for specifying the direction of a part;
- the first device is provided with a first device and a second device capable of communicating with the first device, and is specified by a first specific means for specifying at least two points of the body part of the evaluated person and a first specific means.
- a posture evaluation program that functions as a positional relationship display means that displays information indicating the positional relationship between the position of one body part and the position of another body part based on the points specified for each body part.
- One body based on the second specific means for specifying at least one point for each body part of the plurality of body parts of the evaluated person and the points specified for each body part by the second specific means.
- a posture evaluation device including a positional relationship display means for displaying information indicating a positional relationship between the position of a part and the position of another body part;
- a posture evaluation method having a positional relationship display step for displaying information indicating a positional relationship between the position of one body part and the position of another body part based on the points specified in.
- a second specifying means comprising a first device and a second device capable of communicating with the first device, and specifying at least one point for each body part of a plurality of body parts of the evaluated person.
- a positional relationship display means for displaying information indicating a positional relationship between the position of one body part and the position of another body part based on the points specified for each body part by the second specific means.
- Posture evaluation system [12] One body based on the second specific step of specifying at least one point for each body part of the plurality of body parts of the evaluated person and the points specified for each body part by the second specific step.
- a posture evaluation method having a positional relationship display step for displaying information indicating a positional relationship between the position of a part and the position of another body part;
- a posture evaluation program executed in a computer device, which provides information on the orientation of the computer device, which is specified based on a sensor attached to at least one point of the body part of the evaluated person.
- Posture evaluation program that functions as an orientation display means to display as information about orientation; [14] A posture evaluation device comprising an orientation display means for displaying information on an orientation specified based on a sensor attached to at least one point of the body part of the evaluated person as information on the orientation of the body part; [15] A posture evaluation method executed in a computer device, in which information regarding an orientation specified based on a sensor attached to at least one point of the body part of the evaluated person is used as information regarding the orientation of the body part. Posture evaluation method with orientation display step to display; [16] Information on the orientation specified based on a sensor attached to at least one point of the body part of the evaluated person, which comprises a first device and a second device capable of communicating with the first device.
- a posture evaluation system provided with an orientation display means for displaying information regarding the orientation of a body part; [17] A sensor attached to at least one point of the body part of the evaluated person and a computer device are provided, and the computer device provides information on the orientation specified based on the sensor and information on the orientation of the body part.
- Posture evaluation system with orientation display means to display as; [18] A posture evaluation program executed in a computer device, which is based on a position where the computer device is specified based on a sensor attached to at least one point of each of a plurality of body parts of the evaluated person.
- a posture evaluation program that functions as a positional relationship display means for displaying information indicating the positional relationship between the position of one body part and the position of another body part; [19] Based on the position specified based on the sensor attached to at least one point of each of the plurality of body parts of the evaluated person, the position of one body part and the position of another body part.
- a posture evaluation device provided with a positional relationship display means for displaying information indicating the positional relationship of the body; [20]
- a posture evaluation method performed in a computer device which is based on a position specified based on a sensor attached to at least one point of each of a plurality of body parts of the evaluated person.
- a posture evaluation method having a positional relationship display step for displaying information indicating a positional relationship between the position of a body part and the position of another body part; [21]
- the first device is provided with a second device capable of communicating with the first device, and is specified based on a sensor attached to at least one point of each of a plurality of body parts of the evaluated person.
- a posture evaluation system provided with a positional relationship display means for displaying information indicating a positional relationship between the position of one body part and the position of another body part based on the position of the body; [22]
- a sensor attached to at least one point of the body part of the evaluated person and a computer device are provided, and the computer device has a sensor attached to at least one point of each of a plurality of body parts of the evaluated person.
- a posture evaluation system provided with a positional relationship display means for displaying information indicating a positional relationship between the position of one body part and the position of another body part based on the position specified based on the posture;
- a posture evaluation program executed in a computer device, wherein the computer device is a direction specifying means for specifying a direction at at least one point of each of a plurality of body parts of the evaluated person, and the plurality of body parts.
- the virtual skeleton set in the virtual model is changed according to the position specifying means for specifying the position of at least one point, the orientation specified by the orientation specifying means, and / or the position specified by the position specifying means.
- a posture evaluation program that renders a virtual skeleton changing means and a virtual model corresponding to the changed virtual skeleton and functions as a virtual model display means for displaying as a two-dimensional image or a three-dimensional image; [24] The posture evaluation program according to the above [23], wherein the computer device functions as an operation execution means for causing a virtual model to perform a predetermined operation. [25] A direction specifying means for specifying the orientation at at least one point of each of the plurality of body parts of the evaluated person, a position specifying means for specifying the position of at least one point of each of the plurality of body parts, and a direction specifying.
- a virtual skeleton changing means that changes the virtual skeleton set in the virtual model according to the orientation specified by the means and / or the position specified by the position specifying means, and a virtual model according to the changed virtual skeleton.
- a posture evaluation device including a virtual model display means for rendering and displaying as a two-dimensional image or a three-dimensional image; [26] A posture evaluation method executed in a computer device, in which an orientation specifying step for specifying an orientation at at least one point of each of a plurality of body parts of an evaluated person and at least one of each of the plurality of body parts.
- a virtual skeleton change that changes the virtual skeleton set in the virtual model according to the position specifying step that specifies the position of the point, the orientation specified by the orientation specifying step, and / or the position specified by the position specifying step.
- a posture evaluation method comprising a step and a virtual model display step of rendering a virtual model according to the modified virtual skeleton and displaying it as a 2D image or a 3D image;
- the orientation specifying means comprising a first apparatus and a second apparatus capable of communicating with the first apparatus and specifying the orientation at at least one point of each of a plurality of body parts of the evaluated person, and the above-mentioned.
- a posture evaluation system including a virtual skeleton changing means for changing a virtual skeleton and a virtual model displaying means for rendering a virtual model according to the changed virtual skeleton and displaying it as a two-dimensional image or a three-dimensional image.
- a posture evaluation program capable of grasping a posture state.
- a posture evaluation device capable of grasping a posture state.
- a posture evaluation method capable of grasping a posture state.
- a posture evaluation system capable of grasping a posture state.
- the posture state of the evaluated person can be grasped, for example, a muscle in a state of hypertonia (shortening) (hereinafter, also referred to as "tension muscle”) or a muscle in a state of hypotonia (relaxation or weakening). It is possible to grasp the balance of the muscles of the evaluated person, such as the position of (hereinafter, also referred to as "relaxation muscle”). If the state of the muscles can be grasped, it becomes possible to provide an exercise menu that works appropriately on each muscle, that is, an exercise menu that is more suitable for the evaluated person, and to carry out the exercise correctly.
- the “client” is an evaluated person who is evaluated for posture, for example, a user of a training facility, a sports enthusiast, an athlete, a patient who is performing an exercise therapy, or the like. included.
- the "trainer” refers to a person who gives exercise guidance and advice to a client, and includes, for example, a training facility instructor, a sports trainer, a coach, a judo rehabilitator, and a physiotherapist.
- the "image” may be either a still image or a moving image.
- the trainer or the client himself can image the posture of the client and grasp the posture of the client based on the captured image. As a result, it becomes possible to provide an exercise menu suitable for the client.
- FIG. 1 is a block diagram showing a configuration of a computer device according to an embodiment of the present invention.
- the computer device 1 includes a control unit 11, a RAM (Random Access Memory) 12, a storage unit 13, a sound processing unit 14, a sensor unit 16, a graphics processing unit 18, a display unit 19, a communication interface 20, an interface unit 21, and a camera. It includes at least parts 23, each of which is connected by an internal bus.
- the computer device 1 is a terminal for operation by a user (for example, a trainer or a client).
- Examples of the computer device 1 include, but are not limited to, personal computers, smartphones, tablet terminals, mobile phones, PDAs, server devices, and the like. It is preferable that the computer device 1 can communicate with another computer device via the communication network 2.
- Examples of the communication network 2 include various known wired or wireless communication networks such as the Internet, a wired or wireless public telephone network, a wired or wireless LAN, or a dedicated line.
- the control unit 11 is composed of a CPU and a ROM, and includes an internal timer for measuring time.
- the control unit 11 executes the program stored in the storage unit 13 and controls the computer device 1.
- the RAM 12 is a work area of the control unit 11.
- the storage unit 13 is a storage area for storing programs and data.
- the control unit 11 reads the program and data from the RAM 12 and performs processing. By processing the program and data loaded in the RAM 12, the control unit 11 outputs a sound output instruction to the sound processing unit 14 and outputs a drawing command to the graphics processing unit 18.
- the sound processing unit 14 is connected to the sound output device 15 which is a speaker.
- the control unit 11 outputs a sound output instruction to the sound processing unit 14, the sound processing unit 14 outputs a sound signal to the sound output device 15.
- the sound output device 15 can also output, for example, instructions regarding the posture and exercise content of the client, feedback about the exercise, and the like by voice.
- the sensor unit 16 includes at least one sensor selected from the group consisting of a depth sensor, an acceleration sensor, a gyro sensor, a GPS sensor, a fingerprint authentication sensor, a proximity sensor, a magnetic force sensor, a brightness sensor, a GPS sensor, and a pressure sensor. ing.
- the graphics processing unit 18 is connected to the display unit 19.
- the display unit 19 includes a display screen 19a. Further, the display unit 19 may include a touch input unit 19b.
- the control unit 11 outputs a drawing command to the graphics processing unit 18, the graphics processing unit 18 expands the image in the frame memory 17 and outputs a video signal for displaying the image on the display screen 19a.
- the touch input unit 19b accepts a user's operation input, detects pressing by a finger or stylus on the touch input unit 19b, movement of a position of a finger or the like, and detects a change in the coordinate position thereof.
- the display screen 19a and the touch input unit 19b may be integrally configured, for example, a touch panel.
- the graphics processing unit 18 draws one image in frame units.
- the communication interface 20 can be connected to the communication network 2 wirelessly or by wire, and can transmit and receive data via the communication network 2.
- the data received via the communication network 2 is loaded into the RAM 12, and the control unit 11 performs arithmetic processing.
- An input unit 22 (for example, a mouse, a keyboard, etc.) may be connected to the interface unit 21.
- the input information from the input unit 22 by the user is stored in the RAM 12, and the control unit 11 executes various arithmetic processes based on the input information.
- the camera unit 23 captures an image of the client, for example, a posture in a stationary state and / or an operating state of the client, a state in which the client is performing an exercise, and the like.
- the image captured by the camera unit 23 is output to the graphics processing unit 18.
- the camera unit 23 may not be provided in the computer device 1, and for example, an image captured by the client may be acquired by capturing an image captured by an external imaging device.
- FIG. 2 is a diagram showing a flowchart of a posture evaluation process according to an embodiment of the present invention.
- a user for example, a trainer or a client
- a dedicated application hereinafter referred to as a dedicated application
- the camera function is started (step S1).
- the user uses the computer device 1 to take an image of a part or the whole body of the client's body, for example, from the front direction or the side direction (step S2).
- the client is imaged in a stationary state with both arms down and standing with both legs in a direction perpendicular to the horizontal plane.
- the client wears clothes that can recognize the body line as much as possible.
- the image in the front direction means the image from the direction in which the human face can be seen and the human body can be visually recognized symmetrically.
- the imaging in the lateral direction means an imaging from a direction perpendicular to the front direction and parallel to the horizontal plane, and refers to an imaging from either the left or right direction of the human body. These imagings are preferably performed so that one side of the captured image is perpendicular or parallel to the horizontal plane.
- the imaging in the height direction means an imaging from a direction perpendicular to the horizontal plane.
- step S2 the client is imaged by the camera function, but the image data of the image captured by another computer device or the like is taken into the computer device 1 and the following step S3 is taken. It may be used later. Further, in this case, the image may be a moving image as well as a still image.
- the captured client image is displayed on the display screen 19a (step S3).
- the user visually recognizes the image of the client displayed on the display screen 19a and identifies at least two points of the body part (step S4).
- the body part to be specified as a point in step S4 include a head, a thorax, a pelvis, and the like, but other body parts may be included as a point to be specified.
- at least two points are specified in each body part. These two points are used to specify the direction (inclination) of the body part, and it is preferable that which part of the body is set as the predetermined two points for each body part is predetermined.
- the predetermined two points are different between the case of the image captured from the front direction and the case of the image captured from the side direction.
- the orientation in the height direction on the left and right of the body and in the case of an image captured from the side direction, the orientation in the height direction in the front and back of the body. It becomes possible to grasp.
- FIG. 3 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- the body 30 includes a head 31, a thorax 32, and a pelvis 33.
- the head 31 corresponds to the centers 34a and 34b of both eyes
- the pelvis 32 corresponds to the acromioclavicular joints 35a and 35b of both shoulders (for example, the joint between the clavicle and the scapula).
- the location where the pelvis is located is the closest to the anterior superior iliac spines 36a and 36b (the points that are most prominent in the left-right direction of the pelvis) for the pelvis portion 33. (Places to be) can be set to two predetermined points.
- FIG. 4 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- An image of the client's body 30 captured from the side surface is displayed on the display screen.
- the portion 38a corresponding to the sternum stalk (the portion presumed to be the closest to the sternum stalk).
- the portion 38b corresponding to the lower edge of the tenth rib (the portion assumed to be the closest to the lower edge of the tenth rib) can be set as two predetermined points.
- the portion 39a corresponding to the anterior superior iliac spine the portion assumed to be the closest to the ilium
- the second sacral spinous process 39b can be set to two predetermined points.
- step S4 two points for specifying the orientation of the body part may be specified for the image captured from either the front direction or the side direction, but from a plurality of directions such as the front direction and the side direction.
- the two points may be specified for the captured image.
- the point can be specified by touching the touch panel with a finger, but for example, the point can be specified by touching the touch panel with a stylus.
- the user may operate the input unit 22 to move the cursor to a desired point on the image to specify the point.
- a method of automatically specifying the predetermined two points of the body part from the image data according to a predetermined computer program or by processing by AI is used. It may be adopted.
- the direction is specified for each body part (step S5).
- the direction of the body part can be expressed by using the line segment connecting the two.
- the orientation of body parts can be specified by parameters such as vectors.
- the two points are specified so as to be perpendicular to the horizontal plane if the posture is normal, such as when the eyebrows 37a and the chin top 37b are specified for the head, the two points are specified.
- the normal of the line segment connecting the two can be used to indicate the orientation of the body part.
- step S5 the angle formed by the normal of the line segment connecting the two points and the straight line perpendicular to the horizontal plane or the straight line parallel to the horizontal plane in the image, or the normal of the line segment connecting the two points.
- Parameters such as line segments can be used to specify the orientation of body parts.
- step S6 the user visually recognizes the image of the client displayed on the display screen 19a and identifies at least one point of the body part.
- the body part to be specified as a point in step S6 include a head, a thorax, a pelvis, and the like, but other body parts may be included as a point to be specified.
- at least one point is specified in each body part. This one point is used for grasping the deviation of the position of the body part, and it is preferable that which part of the body is set as a predetermined one point for each body part is predetermined.
- the points specified in step S6 may include the points specified in step S4, that is, the points specified in step S4 and step S6 may be the same or different. May be good.
- a predetermined point is different between the image captured from the front direction and the image captured from the side direction.
- a predetermined point is different between the image captured from the front direction and the image captured from the side direction.
- the predetermined points of these specified body parts are aligned on a straight line if the person has a normal posture.
- the points specified in the head, thorax, and pelvis are preferably points that are aligned on a straight line if the person is in a normal posture.
- the points specified in the head, thorax, and pelvis are preferably points that are aligned on a straight line if the person is in a normal posture.
- FIG. 3 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- an image of the client's body taken from the front is displayed.
- the central point 34c of both eyes for the head for example, the central point 35c of the acromioclavicular joints 35a and 35b of both shoulders for the thorax, and the pelvis for the pelvis.
- the central point 36c of the left and right anterior superior iliac spines 36a and 36b in the corresponding portion can be a predetermined point specified in step S6.
- FIG. 4 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- An image of the client's body captured from the side is displayed on the display screen.
- the external occipital protuberance 37c for the head for example, the external occipital protuberance 37c for the head, the portion 38c corresponding to the area from the fourth thoracic spinous process to the fifth thoracic spinous process for the thoracic region, and the pelvic region for the pelvic region.
- the second sacral spinous process 39b can be a predetermined point.
- a point for specifying the displacement of the position of the body part may be specified, but there are a plurality of directions such as the front direction and the side direction. You may specify the point for specifying the displacement of the position of the body part with respect to the image taken from. For example, using the image from the front direction shown in FIG. 3 and the image from the side direction shown in FIG. 4, a predetermined two or one point for each body part is multifaceted from two directions, the front direction and the side direction.
- the displacement of the position of the body part in the left-right direction and the front-back direction can be eventually determined. It is possible to grasp more accurately than when evaluating from one side.
- images taken from the back and top directions are also used to shift the position of the body part from three directions or three-dimensionally with respect to the posture of the client.
- FIG. 5 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- An image of the client's body taken from the back is displayed on the display screen.
- the external occipital protuberance 37c for the head for example, the external occipital protuberance 37c for the head, the portion 38c corresponding to the area from the fourth thoracic spinous process to the fifth thoracic spinous process for the thoracic region, and the pelvic region for the pelvic region.
- the second sacral spinous process 39b can be identified as a predetermined point.
- FIG. 6 is a diagram showing an example of a display screen according to the embodiment of the present invention.
- 6 (a), 6 (b), and 6 (c) show the head, thorax, and pelvis as body parts in images taken from the front, side, and back directions, respectively.
- a point identification target a schematic diagram when a predetermined point is specified is shown.
- the deviation of the position of the body part is evaluated from either one or from two directions, the front direction and the side direction. It is possible to grasp more accurately and in more detail than in the case of doing so.
- the external occipital protuberance 37c is evaluated by evaluating the positional relationship between the centers 34a and 34b of both eyes identified from the images in the front direction and the external occipital protuberance 37c identified from the images in the lateral direction and the posterior direction. , It is possible to grasp the inclination in the left-right direction when the front-back direction of the body is the axis. Further, for example, for the head, the external occipital prominence is evaluated by evaluating the positional relationship between the glabellar 37a and the apex 37b of the jaw identified from the lateral image and the external occipital protuberance 37c identified from the lateral and posterior images. With respect to the ridge 37c, it is possible to grasp the deviation in the front-back direction when the left-right direction of the body is the axis.
- points specified from the images from the top direction may be combined to evaluate the displacement of the position of the body part. good.
- the external occipital protuberance 37c is evaluated by evaluating the positional relationship between the eyebrows 37a identified from the image in the upper surface direction and the external occipital protuberance 37c identified from the images in the lateral direction and the posterior direction. , It is possible to grasp the deviation in the left-right direction when the vertical direction of the body is the axis.
- the depth from the point specified from the image in the front direction to the specified point from the image in the back direction is measured by the image taken by the depth camera using the depth sensor. Therefore, it is possible to grasp the deviation of the position of the body part in the same manner as when the image from the upper surface direction is used. By doing so, the positional relationship between the points specified for the images captured from multiple directions, or the positional relationships of these points specified by the depth sensor in addition to the images from multiple directions is evaluated, and the orientation of each body part is achieved. It is possible to accurately and in detail grasp the displacement of the position of the body part and the body part.
- the point can be specified by touching the touch panel with a finger, but for example, the point can be specified by touching the touch panel with a stylus.
- the user may operate the input unit 22 to move the cursor to a desired point on the image to specify the point.
- a method of automatically identifying the predetermined point of the body part from the image according to a predetermined computer program or by processing by AI is adopted. You may.
- the deviation of the position of the body part is specified based on the points specified for each body part (step S7). For example, the line segment connecting the two points specified for different body parts specified in step S6, the angle formed by the straight line perpendicular to the horizontal plane in the image, or the other point starting from any one point. It is possible to specify the deviation of the position of the body part by a parameter such as a unit vector as the end point.
- step S8 The orientation of each body part and the deviation of the position between the body parts specified in steps S5 and S7 are stored in the storage unit 13 (step S8).
- step S9 information regarding the orientation of the body part specified in step S5 is displayed (step S9).
- the parameter itself specified in step S5 may be displayed on the display screen so that the user can objectively grasp the orientation of the body part.
- information regarding the orientation of the body part specified in step S5 may be displayed by using an object such as an arrow starting from the point specified in step S6.
- the direction of the body part is displayed by the arrow 37d
- the direction of the body part is displayed by the arrow 38d.
- the direction of the body portion is indicated by the arrow 39d.
- the user can easily grasp the deviation and the orientation of the body part. can do. Further, if it facilitates the visual grasp of the deviation and orientation of the body part, instead of the arrow, a line connecting the points specified in step S4 and / or step S6 or a body part is represented. Information on the orientation of the body part may be displayed by using a block or the like.
- the posture evaluation process is completed by the processes of steps S1 to S9.
- the user can grasp the state of the muscle based on the state of the posture displayed on the display screen 19a in step S9. For example, when the thoracic portion 32 faces downward as it becomes anterior and the pelvic portion 33 tilts upward as it becomes anterior, the muscles in the vicinity of the thoracic portion 32 and the pelvic portion 33 in front of the body become hypertonic (shortened). ), And it can be seen that the muscles in the vicinity of the thoracic portion 32 and the pelvic portion 33 behind the body are in a state of reduced tension (relaxation).
- step S6 When specifying the position and orientation of a predetermined point on the body part in step S6, the image of the posture of the client captured from various directions is used, and the operation by the user or the processing by the computer program or AI is performed. It is possible to identify the points of each body part.
- the body part based on the image, but by directly attaching the motion capture sensor to the predetermined point on each body part, the body part
- the position or orientation of the predetermined point in the space may be specified.
- the client lowers both arms, stands on both legs in a direction perpendicular to the horizontal plane, and measures the position and orientation of a predetermined point while standing still.
- steps S1 to S4 can be omitted, and the processes of steps S5 to S9 are executed.
- the predetermined points for attaching the motion capture sensor are points that are aligned on a straight line if the person is in a normal posture.
- any method such as an optical type, an inertial sensor type, a mechanical type, and a magnetic type may be used.
- the motion capture sensor when the motion capture sensor is directly attached to a predetermined point of each body part to evaluate the posture, the orientation of the body part (including the inclination of the body part) for one body part to be specified as a point. Since it is only necessary to specify one point at which the deviation of the position can be measured, it is possible to easily specify a predetermined point of the body part.
- any method such as an optical type, an inertial sensor type, and a magnetic type may be used.
- an optical sensor a reflection marker is attached to a predetermined point
- an inertial sensor type a gyro sensor is attached to a predetermined point.
- a magnetic type When using a magnetic type, a magnetic sensor is attached at a predetermined point.
- FIG. 7 is a diagram showing an exercise menu table according to an embodiment of the present invention.
- an exercise menu 42 suitable for the pattern is set in association with the pattern 41 of the orientation of each body part.
- an appropriate exercise menu 42 is specified according to which orientation pattern the parameters for each body part specified in step S5 correspond to, and the specified exercise menu is displayed. , Can be displayed on the display screen 19a of the computer device 1.
- the orientation pattern of each body part is a combination of the orientation parameters of the head / thoracic region, a combination of the orientation parameters of the thoracic region / pelvis, and the orientation parameters of the head / thoracic region / pelvis.
- the combination of. Therefore, for example, the head is tilted downward toward the front of the body and the thorax is tilted upward, and the head is tilted upward toward the front of the body, and the chest is tilted upward. It is possible to identify different exercise menus than when leaning downwards.
- the exercise menu table 40 may be associated with a pattern of displacement of the position of a body part, and an appropriate exercise menu may be set for that pattern. Then, with reference to the exercise menu table 40, an appropriate exercise menu is specified according to which pattern the displacement of the position for each body part specified in step S7 corresponds to, and the specified exercise menu is selected. , Can be displayed on the display screen 19a of the computer device 1.
- FIG. 8 is a diagram showing an avatar display process according to an embodiment of the present invention.
- a virtual skeleton is set for the avatar displayed on the display screen 19a by the avatar display function, and it is possible to make the avatar perform an action by moving the movable virtual skeleton.
- a plurality of types of avatars such as male avatars and female avatars are provided, and the user can appropriately select a desired avatar from these avatars.
- the avatar has a virtual skeleton that serves as a reference for the ideal posture.
- FIG. 9 is a diagram showing a virtual skeleton model according to an embodiment of the present invention.
- the virtual skeleton model 51 includes, for example, a plurality of virtual joints 52 (indicated by circles in FIG. 9) provided on movable parts such as shoulders, elbows, and wrists, and each virtual joint 52 corresponding to an upper arm, lower arm, hand, or the like. It is composed of a linear virtual skeleton 53 (indicated by a straight line in FIG. 9) for connecting the above.
- the deformation of the virtual skeleton in step S12 is carried out as follows.
- the position of the virtual joint 52a is fixed, and the virtual joint 52a and the virtual joints 52b on both sides thereof are fixed.
- 52c is maintained so as to be aligned on a straight line, and the positions of the virtual joints 52b and 52c are moved according to the parameters corresponding to step S5.
- the virtual joint 52b is moved downward and the virtual joint 52c is moved upward.
- the virtual skeletons 53a and 53b also move.
- FIG. 9B is a deformed virtual skeleton model 51'. Since the virtual skeleton 53 can be defined from the coordinates of the virtual joints at both ends, the deformed virtual skeleton 53a'can be defined by the coordinates of the deformed virtual joints 52a'and 52b'. The deformed virtual skeleton 53b'can be defined by the coordinates of the deformed virtual joints 52a'and 52c'. The same processing can be performed for the other virtual joint 52 and the other virtual skeleton 53.
- the virtual skeleton 53 is associated with the coordinates of the vertices of a plurality of polygons in order to visualize the avatar.
- the coordinates of the vertices of the associated polygons are associated with the deformation. Is also changed (step S13).
- the avatar can be displayed as a two-dimensional image or a three-dimensional image by rendering the model data of the avatar composed of polygons in which the coordinates of the vertices are changed (step S14).
- the avatar display process ends in steps S11 to S14.
- the angle of the angle formed in each virtual joint 52 at the start of the motion and after the motion is formed (for example, formed by three joint points of the elbow, shoulder, and neck part).
- the angle of the angle of the shoulder portion to be formed) and the angular velocity at the time of motion for the angle are determined, and a predetermined motion is given by changing the angle formed in the virtual joint 52 with the passage of time. Can be done.
- FIG. 10 is a block diagram showing a configuration of a posture evaluation system according to an embodiment of the present invention.
- the system 4 in the present embodiment includes a computer device 1 operated by a user, a communication network 2, and a server device 3.
- the computer device 1 is connected to the server device 3 via the communication network 2.
- the server device 3 does not have to be always connected to the computer device 1, and may be connected as needed.
- the server device 3 includes, for example, a control unit, a RAM, a storage unit, and a communication interface, and can be configured to be connected by an internal bus.
- the control unit is composed of a CPU and a ROM, and includes an internal timer for measuring time.
- the control unit executes the program stored in the storage unit and controls the server device 3.
- the RAM is the work area of the control unit.
- the storage unit is a storage area for storing programs and data. The control unit reads the program and data from the RAM, and executes the program based on the information received from the computer device 1 and the like.
- the communication interface can be connected to the communication network 2 wirelessly or by wire, and data can be transmitted / received via the communication network 2.
- the data received via the communication network 2 is loaded into, for example, a RAM, and arithmetic processing is performed by the control unit.
- the posture evaluation process shown in FIG. 2 and the same process as the avatar display process shown in FIG. 8 are executed in either the computer device 1 or the server device 3. Will be done.
- the posture evaluation process in the posture evaluation system will be explained below.
- the camera function is started.
- the user uses the computer device 1 to image a part or the whole body of the client's body, for example, from the front direction or the side direction.
- the client is imaged while standing in a direction perpendicular to the horizontal plane.
- the client is imaged by the camera function here, the image data of the image captured by another computer device or the like may be taken into this computer device and used.
- the captured client image is displayed on the display screen 19a.
- the user transmits the image data of the image of the client captured by operating the computer device 1 to the server device 3.
- the server device 3 identifies at least two points for each of the body parts based on the image data of the client image received from the computer device 1. Examples of the body part to which the point is specified include the head, the thorax, and the pelvis. These two points are used to specify the orientation of the body part, and it is preferable that each part of the body is predetermined as to which part of the body should be set as the predetermined two points. Further, even for the same body part, it is preferable that the predetermined two points are different between the case of the image captured from the front direction and the case of the image captured from the side direction.
- the server device 3 specifies at least one point for each body part in addition to the two points specified above.
- Examples of the body part to be specified as a point include a head, a thorax, a pelvis, and the like, but other body parts may be included as a point to be specified.
- This one point is used for specifying the displacement of the position of the body part, and it is preferable that which part of the body is set as a predetermined one point for each body part is predetermined. Further, even for the same body part, it is preferable that a predetermined point is different between the image captured from the front direction and the image captured from the side direction. Further, the points specified at this time may include points specified for specifying the orientation of the body part.
- the point specified for specifying the orientation of the body part and the point specified for specifying the deviation of the position of the body part may be the same or different. Further, it is preferable that the predetermined points of these specified body parts are aligned on a straight line if the person has a normal posture.
- the orientation of each body part is specified by a parameter based on the two points specified for each body part. Further, in the server device 3, the deviation of the position of the body part is specified by the parameter based on the point specified for each body part. In the server device 3, the parameter about the orientation of each body part and the parameter about the deviation of the position of the body part are stored in the storage unit.
- the computer device 1 receives parameters for the orientation of the body part and parameters for the displacement of the position of the body part.
- On the display screen 19a of the computer device 1 information regarding the orientation of the body part and the deviation of the position of the body part is displayed based on the received parameters. Specifically, on the display screen 19a of the computer device 1, the same images as those shown in FIGS. 3 and 4 are displayed.
- the posture evaluation system in the second embodiment is preferably configured to display an avatar reflecting the posture of the client on the display screen based on the parameters specified in steps S5 and S7.
- the server device 3 receives the image data of the client image transmitted from the computer device 1 by the user's operation and specifies the parameters for the orientation of each body part and the parameters for the displacement of the position of the body parts, the computer Image data of the avatar is created in order to display the avatar reflecting the posture of the client on the display screen 19a of the device 1.
- steps S1 to S4 can be omitted, and the processes of steps S5 to S9 can be executed.
- the server device 3 executes a process of deforming the virtual skeleton of the avatar based on the parameters for the orientation of each body part and the parameters for the displacement of the position of the body part. Will be done.
- the process of deforming the virtual skeleton can be the same as that of step S12 above.
- the virtual skeleton is associated with the vertex coordinates of multiple polygons in order to visualize the avatar, and the coordinates of the vertices of the associated polygons are also changed according to the deformation of the virtual skeleton.
- the two-dimensional image data or the three-dimensional image data of the avatar obtained by rendering the model data of the avatar composed of polygons whose apex coordinates are changed is transmitted from the server device 3 to the computer device 1.
- the computer device 1 receives the two-dimensional image data or the three-dimensional image data of the avatar and displays the avatar on the display screen. Even in the avatar with the deformed virtual skeleton, the motion program is executed in the server device 3 and the avatar to which the motion is given is displayed in the computer device 1.
- the avatar display function switches between the image of the avatar and the image of the client on the display screen 19a, and displays an image in which the image of the virtual skeleton of the avatar is superimposed on the image of the client.
- the client can more accurately and visually grasp the orientation of the body part and the deviation of the position of the body part based on the image of the client's posture, and the correct form. It will be possible to carry out exercise at.
- the image of the avatar is displayed on the display screen of the other party's computer device. By displaying it, it can be used to protect the privacy of the client.
- the information regarding the orientation and positional deviation of the body part received by the computer device 1 from the server device 3 is received not only as a virtual skeleton model showing the correct posture but also as a posture score. You may be able to do it.
- the posture score can be calculated by quantifying the parameters of the position and orientation of the body part, and the posture score can be displayed on the display screen for each client. For example, the more normal the orientation of the body part, the higher the posture score, and the farther the normal orientation of the body part is, the lower the posture score.
- a system realized by a computer device and a server device that can be connected to the computer device by communication has been illustrated and described, but instead of the server device, a portable computer device is used. It can also be used. That is, it can be applied to a peer-to-peer system using a computer device such as a smartphone and a computer device such as a smartphone.
- the trainer or the client himself can image the posture of the client, and the posture of the client can be grasped based on the captured image.
- the posture of the client can be grasped without using the computer device.
- the posture evaluation method will be described.
- the trainer or the client prints an image of a part or the whole body of the client, for example, from the front direction or the side direction, on paper or the like.
- the trainer or the client visually recognizes the printed image and identifies at least two points from the body parts for identifying the orientation of the body parts. Examples of the two body parts to be specified include the head, the thorax, the pelvis, and the like, but other body parts may be included as the points to be specified.
- the trainer or client writes a mark on the two specified points in the image.
- the trainer or client identifies one point from among the body parts for grasping the displacement of the position of the body part.
- the body part to be specified as a point include a head, a thorax, a pelvis, and the like, but other body parts may be included as a point to be specified.
- the points specified in the head, thorax, and pelvis are preferably points that are aligned on a straight line if the person is in a normal posture.
- the points specified in the head, thorax, and pelvis are preferably points that are aligned on a straight line if the person is in a normal posture.
- the trainer or client writes a mark at a specific point in the image.
- the trainer or the client writes in the image the orientation of the body part obtained from the two specified points in the image.
- the direction of the body part is represented by an arrow.
- the starting point of the arrow can be a point for grasping the deviation of the position of the body part.
- the posture is normal, such as when the eyebrows and the top of the chin are specified, they are perpendicular to the line segment connecting the two points.
- It can be an arrow extending in any direction.
- the pelvis when two points that are parallel to the horizontal plane are specified if the posture is normal, such as when the anterior superior iliac spine and the second sacral spine are specified. It can be an arrow extending in a direction parallel to the line segment connecting the two points.
- the fourth embodiment may be realized as a computer device as in the first embodiment, and as in the second embodiment, by communication with the computer device and the computer device. It may be realized as a system including a connectable server device. The processes described below may be executed by either the computer device 1 or the server device 3, except for those that can be executed only by the computer device 1.
- the avatar display function is started.
- a virtual skeleton is set for the avatar, and by moving the movable virtual skeleton, it is possible to make the avatar perform actions.
- a reference virtual skeleton is set in the avatar in the ideal posture, and it is possible to transform this reference virtual skeleton.
- the deformation of the virtual skeleton is executed according to the operation of the computer device 1 by the user. More specifically, the virtual skeleton can be deformed by changing the orientation of all or part of the virtual skeleton of the head, the thorax, or the pelvis in the anterior-posterior direction or the left-right direction. Further, the virtual skeleton can be deformed by shifting the position of all or a part of the virtual skeleton of any one of the head, the thorax, and the pelvis in the anteroposterior direction or the left-right direction.
- the position of the virtual joint 52a is fixed, and the virtual joint 52a and the virtual joints 52b and 52c on both sides thereof are on a straight line.
- the positions of the virtual joints 52b and 52c are moved according to the input operation of the user while maintaining the lines in line with each other. For example, the virtual joint 52b is moved downward and the virtual joint 52c is moved upward.
- the virtual skeleton 53 can be defined from the coordinates of the virtual joints 52 at both ends
- the deformed virtual skeleton 53a' can be defined by the coordinates of the deformed virtual joints 52a'and 52b'.
- the deformed virtual skeleton 53b' can be defined by the coordinates of the deformed virtual joints 52a'and 52c'.
- the coordinates of the vertices of the associated polygons are also changed according to the deformation, and the avatar can be displayed as a two-dimensional image by rendering the model data of the avatar consisting of polygons. ..
- the system in the present embodiment includes a first device operated by a user, a communication network, and a second device that can be connected to the first device by communication.
- the first device is connected to the second device via a communication network.
- the second device may include, for example, at least a control unit, a RAM, a storage unit, and a communication interface, and may be configured to be connected by an internal bus.
- the control unit is composed of a CPU and a ROM, and includes an internal timer for measuring time.
- the control unit executes the program stored in the storage unit and controls the second device.
- the RAM is the work area of the control unit.
- the storage unit is a storage area for storing programs and data. The control unit reads the program and data from the RAM, and executes the program based on the information received from the first device and the like.
- the communication interface can be connected to a communication network wirelessly or by wire, and data can be transmitted and received via the communication network.
- the data received via the communication network is loaded into, for example, a RAM, and arithmetic processing is performed by the control unit.
- the posture evaluation process shown in FIG. 2 and the same process as the avatar display process shown in FIG. 8 are performed in either the first device or the second device. , Will be executed.
- an online session using a communication network is started between the first device and the second device by the operation of the first device by the client or the operation of the second device by the trainer.
- the online session may be executed directly between the first device and the second device by a dedicated application installed on the first device and the second device, or a conventionally known communication application or social networking. It may be executed by using the service and via a server on the cloud network.
- the client utilizes the camera function of the first device to image a part or whole body of the client, for example, from the front or from the side.
- the client is imaged by the camera function, but the image data of the image captured by another computer device or the like may be taken into the own computer device and used, or the camera function may be used.
- the client's posture may be photographed intermittently and input to the first device in real time. Further, it may be intermittently transmitted and received between the first device and the second device by streaming or live distribution using a file transfer method such as Peer to Peer.
- the captured client image is displayed on the display screen of the first device and / or the second device.
- the first device carried by the client identifies points for each body part
- the first device performs posture evaluation processing based on the captured image as soon as the client's posture is photographed.
- identify the points for identifying the deviation of the orientation and position of the body parts From among the body parts, identify the points for identifying the deviation of the orientation and position of the body parts. Examples of the body part to be specified as a point include a head, a thorax, a pelvis, and the like, but other body parts may be included as a point to be specified.
- the deviation of the orientation and position of the body part is specified by the parameter.
- the parameters for the orientation of each body part and the parameters for the deviation of the position of the body part are stored in the storage unit. Then, on the display screen of the first device, information regarding the orientation of the body part and the deviation of the position of the body part is displayed based on the stored parameters.
- the client transmits the image data of the image of the client captured by operating the first device to the second device.
- a parameter regarding the orientation of the body part and a parameter regarding the deviation of the position of the body part may be transmitted.
- the image data of the image of the client, the parameter about the orientation of the body part, and the parameter about the deviation of the position of the body part are received.
- information regarding the orientation of the body part and the deviation of the position of the body part is displayed based on the image data of the image of the received client or the received parameter.
- the avatar reflecting the posture of the client is displayed on the display screen based on the parameters specified in steps S5 and S7.
- the client sends an image to the trainer's computer device through an online session with the trainer, and does not want to send the image of the client itself directly to the trainer.
- the image of the avatar By displaying the image of the avatar on the display screen of the computer device on the trainer side, it can be used to protect the privacy of the client.
- the avatar of the virtual skeleton of the ideal private child is superimposed on the image in which the posture of the client is captured. It is possible to more accurately and visually grasp the orientation of the body part and the deviation of the position of the body part, and to promote the execution of the exercise in the correct form.
- orientation or position deviation of the body part when the orientation or position deviation of the body part is specified from the specified one point, if the orientation or position deviation of the body part can be specified from the specified point, any of the above.
- a predetermined point may be specified by using the body part of.
- the posture of the evaluated person is grasped by specifying the deviation of the orientation and the position of the body part at the specified point of the body part, but the present invention is not limited to this.
- the posture of the evaluated person may be grasped by specifying the "position" of the predetermined point specified in the body part and the "direction" (tilt) of the body part in the "position”.
- the case where the parameter for the orientation of each body part or the parameter for the deviation of the position of the body part is stored in the storage unit of the computer device is illustrated and described.
- the storage area for storing various data related to the posture evaluation specified in the posture evaluation system according to the present invention is not limited to the storage unit of the computer device.
- a computer device may be connected to a communication network and stored in cloud storage on an external cloud network.
- Computer device Communication network 3 Server device 4 System 11 Control unit 12 RAM 13 Storage unit 14 Sound processing unit 15 Sound output device 16 Sensor unit 17 Frame memory 18 Graphics processing unit 19 Display unit 20 Communication interface 21 Interface unit 22 Input unit 23 Camera unit
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physical Education & Sports Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本発明の目的は、人の姿勢の状態を把握することが可能な姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システムを提供することである。 コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段として機能させる、姿勢評価プログラム。
Description
本発明は、身体の姿勢の状態を把握することができる姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システムに関する。
人々が健康状態を維持していくためには、日頃から適度な運動を実施することが重要である。近年では、運動機能の増進を図るために、トレーニング施設を利用する等して運動をする人も増加している。また、整骨院、整体院、又はリハビリテーション施設などの治療施設においても、患者に種々の運動を実施させることにより、患者の症状の軽減、治療、又は機能回復を図る、いわゆる運動療法が行われている。
運動の効果を高めるためには、人の身体の状態を見極めたうえで、運動メニューを決定し、正しいフォームで実施させることが必要である。例えば、一般的に奨励されているような運動メニューであっても、その人の身体の状態が、その運動メニューを実施するために適した状態になかったり、誤ったフォームで実施されたりした場合、その運動メニューを実施しても、本来は使うべきではない筋肉が使用されたり、関節や関節周囲の軟部組織に過剰な負荷がかかったりし、故障や不定愁訴の原因となるおそれがある。
より効果的で、故障や不定愁訴の原因とならないような運動メニューを提供するためには、その人の姿勢の状態を定量的に把握することが好ましい。また、運動メニューを正しく実施させるためには、本人のフォームと理想のフォームの差異を可視化し、実施する本人に認識させることが望ましい。これらの姿勢の状態を把握することができれば、その人にとってより適した運動メニューを提供し、正しく実施させることが可能となる。
本発明は、上記のような問題に鑑みてなされたものである。すなわち、本発明の目的は、姿勢の状態を把握することが可能な姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システムを提供することである。
本発明は、以下の[1]~[27]により、上記の課題を解決するものである。
[1]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段として機能させる、姿勢評価プログラム;
[2]コンピュータ装置を、身体部位の少なくとも1点を特定する第2特定手段と、第2特定手段により特定された点と関連付けて、特定した向きに関する情報を表示する向き表示手段として機能させる、前記[1]に記載の姿勢評価プログラム;
[3]複数の身体部位が存在し、コンピュータ装置を、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、前記[1]又は[2]に記載の姿勢評価プログラム;
[4]被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段とを備える、姿勢評価装置;
[5]コンピュータ装置において実行される姿勢評価方法であって、被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップとを有する、姿勢評価方法;
[6]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段とを備える、姿勢評価システム;
[7]被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップとを有する、姿勢評価方法;
[8]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、姿勢評価プログラム;
[9]被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段とを備える、姿勢評価装置;
[10]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップとを有する、姿勢評価方法;
[11]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段とを備える、姿勢評価システム;
[12]被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップとを有する、姿勢評価方法;
[13]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段として機能させる、姿勢評価プログラム;
[14]被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価装置;
[15]コンピュータ装置において実行される姿勢評価方法であって、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示ステップを有する、姿勢評価方法;
[16]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価システム;
[17]被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、コンピュータ装置が、前記センサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価システム;
[18]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、姿勢評価プログラム;
[19]被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価装置;
[20]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップを有する、姿勢評価方法;
[21]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価システム;
[22]被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、コンピュータ装置が、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価システム;
[23]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段として機能させる、姿勢評価プログラム;
[24]コンピュータ装置を、仮想モデルに所定の動作を実行させる動作実行手段として機能させる、前記[23]に記載の姿勢評価プログラム;
[25]被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段とを備える、姿勢評価装置;
[26]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定ステップと、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定ステップと、向き特定ステップにより特定された向き、及び/又は、位置特定ステップにより特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更ステップと、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示ステップとを有する、姿勢評価方法;
[27]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段とを備える、姿勢評価システム。
[1]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段として機能させる、姿勢評価プログラム;
[2]コンピュータ装置を、身体部位の少なくとも1点を特定する第2特定手段と、第2特定手段により特定された点と関連付けて、特定した向きに関する情報を表示する向き表示手段として機能させる、前記[1]に記載の姿勢評価プログラム;
[3]複数の身体部位が存在し、コンピュータ装置を、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、前記[1]又は[2]に記載の姿勢評価プログラム;
[4]被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段とを備える、姿勢評価装置;
[5]コンピュータ装置において実行される姿勢評価方法であって、被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップとを有する、姿勢評価方法;
[6]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の身体部位の少なくとも2点を特定する第1特定手段と、第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段とを備える、姿勢評価システム;
[7]被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップとを有する、姿勢評価方法;
[8]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、姿勢評価プログラム;
[9]被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段とを備える、姿勢評価装置;
[10]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップとを有する、姿勢評価方法;
[11]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段とを備える、姿勢評価システム;
[12]被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップとを有する、姿勢評価方法;
[13]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段として機能させる、姿勢評価プログラム;
[14]被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価装置;
[15]コンピュータ装置において実行される姿勢評価方法であって、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示ステップを有する、姿勢評価方法;
[16]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価システム;
[17]被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、コンピュータ装置が、前記センサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、姿勢評価システム;
[18]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段として機能させる、姿勢評価プログラム;
[19]被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価装置;
[20]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップを有する、姿勢評価方法;
[21]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価システム;
[22]被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、コンピュータ装置が、被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、姿勢評価システム;
[23]コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段として機能させる、姿勢評価プログラム;
[24]コンピュータ装置を、仮想モデルに所定の動作を実行させる動作実行手段として機能させる、前記[23]に記載の姿勢評価プログラム;
[25]被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段とを備える、姿勢評価装置;
[26]コンピュータ装置において実行される姿勢評価方法であって、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定ステップと、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定ステップと、向き特定ステップにより特定された向き、及び/又は、位置特定ステップにより特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更ステップと、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示ステップとを有する、姿勢評価方法;
[27]第1装置と、該第1装置と通信接続が可能な第2装置とを備え、被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段とを備える、姿勢評価システム。
本発明によれば、姿勢の状態を把握することが可能な姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システムを提供することができる。
本発明によれば、人の姿勢の状態を簡易な方法で的確に把握することが可能である。被評価者の姿勢の状態を把握することができれば、例えば、緊張亢進(短縮)の状態にある筋(以下、「緊張筋」ともいう)や、緊張低下(弛緩または弱化)の状態にある筋(以下、「弛緩筋」ともいう)の位置など、被評価者の筋のバランスを把握することができる。筋の状態を把握することができれば、それぞれの筋に適切に働きかける運動メニュー、すなわち、その被評価者にとってより適した運動メニューを提供し、正しく実施させることが可能になる。
以下、図面等を用いて本発明の実施の形態について説明をするが、本発明の趣旨に反しない限り、本発明は以下の実施の形態に限定されない。また、本明細書において説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。
なお、本明細書において、「クライアント」とは、姿勢の評価を受ける被評価者のことであり、例えば、トレーニング施設の利用者、スポーツ愛好家、アスリート、運動療法を実施している患者などが含まれる。また、「トレーナー」とは、クライアントに対して運動の指導やアドバイスを行う者のことをいい、例えば、トレーニング施設のインストラクター、スポーツトレーナー、コーチ、柔道整復師、理学療法士などが含まれる。また、「画像」は、静止画像、動画像のいずれであっても良い。
[第一の実施の形態]
まず、本発明の第一の実施の形態の概要について説明をする。以下では、第一の実施の形態として、クライアントの姿勢の状態の評価をコンピュータ装置に実行させるプログラムを例示して説明をする。
まず、本発明の第一の実施の形態の概要について説明をする。以下では、第一の実施の形態として、クライアントの姿勢の状態の評価をコンピュータ装置に実行させるプログラムを例示して説明をする。
第一の実施の形態にかかるプログラムによれば、例えば、トレーナーやクライアント自身によって、クライアントの姿勢を撮像し、撮像された画像をもとにクライアントの姿勢を把握することができる。その結果、クライアントに適した運動メニューを提供することが可能となる。
図1は、本発明の実施の形態にかかるコンピュータ装置の構成を示すブロック図である。コンピュータ装置1は、制御部11、RAM(Random Access Memory)12、記憶部13、サウンド処理部14、センサ部16、グラフィックス処理部18、表示部19、通信インタフェース20、インタフェース部21、及びカメラ部23を少なくとも備え、それぞれ内部バスにより接続されている。
コンピュータ装置1は、ユーザ(例えば、トレーナー又はクライアント)が操作するための端末である。コンピュータ装置1としては、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯電話、PDA、サーバ装置等が挙げられるが、これに限定されない。コンピュータ装置1は、通信ネットワーク2を介して、他のコンピュータ装置と通信接続が可能であることが好ましい。
通信ネットワーク2としては、例えば、インターネット、有線もしくは無線の公衆電話網、有線もしくは無線LAN、又は専用回線等、有線又は無線の公知の各種の通信ネットワークが挙げられる。
制御部11は、CPUやROMから構成され、時間を計時する内部タイマを備えている。制御部11は、記憶部13に格納されたプログラムを実行し、コンピュータ装置1の制御を行う。RAM12は、制御部11のワークエリアである。記憶部13は、プログラムやデータを保存するための記憶領域である。
制御部11は、プログラム及びデータをRAM12から読み出して処理を行う。制御部11は、RAM12にロードされたプログラム及びデータを処理することで、サウンド出力の指示をサウンド処理部14に出力したり、描画命令をグラフィックス処理部18に出力したりする。
サウンド処理部14は、スピーカであるサウンド出力装置15に接続されている。制御部11がサウンド出力の指示をサウンド処理部14に出力すると、サウンド処理部14は、サウンド出力装置15にサウンド信号を出力する。サウンド出力装置15は、例えば、クライアントの姿勢や運動内容に関する指示、運動についてのフィードバックなどを、音声で出力することも可能である。
センサ部16は、深度センサ、加速度センサ、ジャイロセンサ、GPSセンサ、指紋認証センサ、近接センサ、磁力センサ、輝度センサ、GPSセンサ、及び気圧センサからなる群より選択される少なくとも1以上のセンサを備えている。
グラフィックス処理部18は、表示部19に接続されている。表示部19は、表示画面19aを備えている。また、表示部19は、タッチ入力部19bを備えていてもよい。制御部11が描画命令をグラフィックス処理部18に出力すると、グラフィックス処理部18は、フレームメモリ17に画像を展開し、表示画面19aに画像を表示するためのビデオ信号を出力する。タッチ入力部19bは、ユーザの操作入力を受け付けるものであり、タッチ入力部19b上における指やスタイラス等による押圧や、指等の位置の移動を検知し、その座標位置の変化等を検出する。表示画面19a及びタッチ入力部19bは、例えば、タッチパネルのように、一体的に構成されていてもよい。グラフィックス処理部18は、フレーム単位で1枚の画像の描画を実行する。
通信インタフェース20は、無線又は有線により通信ネットワーク2に接続が可能であり、通信ネットワーク2を介してデータを送受信することが可能である。通信ネットワーク2を介して受信したデータは、RAM12にロードされ、制御部11により演算処理が行われる。
インタフェース部21には、入力部22(例えば、マウスやキーボード等)が接続され得る。ユーザによる入力部22からの入力情報は、RAM12に格納され、制御部11は、入力情報をもとに各種の演算処理を実行する。
カメラ部23は、クライアントを撮像するものであり、例えば、クライアントの静止状態及び/又は動作状態における姿勢や、クライアントが運動を実施している様子などを撮像する。カメラ部23により撮像された画像は、グラフィックス処理部18に出力される。なお、カメラ部23はコンピュータ装置1に備えられていなくても良く、例えば、外部の撮像装置によって撮像した画像を取り込むことで、クライアントを撮像した画像を取得しても良い。
次に、本発明の実施の形態にかかる、コンピュータ装置の姿勢評価処理について説明をする。図2は、本発明の実施の形態にかかる姿勢評価処理のフローチャートを示す図である。ユーザ(例えば、トレーナー又はクライアント)が、コンピュータ装置1にインストールされた専用のアプリケーション(以下、専用アプリ)を起動し、カメラ機能の開始ボタンを選択すると、カメラ機能が開始される(ステップS1)。ユーザは、コンピュータ装置1を利用して、クライアントの身体の一部又は全身を、例えば、正面方向から、又は、側面方向から撮像する(ステップS2)。クライアントは、静止した状態で、且つ、両腕を下方におろし、水平面に対して垂直な方向に両脚で立った状態で撮像される。なお、クライアントの身体の一部又は全身を、正面方向及び側面方向以外の方向(例えば、高さ方向)から撮像することも可能である。また、より正確に姿勢の状態を把握するために、クライアントは可能な限り、身体のラインが認識できる服装であることが好ましい。
ここで正面方向の撮像とは、人の顔が見え、人の身体が左右対称に視認できる方向からの撮像をいう。そして、側面方向の撮像とは、正面方向に垂直で、且つ、水平面に平行な方向からの撮像をいい、人の身体の左右のいずれかの方向からの撮像をいう。これらの撮像は、撮像された画像の一辺が、水平面に垂直又は平行となるように実行されることが好ましい。なお、高さ方向の撮像とは、水平面とは垂直な方向からの撮像をいう。
なお、ここでは、ステップS2にて、カメラ機能にてクライアントを撮像することとしたが、他のコンピュータ装置等にて撮像した画像の画像データを、このコンピュータ装置1に取り込んで、以下のステップS3以降にて利用してもよい。また、この場合において、画像は、静止画像だけでなく、動画像であってもよい。
次に、撮像されたクライアントの画像は、表示画面19aに表示される(ステップS3)。ユーザは、表示画面19aに表示されたクライアントの画像を視認し、身体部位のうちの少なくとも2点を特定する(ステップS4)。ステップS4における点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。ステップS4では、それぞれの身体部位において、少なくとも2点を特定する。この2点は、身体部位の向き(傾き)を特定するために用いられるもので、身体部位ごとに、身体のどの部分を所定の2点とするかについて、予め定められていることが好ましい。
また、同じ身体部位であっても、正面方向から撮像した画像の場合と、側面方向から撮像した画像の場合で、所定の2点は異なるものであることが好ましい。正面方向から撮像した画像の場合であれば、身体の左右における高さ方向の向きを把握することが可能となり、側面方向から撮像した画像の場合であれば、身体の前後における高さ方向の向きを把握することが可能となる。
図3は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示画面には、クライアントの身体を正面方向から撮像した画像が表示されている。身体30には、頭部31、胸郭部32、骨盤部33が含まれる。正面方向から撮像した画像の場合、例えば、頭部31については両目の中心34a、34bを、胸郭部32については両肩の肩鎖関節35a、35b(例えば、鎖骨と肩甲骨の連結部に相当する箇所、つまり該連結部に最も近いと想定される箇所)を、骨盤部33については骨盤の左右の上前腸骨棘36a、36b(骨盤の左右方向に最も突出した点に最も近いと想定される箇所)を、所定の2点とすることができる。
図4は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示画面には、クライアントの身体30を側面方向から撮像した画像が表示されている。側面方向から撮像した画像の場合、例えば、頭部31については眉間37a、顎の頂部37bを、胸郭部32については胸骨柄に相当する箇所38a(胸骨柄に最も近いと想定される箇所)、第十肋骨下縁に相当する箇所38b(第十肋骨下縁に最も近いと想定される箇所)を、所定の2点とすることができる。また、骨盤部33については、上前腸骨棘に相当する箇所39a(腸骨に最も近いと想定される箇所)及び第二仙骨棘突起39bを、所定の2点とすることができる。
ステップS4では、正面方向又は側面方向のいずれか一方向から撮像した画像について、身体部位の向きを特定するための2点を特定してもよいが、正面方向及び側面方向など、複数の方向から撮像した画像について、該2点を特定してもよい。このように正面方向及び側面方向で、身体部位ごとに計4点を特定することで、各身体部位の左右及び前後の向きを把握することが可能となる。
ステップS4にて身体部位の点を特定する際には、タッチパネルに指でタッチ操作をして点を特定することができるが、例えば、タッチパネルにスタイラスでタッチ操作をして点を特定してもよいし、ユーザが入力部22を操作して画像上でカーソルを所望の点まで移動させることで点を特定してもよい。また、ユーザによる操作により身体部位の点を特定する方法とは別に、画像データから、所定のコンピュータプログラムに従って、或いは、AIによる処理により、身体部位の所定の2点を自動的に特定する方法を採用してもよい。
次に、身体部位ごとに特定された2点をもとに、身体部位ごとにその向きを特定する(ステップS5)。例えば、胸郭部について、両肩の肩鎖関節35a及び35bを特定した場合のように、姿勢が正常な状態であれば、水平面に平行になるような2点を特定した場合は、2点間を結ぶ線分を用いて、身体部位の向きを表すことができる。この場合、ステップS5では、2点間を結ぶ線分と、画像中の水平面と垂直な直線又は水平面と平行な直線とにより形成される角度や、いずれか1点を起点として他方を終点とするベクトルなどのパラメータで、身体部位の向きを特定することができる。
また、例えば、頭部について、眉間37a、顎の頂部37bを特定した場合のように、姿勢が正常な状態であれば、水平面に垂直になるような2点を特定した場合は、2点間を結ぶ線分の法線を用いて、身体部位の向きを表すことができる。この場合、ステップS5では、2点間を結ぶ線分の法線と、画像中の水平面と垂直な直線又は水平面と平行な直線とにより形成される角度や、2点間を結ぶ線分の法線ベクトルなどのパラメータで、身体部位の向きを特定することができる。
次に、ユーザは、表示画面19aに表示されたクライアントの画像を視認し、身体部位のうちの少なくとも1点を特定する(ステップS6)。ステップS6における点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。ステップS6では、それぞれの身体部位において、少なくとも1点を特定する。この1点は、身体部位の位置のずれを把握するために用いられるもので、身体部位ごとに、身体のどの部分を所定の1点とするかについて、予め定められていることが好ましい。また、ステップS6において特定する点には、ステップS4で特定された点が含まれていてもよく、つまり、ステップS4とステップS6で特定する点は、同じであってもよいし、異なっていてもよい。
また、同じ身体部位であっても、正面方向から撮像した画像の場合と、側面方向から撮像した画像の場合で、所定の1点は異なるものであることが好ましい。正面方向から撮像した画像の場合であれば、身体部位の左右方向のずれを把握することが可能となり、側面方向から撮像した画像の場合であれば、身体の前後方向のずれを把握することが可能となる。
これら特定される身体部位の所定の点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。正面方向から撮像した画像において、頭部、胸郭部、骨盤部において特定される点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。同様に、側面方向から撮像した画像において、頭部、胸郭部、骨盤部において特定される点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。このようにすることで、これらの点が直線上に並ばない場合は、身体部位の位置にずれが生じていることを把握することができる。
図3は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示画面には、クライアントの身体を正面方向から撮像した画像が表示されている。正面方向から撮像した画像の場合、例えば、頭部については両目の中央の点34cを、胸郭部については両肩の肩鎖関節35a、35bの中央の点35cを、骨盤部については、骨盤に相当する部分において左右の上前腸骨棘36a、36bの中央の点36cを、ステップS6にて特定される所定の点とすることができる。
図4は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示画面には、クライアントの身体を側面方向から撮像した画像が表示されている。側面方向から撮像した画像の場合、例えば、頭部については外後頭***37cを、胸郭部については第四胸椎棘突起から第五胸椎棘突起のあたりに相当する箇所38cを、骨盤部については、第二仙骨棘突起39bを、所定の点とすることができる。
ステップS6では、正面方向又は側面方向のいずれか一方向から撮像した画像について、身体部位の位置のずれを特定するための点を特定してもよいが、正面方向及び側面方向など、複数の方向から撮像した画像について、身体部位の位置のずれを特定するための点を特定してもよい。例えば、図3に示す正面方向からの画像と、図4に示す側面方向からの画像を利用して、正面方向及び側面方向の二方向から各身体部位についての所定の2点または1点を多面的に特定し、正面方向及び側面方向の二方向から特定した点を相互に関連付けて身体部位の位置のずれを評価することで、各身体部位の左右方向及び前後方向の位置のずれを、いずれか一方から評価した場合と比べて、より正確に把握することが可能となる。
また、正面方向及び側面方向から撮像した画像に加えて、背面方向や上面方向から撮像した画像なども利用して、クライアントの姿勢について三方向から、あるいは三次元的に、身体部位の位置のずれを特定するための点を特定することで、各身体部位の位置のずれについて、さらに正確に、かつ、より詳細に把握することが可能となる。以下では、一例として、正面方向及び側面方向から撮像した画像に加えて、背面方向から撮像した画像で所定の点を特定する場合について、図を用いて例示する。
図5は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示画面には、クライアントの身体を背面方向から撮像した画像が表示されている。背面方向から撮像した画像の場合、例えば、頭部については外後頭***37cを、胸郭部については第四胸椎棘突起から第五胸椎棘突起のあたりに相当する箇所38cを、骨盤部については、第二仙骨棘突起39bを、所定の点として特定することができる。
図6は、本発明の実施の形態にかかる表示画面の一例を表す図である。図6(a)、図6(b)及び図6(c)には、それぞれ、正面方向、側面方向、及び背面方向から撮像した画像において、身体部位としての頭部、胸郭部、骨盤部を点の特定対象として、所定の点を特定した際の概略図が示されている。これら三方向から撮像した画像について特定される身体部位の所定の点を用いることで、身体部位の位置のずれを、いずれか一方から評価した場合、あるいは、正面方向及び側面方向の二方向から評価した場合と比べて、さらに正確に、かつ、より詳細に把握することができる。例えば、頭部について、正面方向の画像から特定した両目の中心34a、34bと、側面方向及び背面方向の画像から特定した外後頭***37cとの位置関係を評価することで、外後頭***37cについて、身体の前後方向を軸とした場合の左右方向の傾斜を把握することができる。また、例えば、頭部について、側面方向の画像から特定した眉間37a及び顎の頂部37bと、側面方向及び背面方向の画像から特定した外後頭***37cとの位置関係を評価することで、外後頭***37cについて、身体の左右方向を軸とした場合の前後方向のずれを把握することができる。
また、例えば、正面方向、側面方向、及び背面方向から撮像した画像に加えて、図示しないが、上面方向からの画像から特定した点を組み合わせて身体部位の位置のずれを評価するようにしてもよい。このようにする場合、頭部について、上面方向の画像から特定した眉間37aと、側面方向及び背面方向の画像から特定した外後頭***37cとの位置関係を評価することで、外後頭***37cについて、身体の上下方向を軸とした場合の左右方向のずれを把握することができる。また、上面方向からの画像を利用する代わりに、深度センサを利用した深度カメラで撮像した画像により、正面方向の画像から特定した点から背面方向の画像から特定した点までの深度を測定することで、上面方向からの画像を利用した場合と同様の身体部位の位置のずれを把握することが可能である。このようにすることで、複数の方向から撮像した画像について特定した点、あるいは、複数の方向からの画像に加えて深度センサで特定したこれらの点の位置関係を評価し、身体部位ごとの向きや身体部位の位置のずれについての正確で詳細な把握が可能になる。
ステップS6にて身体部位の点を特定する際には、タッチパネルに指でタッチ操作をして点を特定することができるが、例えば、タッチパネルにスタイラスでタッチ操作をして点を特定してもよいし、ユーザが入力部22を操作して画像上でカーソルを所望の点まで移動させることで点を特定してもよい。また、ユーザによる操作により身体部位の点を特定する方法とは別に、画像から、所定のコンピュータプログラムに従って、或いは、AIによる処理により、身体部位の所定の点を自動的に特定する方法を採用してもよい。
次に、身体部位ごとに特定された点をもとに、身体部位の位置のずれを特定する(ステップS7)。例えば、ステップS6にて特定された、異なる身体部位について特定された2点間を結ぶ線分と、画像中の水平面と垂直な直線により形成される角度や、いずれか1点を起点として他方を終点とする単位ベクトルなどのパラメータで、身体部位の位置のずれを特定することができる。
ステップS5及びS7にて特定された、身体部位ごとの向き、身体部位間の位置のずれは、記憶部13に記憶される(ステップS8)。
ユーザが所持するコンピュータ装置1の表示画面19aでは、ステップS5にて特定された身体部位の向きに関する情報が表示される(ステップS9)。例えば、ステップS5にて特定されたパラメータそのものを表示画面上に表示して、ユーザが身体部位の向きを客観的に把握できるようにしてもよい。また、図4に示すように、ステップS6において特定された点を始点とする矢印等のオブジェクトを用いて、ステップS5にて特定された身体部位の向きに関する情報を表示してもよい。頭部31の場合であれば、矢印37dにより身体部位の向きが表示され、胸郭部32の場合であれば、矢印38dにより身体部位の向きが表示される。骨盤部33の場合であれば、矢印39dにより身体部位の向きが表示される。このように、身体部位の位置のずれを把握するための点を始点とする矢印を用いて、身体部位の向きに関する情報を表示することで、ユーザは、身体部位のずれ、向きを容易に把握することができる。また、身体部位のずれや向きの視覚的な把握を容易にするものであれば、矢印の代わりに、ステップS4及び/またはステップS6で特定された点同士を結んだ線や、身体部位を表すブロック等を利用して身体部位の向きに関する情報を表示できるようにしてもよい。
これらステップS1~S9の処理により、姿勢評価処理は終了する。
ユーザは、ステップS9において表示画面19aに表示される姿勢の状態をもとに、筋の状態を把握することができる。例えば、胸郭部32が前方になるに従って下方へ向き、骨盤部33が前方になるに従って上方へ傾いている場合、身体前方の胸郭部32と骨盤部33の近傍にある筋は、緊張亢進(短縮)の状態にあり、身体後方の胸郭部32と骨盤部33の近傍にある筋は、緊張低下(弛緩)の状態にあることがわかる。
ステップS6にて身体部位の所定の点の位置や向きを特定する際には、さまざまな方向から撮像したクライアントの姿勢の画像を利用して、ユーザによる操作、あるいはコンピュータプログラムやAIによる処理により、それぞれの身体部位の点を特定することができる。
なお、ここでは、画像をもとに、身体部位の所定の点の位置や向きを特定することとしたが、モーションキャプチャセンサを、それぞれの身体部位の所定の点に直接取り付けることで、身体部位の所定の点の空間内における位置や向きを特定してもよい。クライアントは、両腕を下方におろし、水平面に対して垂直な方向に両脚で立ち、静止した状態で、所定の点の位置や向きを測定する。モーションキャプチャセンサを用いることで、ステップS1~S4を省略することができ、ステップS5~S9までの処理が実行される。ここで、モーションキャプチャセンサを取り付ける所定の点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。なお、モーションキャプチャセンサとしては、光学式、慣性センサ式、機械式、磁気式など、いずれの方式を用いてもよい。
とりわけ、モーションキャプチャセンサを身体部位それぞれの所定の点に直接取り付けて姿勢を評価する場合には、点の特定対象となる1の身体部位につき、該身体部位の向き(身体部位の傾きを含む)や位置のずれを測定可能な1点を特定すればよいため、身体部位の所定の点の特定を簡便に行うことができる。なお、モーションキャプチャセンサとして、光学式、慣性センサ式、磁気式など、いずれの方式を用いてもよい。光学式センサを用いる場合は、反射マーカを所定の点に取り付け、慣性センサ式を用いる場合は、ジャイロセンサを所定の点に取り付ける。また、磁気式を用いる場合は、磁気センサを所定の点に取り付ける。
モーションキャプチャセンサで得られた、所定の点の位置及び向きに関する情報は、無線通信により、コンピュータ装置1へ送信され、ステップS5~S9の処理が実行される。
ところで、本発明では、ステップS5及びS7において特定されたパラメータをもとに、適切な運動メニューを特定して、ユーザにレコメンドすることも可能である。図7は、本発明の実施の形態にかかる運動メニューテーブルを示す図である。運動メニューテーブル40には、各身体部位の向きのパターン41と関連付けて、そのパターンに適切な運動メニュー42が設定されている。そして、運動メニューテーブル40を参照し、ステップS5において特定された身体部位ごとのパラメータがいずれの向きのパターンに該当するかに応じて、適切な運動メニュー42を特定し、特定された運動メニューを、コンピュータ装置1の表示画面19aに表示することができる。
ここで、各身体部位の向きのパターンとは、頭部・胸郭部の向きのパラメータの組み合わせや、胸郭部・骨盤部の向きのパラメータの組み合わせ、頭部・胸郭部・骨盤部の向きのパラメータの組み合わせなどがあげられる。そのため、例えば、身体の前方になるにしたがって頭部が下方に傾いており、胸郭部が上方に傾いている場合と、身体の前方になるにしたがって頭部が上方に傾いており、胸郭部が下方に傾いている場合とでは、異なる運動メニューを特定することができる。
なお、運動メニューテーブル40には、身体部位の位置のずれのパターンと関連付けて、そのパターンに適切な運動メニューが設定されていてもよい。そして、運動メニューテーブル40を参照し、ステップS7において特定された身体部位ごとの位置のずれが、いずれのパターンに該当するかに応じて、適切な運動メニューを特定し、特定された運動メニューを、コンピュータ装置1の表示画面19aに表示することができる。
本発明の第一の実施の形態では、ステップS5及びS7において特定されたパラメータをもとに、クライアントの姿勢を反映させたアバターを表示画面に表示させることも可能である。図8は、本発明の実施の形態にかかるアバター表示処理を表す図である。まず、ユーザは、コンピュータ装置1において専用アプリを起動させ、アバター表示機能の開始ボタンを選択すると、アバター表示機能が開始される(ステップS11)。
アバター表示機能にて表示画面19aに表示されるアバターには仮想骨格が設定されており、可動できる仮想骨格を移動させることにより、アバターに動作を行わせることが可能となる。アバターは、男性のアバター、女性のアバターなど複数の種類が設けられており、ユーザはこれらのアバターから所望のアバターを適宜選択することが可能である。また、アバターには、理想の姿勢時における基準となる仮想骨格が設定されている。ステップS11にてアバター表示機能が開始されると、ステップS5及びS7において特定されたパラメータをもとに、アバターの仮想骨格を変形する(ステップS12)。
図9は、本発明の実施の形態にかかる仮想骨格モデルを表す図である。仮想骨格モデル51は、例えば、肩、肘、手首等の可動部に設けられた複数の仮想関節52(図9では丸印で表示)と、上腕、下腕、手等にあたる、各仮想関節52を連結させる直線状の仮想骨格53(図9では直線で表示)から構成されている。ステップS12における仮想骨格の変形は、以下のように実施される。
例えば、図9(a)で示す基準の仮想骨格モデル51に対して、胸郭部の向きを反映させる場合、仮想関節52aの位置を固定させ、且つ、仮想関節52aとその両側にある仮想関節52b、52cが直線上に並ぶように維持したまま、ステップS5に応じたパラメータに応じて、仮想関節52b、52cの位置を移動させる。例えば、仮想関節52bを下方に移動させ、仮想関節52cを上方に移動させる。この結果、仮想骨格53a及び53bも移動する。
図9(b)は、変形後の仮想骨格モデル51´である。仮想骨格53は、両端の仮想関節の座標から定義できるから、変形後の仮想骨格53a´は、変形後の仮想関節52a´及び52b´の座標により定義することができる。変形後の仮想骨格53b´は、変形後の仮想関節52a´及び52c´の座標により定義することができる。他の仮想関節52、他の仮想骨格53についても、同様に処理をすることができる。
仮想骨格53には、アバターを可視化するために複数のポリゴンの頂点座標が関連付けられており、ステップS12において仮想骨格53が変形されると、その変形に応じて、関連付けられたポリゴンの頂点の座標も変更される(ステップS13)。頂点の座標が変更されたポリゴンからなるアバターのモデルデータをレンダリングすることにより、アバターを2次元画像または3次元画像として表示することができる(ステップS14)。ステップS11~S14により、アバター表示処理は終了する。
なお、ステップS11~S14によりアバターを表示する際に、アバターに動作を付与して表示することも可能である。アバターに動作を付与するためのモーションプログラムでは、動作の開始時と動作の終了後における各仮想関節52において形成される角の角度(例えば、肘、肩、首部分の3点の関節点により形成される肩部分の角の角度)、及び、該角についてのモーション時における角速度を定めておき、時間の経過とともに仮想関節52において形成される角を変化させることで、所定のモーションを付与することができる。
[第二の実施の形態]
次に、本発明の第二の実施の形態の概要について説明をする。以下では、第二の実施の形態として、コンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とにおいて実現される、クライアントの姿勢を評価するシステムを例示して説明をする。
次に、本発明の第二の実施の形態の概要について説明をする。以下では、第二の実施の形態として、コンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とにおいて実現される、クライアントの姿勢を評価するシステムを例示して説明をする。
図10は、本発明の実施の形態にかかる姿勢評価システムの構成を示すブロック図である。図示するように、本実施の形態におけるシステム4は、ユーザが操作するコンピュータ装置1と、通信ネットワーク2と、サーバ装置3とから構成される。コンピュータ装置1は、通信ネットワーク2を介してサーバ装置3と接続されている。サーバ装置3は、コンピュータ装置1と常時接続されていなくてもよく、必要に応じて、接続が可能であればよい。
コンピュータ装置1の具体的な構成については、第一の実施の形態で述べた内容を必要な範囲で採用することができる。また、サーバ装置3は、例えば、制御部、RAM、記憶部、及び通信インタフェースを少なくとも備え、それぞれ内部バスにより接続されるように構成することができる。制御部は、CPUやROMから構成され、時間を計時する内部タイマを備えている。制御部は、記憶部に格納されたプログラムを実行し、サーバ装置3の制御を行う。RAMは、制御部のワークエリアである。記憶部は、プログラムやデータを保存するための記憶領域である。制御部は、プログラム及びデータをRAMから読み出し、コンピュータ装置1から受信した情報等をもとに、プログラムを実行する処理を行う。
通信インタフェースは、無線又は有線により通信ネットワーク2に接続が可能であり、通信ネットワーク2を介してデータを送受信することが可能である。通信ネットワーク2を介して受信したデータは、例えば、RAMにロードされ、制御部により演算処理が行われる。
第二の実施の形態にかかる姿勢評価システムにおいては、図2に示す姿勢評価処理、及び、図8に示すアバター表示処理と同様の処理が、コンピュータ装置1及びサーバ装置3のいずれかにおいて、実行される。
以下、姿勢評価システムにおける姿勢評価処理について説明をする。ユーザが、コンピュータ装置1にインストールされた専用アプリを起動し、カメラ機能の開始ボタンを選択すると、カメラ機能が開始される。ユーザは、コンピュータ装置1を利用して、クライアントの身体の一部又は全身を、例えば、正面方向から、又は、側面方向から撮像する。クライアントは、水平面に対して垂直な方向に立った状態で撮像される。
なお、ここでは、カメラ機能にてクライアントを撮像することとしたが、他のコンピュータ装置等にて撮像した画像の画像データを、このコンピュータ装置に取り込んで利用してもよい。
次に、撮像されたクライアントの画像は、表示画面19aに表示される。そして、ユーザは、コンピュータ装置1を操作することで撮像したクライアントの画像の画像データを、サーバ装置3へ送信する。サーバ装置3は、コンピュータ装置1から受信したクライアントの画像の画像データをもとに、身体部位のそれぞれについて、少なくとも2点を特定する。点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられる。この2点は、身体部位の向きを特定するために用いられるもので、身体部位ごとに、身体のどの部分を所定の2点とするかについて、予め定められていることが好ましい。また、同じ身体部位であっても、正面方向から撮像した画像の場合と、側面方向から撮像した画像の場合で、所定の2点は異なるものであることが好ましい。
次に、サーバ装置3は、上記で特定した2点に加え、さらに、それぞれの身体部位について少なくとも1点を特定する。点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。この1点は、身体部位の位置のずれを特定するために用いられるもので、身体部位ごとに、身体のどの部分を所定の1点とするかについて、予め定められていることが好ましい。また、同じ身体部位であっても、正面方向から撮像した画像の場合と、側面方向から撮像した画像の場合で、所定の1点は異なるものであることが好ましい。また、このとき特定される点には、身体部位の向きを特定するために特定された点が含まれていてもよい。つまり、身体部位の向きを特定するために特定される点と身体部位の位置のずれを特定するために特定される点とは、同じであってもよいし、異なっていてもよい。また、これら特定される身体部位の所定の点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。
サーバ装置3では、身体部位ごとに特定された2点をもとに、身体部位ごとの向きをパラメータにより特定する。また、サーバ装置3では、身体部位ごとに特定された点をもとに、身体部位の位置のずれをパラメータにより特定する。サーバ装置3では、身体部位ごとの向きについてのパラメータ、身体部位の位置のずれについてのパラメータを、記憶部に記憶する。
コンピュータ装置1では、身体部位の向きについてのパラメータ、身体部位の位置のずれについてのパラメータを受信する。コンピュータ装置1の表示画面19aでは、受信をしたパラメータに基いて、身体部位の向き及び身体部位の位置のずれに関する情報が表示される。具体的には、コンピュータ装置1の表示画面19aには、図3及び図4に示すものと同様の映像が表示される。
第二の実施の形態における姿勢評価システムでは、ステップS5及びS7において特定されたパラメータをもとに、クライアントの姿勢を反映させたアバターを表示画面に表示させるように構成されていることが好ましい。サーバ装置3は、ユーザの操作によってコンピュータ装置1から送信されたクライアントの画像の画像データを受信し、身体部位ごとの向きについてのパラメータ、身体部位の位置のずれについてのパラメータをそれぞれ特定すると、コンピュータ装置1の表示画面19aにおいてクライアントの姿勢を反映させたアバターを表示させるために、アバターの画像データの作成を行う。
なお、第二の実施の形態においても、姿勢評価処理において、モーションキャプチャセンサを用いることで、ステップS1~S4を省略することができ、ステップS5~S9までの処理を実行することができる。
アバターの画像データの作成が開始されると、サーバ装置3において、身体部位ごとの向きについてのパラメータ、身体部位の位置のずれについてのパラメータをもとに、アバターの仮想骨格を変形する処理が実行される。仮想骨格を変形する処理は、上記のステップS12と同様の処理を行うことができる。
仮想骨格には、アバターを可視化するために複数のポリゴンの頂点座標が関連付けられており、仮想骨格の変形に応じて、関連付けられたポリゴンの頂点の座標も変更される。頂点の座標が変更されたポリゴンからなるアバターのモデルデータをレンダリングして得られるアバターの2次元画像データまたは3次元画像データは、サーバ装置3からコンピュータ装置1へ送信される。コンピュータ装置1では、アバターの2次元画像データまたは3次元画像データを受信し、アバターを表示画面に表示する。仮想骨格を変形したアバターにおいても、サーバ装置3においてモーションプログラムを実行し、コンピュータ装置1において動作を付与したアバターを表示する。
コンピュータ装置1では、アバター表示機能により、表示画面19a上において、アバターの画像とクライアントの画像とを切り替えたり、クライアントの画像の上にアバターの仮想骨格の画像を重ねた画像を表示したりすることが可能である。このように構成することで、クライアントが自分の姿勢を撮像された画像をもとに、身体部位の向き及び身体部位の位置のずれを、より正確に、かつ、視覚的に把握し、正しいフォームで運動を実施することが可能になる。また、このように構成することで、例えば、トレーナーや他の第三者からインターネットを利用したオンラインサービスを介して指導や助言を受ける際に、アバターの画像を相手側のコンピュータ装置の表示画面に表示することで、クライアントのプライバシー保護に利用することができる。
第二の実施の形態における姿勢評価システムでは、コンピュータ装置1がサーバ装置3から受信する身体部位の向き及び位置のずれに関する情報を、正しい姿勢を示す仮想骨格モデルとしてだけでなく、姿勢スコアとして受信できるようにしてもよい。このように構成する場合、身体部位の位置と向きのパラメータを数値化して姿勢スコアを算出し、それぞれのクライアントついて表示画面に姿勢スコアを表示することができる。例えば、身体部位の向きが正常になればなるほど、姿勢スコアは高くなり、身体部位の向きが正常な状態が離れるほど、姿勢スコアは低くなる。
第二の実施の形態では、コンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とにおいて実現されるシステムを例示して説明をしたが、サーバ装置に代えて、携帯型のコンピュータ装置を用いることもできる。つまり、スマートフォンなどのコンピュータ装置と、同じく、スマートフォンなどのコンピュータ装置とによるピアツーピアによるシステムに適用することもできる。
[第三の実施の形態]
本発明の第三の実施の形態の概要について説明をする。第三の実施の形態にかかる方法によれば、例えば、トレーナーやクライアント自身によって、クライアントの姿勢を撮像し、撮像された画像をもとにクライアントの姿勢を把握することができる。第三の実施の形態では、コンピュータ装置を利用することなく、クライアントの姿勢を把握することができる。
本発明の第三の実施の形態の概要について説明をする。第三の実施の形態にかかる方法によれば、例えば、トレーナーやクライアント自身によって、クライアントの姿勢を撮像し、撮像された画像をもとにクライアントの姿勢を把握することができる。第三の実施の形態では、コンピュータ装置を利用することなく、クライアントの姿勢を把握することができる。
本発明の実施の形態にかかる姿勢評価方法について説明をする。トレーナー又はクライアントは、クライアントの身体の一部又は全身を、例えば、正面方向から、又は、側面方向から撮像した画像を紙などに印刷する。トレーナー又はクライアントは、印刷された画像を視認し、身体部位のうちから、身体部位の向きを特定するための少なくとも2点を特定する。2点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。トレーナー又はクライアントは、画像中の特定した2点にしるしを書き込む。
トレーナー又はクライアントは、上記にて特定した2点とは別に、身体部位のうちから、身体部位の位置のずれを把握するための1点を特定する。点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。正面方向から撮像した画像において、頭部、胸郭部、骨盤部において特定される点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。同様に、側面方向から撮像した画像において、頭部、胸郭部、骨盤部において特定される点は、正常な姿勢の人であれば、直線上に並ぶような点であることが好ましい。トレーナー又はクライアントは、画像中の特定した点にしるしを書き込む。
次に、トレーナー又はクライアントは、画像中の特定した2点から求められる身体部位の向きを、画像中に書き込む。例えば、身体部位の向きを矢印で表現するように書き込む。ここで、矢印の起点は、身体部位の位置のずれを把握するための点とすることができる。例えば、頭部について、眉間、顎の頂部を特定した場合のように、姿勢が正常であれば、水平面に垂直になるような2点を特定した場合は、2点間を結ぶ線分と垂直な方向へ延びる矢印とすることができる。例えば、骨盤部について、上前腸骨棘及び、第二仙骨棘突起を特定した場合のように、姿勢が正常な状態であれば、水平面に平行になるような2点を特定した場合は、2点間を結ぶ線分と平行な方向へ延びる矢印とすることができる。
[第四の実施の形態]
次に、本発明の第四の実施の形態の概要について説明をする。第四の実施の形態は、第一の実施の形態と同様にコンピュータ装置として実現されるものであってもよく、第二の実施の形態と同様に、コンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とを備えるシステムとして実現されるものであってもよい。以下に説明する処理は、コンピュータ装置1においてのみ実行が可能なものを除き、コンピュータ装置1又はサーバ装置3のいずれで実行されてもよい。
次に、本発明の第四の実施の形態の概要について説明をする。第四の実施の形態は、第一の実施の形態と同様にコンピュータ装置として実現されるものであってもよく、第二の実施の形態と同様に、コンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とを備えるシステムとして実現されるものであってもよい。以下に説明する処理は、コンピュータ装置1においてのみ実行が可能なものを除き、コンピュータ装置1又はサーバ装置3のいずれで実行されてもよい。
第四の実施の形態では、身体部位の向きや、身体部位の位置のずれを変化させながら、アバターを表示画面19aに表示することが可能である。まず、コンピュータ装置1において専用アプリを起動させ、アバター表示機能の開始ボタンを選択すると、アバター表示機能が開始される。
アバターには仮想骨格が設定されており、可動できる仮想骨格を移動させることにより、アバターに動作を行わせることが可能となる。アバターには、理想の姿勢時における基準となる仮想骨格が設定されており、この基準となる仮想骨格を変形することが可能である。仮想骨格の変形は、ユーザによるコンピュータ装置1への操作にしたがって実行される。より具体的には、頭部、胸郭部、骨盤部のいずれかの仮想骨格の全部または一部の前後方向又は左右方向における向きを変化させることで、仮想骨格を変形させることができる。また、頭部、胸郭部、骨盤部のいずれかの仮想骨格の全部または一部の位置を、前後方向又は左右方向にずらすことで、仮想骨格を変形させることができる。
図9において、例えば、基準の仮想骨格に対して、胸郭部の向きを反映させる場合、仮想関節52aの位置を固定させ、且つ、仮想関節52aとその両側にある仮想関節52b、52cが直線上に並ぶように維持したまま、ユーザの入力操作に応じて、仮想関節52b、52cの位置を移動させる。例えば、仮想関節52bを下方に移動させ、仮想関節52cを上方に移動させる。仮想骨格53は、両端の仮想関節52の座標から定義できるから、変形後の仮想骨格53a´は、変形後の仮想関節52a´及び52b´の座標により定義することができる。変形後の仮想骨格53b´は、変形後の仮想関節52a´及び52c´の座標により定義することができる。
仮想骨格が変形されると、その変形に応じて、関連付けられたポリゴンの頂点の座標も変更され、ポリゴンからなるアバターのモデルデータをレンダリングすることにより、アバターを2次元画像として表示することができる。また、第一の実施の形態で説明をしたように、モーションプログラムを利用して、アバターに動作を付与することもできる。この場合、ユーザの操作により、アバターの身体部位の向きや位置のずれを変化させつつ、アバターに所定の動作を実行させることが可能となる。
[第五の実施の形態]
本発明の第五の実施の形態の概要について説明をする。第五の実施の形態にかかる姿勢評価システムによれば、例えば、トレーナーとクライアントが通信ネットワークを介したリアルタイムのオンラインセッションを行いながら、クライアント自身がスマートフォン等で撮像した画像をもとに身体部位の向きや位置のずれ、身体部位の向き等に関する情報をトレーナーと共有し、トレーナーから適切な運動メニューについての指導を遠隔で受講可能な環境を提供することができる。
本発明の第五の実施の形態の概要について説明をする。第五の実施の形態にかかる姿勢評価システムによれば、例えば、トレーナーとクライアントが通信ネットワークを介したリアルタイムのオンラインセッションを行いながら、クライアント自身がスマートフォン等で撮像した画像をもとに身体部位の向きや位置のずれ、身体部位の向き等に関する情報をトレーナーと共有し、トレーナーから適切な運動メニューについての指導を遠隔で受講可能な環境を提供することができる。
本実施の形態におけるシステムは、ユーザが操作する第一の装置と、通信ネットワークと、第一の装置と通信により接続可能な第二の装置とから構成される。第一の装置は、通信ネットワークを介して第二の装置と接続されている。
第一の装置及び/または第二の装置の具体的な構成については、第一の実施の形態で述べたコンピュータ装置に関する内容を必要な範囲で採用することができる。また、第二の装置は、例えば、制御部、RAM、記憶部、及び通信インタフェースを少なくとも備え、それぞれ内部バスにより接続されるように構成することができる。制御部は、CPUやROMから構成され、時間を計時する内部タイマを備えている。制御部は、記憶部に格納されたプログラムを実行し、第二の装置の制御を行う。RAMは、制御部のワークエリアである。記憶部は、プログラムやデータを保存するための記憶領域である。制御部は、プログラム及びデータをRAMから読み出し、第一の装置から受信した情報等をもとに、プログラムを実行する処理を行う。
通信インタフェースは、無線又は有線により通信ネットワークに接続が可能であり、通信ネットワークを介してデータを送受信することが可能である。通信ネットワークを介して受信したデータは、例えば、RAMにロードされ、制御部により演算処理が行われる。
第五の実施の形態にかかる姿勢評価システムにおいては、図2に示す姿勢評価処理、及び、図8に示すアバター表示処理と同様の処理が、第一の装置及び第二の装置のいずれかにおいて、実行される。
以下、姿勢評価システムにおける姿勢評価処理について説明をする。まず、クライアントによる第一の装置への操作、または、トレーナーによる第二の装置への操作により、第一の装置及び第二の装置の間で、通信ネットワークを利用したオンラインセッションを開始する。オンラインセッションは、第一の装置及び第二の装置にインストールされた専用アプリにより、第一の装置及び第二の装置の間で直接実行されてもよいし、従来公知の通信用アプリケーションやソーシャルネットワーキングサービスを利用して、クラウドネットワーク上のサーバを経由することにより実行されてもよい。オンラインセッションが開始されると、クライアントは、第一の装置のカメラ機能を利用して、クライアントの身体の一部又は全身を、例えば、正面方向から、又は、側面方向から撮像する。
なお、ここでは、カメラ機能にてクライアントを撮像することとしたが、他のコンピュータ装置等にて撮像した画像の画像データを、自分のコンピュータ装置に取り込んで利用してもよいし、カメラ機能により断続的にクライアントの姿勢を撮影してリアルタイムで第一の装置に入力するようにしてもよい。また、Peer tо Peerなどのファイル転送方式を利用したストリーミングやライブ配信によって、第一の装置と第二の装置との間で、断続的に送受信されるものであってもよい。
次に、撮像されたクライアントの画像は、第一の装置及び/または第二の装置の表示画面に表示される。クライアントの携帯する第一の装置で身体部位のそれぞれについての点を特定する場合は、第一の装置は、クライアントの姿勢を撮影するとすぐに、撮像された画像をもとに姿勢評価処理を行い、身体部位のうちから、身体部位の向き及び位置のずれを特定するための点を特定する。点の特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。そして、身体部位ごとに特定された点をもとに、身体部位の向き及び位置のずれをパラメータにより特定する。
次に、第一の装置では、身体部位ごとの向きについてのパラメータ、身体部位の位置のずれについてのパラメータを、記憶部に記憶する。そして、第一の装置の表示画面では、記憶したパラメータに基いて、身体部位の向き及び身体部位の位置のずれに関する情報が表示される。
また、クライアントは、第一の装置を操作することで撮像したクライアントの画像の画像データを、第二の装置へ送信する。撮像したクライアントの画像の画像データの代わりに、身体部位の向きについてのパラメータ、身体部位の位置のずれについてのパラメータを送信してもよい。第二の装置では、クライアントの画像の画像データ、あるいは、身体部位の向きについてのパラメータ、身体部位の位置のずれについてのパラメータを受信する。そして、第二の装置の表示画面では、受信をしたクライアントの画像の画像データ、または、受信したパラメータに基づいて、身体部位の向き及び身体部位の位置のずれに関する情報が表示される。
第五の実施の形態における姿勢評価システムでは、ステップS5及びS7において特定されたパラメータをもとに、クライアントの姿勢を反映させたアバターを表示画面に表示させるように構成されていることが好ましい。このように構成することで、例えば、クライアントがトレーナーとのオンラインセッションを通じて画像をトレーナーの所持するコンピュータ装置に送信する際、クライアント自身を撮像した画像を直接トレーナーには送信したくない場合などに、アバターの画像をトレーナー側のコンピュータ装置の表示画面に表示することで、クライアントのプライバシー保護に利用することができる。また、例えば、クライアントの画像の上にアバターの仮想骨格の画像を重ねた画像を表示できるようにすることで、クライアントの姿勢を撮像された画像の上に理想の私生児の仮想骨格のアバターを重ね、身体部位の向き及び身体部位の位置のずれを、より正確に、かつ、視覚的に把握し、正しいフォームによる運動の実施を促すことが可能になる。
本発明の実施の形態においては、特定された1点から身体部位の向きや位置のずれを特定する場合、特定された1点から身体部位の向きや位置のずれを特定可能であれば、いずれの身体部位を用いて所定の1点を特定してもよい。
本発明の実施の形態においては、身体部位の向き及び位置のずれを、身体部位の特定した点において特定することで、被評価者の姿勢を把握しているが、これに限定されない。身体部位において特定された所定の点の「位置」、及び、該「位置」における身体部位の「向き」(傾き)を特定することで、被評価者の姿勢を把握してもよい。
本発明の実施の形態においては、身体部位ごとの向きについてのパラメータ、あるいは、身体部位の位置のずれについてのパラメータを、コンピュータ装置の記憶部に記憶する場合を例示して説明しているが、本発明にかかる姿勢評価システムにおいて特定された姿勢評価に関する各種のデータを記憶する記憶領域は、コンピュータ装置の記憶部に限定されない。コンピュータ装置を通信ネットワークと接続し、外部のクラウドネットワーク上のクラウドストレージに記憶するように構成してもよい。
1 コンピュータ装置
2 通信ネットワーク
3 サーバ装置
4 システム
11 制御部
12 RAM
13 記憶部
14 サウンド処理部
15 サウンド出力装置
16 センサ部
17 フレームメモリ
18 グラフィックス処理部
19 表示部
20 通信インタフェース
21 インタフェース部
22 入力部
23 カメラ部
2 通信ネットワーク
3 サーバ装置
4 システム
11 制御部
12 RAM
13 記憶部
14 サウンド処理部
15 サウンド出力装置
16 センサ部
17 フレームメモリ
18 グラフィックス処理部
19 表示部
20 通信インタフェース
21 インタフェース部
22 入力部
23 カメラ部
Claims (27)
- コンピュータ装置において実行される姿勢評価プログラムであって、
コンピュータ装置を、
被評価者の身体部位の少なくとも2点を特定する第1特定手段と、
第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段
として機能させる、姿勢評価プログラム。 - コンピュータ装置を、
身体部位の少なくとも1点を特定する第2特定手段と、
第2特定手段により特定された点と関連付けて、特定した向きに関する情報を表示する向き表示手段
として機能させる、請求項1に記載の姿勢評価プログラム。 - 複数の身体部位が存在し、
コンピュータ装置を、
第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段
として機能させる、請求項1又は2に記載の姿勢評価プログラム。 - 被評価者の身体部位の少なくとも2点を特定する第1特定手段と、
第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段
とを備える、姿勢評価装置。 - コンピュータ装置において実行される姿勢評価方法であって、
被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、
第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップと
を有する、姿勢評価方法。 - 第1装置と、該第1装置と通信接続が可能な第2装置とを備え、
被評価者の身体部位の少なくとも2点を特定する第1特定手段と、
第1特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段と
を備える、姿勢評価システム。 - 被評価者の身体部位の少なくとも2点を特定する第1特定ステップと、
第1特定ステップにより特定された点をもとに、身体部位の向きを特定する向き特定ステップと
を有する、姿勢評価方法。 - コンピュータ装置において実行される姿勢評価プログラムであって、
コンピュータ装置を、
被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、
第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段
として機能させる、姿勢評価プログラム。 - 被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、
第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段と
を備える、姿勢評価装置。 - コンピュータ装置において実行される姿勢評価方法であって、
被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、
第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップと
を有する、姿勢評価方法。 - 第1装置と、該第1装置と通信接続が可能な第2装置とを備え、
被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定手段と、
第2特定手段により身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段と
を備える、姿勢評価システム。 - 被評価者の複数の身体部位について、身体部位ごとに少なくとも1点を特定する第2特定ステップと、
第2特定ステップにより身体部位ごとに特定された点をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップと
を有する、姿勢評価方法。 - コンピュータ装置において実行される姿勢評価プログラムであって、
コンピュータ装置を、
被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段
として機能させる、姿勢評価プログラム。 - 被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段
を備える、姿勢評価装置。 - コンピュータ装置において実行される姿勢評価方法であって、
被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示ステップ
を有する、姿勢評価方法。 - 第1装置と、該第1装置と通信接続が可能な第2装置とを備え、
被評価者の身体部位の少なくとも1点に取り付けられたセンサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段
を備える、姿勢評価システム。 - 被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、
コンピュータ装置が、
前記センサをもとに特定される向きに関する情報を、身体部位の向きに関する情報として表示する向き表示手段を備える、
姿勢評価システム。 - コンピュータ装置において実行される姿勢評価プログラムであって、
コンピュータ装置を、
被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段
として機能させる、姿勢評価プログラム。 - 被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段
を備える、姿勢評価装置。 - コンピュータ装置において実行される姿勢評価方法であって、
被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示ステップ
を有する、姿勢評価方法。 - 第1装置と、該第1装置と通信接続が可能な第2装置とを備え、
被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段
を備える、姿勢評価システム。 - 被評価者の身体部位の少なくとも1点に取り付けられたセンサと、コンピュータ装置とを備え、
コンピュータ装置が、
被評価者の複数の身体部位のそれぞれの少なくとも1点に取り付けられたセンサをもとに特定される位置をもとに、一の身体部位の位置と、他の身体部位の位置との位置関係を示す情報を表示する位置関係表示手段を備える、
姿勢評価システム。 - コンピュータ装置において実行される姿勢評価プログラムであって、
コンピュータ装置を、
被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、
前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、
向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、
変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段
として機能させる、姿勢評価プログラム。 - コンピュータ装置を、
仮想モデルに所定の動作を実行させる動作実行手段として機能させる、請求項23に記載の姿勢評価プログラム。 - 被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、
前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、
向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、
変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段と
を備える、姿勢評価装置。 - コンピュータ装置において実行される姿勢評価方法であって、
被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定ステップと、
前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定ステップと、
向き特定ステップにより特定された向き、及び/又は、位置特定ステップにより特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更ステップと、
変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示ステップと
を有する、姿勢評価方法。 - 第1装置と、該第1装置と通信接続が可能な第2装置とを備え、
被評価者の複数の身体部位のそれぞれの少なくとも1点における向きを特定する向き特定手段と、
前記複数の身体部位のそれぞれの少なくとも1点の位置を特定する位置特定手段と、
向き特定手段により特定された向き、及び/又は、位置特定手段により特定された位置に応じて、仮想モデルに設定された仮想骨格を変更する仮想骨格変更手段と、
変更された仮想骨格に応じた仮想モデルをレンダリングし、2次元画像または3次元画像として表示する仮想モデル表示手段と
を備える、姿勢評価システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/015,618 US20230240594A1 (en) | 2020-09-09 | 2021-06-18 | Posture assessment program, posture assessment apparatus, posture assessment method, and posture assessment system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-151655 | 2020-09-09 | ||
JP2020151655A JP7379302B2 (ja) | 2020-09-09 | 2020-09-09 | 姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システム。 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022054366A1 true WO2022054366A1 (ja) | 2022-03-17 |
Family
ID=80631520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/023272 WO2022054366A1 (ja) | 2020-09-09 | 2021-06-18 | 姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230240594A1 (ja) |
JP (2) | JP7379302B2 (ja) |
WO (1) | WO2022054366A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7261342B1 (ja) | 2022-09-22 | 2023-04-19 | 三菱ケミカルグループ株式会社 | 情報処理装置、方法、プログラム、およびシステム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI810009B (zh) * | 2022-08-05 | 2023-07-21 | 林家慶 | 虛擬運動教練系統及其控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
WO2017170264A1 (ja) * | 2016-03-28 | 2017-10-05 | 株式会社3D body Lab | 骨格特定システム、骨格特定方法、及びコンピュータプログラム |
JP2018011960A (ja) * | 2016-07-08 | 2018-01-25 | 株式会社ReTech | 姿勢評価システム |
JP2020065229A (ja) * | 2018-10-19 | 2020-04-23 | 西日本電信電話株式会社 | 映像通信方法、映像通信装置及び映像通信プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5579014B2 (ja) | 2010-10-12 | 2014-08-27 | キヤノン株式会社 | 映像情報処理装置および方法 |
JP6343916B2 (ja) | 2013-12-03 | 2018-06-20 | 富士ゼロックス株式会社 | 姿勢判定装置、姿勢判定システム及びプログラム |
US11771958B2 (en) | 2017-07-07 | 2023-10-03 | Rika TAKAGI | Instructing process management system for treatment and/or exercise, and program, computer apparatus and method for managing instructing process for treatment and/or exercise |
-
2020
- 2020-09-09 JP JP2020151655A patent/JP7379302B2/ja active Active
-
2021
- 2021-06-18 WO PCT/JP2021/023272 patent/WO2022054366A1/ja active Application Filing
- 2021-06-18 US US18/015,618 patent/US20230240594A1/en active Pending
-
2023
- 2023-11-01 JP JP2023188047A patent/JP2024016153A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
WO2017170264A1 (ja) * | 2016-03-28 | 2017-10-05 | 株式会社3D body Lab | 骨格特定システム、骨格特定方法、及びコンピュータプログラム |
JP2018011960A (ja) * | 2016-07-08 | 2018-01-25 | 株式会社ReTech | 姿勢評価システム |
JP2020065229A (ja) * | 2018-10-19 | 2020-04-23 | 西日本電信電話株式会社 | 映像通信方法、映像通信装置及び映像通信プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7261342B1 (ja) | 2022-09-22 | 2023-04-19 | 三菱ケミカルグループ株式会社 | 情報処理装置、方法、プログラム、およびシステム |
WO2024062642A1 (ja) * | 2022-09-22 | 2024-03-28 | 株式会社Shosabi | 情報処理装置、方法、プログラム、およびシステム |
JP2024045823A (ja) * | 2022-09-22 | 2024-04-03 | 三菱ケミカルグループ株式会社 | 情報処理装置、方法、プログラム、およびシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2022045832A (ja) | 2022-03-22 |
JP2024016153A (ja) | 2024-02-06 |
US20230240594A1 (en) | 2023-08-03 |
JP7379302B2 (ja) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7263432B2 (ja) | 治療及び/又は運動の指導プロセス管理システム、治療及び/又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法 | |
US12033076B2 (en) | Systems and methods for assessing balance and form during body movement | |
JP6143469B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111091732B (zh) | 一种基于ar技术的心肺复苏指导器及指导方法 | |
JP6045139B2 (ja) | 映像生成装置、映像生成方法及びプログラム | |
JP2024016153A (ja) | プログラム、装置、及び方法 | |
US20100312143A1 (en) | Human body measurement system and information provision method using the same | |
US20150004581A1 (en) | Interactive physical therapy | |
JP2015186531A (ja) | 動作情報処理装置、及びプログラム | |
JP2020174910A (ja) | 運動支援システム | |
WO2022034771A1 (ja) | プログラム、方法、情報処理装置 | |
JP7187591B2 (ja) | 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法 | |
JP6884306B1 (ja) | システム、方法、情報処理装置 | |
JP2023168557A (ja) | プログラム、方法、情報処理装置 | |
US20240028106A1 (en) | System and Method for Utilizing Immersive Virtual Reality in Physical Therapy | |
JP6832429B2 (ja) | 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法 | |
JP7150387B1 (ja) | プログラム、方法、および電子機器 | |
EP4303824A1 (en) | System and method for monitoring a body pose of a user | |
JP6869417B1 (ja) | プログラム、方法、情報処理装置、システム | |
Cidota et al. | [POSTER] Affording Visual Feedback for Natural Hand Interaction in AR to Assess Upper Extremity Motor Dysfunction | |
WO2023007930A1 (ja) | 判定方法、判定装置、及び、判定システム | |
JP2023001003A (ja) | 心肺蘇生術訓練プログラム、心肺蘇生術訓練方法、心肺蘇生術訓練装置、心肺蘇生術訓練システム | |
JP2022170303A (ja) | 姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置 | |
JP2022158694A (ja) | プログラム、方法、情報処理装置 | |
JP2022158701A (ja) | プログラム、方法、情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21866327 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21866327 Country of ref document: EP Kind code of ref document: A1 |