JP6939939B2 - Information processing equipment, information processing methods, and programs - Google Patents

Information processing equipment, information processing methods, and programs Download PDF

Info

Publication number
JP6939939B2
JP6939939B2 JP2020067078A JP2020067078A JP6939939B2 JP 6939939 B2 JP6939939 B2 JP 6939939B2 JP 2020067078 A JP2020067078 A JP 2020067078A JP 2020067078 A JP2020067078 A JP 2020067078A JP 6939939 B2 JP6939939 B2 JP 6939939B2
Authority
JP
Japan
Prior art keywords
user
information
candidate
norm
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020067078A
Other languages
Japanese (ja)
Other versions
JP2020108823A (en
Inventor
靖二郎 稲葉
靖二郎 稲葉
広志 池田
広志 池田
伸穂 池田
伸穂 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015191436A external-priority patent/JP6990015B2/en
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2020067078A priority Critical patent/JP6939939B2/en
Publication of JP2020108823A publication Critical patent/JP2020108823A/en
Application granted granted Critical
Publication of JP6939939B2 publication Critical patent/JP6939939B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。 The present disclosure relates to information processing devices, information processing methods, and programs.

ユーザの体型や動きの癖などのユーザの個性に合った指導用の情報を提供するための技術が、開発されている。人体モデルを含む運動モデルを用いて計算を行い、人体モデルの好適な動きを解析することによって、運動の指導用情報を生成する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。 Techniques for providing guidance information suitable for the user's individuality such as the user's body shape and movement habits have been developed. Examples of the technique for generating motion instruction information by performing calculations using a motion model including a human body model and analyzing suitable motion of the human body model include the techniques described in Patent Document 1 below. ..

特開2013−27629号公報Japanese Unexamined Patent Publication No. 2013-27629

例えば特許文献1に記載の技術が用いられる場合には、記録媒体に記憶されている運動モデルを用いて人体モデルの動きを解析することによって、運動の指導用情報が生成される。そのため、特許文献1に記載の技術によって生成される運動の指導用情報は、運動モデルに依存する。 For example, when the technique described in Patent Document 1 is used, information for teaching movement is generated by analyzing the movement of the human body model using the movement model stored in the recording medium. Therefore, the motion instruction information generated by the technique described in Patent Document 1 depends on the motion model.

しかしながら、記録媒体に記憶されている運動モデルは、任意のユーザにとって、理想的な運動モデルであるとは限らない。そのため、例えば特許文献1に記載の技術のような予め規定されている運動モデルに基づき生成される運動の指導用情報が示す内容は、ユーザにとっての理想的な動作ではない恐れがある。 However, the motion model stored in the recording medium is not always an ideal motion model for any user. Therefore, the content indicated by the motion instruction information generated based on the motion model defined in advance, such as the technique described in Patent Document 1, may not be the ideal motion for the user.

本開示では、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。 The present disclosure proposes new and improved information processing devices, information processing methods, and programs capable of determining a norm of a type of operation capable of performing a normative operation for a user.

本開示によれば、情報処理装置は、ユーザ情報に基づいて、複数の候補対象の中から前記ユーザ情報に対応するユーザの動作の手本となる対象を決定する決定処理部と、前記動作の手本となる対象を通知する通知処理部とを備える。 According to the present disclosure, the information processing apparatus includes a determination processing unit that determines a target that serves as a model for a user's action corresponding to the user information from a plurality of candidate targets based on the user information, and a determination processing unit of the operation. It is provided with a notification processing unit that notifies a target to be a model.

また、本開示によれば、情報処理装置により実行される情報処理方法は、ユーザ情報に基づいて、複数の候補対象の中から前記ユーザ情報に対応するユーザの動作の手本となる対象を決定するステップと、前記動作の手本となる対象を通知するステップとを有する。 Further, according to the present disclosure, the information processing method executed by the information processing apparatus determines a target to be a model of the user's operation corresponding to the user information from a plurality of candidate targets based on the user information. The step includes a step of notifying an object to be a model of the operation.

また、本開示によれば、プログラムは、ユーザ情報に基づいて、複数の候補対象の中から前記ユーザ情報に対応するユーザの動作の手本となる対象を決定する機能と、前記動作の手本となる対象を通知する機能とを、コンピュータに実現させる。 Further, according to the present disclosure, the program has a function of determining a target to be a model of a user's action corresponding to the user information from a plurality of candidate targets based on the user information, and a model of the action. The computer is provided with a function to notify the target.

本開示によれば、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することができる。 According to the present disclosure, it is possible to determine a norm of the type of action capable of performing a normative action for the user.

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。 It should be noted that the above effects are not necessarily limited, and either in combination with or in place of the above effects, any of the effects shown herein, or any other effect that can be ascertained from this specification. May be played.

本実施形態に係る情報処理装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the information processing apparatus which concerns on this embodiment. 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。It is explanatory drawing which shows an example of the hardware configuration of the information processing apparatus which concerns on this embodiment. 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。It is explanatory drawing for demonstrating the process which concerns on the information processing method which concerns on this Embodiment. 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。It is explanatory drawing for demonstrating the process which concerns on the information processing method which concerns on this Embodiment. 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。It is a flow chart which shows an example of the process which concerns on the information processing method which concerns on this Embodiment.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
In addition, the following description will be given in the order shown below.
1. 1. Information processing method according to this embodiment 2. Information processing device according to this embodiment 3. Program related to this embodiment

(本実施形態に係る情報処理方法)
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
(Information processing method according to this embodiment)
First, the information processing method according to the present embodiment will be described. In the following, an example will be given of a case where the information processing apparatus according to the present embodiment performs the processing related to the information processing method according to the present embodiment.

[1]既存の方法について
例えば、ユーザが、ゴルフやテニスなどのスポーツの練習を行う場合を想定する。
[1] Existing method For example, it is assumed that the user practices sports such as golf and tennis.

なお、以下では、ユーザがスポーツの練習を行う場合を例に挙げるが、ユーザが、筋力トレーニングや料理、医療における手技などの、動作の型を伴う任意の対象に関して練習を行う場合も、同様である。ここで、本実施形態に係る動作の型には、フォーム(運動などを行うときの姿態)と、動きとの一方または双方が含まれる。 In the following, the case where the user practices sports will be taken as an example, but the same applies when the user practices for any object with a type of movement, such as strength training, cooking, and medical procedures. be. Here, the type of motion according to the present embodiment includes one or both of a form (a form when performing an exercise or the like) and a motion.

スポーツの練習を行う際には、“コーチが、練習を行うユーザのフォームなどを観察して、改善点などを指導すること”が、行われることがある。上記練習を行うユーザは、コーチから指導された改善点を踏まえて、フォームなどが修正されるように繰り返し練習を行うことによって、技能向上を目指す。 When practicing sports, "the coach observes the form of the user who is practicing and gives guidance on points for improvement" may be performed. The user who practices the above aims to improve his / her skill by repeatedly practicing so that the form etc. are corrected based on the improvement points instructed by the coach.

また、スポーツなどの練習を行うユーザが、コーチの指導を受けずに自主的に練習を行う場合もある。上記の場合には、上記練習を行うユーザは、例えば、“コーチの役目を果たす本を読み、自身のフォームを確認すること”などによって、ユーザ自身がイメージするフォームに近づくように、繰り返し練習を行い、技能向上を目指す。 In addition, a user who practices sports or the like may voluntarily practice without receiving guidance from a coach. In the above case, the user who performs the above practice repeatedly practices so as to approach the form that the user himself imagines, for example, by "reading a book that acts as a coach and checking his / her own form". Do and aim to improve skills.

ここで、練習を行うユーザにとっての理想的な動作は、例えばユーザの体の特徴などに起因して、ユーザごとに異なる可能性が高い。そのため、コーチが有している理想的な動作や、コーチの役目を果たす本に記載されている理想的な動作が、練習を行うユーザにとっての理想的な動作であるとは限られない。また、上述したように、例えば特許文献1に記載の技術のような予め規定されている運動モデルに基づいて運動の指導用情報を生成したとしても、生成される運動の指導用情報が示す内容は、ユーザにとっての理想的な動作ではない恐れがある。 Here, the ideal operation for the user practicing is likely to be different for each user due to, for example, the characteristics of the user's body. Therefore, the ideal movement of the coach and the ideal movement described in the book acting as the coach are not always the ideal movements for the practicing user. Further, as described above, even if the exercise instruction information is generated based on a predetermined exercise model such as the technique described in Patent Document 1, the content indicated by the generated exercise instruction information. May not be the ideal behavior for the user.

練習を行うユーザにとって理想的な動作の型ではない動作の型を、規範として練習を行った場合には、例えば、ユーザが練習を行っても技能の向上に結び付かない可能性がある。また、上記の場合には、例えば、体に無理な負荷がかかることによって怪我をする可能性が高まる恐れもある。 When practicing with a movement type that is not the ideal movement type for the practicing user as a norm, for example, even if the user practices, it may not lead to improvement of skill. Further, in the above case, for example, there is a possibility that the possibility of injury increases due to an unreasonable load on the body.

[2]本実施形態に係る情報処理方法の概要
そこで、本実施形態に係る情報処理装置は、ユーザの特徴を考慮して、ユーザにとって動作の型の規範となる者(以下、「動作の型の規範」と示す場合がある。)を、決定する(決定処理)。本実施形態に係る情報処理装置は、複数の動作の型の規範の候補(以下、「規範の候補」と示す場合がある。)の中から、規範の候補の特徴がユーザの特徴とより近い規範の候補を、動作の型の規範として決定する。本実施形態に係る「規範」は、「手本」または「見本」と言い換えることが可能である。
[2] Outline of the information processing method according to the present embodiment Therefore, the information processing device according to the present embodiment is a person who becomes a norm of the type of operation for the user in consideration of the characteristics of the user (hereinafter, "type of operation"). It may be indicated as "the norm of"), and it is decided (decision processing). In the information processing device according to the present embodiment, the characteristics of the norm candidate are closer to the characteristics of the user from among the candidates for the norm of a plurality of operation types (hereinafter, may be referred to as "candidates for the norm"). Determine the norm candidate as the norm of the type of action. The "norm" according to the present embodiment can be paraphrased as a "model" or a "sample".

ここで、本実施形態に係るユーザとは、本実施形態に係る情報処理方法の対象となる者である。ユーザは、例えば、上述したスポーツなどの練習を行うユーザに該当する。 Here, the user according to the present embodiment is a person who is the target of the information processing method according to the present embodiment. The user corresponds to, for example, a user who practices the above-mentioned sports and the like.

また、本実施形態に係る規範の候補としては、例えば下記に示すような、スポーツなどの動作を伴う任意の対象に関して、(例えば客観的な)所定の実績および経験を有する者が、挙げられる。なお、本実施形態に係る規範の候補が、下記に示す者に限られないことは、言うまでもない。
・プロフェッショナルスポーツの選手(以下、「プロ」と示す場合がある。)
・プロフェッショナルスポーツの指導者
・スポーツなどのコーチ(またはインストラクタ)
・ベテランの医師、または、専門医
In addition, as a candidate for the norm according to the present embodiment, for example, a person who has a predetermined (for example, objective) achievement and experience with respect to an arbitrary object accompanied by an action such as sports, as shown below, can be mentioned. Needless to say, the candidates for the norms according to the present embodiment are not limited to those shown below.
・ Professional sports players (hereinafter sometimes referred to as "professionals")
・ Professional sports instructors ・ Sports coaches (or instructors)
・ Veteran doctor or specialist

本実施形態に係るユーザの特徴としては、例えば、ユーザの体の特徴と、ユーザの動作の特徴との、一方または双方が挙げられる。 The characteristics of the user according to the present embodiment include, for example, one or both of the characteristics of the user's body and the characteristics of the user's movements.

本実施形態に係る決定処理において、ユーザの特徴として、ユーザの体の特徴が考慮されることによって、例えば、体の特徴(体型、筋力、柔軟性など)がユーザにより近い規範の候補を、動作の型の規範として決定することができる。 In the determination process according to the present embodiment, by considering the characteristics of the user's body as the characteristics of the user, for example, a candidate for a norm whose body characteristics (body shape, muscle strength, flexibility, etc.) are closer to the user is operated. Can be determined as a norm of type.

ここで、体の特徴がユーザに近い規範の候補が動作の型の規範として決定されることによって、ユーザは、自己の体により適した動作を規範とすることが可能である。 Here, by determining a candidate for a norm whose body characteristics are close to the user as a norm of the type of movement, the user can use a movement more suitable for his / her body as a norm.

よって、ユーザは、技能の向上をより効果的に図ることができうる。また、動作の型の規範の動作を規範として練習を行ったときにユーザの体に無理な負荷がかかる可能性を、より低減することが可能である。 Therefore, the user can more effectively improve the skill. In addition, it is possible to further reduce the possibility that an unreasonable load is applied to the user's body when practicing with the movement as the norm of the movement type norm.

また、本実施形態に係る決定処理において、ユーザの特徴として、ユーザの動作の特徴が考慮されることによって、例えば、体の動き(体の動きに伴う道具の動きも含まれてもよい。)の特徴がユーザにより近い規範の候補を、動作の型の規範として決定することができる。 Further, in the determination process according to the present embodiment, by considering the characteristics of the user's movement as the characteristics of the user, for example, the movement of the body (the movement of the tool accompanying the movement of the body may also be included). Candidates for norms whose characteristics are closer to the user can be determined as norms of the type of action.

ここで、動作の特徴がユーザに近い規範の候補が動作の型の規範として決定されることによって、規範となる動作とユーザの動作との間の動作の差異はより小さくなる。 Here, the difference between the normative action and the user's action becomes smaller because the candidate for the norm whose characteristics of the action are close to the user is determined as the norm of the action type.

よって、ユーザにおける動作の改善点はより少なくなるので、ユーザは、技能の向上をより効果的に図ることができうる。また、動作の型の規範の動作を規範として練習を行ったときにユーザの体に無理な負荷がかかる可能性を、より低減することが可能である。 Therefore, since the improvement points of the operation in the user are lessened, the user can more effectively improve the skill. In addition, it is possible to further reduce the possibility that an unreasonable load is applied to the user's body when practicing with the movement as the norm of the movement type norm.

本実施形態に係る決定処理では、上記のように、ユーザの体の特徴とユーザの動作の特徴との一方または双方が、ユーザの特徴として考慮されることによって、動作の型の規範が決定される。 In the determination process according to the present embodiment, as described above, one or both of the user's body characteristics and the user's movement characteristics are considered as the user's characteristics, so that the norm of the movement type is determined. NS.

したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記決定処理を行うことによって、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することができる。 Therefore, the information processing apparatus according to the present embodiment is a norm of the type of operation capable of performing an operation that is a norm for the user by performing the above-mentioned determination process as the process related to the information processing method according to the present embodiment. Can be determined.

[3]本実施形態に係る情報処理方法に係る処理の他の例
なお、本実施形態に係る情報処理方法に係る処理は、上記決定処理に限られない。
[3] Other Examples of Processing Related to Information Processing Method According to This Embodiment The processing related to the information processing method according to this embodiment is not limited to the above determination process.

例えば、本実施形態に係る情報処理装置は、上記決定処理の結果を利用した1または2以上の処理を、さらに行うことが可能である。上記決定処理の結果を利用した処理としては、例えば、後述する分析処理と後述する通知処理との一方または双方の処理が、挙げられる。 For example, the information processing apparatus according to the present embodiment can further perform one or more processes using the result of the determination process. Examples of the process using the result of the determination process include one or both of the analysis process described later and the notification process described later.

なお、“上記決定処理”と、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”を、1つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記決定処理”と、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”とのそれぞれを、(任意の切り分け方によって)2以上の処理と捉えることも可能である。 For convenience, each of the "determination process" and "the determination process and one or both of the analysis process and the notification process" is the process related to the information processing method according to the present embodiment. It is carved. Therefore, in the process related to the information processing method according to the present embodiment, for example, "the determination process and one or both processes of the analysis process and the notification process" can be regarded as one process. be. In addition, the processing related to the information processing method according to the present embodiment includes, for example, "the determination process" and "the determination process, and one or both of the analysis process and the notification process". , It is also possible to regard it as two or more processes (depending on the arbitrary division method).

(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例を説明しつつ、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
(Information processing device according to this embodiment)
Next, while explaining an example of the configuration of the information processing apparatus according to the present embodiment capable of performing the processing related to the information processing method according to the present embodiment described above, the processing related to the information processing method according to the present embodiment will be described. Will be described more specifically.

図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、決定処理部102と、分析部104と、通知処理部106とを備える。 FIG. 1 is a block diagram showing an example of the configuration of the information processing apparatus 100 according to the present embodiment. The information processing device 100 includes, for example, a determination processing unit 102, an analysis unit 104, and a notification processing unit 106.

また、情報処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、通信部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。 Further, the information processing device 100 includes, for example, a control unit (not shown), a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a communication. A unit (not shown), an operation unit that can be operated by the user (not shown), a display unit that displays various screens on the display screen (not shown), and the like may be provided. The information processing device 100 connects each of the above components by, for example, a bus as a data transmission path.

制御部(図示せず)は、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する。また、制御部(図示せず)は、情報処理装置100において、例えば、決定処理部102、分析部104、および通知処理部106のうちの1または2以上の役目を果たしてもよい。 The control unit (not shown) is composed of one or more processors composed of arithmetic circuits such as MPU (Micro Processing Unit), various processing circuits, and the like, and controls the entire information processing apparatus 100. Further, the control unit (not shown) may serve as one or more of, for example, the determination processing unit 102, the analysis unit 104, and the notification processing unit 106 in the information processing device 100.

なお、決定処理部102、分析部104、および通知処理部106のうちの1または2以上は、決定処理部102、分析部104、および通知処理部106それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、制御部(図示せず)とは別体のプロセッサなど)で構成されていてもよい。 In addition, one or two or more of the decision processing unit 102, the analysis unit 104, and the notification processing unit 106 are dedicated (or capable of realizing the processing of each of the decision processing unit 102, the analysis unit 104, and the notification processing unit 106. It may be composed of a general-purpose circuit (for example, a processor separate from the control unit (not shown)).

ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。 The ROM (not shown) stores control data such as programs and calculation parameters used by the control unit (not shown). The RAM (not shown) temporarily stores a program or the like executed by the control unit (not shown).

記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、候補情報(後述する)などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。 The storage unit (not shown) is a storage means included in the information processing device 100, and for example, data related to an information processing method according to the present embodiment such as candidate information (described later), various data such as various applications, etc. Remember.

ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。 Here, examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk and a nonvolatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing device 100.

通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。また、操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。 Examples of the communication unit (not shown) include a communication interface described later. Further, examples of the operation unit (not shown) include an operation input device described later. Further, examples of the display unit (not shown) include a display device described later.

[情報処理装置100のハードウェア構成例]
図2は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
[Hardware configuration example of information processing device 100]
FIG. 2 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 100 according to the present embodiment. The information processing device 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164. Further, the information processing apparatus 100 connects each component with, for example, a bus 166 as a data transmission path.

MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部(図示せず)として機能する。また、MPU150は、情報処理装置100において、例えば、決定処理部102、分析部104、および通知処理部106の役目を果たす。なお、決定処理部102、分析部104、および通知処理部106のうちの1または2以上は、決定処理部102、分析部104、および通知処理部106それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。 The MPU 150 is composed of, for example, one or more processors composed of arithmetic circuits such as MPU, various processing circuits, and the like, and functions as a control unit (not shown) that controls the entire information processing apparatus 100. Further, the MPU 150 serves as, for example, a determination processing unit 102, an analysis unit 104, and a notification processing unit 106 in the information processing device 100. In addition, one or two or more of the decision processing unit 102, the analysis unit 104, and the notification processing unit 106 are dedicated (or capable of realizing the processing of each of the decision processing unit 102, the analysis unit 104, and the notification processing unit 106. It may be composed of a general-purpose circuit (for example, a processor separate from the MPU 150).

ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。 The ROM 152 stores control data such as programs and calculation parameters used by the MPU 150. The RAM 154 temporarily stores, for example, a program executed by the MPU 150.

記録媒体156は、記憶部(図示せず)として機能し、例えば、候補情報(後述する)などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。 The recording medium 156 functions as a storage unit (not shown), and stores, for example, data related to an information processing method according to the present embodiment such as candidate information (described later), and various data such as various applications. Here, examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing device 100.

入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。 The input / output interface 158 connects, for example, an operation input device 160 and a display device 162. The operation input device 160 functions as an operation unit (not shown), and the display device 162 functions as a display unit (not shown). Here, examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. ..

また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。 Further, the operation input device 160 is provided on the information processing device 100, for example, and is connected to the input / output interface 158 inside the information processing device 100. Examples of the operation input device 160 include buttons, direction keys, rotary selectors such as a jog dial, and combinations thereof.

また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。 Further, the display device 162 is provided on the information processing device 100, for example, and is connected to the input / output interface 158 inside the information processing device 100. Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display) and an organic EL display (also called an Organic Electro-Luminescence Display or an OLED display (Organic Light Emitting Diode Display)).

なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。 Needless to say, the input / output interface 158 can be connected to an external device such as an external operation input device (for example, a keyboard or mouse) or an external display device of the information processing device 100. Further, the display device 162 may be a device capable of displaying and operating the user, such as a touch panel.

通信インタフェース164は、情報処理装置100が備える通信手段である。通信インタフェース164は、例えば、ネットワークを介して(あるいは、直接的に)、“ユーザの動作の検出に係るセンサなどの外部デバイス”や、“ユーザ情報(後述する)と動作情報(後述する)との一方または双方を記憶する1または2以上のサーバなどの外部装置”と、無線または有線で通信を行うための通信部(図示せず)として機能する。 The communication interface 164 is a communication means included in the information processing device 100. The communication interface 164 includes, for example, "an external device such as a sensor for detecting a user's motion" or "user information (described later) and operation information (described later)" via a network (or directly). It functions as a communication unit (not shown) for wirelessly or wired communication with "an external device such as one or two or more servers that store one or both."

ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。 Here, examples of the communication interface 164 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE802.5.1 port and a transmission / reception circuit (wireless communication), an IEEE802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).

情報処理装置100は、例えば図2に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図2に示す構成に限られない。 The information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, according to the configuration shown in FIG. The hardware configuration of the information processing device 100 according to the present embodiment is not limited to the configuration shown in FIG.

例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。 For example, when the information processing device 100 communicates with an external device or the like via a connected external communication device, or when the information processing device 100 is configured to perform processing in a stand-alone manner, the information processing device 100 does not have to include the communication interface 164. good. Further, the communication interface 164 may have a configuration capable of communicating with one or more external devices or the like by a plurality of communication methods.

また、情報処理装置100は、例えば、ユーザ情報(後述する)の取得に係るセンサと、動作情報(後述する)の取得に係るセンサとの一方または双方をさらに備えていてもよい。 Further, the information processing apparatus 100 may further include, for example, one or both of a sensor for acquiring user information (described later) and a sensor for acquiring operation information (described later).

また、情報処理装置100は、例えば、記録媒体156、操作入力デバイス160、および表示デバイス162のうちの1または2以上を備えない構成をとることが、可能である。 Further, the information processing apparatus 100 can be configured not to include, for example, one or more of the recording medium 156, the operation input device 160, and the display device 162.

また、例えば、図2に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のIC(Integrated Circuit)で実現されてもよい。 Further, for example, a part or all of the configuration shown in FIG. 2 (or the configuration according to the modified example) may be realized by one or two or more ICs (Integrated Circuits).

再度図1を参照して、情報処理装置100の構成の一例について説明する。 An example of the configuration of the information processing apparatus 100 will be described with reference to FIG. 1 again.

[I]決定処理部102
決定処理部102は、上記決定処理を主導的に行う役目を果たす。決定処理部102は、例えば、ユーザ情報と、動作の型の規範の候補をそれぞれ示す、複数の候補情報とに基づいて、ユーザ情報に対応するユーザにとっての動作の型の規範を決定する。
[I] Decision processing unit 102
The decision processing unit 102 plays a role of leading the decision process. The determination processing unit 102 determines the norm of the action type for the user corresponding to the user information based on, for example, the user information and a plurality of candidate information indicating candidates for the norm of the action type.

ここで、本実施形態に係るユーザ情報とは、ユーザに関するデータである。ユーザ情報としては、例えば、ユーザの体の特徴を示すデータと、ユーザの動作の結果を示すデータとの一方または双方が挙げられる。 Here, the user information according to the present embodiment is data related to the user. The user information includes, for example, one or both of data showing the characteristics of the user's body and data showing the result of the user's operation.

ユーザ情報の一例であるユーザの体の特徴を示すデータとしては、例えば、ユーザの体の特徴をそれぞれ示す、1または2以上の値が挙げられる。以下では、ユーザの体の特徴を示す値を、「特徴値」と示す。 Examples of the data indicating the characteristics of the user's body, which is an example of the user information, include values of 1 or 2 or more indicating the characteristics of the user's body, respectively. In the following, a value indicating a feature of the user's body is referred to as a "feature value".

また、ユーザの体の特徴を示すデータが示す、ユーザの体の特徴としては、例えば下記に示す例の、1または2以上の組み合わせが挙げられる。なお、本実施形態に係るユーザ情報が示すユーザの特徴値は、下記に示す特徴に対応する特徴値に限られない。例えば、下記に示す体の長さに関する特徴と重さに関する特徴との一方または双方は、体型に関する特徴というように、1つの指標で表されてもよい。また、本実施形態に係るユーザ情報が示すユーザの特徴値は、体の特徴を示しうる、1または2以上の任意の指標の値であってもよい。
・体の長さに関する特徴:身長、腕の長さ、脚の長さ、手の大きさ、足の大きさなど
・重さに関する特徴:体重、体の部分ごと(例えば、肩、腕、胸、腹、背中、お尻、脚など)の肉の付き具合など
・各部位の筋力に関する特徴:握力、背筋力、腹筋力など
・各関節や各筋肉の柔軟性に関する特徴:股関節、肩関節、前屈、伏臥上体反らしなどの柔軟性
Further, examples of the user's body characteristics shown by the data showing the user's body characteristics include one or a combination of two or more of the examples shown below. The user feature value indicated by the user information according to the present embodiment is not limited to the feature value corresponding to the feature shown below. For example, one or both of the following body length features and weight features may be represented by a single index, such as body shape features. Further, the characteristic value of the user indicated by the user information according to the present embodiment may be a value of one or more arbitrary indexes capable of indicating the characteristics of the body.
・ Characteristics related to body length: height, arm length, leg length, hand size, foot size, etc. ・ Weight characteristics: weight, by body part (for example, shoulders, arms, chest) , Abdomen, back, butt, legs, etc.) ・ Characteristics related to muscle strength of each part: grip strength, back muscle strength, abdominal muscle strength, etc. ・ Characteristics related to flexibility of each joint and each muscle: hip joint, shoulder joint, Flexibility such as forward bending and prone upper body bending

上記体の長さに関する特徴の特徴値は、例えば、メジャーを用いた計測により得られたものであってもよいし、ユーザが撮像された撮像画像から推定されることによって得られたものであってもよい。 The feature value of the feature relating to the body length may be, for example, obtained by measurement using a tape measure, or obtained by estimating from an captured image captured by the user. You may.

また、上記重さに関する特徴の特徴値は、例えば、体重計を用いた計測により得られたものであってもよいし、MRI(Magnetic Resonance Imaging)などの計測器を用いた計測により得られたものであってもよい。 Further, the feature value of the above-mentioned weight feature may be obtained by, for example, measurement using a weight scale, or may be obtained by measurement using a measuring instrument such as MRI (Magnetic Resonance Imaging). It may be a thing.

また、上記各部位の筋力に関する特徴の特徴値は、例えば、専用の計測器、または、筋力トレーニングの機材を用いた計測により得られる。 In addition, the characteristic values of the characteristics related to the muscle strength of each of the above-mentioned parts can be obtained by, for example, measurement using a dedicated measuring instrument or equipment for strength training.

また、上記各関節や各筋肉の柔軟性に関する特徴の特徴値は、例えば、ユーザが行う柔軟体操を通じた柔軟性の計測により得られる。例えば、上記各関節や各筋肉の柔軟性に関する特徴の特徴値は、設定されている部位ごとの最大の可動範囲を用いて計測値を正規化することによって、0.0〜1.0の範囲の値で表される。また、上記各関節や各筋肉の柔軟性に関する特徴の特徴値は、例えば、下記に示す背中で両腕を組む動作における5段階評価のように、複数段階の定性的な評価の評価値であってもよい。
・段階5(大変よい):例えば、両手で指が組める場合。
・段階4(まあまあ良い):例えば、指先が触れる場合。
・段階3(標準):例えば、両腕の指先の間隔が5[cm]以内の場合。
・段階2(やや低い):例えば、両腕の指先の間隔が10[cm]以内の場合。
・段階1(非常に低い):例えば、両腕の指先の間隔が10[cm]より大きい場合。
In addition, the characteristic values of the characteristics related to the flexibility of each joint and each muscle can be obtained, for example, by measuring the flexibility through a flexible exercise performed by the user. For example, the characteristic values of the characteristics related to the flexibility of each joint and each muscle are in the range of 0.0 to 1.0 by normalizing the measured values using the maximum movable range for each set part. It is represented by the value of. In addition, the characteristic values of the characteristics related to the flexibility of each joint and each muscle are evaluation values of a plurality of stages of qualitative evaluation, such as the five-stage evaluation in the movement of crossing both arms with the back shown below. You may.
-Stage 5 (very good): For example, when fingers can be crossed with both hands.
-Stage 4 (fairly good): For example, when the fingertips touch.
-Stage 3 (standard): For example, when the distance between the fingertips of both arms is within 5 [cm].
-Stage 2 (slightly low): For example, when the distance between the fingertips of both arms is within 10 [cm].
-Stage 1 (very low): For example, when the distance between the fingertips of both arms is larger than 10 [cm].

ユーザの体の特徴が、例えば上記のように計測される場合、計測結果が手動でまたは自動的にデータ入力されることによって、ユーザの体の特徴を示すユーザ情報が生成される。また、ユーザの体の特徴が、例えば上記のように撮像画像から推定される場合、ユーザの体の特徴を示すユーザ情報は、推定に係る処理を行った装置において生成される。ここで、撮像画像に基づくユーザの体の特徴の推定に係る処理は、情報処理装置100が行ってもよいし、情報処理装置100の外部装置において行われてもよい。 When the characteristics of the user's body are measured as described above, for example, the measurement results are manually or automatically input into data to generate user information indicating the characteristics of the user's body. Further, when the characteristics of the user's body are estimated from the captured image as described above, the user information indicating the characteristics of the user's body is generated in the device that has performed the processing related to the estimation. Here, the processing related to the estimation of the characteristics of the user's body based on the captured image may be performed by the information processing device 100 or may be performed by an external device of the information processing device 100.

また、ユーザ情報の一例であるユーザの動作の結果を示すデータとしては、例えば、ユーザにおける“ユーザの体の動きと、ユーザが用いる打具などの道具の動きとの一方または双方の検出結果を示すデータ(以下、「動き検出データ」と示す場合がある。)”、または、ユーザにおける“ユーザの体の動きと、ユーザが用いる打具などの道具の動きとの一方または双方を推定することが可能なデータ(以下、「動き推定データ」と示す場合がある。)”が挙げられる。 Further, as data showing the result of the user's movement, which is an example of the user information, for example, the detection result of one or both of the "movement of the user's body and the movement of a tool such as a hitting tool used by the user" in the user can be obtained. Estimating one or both of the indicated data (hereinafter, may be referred to as "motion detection data") or "the movement of the user's body and the movement of a tool such as a hitting tool used by the user" in the user. (Hereinafter, it may be referred to as "motion estimation data") ".

上記動き検出データとしては、光学式の動き検出センサ(マーカー方式、または、マーカーレス方式のセンサ)、磁気式の動き検出センサ、または、慣性式の動き検出センサなどの、検出対象の動きを検出することが可能な任意の動き検出センサの検出結果を示すデータが、挙げられる。上記のような動き検出センサによりユーザの動きが検出されることによって、ユーザ情報は、例えば、ユーザの節の3次元的な動きと、打具などの道具の動き3次元的な動きとの一方または双方を示すことが可能となる。 The motion detection data includes motion of a detection target such as an optical motion detection sensor (marker type or markerless type sensor), a magnetic motion detection sensor, or an inertial motion detection sensor. Data showing the detection results of any motion detection sensor that can be used can be mentioned. By detecting the user's movement by the motion detection sensor as described above, the user information is, for example, one of the three-dimensional movement of the user's node and the three-dimensional movement of a tool such as a hitting tool. Or it is possible to show both.

また、上記動き推定データとしては、例えば、ユーザが撮像された撮像画像など、検出対象の動きを推定することが可能な任意のデータが挙げられる。ここで、例えば、撮像画像(動き推定データの一例)に基づくユーザの動きなどの推定に係る処理は、情報処理装置100が行ってもよいし、情報処理装置100の外部装置において行われてもよい。 Further, as the motion estimation data, for example, arbitrary data capable of estimating the motion of the detection target, such as an captured image captured by the user, can be mentioned. Here, for example, the processing related to the estimation of the user's movement based on the captured image (an example of the motion estimation data) may be performed by the information processing device 100 or may be performed by an external device of the information processing device 100. good.

決定処理部102は、決定処理において、例えば上記のような、ユーザの体の特徴を示すデータと、ユーザの動作の結果を示すデータとの一方または双方を、ユーザ情報として用いる。 In the determination process, the determination processing unit 102 uses one or both of the data indicating the characteristics of the user's body and the data indicating the result of the user's operation as the user information, for example, as described above.

なお、本実施形態に係るユーザ情報は、ユーザの体の特徴を示すデータと、ユーザの動作の結果を示すデータとの一方または双方に限られない。例えば、本実施形態に係るユーザ情報には、ユーザの性別と、ユーザの年齢との一方または双方が、さらに含まれていてもよい。 The user information according to the present embodiment is not limited to one or both of the data showing the characteristics of the user's body and the data showing the result of the user's operation. For example, the user information according to the present embodiment may further include one or both of the gender of the user and the age of the user.

また、本実施形態に係る候補情報とは、規範の候補に関するデータである。候補情報としては、例えば、規範の候補の体の特徴を示すデータと、規範の候補の動作の結果を示すデータとの一方または双方が挙げられる。 The candidate information according to the present embodiment is data related to candidates for norms. Candidate information includes, for example, one or both of data showing the body characteristics of the norm candidate and data showing the result of the action of the norm candidate.

候補情報の一例であるユーザの体の特徴を示すデータとしては、例えば、上記ユーザの体の特徴を示すデータと同様のデータが挙げられる。 Examples of the data showing the characteristics of the user's body, which is an example of the candidate information, include data similar to the data showing the characteristics of the user's body.

また、候補情報の一例である規範の候補の動作の結果を示すデータとしては、例えば、上記ユーザの動作の結果を示すデータと同様のデータが挙げられる。 Further, as the data showing the result of the operation of the candidate of the norm which is an example of the candidate information, for example, the same data as the data showing the result of the operation of the user can be mentioned.

なお、本実施形態に係る候補情報は、規範の候補の体の特徴を示すデータと、規範の候補の動作の結果を示すデータとの一方または双方に限られない。例えば、本実施形態に係る候補情報には、規範の候補の性別と、規範の候補の年齢との一方または双方が、さらに含まれていてもよい。 The candidate information according to the present embodiment is not limited to one or both of the data showing the characteristics of the body of the candidate of the norm and the data showing the result of the operation of the candidate of the norm. For example, the candidate information according to the present embodiment may further include one or both of the gender of the candidate for the norm and the age of the candidate for the norm.

決定処理部102は、決定処理において、例えば、上記のようなユーザ情報と上記のような候補情報とに基づいて、候補情報に対応する規範の候補の中から、ユーザにとっての動作の型の規範を、決定する。 In the determination process, the determination processing unit 102 determines, for example, based on the above-mentioned user information and the above-mentioned candidate information, from among the norm candidates corresponding to the candidate information, the norm of the type of action for the user. To determine.

より具体的には、決定処理部102は、例えば下記の(1)に示す第1の例に係る処理〜下記の(4)に示す第4の例に係る処理のいずれかの処理を行うことによって、動作の型の規範を決定する。 More specifically, the determination processing unit 102 performs, for example, any of the processing according to the first example shown in (1) below to the processing according to the fourth example shown in (4) below. Determines the norm of the type of behavior.

(1)決定処理の第1の例:ユーザ情報と候補情報とが、それぞれ体の特徴を示す場合
ユーザ情報と候補情報とが、それぞれ体の特徴を示す場合、決定処理部102は、ユーザに体の特徴がより近い規範の候補を、動作の型の規範として決定する。
(1) First example of determination processing: When the user information and the candidate information each indicate a body characteristic When the user information and the candidate information each indicate a body characteristic, the determination processing unit 102 informs the user. Candidates for norms with closer body characteristics are determined as norms for the type of movement.

例えば、ユーザ情報が、ユーザの体の特徴を示す1または2以上の特徴値を示し、候補情報が、規範の候補の体の特徴を示す1または2以上の特徴値を示す場合、決定処理部102は、これらの特徴値を用いた演算を行うことによって、動作の型の規範を決定する。 For example, when the user information indicates one or two or more feature values indicating the characteristics of the user's body, and the candidate information indicates one or two or more characteristic values indicating the characteristics of the body of the candidate of the norm, the determination processing unit. 102 determines the norm of the type of action by performing an operation using these feature values.

具体的には、決定処理部102は、例えば下記の数式1〜数式3にそれぞれ示すように、“ユーザ情報と候補情報とにおける対応する特徴値の差分の、総和値”を算出する。以下では、本実施形態に係る“ユーザ情報と候補情報とにおける対応する特徴値の差分の、総和値”を、「総和値」、または「差分総和値」と示す場合がある。 Specifically, the determination processing unit 102 calculates "the total value of the differences between the corresponding feature values in the user information and the candidate information", as shown in, for example, Formulas 1 to 3 below. In the following, the "total value of the differences between the corresponding feature values in the user information and the candidate information" according to the present embodiment may be referred to as "total value" or "difference total value".

Figure 0006939939
・・・(数式1)
Figure 0006939939
... (Formula 1)

Figure 0006939939
・・・(数式2)
Figure 0006939939
... (Formula 2)

Figure 0006939939
・・・(数式3)
Figure 0006939939
... (Formula 3)

ここで、上記数式1に示す“diff”は、体の長さに関する特徴に対応する特徴値に基づく総和値を示している。 Here, "diff l " shown in the above formula 1 indicates a total value based on the feature value corresponding to the feature relating to the body length.

上記数式1に示す“l”は、例えば、ユーザにおける体の長さに関する特徴の特徴値であり、上記数式1に示す“l’”は、例えば、規範の候補における、“l”に対応する体の長さに関する特徴の特徴値である。また、上記数式1に示す“wli”は、体の長さに関する特徴それぞれに対応する重み付け係数である。決定処理部102は、例えば、体の長さに関する特徴と重み付け係数とが対応付けられているテーブル(または、データベース)を参照することによって、体の長さに関する特徴それぞれに対応する重み付け係数を特定する。なお、上記体の長さに関する特徴と重み付け係数とが対応付けられているテーブルは、例えば、スポーツごとなど、ユーザが行う動作ごとのテーブルであってもよい。決定処理部102は、記憶部(図示せず)などの記録媒体に記憶されているテーブルのうちの、ユーザが行う動作に対応するテーブルを参照して、体の長さに関する特徴それぞれに対応する重み付け係数を特定する。 “L i ” shown in the above formula 1 is, for example, a feature value of a feature related to body length in a user, and “l' i ” shown in the above formula 1 is, for example, “li i ” in a candidate for a norm. It is a feature value of a feature related to body length corresponding to. Further, "w li " shown in the above formula 1 is a weighting coefficient corresponding to each feature related to body length. The determination processing unit 102 identifies the weighting coefficient corresponding to each of the body length features by referring to, for example, a table (or database) in which the body length feature and the weighting coefficient are associated with each other. do. The table in which the feature related to the body length and the weighting coefficient are associated with each other may be a table for each action performed by the user, for example, for each sport. The determination processing unit 102 refers to a table corresponding to an operation performed by the user among the tables stored in a recording medium such as a storage unit (not shown), and corresponds to each feature related to body length. Identify the weighting factor.

また、上記数式2に示す“diff”は、各部位の筋力に関する特徴に対応する特徴値に基づく総和値を示している。 Further, "diff p " shown in the above mathematical formula 2 indicates a total value based on the feature value corresponding to the feature related to the muscle strength of each part.

上記数式2に示す“p”は、例えば、ユーザにおける各部位の筋力に関する特徴の特徴値であり、上記数式2に示す“p’”は、例えば、規範の候補における、“p”に対応する各部位の筋力に関する特徴の特徴値である。また、上記数式2に示す“wpi”は、各部位の筋力に関する特徴それぞれに対応する重み付け係数である。決定処理部102は、例えば、各部位の筋力に関する特徴と重み付け係数とが対応付けられているテーブル(または、データベース)を参照することによって、各部位の筋力に関する特徴それぞれに対応する重み付け係数を特定する。なお、上記各部位の筋力に関する特徴と重み付け係数とが対応付けられているテーブルは、例えば、スポーツごとなど、ユーザが行う動作ごとのテーブルであってもよい。 Shown in Equation 2 "p i" is, for example, a feature value of the feature related to muscle strength of each part in the user, shown in Equation 2 "p 'i", for example, in the candidate norms, "p i" It is a characteristic value of the characteristic related to the muscle strength of each part corresponding to. Further, "wpi " shown in the above mathematical formula 2 is a weighting coefficient corresponding to each feature related to muscle strength of each part. The determination processing unit 102 identifies the weighting coefficient corresponding to each of the characteristics related to the muscle strength of each part by referring to, for example, a table (or database) in which the characteristics related to the muscle strength of each part and the weighting coefficient are associated with each other. do. The table in which the characteristics related to the muscle strength of each part and the weighting coefficient are associated with each other may be a table for each action performed by the user, for example, for each sport.

また、上記数式3に示す“diff”は、各関節や各筋肉の柔軟性に関する特徴に対応する特徴値に基づく総和値を示している。 Further, "diff f " shown in the above mathematical formula 3 indicates a total value based on the feature values corresponding to the features related to the flexibility of each joint and each muscle.

上記数式3に示す“f”は、例えば、ユーザにおける各関節や各筋肉の柔軟性に関する特徴の特徴値であり、上記数式3に示す“f’”は、例えば、規範の候補における、“f”に対応する各関節や各筋肉の柔軟性に関する特徴の特徴値である。また、上記数式3に示す“wfi”は、各関節や各筋肉の柔軟性に関する特徴それぞれに対応する重み付け係数である。決定処理部102は、例えば、各関節や各筋肉の柔軟性に関する特徴と重み付け係数とが対応付けられているテーブル(または、データベース)を参照することによって、各関節や各筋肉の柔軟性に関する特徴それぞれに対応する重み付け係数を特定する。なお、上記各関節や各筋肉の柔軟性に関する特徴と重み付け係数とが対応付けられているテーブルは、例えば、スポーツごとなど、ユーザが行う動作ごとのテーブルであってもよい。 Shown in Equation 3 "f i" is, for example, a feature value of the feature for each joint and flexibility of each muscle in the user, shown in Equation 3 "f 'i", for example, in the candidate norms, a feature value of the feature for each joint and flexibility of the muscles that corresponds to "f i". Further, "w fi " shown in the above mathematical formula 3 is a weighting coefficient corresponding to each feature related to the flexibility of each joint and each muscle. The determination processing unit 102 refers to a table (or database) in which the characteristics related to the flexibility of each joint or each muscle and the weighting coefficient are associated with each other, for example, and the characteristics related to the flexibility of each joint or each muscle. Specify the weighting coefficient corresponding to each. The table in which the characteristics related to the flexibility of each joint or each muscle and the weighting coefficient are associated with each other may be a table for each movement performed by the user, for example, for each sport.

なお、本実施形態に係る総和値の算出方法は、上記数式1〜上記数式3に示す例に限られない。 The method of calculating the total value according to the present embodiment is not limited to the examples shown in the above formulas 1 to 3.

例えば、決定処理部102は、下記の数式4に示すように、各特徴値を正規化して総和値を算出することも可能である。下記の数式4は、体の長さに関する特徴に対応する特徴値を正規化して総和値を算出する場合における、算出例を示している。なお、他の体の特徴においても、下記の数式4と同様に、各特徴値を正規化して総和値を算出することが可能である。 For example, the determination processing unit 102 can normalize each feature value and calculate the total value as shown in the following mathematical formula 4. The following mathematical formula 4 shows a calculation example in the case of calculating the total value by normalizing the feature values corresponding to the features related to the body length. For other body features, it is possible to normalize each feature value and calculate the total value in the same manner as in Equation 4 below.

Figure 0006939939
・・・(数式4)
Figure 0006939939
... (Formula 4)

ここで、上記数式4に示す“l”は、ユーザにおける正規化の基準となる特徴値であり、上記数式4に示す“l’”は、規範の候補における正規化の基準となる特徴値である。正規化の基準となる特徴値は、例えば、身長を示す特徴値などの固定の特徴値であってもよいし、前腕の長さを上腕の長さで正規化する、あるいは、下腿の長さを大腿の長さで正規化するなど、正規化する特徴値ごとに変わってもよい。 Here, "l X " shown in the above formula 4 is a feature value that serves as a reference for normalization in the user, and "l' X " shown in the above formula 4 is a feature that serves as a reference for normalization in the candidates for the norm. The value. The feature value that serves as a reference for normalization may be a fixed feature value such as a feature value indicating height, the length of the forearm is normalized by the length of the upper arm, or the length of the lower leg. May be changed for each feature value to be normalized, such as normalizing with the length of the thigh.

また、上述したように、ユーザ情報と候補情報とがそれぞれ示す体の特徴は、例えば、体の長さに関する特徴や、重さに関する特徴などのように、複数の区分に分類することが可能である。 Further, as described above, the body features indicated by the user information and the candidate information can be classified into a plurality of categories, for example, features related to body length and features related to weight. be.

上記のように、ユーザ情報と候補情報とがそれぞれ示す体の特徴が複数の区分に分類される場合には、決定処理部102は、区分ごとの総和値に基づいて、総和値を算出することが可能である。一例を挙げると、決定処理部102は、上記数式1〜上記数式3により算出された区分ごとの総和値に基づいて、例えば下記の数式5に示すように、総和値diffを算出する。 As described above, when the body features indicated by the user information and the candidate information are classified into a plurality of categories, the determination processing unit 102 calculates the total value based on the total value for each category. Is possible. As an example, the determination processing unit 102 calculates the total value diff based on the total value for each category calculated by the above formulas 1 to 3 as shown in the following formula 5, for example.

Figure 0006939939
・・・(数式5)
Figure 0006939939
... (Formula 5)

ここで、上記数式5に示す“a”、“b”、“c”それぞれは、区分ごとの重み付け係数である。区分ごとの重み付け係数は、例えば、スポーツごとなど、ユーザが行う動作ごとに設定される。 Here, each of "a", "b", and "c" shown in the above formula 5 is a weighting coefficient for each category. The weighting coefficient for each category is set for each action performed by the user, for example, for each sport.

例えば上記数式5に示すように、決定処理部102は、区分ごとに重み付けがされた総和値を算出することが可能である。区分ごとに重み付けを行うことによって、例えば、区分ごとの総和値の大きさの違いを吸収することができる。なお、決定処理部102が、区分ごとに重み付けを行わずに総和値を算出することが可能であることは、言うまでもない。 For example, as shown in the above equation 5, the determination processing unit 102 can calculate the total value weighted for each division. By weighting each division, for example, it is possible to absorb the difference in the size of the total value for each division. Needless to say, the determination processing unit 102 can calculate the total value without weighting each category.

例えば上記のように、特徴値を用いた演算によって総和値が算出されると、決定処理部102は、総和値が最も小さい規範の候補を、動作の型の規範として決定する。 For example, as described above, when the total value is calculated by the calculation using the feature value, the determination processing unit 102 determines the candidate of the norm having the smallest total value as the norm of the operation type.

図3は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、決定処理部102における処理の概要を示している。 FIG. 3 is an explanatory diagram for explaining the processing related to the information processing method according to the present embodiment, and shows the outline of the processing in the determination processing unit 102.

図3に示すAは、候補情報が示す規範の候補の特徴値の一例を示しており、図3のAに示す“Aさん”、“Bさん”、…、“Zさん”が、それぞれ規範の候補に該当する。また、図3に示すBは、ユーザ情報が示すユーザのの特徴値の一例を示しており、図3のBに示す“あなた”が、ユーザに該当する。また、図3に示すCは、例えば上記数式5により算出された総和値の一例を示している。なお、図3に示すCでは、“Cさん”に対応する総和値が、最も小さな値をとっているものとする。 A shown in FIG. 3 shows an example of the characteristic values of the candidate of the norm indicated by the candidate information, and “Mr. A”, “Mr. B”, ..., “Mr. Z” shown in A of FIG. 3 are the norms, respectively. Corresponds to the candidate of. Further, B shown in FIG. 3 shows an example of the characteristic value of the user indicated by the user information, and “you” shown in B of FIG. 3 corresponds to the user. Further, C shown in FIG. 3 shows an example of the total value calculated by the above mathematical formula 5, for example. In C shown in FIG. 3, it is assumed that the total value corresponding to "Mr. C" is the smallest value.

例えば図3のCに示す総和値が算出された場合、決定処理部102は、総和値が最も小さい規範の候補である“Cさん”を、動作の型の規範として決定する。 For example, when the total value shown in C in FIG. 3 is calculated, the determination processing unit 102 determines “Mr. C”, which is a candidate for the norm with the smallest total value, as the norm of the type of action.

(2)決定処理の第2の例:ユーザ情報と候補情報とが、それぞれ動作の結果を示す場合
ユーザ情報と候補情報とが、それぞれ動作の結果を示す場合、決定処理部102は、ユーザに動作の特徴がより近い規範の候補を、動作の型の規範として決定する。
(2) Second example of determination processing: When the user information and the candidate information each indicate the result of the operation When the user information and the candidate information each indicate the result of the operation, the determination processing unit 102 informs the user. Candidates for norms with closer behavioral characteristics are determined as behavioral type norms.

例えば、決定処理部102は、ユーザ情報および候補情報それぞれから、動作の特徴を抽出する。そして、決定処理部102は、抽出された動作の特徴の差分に基づいて、動作の型の規範を決定する。決定処理部102は、例えば、抽出された動作の特徴の差分がより小さい規範の候補を、動作の型の規範として決定する。 For example, the determination processing unit 102 extracts the characteristics of the operation from each of the user information and the candidate information. Then, the determination processing unit 102 determines the norm of the operation type based on the difference in the extracted characteristics of the operation. The determination processing unit 102 determines, for example, a norm candidate having a smaller difference in the extracted motion features as the code of the motion type.

ここで、決定処理部102は、例えば、ユーザ情報および候補情報それぞれから動作の特徴値を算出することによって、動作の特徴を抽出する。そして、決定処理部102は、算出された特徴値の差分が最も小さい規範の候補を、動作の型の規範として決定する。 Here, the determination processing unit 102 extracts the characteristic of the operation by calculating the characteristic value of the operation from each of the user information and the candidate information, for example. Then, the determination processing unit 102 determines the candidate of the norm having the smallest difference between the calculated feature values as the norm of the operation type.

具体例を挙げると、ユーザ情報および候補情報それぞれがモーションキャプチャを行った結果のデータである場合には、決定処理部102は、ユーザ情報および候補情報それぞれから、動きの特徴量を算出する。決定処理部102は、例えば、ユーザ情報および候補情報それぞれに対して主成分分析を行い、固有ベクトルの係数を、特徴値とする。そして、決定処理部102は、算出された固有ベクトルの係数の差分が最も小さい規範の候補を、動作の型の規範として決定する。 To give a specific example, when each of the user information and the candidate information is the data of the result of motion capture, the determination processing unit 102 calculates the feature amount of the motion from each of the user information and the candidate information. The determination processing unit 102 performs principal component analysis on each of the user information and the candidate information, and uses the coefficient of the eigenvector as the feature value. Then, the determination processing unit 102 determines the candidate of the norm having the smallest difference between the calculated coefficients of the eigenvector as the norm of the action type.

なお、動作の特徴を抽出して動作の型の規範を決定する処理は、上記に示す例に限られない。 The process of extracting the characteristics of the motion and determining the norm of the motion type is not limited to the above example.

例えば、決定処理部102は、ユーザ情報および候補情報それぞれに基づいて、ユーザおよび規範の候補それぞれの姿勢を、動作の特徴として抽出して、動作の型の規範を決定することも可能である。決定処理部102は、姿勢の差分が最も小さい規範の候補を、動作の型の規範として決定する。 For example, the determination processing unit 102 can extract the postures of the user and the candidate of the norm as the characteristics of the action based on the user information and the candidate information, and determine the norm of the action type. The determination processing unit 102 determines the candidate of the norm with the smallest difference in posture as the norm of the movement type.

図4は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、決定処理部102における処理の概要を示している。 FIG. 4 is an explanatory diagram for explaining the processing related to the information processing method according to the present embodiment, and shows the outline of the processing in the determination processing unit 102.

決定処理部102は、例えば図4のAに示すように、複数時点のユーザ情報、および複数時点の候補情報それぞれに基づいて、ユーザおよび規範の候補それぞれにおける、動作途中のいくつかの姿勢のシルエット画像を生成する。ここで、シルエット画像の生成が、動作の特徴の抽出に係る処理に該当する。 As shown in A of FIG. 4, for example, the determination processing unit 102 silhouettes some postures in the middle of operation in each of the user and the norm candidate based on the user information at the plurality of time points and the candidate information at the plurality of time points. Generate an image. Here, the generation of the silhouette image corresponds to the process related to the extraction of the characteristics of the motion.

そして、決定処理部102は、例えば図4のBに示すように、動作が対応するユーザに対応するシルエット画像および規範の候補に対応するシルエット画像を重ね合わせ、重なり具合を示す値(すなわち、動作の類似度を示す値)を、特徴値とする。シルエット画像に係る特徴値としては、例えば、ユーザに対応するシルエット画像全体の領域に対する、重なっている領域の割合を示す値が挙げられる。なお、シルエット画像に係る特徴値は、上記に示す例に限られず、重なり具合を示すことが可能な任意の値であってもよい。 Then, as shown in B of FIG. 4, for example, the determination processing unit 102 superimposes the silhouette image corresponding to the user corresponding to the operation and the silhouette image corresponding to the candidate of the norm, and indicates a value indicating the degree of overlap (that is, the operation). A value indicating the degree of similarity of) is used as a feature value. Examples of the feature value related to the silhouette image include a value indicating the ratio of the overlapping area to the entire area of the silhouette image corresponding to the user. The feature value related to the silhouette image is not limited to the example shown above, and may be any value capable of showing the degree of overlap.

(3)決定処理の第3の例
決定処理部102は、上記(1)に示す第1の例に係る処理と、上記(2)に示す第2の例に係る処理とを組み合わせた処理を行うことが可能である。
(3) Third Example of Decision Processing The determination processing unit 102 performs a process in which the process according to the first example shown in (1) above and the process according to the second example shown in (2) above are combined. It is possible to do.

上記組み合わせた処理の一例としては、上記(1)に示す第1の例に係る処理または上記(2)に示す第2の例に係る処理の一方の処理によって、動作の型の規範が1人に絞られない場合に、他方の処理によって1人の動作の型の規範を決定することが挙げられる。例えば、決定処理部102は、上記(1)に示す第1の例に係る総和値によって、総和値が最も小さな規範の候補が複数存在する場合に、これらの複数の規範の候補に対応する候補情報に基づいて、上記(2)に示す第2の例に係る処理をさらに行うことによって、動作の型の規範を決定する。 As an example of the above-mentioned combined processing, one person has a norm of the type of operation by one of the processing according to the first example shown in the above (1) and the processing related to the second example shown in the above (2). If it is not narrowed down to, the other process may determine the norm of the type of movement of one person. For example, when the determination processing unit 102 has a plurality of candidates for the norm having the smallest total value according to the total value according to the first example shown in the above (1), the candidate corresponding to the candidates for the plurality of norms. Based on the information, the norm of the type of action is determined by further performing the process according to the second example shown in (2) above.

なお、上記(1)に示す第1の例に係る処理と上記(2)に示す第2の例に係る処理とを組み合わせた処理の例は、上記に示す例に限られず、上記(1)に示す第1の例に係る処理と上記(2)に示す第2の例に係る処理とを組み合わせて動作の型の規範を決定することが可能な、任意の処理であってもよい。 The example of the process in which the process according to the first example shown in the above (1) and the process according to the second example shown in the above (2) are combined is not limited to the example shown above, and the above (1). It may be an arbitrary process capable of determining the norm of the type of operation by combining the process according to the first example shown in (2) and the process according to the second example shown in (2) above.

(4)決定処理の第4の例
なお、本実施形態に係る決定処理は、上記(1)に示す第1の例に係る処理〜上記(3)に示す第3の例に係る処理に限られない。
(4) Fourth Example of Decision Processing The determination process according to the present embodiment is limited to the process according to the first example shown in (1) above to the process related to the third example shown in (3) above. I can't.

上述したように、ユーザ情報は、ユーザの性別をさらに示していてもよく、また、候補情報は、規範の候補の性別をさらに示していてもよい。 As described above, the user information may further indicate the gender of the user, and the candidate information may further indicate the gender of the norm candidate.

上記のように、ユーザ情報および候補情報それぞれが各ユーザの性別を示す場合には、決定処理部102は、ユーザと規範の候補との性別を考慮して、動作の型の規範を決定することが可能である。 As described above, when the user information and the candidate information each indicate the gender of each user, the determination processing unit 102 determines the norm of the type of action in consideration of the gender of the user and the candidate of the norm. Is possible.

具体的には、決定処理部102は、例えば、ユーザと性別が異なる規範の候補を除外する。そして、決定処理部102は、規範の候補を除外した上で、上記(1)に示す第1の例に係る処理〜上記(3)に示す第3の例に係る処理のいずれかの処理を行うことによって、動作の型の規範を決定する。 Specifically, the determination processing unit 102 excludes, for example, candidates for norms whose gender is different from that of the user. Then, the determination processing unit 102, after excluding the candidates for the norm, performs any of the processes related to the first example shown in (1) above to the processing related to the third example shown in (3) above. By doing so, it determines the norm of the type of behavior.

例えば、決定処理部102は、ユーザと性別が異なる規範の候補を除外することによって、ユーザと性別が異なる規範の候補が、動作の型の規範として決定されることが防止される。 For example, the determination processing unit 102 excludes candidates for norms having a gender different from that of the user, thereby preventing candidates for norms having a gender different from that of the user from being determined as norms of the type of action.

よって、ユーザは、自己の体により適した動作を規範とすることが可能となるので、技能の向上をより効果的に図ることができうる。また、自己の体により適した動作を規範とすることが可能となることによって、動作の型の規範の動作を規範として練習を行ったときにユーザの体に無理な負荷がかかる可能性を、より低減することが可能となる。 Therefore, the user can use the movement more suitable for his / her body as a norm, and can more effectively improve his / her skill. In addition, by making it possible to use a movement that is more suitable for one's body as a norm, there is a possibility that an unreasonable load will be applied to the user's body when practicing with the movement of the movement type norm as the norm. It can be further reduced.

また、上述したように、ユーザ情報は、ユーザの年齢をさらに示していてもよく、また、候補情報は、規範の候補の年齢をさらに示していてもよい。 Further, as described above, the user information may further indicate the age of the user, and the candidate information may further indicate the age of the candidate for the norm.

上記のように、ユーザ情報および候補情報それぞれが、各ユーザの年齢を示す場合には、決定処理部102は、ユーザと規範の候補との年齢差を考慮して、動作の型の規範を決定することが可能である。 As described above, when the user information and the candidate information each indicate the age of each user, the determination processing unit 102 determines the norm of the type of action in consideration of the age difference between the user and the candidate of the norm. It is possible to do.

具体的には、決定処理部102は、例えば、ユーザとの年齢差が所定の閾値より大きな規範の候補(または、ユーザとの年齢差が所定の閾値以上の規範の候補。以下、同様とする。)を除外する。そして、決定処理部102は、規範の候補を除外した上で、上記(1)に示す第1の例に係る処理〜上記(3)に示す第3の例に係る処理のいずれかの処理を行うことによって、動作の型の規範を決定する。ここで、上記所定の閾値は、予め設定されている固定値であっておよいし、情報処理装置100のユーザなどのユーザ操作によって変更可能な、可変値であってもよい。 Specifically, the determination processing unit 102 is, for example, a candidate for a norm whose age difference from the user is larger than a predetermined threshold value (or a candidate for a norm whose age difference from the user is greater than or equal to a predetermined threshold value. The same shall apply hereinafter. .) Is excluded. Then, the determination processing unit 102, after excluding the candidates for the norm, performs any of the processes related to the first example shown in (1) above to the processing related to the third example shown in (3) above. By doing so, it determines the norm of the type of behavior. Here, the predetermined threshold value may be a fixed value set in advance, or may be a variable value that can be changed by a user operation such as a user of the information processing apparatus 100.

例えば、決定処理部102は、上記のようにユーザと規範の候補との年齢差を考慮して規範の候補を除外することによって、ユーザとの年齢差が所定の閾値より大きな規範の候補が、動作の型の規範として決定されることが防止される。 For example, the determination processing unit 102 excludes the norm candidates in consideration of the age difference between the user and the norm candidate as described above, so that the norm candidate whose age difference with the user is larger than a predetermined threshold can be determined. It is prevented from being determined as a norm of the type of action.

よって、ユーザは、自己の体により適した動作を規範とすることが可能となるので、技能の向上をより効果的に図ることができうる。また、自己の体により適した動作を規範とすることが可能となることによって、動作の型の規範の動作を規範として練習を行ったときにユーザの体に無理な負荷がかかる可能性を、より低減することが可能となる。 Therefore, the user can use the movement more suitable for his / her body as a norm, and can more effectively improve his / her skill. In addition, by making it possible to use a movement that is more suitable for one's body as a norm, there is a possibility that an unreasonable load will be applied to the user's body when practicing with the movement of the movement type norm as the norm. It can be further reduced.

決定処理部102は、例えば上記のように、ユーザ情報および候補情報それぞれが示す各ユーザの性別と、ユーザ情報および候補情報それぞれが示す各ユーザの年齢との一方または双方によって規範の候補を除外した上で、動作の型の規範を決定することが可能である。 As described above, the determination processing unit 102 excludes the candidates for the norm according to one or both of the gender of each user indicated by the user information and the candidate information and the age of each user indicated by the user information and the candidate information. Above, it is possible to determine the norm of the type of action.

[II]分析部104
分析部104は、上記決定処理の結果を利用した一の処理を行う役目を果たし、上記決定処理の結果を利用した処理として、上記分析処理を主導的に行う。分析部104は、ユーザの動作を示す動作情報と、決定された動作の型の規範に対応する動作情報とに基づいて、ユーザの動作を分析する。
[II] Analysis unit 104
The analysis unit 104 plays a role of performing one process using the result of the determination process, and takes the initiative in performing the analysis process as a process using the result of the determination process. The analysis unit 104 analyzes the user's motion based on the motion information indicating the user's motion and the motion information corresponding to the norm of the determined motion type.

ここで、本実施形態に係る動作情報とは、ユーザの動作の結果を示すデータである。動作情報としては、例えば、上記動き検出データ、または、上記動き推定データが挙げられる。 Here, the operation information according to the present embodiment is data indicating the result of the operation of the user. Examples of the motion information include the motion detection data and the motion estimation data.

ユーザの動作を示す動作情報が上記動き検出データである場合、ユーザの動作を示す動作情報は、例えば、上述した動き検出センサから取得される。 When the motion information indicating the user's motion is the motion detection data, the motion information indicating the user's motion is acquired from, for example, the motion detection sensor described above.

また、ユーザの動作を示す動作情報が上記動き推定データである場合、ユーザの動作を示す動作情報は、ユーザを撮像する撮像デバイスから取得される。分析部104は、撮像デバイスから取得された撮像画像(上記動き推定データの一例)に対して、任意の動きの推定に係る処理を行うことによって、ユーザの動きを推定することが可能である。 When the motion information indicating the user's motion is the motion estimation data, the motion information indicating the user's motion is acquired from the imaging device that images the user. The analysis unit 104 can estimate the user's motion by performing a process related to the estimation of an arbitrary motion on the captured image (an example of the motion estimation data) acquired from the imaging device.

なお、ユーザ情報にユーザの動作の結果を示すデータが含まれる場合には、分析部104は、ユーザ情報に含まれるユーザの動作の結果を示すデータを、ユーザの動作を示す動作情報として用いることが可能である。 When the user information includes data indicating the result of the user's operation, the analysis unit 104 uses the data indicating the result of the user's operation included in the user information as the operation information indicating the user's operation. Is possible.

また、分析部104は、例えば記憶部(図示せず)などの記録媒体から、決定された動作の型の規範に対応する動作情報を読み出すことによって、動作の型の規範に対応する動作情報を取得する。 Further, the analysis unit 104 reads the operation information corresponding to the determined operation type norm from a recording medium such as a storage unit (not shown) to obtain the operation information corresponding to the operation type norm. get.

分析部104は、ユーザの動作と動作の型の規範の動作との動作の差分をとることによって、ユーザの動作を分析する。 The analysis unit 104 analyzes the user's behavior by taking the difference between the user's behavior and the behavior of the norm of the behavior type.

分析部104は、例えば、動作情報が示す動きを統計解析することによって、ユーザの動作と動作の型の規範の動作との動作の差分をとる。 The analysis unit 104, for example, statistically analyzes the motion indicated by the motion information to obtain the difference between the motion of the user and the motion of the norm of the motion type.

一例を挙げると、分析部104は、例えば、動作の主成分分析を行い、主成分の差分を求めることによって、動作の差分をとる。 As an example, the analysis unit 104 obtains the difference in motion by performing, for example, the principal component analysis of the motion and obtaining the difference between the principal components.

[III]通知処理部106
通知処理部106は、上記決定処理の結果を利用した他の処理を行う役目を果たし、上記決定処理の結果を利用した処理として、上記通知処理を主導的に行う。
[III] Notification processing unit 106
The notification processing unit 106 plays a role of performing other processing using the result of the determination processing, and takes the initiative in performing the notification processing as a process using the result of the determination processing.

通知処理部106は、上記通知処理として、下記の(i)〜(iv)のいずれかの処理を行う。 The notification processing unit 106 performs any of the following processes (i) to (iv) as the notification process.

(i)通知処理の第1の例
通知処理部106は、決定処理部102において決定された動作の型の規範に対応する動作情報が示す動作を、通知させる。
(I) First Example of Notification Processing The notification processing unit 106 notifies the operation indicated by the operation information corresponding to the norm of the operation type determined by the determination processing unit 102.

例えば、動作の型の規範に対応する動作情報が、動作の型の規範の動作が撮像された撮像画像である場合には、通知処理部106は、記憶部(図示せず)などの記録媒体から、動作の型の規範に対応する画像データを読み出す。そして、通知処理部106は、読み出された画像データが示す撮像画像を、表示部(図示せず)の表示画面や、外部の表示デバイスの表示画面に表示させることによって、動作の型の規範に対応する動作情報が示す動作を、視覚的に通知させる。 For example, when the motion information corresponding to the motion type norm is an captured image in which the motion of the motion type norm is captured, the notification processing unit 106 is a recording medium such as a storage unit (not shown). The image data corresponding to the norm of the type of operation is read from. Then, the notification processing unit 106 displays the captured image indicated by the read image data on the display screen of the display unit (not shown) or the display screen of the external display device, thereby determining the type of operation. Visually notify the operation indicated by the operation information corresponding to.

また、通知処理部106は、例えば、(動作情報が撮像画像であるか否かによらず)動作の型の規範に対応する動作情報が示す動作を、スティックピクチャなどの動作を表すことが可能な任意の表現で、視覚的に通知させることも可能である。 Further, the notification processing unit 106 can represent, for example, an operation such as a stick picture, which is indicated by the operation information corresponding to the norm of the operation type (regardless of whether or not the operation information is an captured image). It is also possible to visually notify with any expression.

さらに、動作の型の規範に対応する動作情報に音声データが含まれている場合、または、動作の型の規範に対応する動作情報に対応付けられている音声データが存在する場合には、通知処理部106は、当該音声データが示す音声を、スピーカなどの音声出力デバイスから出力させることも可能である。ここで、上記音声データが示す音声の音声出力デバイスからの出力は、動作の型の規範に対応する動作情報が示す動作の、聴覚的な通知の一例に該当する。 Furthermore, if the motion information corresponding to the code of motion type contains voice data, or if there is voice data associated with the motion information corresponding to the code of motion type, notification is given. The processing unit 106 can also output the voice indicated by the voice data from a voice output device such as a speaker. Here, the output of the voice indicated by the voice data from the voice output device corresponds to an example of auditory notification of the movement indicated by the movement information corresponding to the norm of the type of movement.

(ii)通知処理の第2の例
通知処理部106は、決定処理部102において決定された動作の型の規範を、通知させる。
(Ii) Second Example of Notification Processing The notification processing unit 106 notifies the norm of the type of operation determined by the determination processing unit 102.

通知処理部106は、例えば、動作の型の規範の名前やプロフィールなどの動作の型の規範に関する任意の内容を、表示画面に表示させることによって、決定された動作の型の規範を視覚的に通知させる。また、通知処理部106は、例えば、動作の型の規範の名前やプロフィールなどの動作の型の規範に関する任意の内容を示す音声を、スピーカなどの音声出力デバイスから出力させることによって、決定された動作の型の規範を聴覚的に通知させてもよい。 The notification processing unit 106 visually displays the determined behavior type norm by displaying arbitrary contents related to the behavior type norm such as the name and profile of the behavior type norm on the display screen. Let me know. Further, the notification processing unit 106 is determined by, for example, outputting a voice indicating an arbitrary content regarding the behavior type norm such as the name and profile of the movement type norm from a voice output device such as a speaker. The norm of the type of movement may be audibly notified.

決定された動作の型の規範が通知されることによって、例えば、通知を受けたユーザは、自己にとって動作の型の規範となる者を把握することが可能である。 By being notified of the determined norm of the type of action, for example, the notified user can grasp the person who is the norm of the type of action for himself / herself.

よって、通知を受けたユーザは、例えば、“規範となる者のプレーを意識的にテレビジョン放送などでみること(例えば、規範となる者が、プロフェッショナルスポーツの選手である場合)”、“規範となる者の指導を受けること(例えば、規範となる者が、スポーツなどのコーチである場合)”、または、“規範となる者の動作が記載されている本を見ること(例えば、規範となる者が、プロフェッショナルスポーツの選手、または、スポーツなどのコーチである場合)”などによって、技能の向上をより効果的に図ることができる。 Therefore, the user who receives the notification can, for example, "consciously watch the play of the normative person on television broadcasting (for example, when the normative person is a professional sports player)", "norm". To receive guidance from a person who becomes a norm (for example, when the person who becomes a norm is a coach of sports, etc.), or "see a book that describes the behavior of a person who becomes a norm (for example, with a norm). If the person is a professional sports player or a coach of sports, etc.) ”, the skill can be improved more effectively.

(iii)通知処理の第3の例
分析部104において、ユーザの動作の分析が行われた場合には、通知処理部106は、ユーザの動作の分析結果を通知させる。
(Iii) Third Example of Notification Processing When the analysis unit 104 analyzes the user's operation, the notification processing unit 106 causes the analysis unit 106 to notify the analysis result of the user's operation.

通知処理部106は、例えば、“ユーザに対応する動作情報と動作の型の規範に対応する動作情報との一方または双方を、上記のように視覚的に通知させる際に、動作の差分を強調するように表示させること”によって、ユーザの動作の分析結果を視覚的に通知させる。ここで、動きの差分を強調するように表示させる方法としては、例えば、“撮像画像やスティックピクチャなどにおいて、動作の差分が大きな部位の色を変える方法”、または、“撮像画像やスティックピクチャなどにおいて、動作の差分が大きな部位を点滅させる方法”など、視覚的に強調を行うことが可能な、任意の方法が挙げられる。 For example, the notification processing unit 106 emphasizes the difference in operation when visually notifying one or both of the operation information corresponding to the user and the operation information corresponding to the norm of the operation type as described above. By "displaying as shown", the analysis result of the user's behavior is visually notified. Here, as a method of displaying so as to emphasize the difference in motion, for example, "a method of changing the color of a portion having a large difference in motion in a captured image or stick picture" or "a method of changing the color of a portion having a large difference in motion" or "a captured image or stick picture" or the like. In the above, there is an arbitrary method capable of visually emphasizing, such as "a method of blinking a portion having a large difference in operation".

(iv)通知処理の第4の例
通知処理部106は、上記(i)に示す第1の例に係る通知処理〜上記(iii)に示す第3の例に係る通知処理のうちの2以上の処理を組み合わせた処理を、行うことも可能である。
(Iv) Fourth Example of Notification Processing The notification processing unit 106 has two or more of the notification processing according to the first example shown in (i) above to the notification processing according to the third example shown in (iii) above. It is also possible to perform processing that combines the processing of.

情報処理装置100は、例えば図1に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記決定処理、上記分析処理、および上記通知処理)を行う。 The information processing apparatus 100 performs processes related to the information processing method according to the present embodiment (for example, the determination process, the analysis process, and the notification process) according to the configuration shown in FIG.

なお、本実施形態に係る情報処理装置の構成は、図1に示す構成に限られない。 The configuration of the information processing device according to the present embodiment is not limited to the configuration shown in FIG.

例えば、本実施形態に係る情報処理装置は、図1に示す分析部104と通知処理部106との一方または双方を備えていなくてもよい。 For example, the information processing apparatus according to the present embodiment may not include one or both of the analysis unit 104 and the notification processing unit 106 shown in FIG.

分析部104と通知処理部106との一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、上記決定処理を行うことが可能である。 The information processing apparatus according to the present embodiment can perform the above-mentioned determination process even if one or both of the analysis unit 104 and the notification processing unit 106 are not provided.

よって、分析部104と通知処理部106との一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、例えば、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することができる。また、分析部104と通知処理部106との一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、上記決定処理が行われることより奏される効果を、奏することができる。 Therefore, even if the configuration does not include one or both of the analysis unit 104 and the notification processing unit 106, the information processing apparatus according to the present embodiment can perform an operation that is a norm for the user, for example. Can determine type norms. Further, even if the configuration does not include one or both of the analysis unit 104 and the notification processing unit 106, the information processing apparatus according to the present embodiment can achieve the effect obtained by performing the determination process. Can be done.

なお、本実施形態に係る情報処理装置が分析部104を備えない構成である場合、上記分析処理は、例えば、分析部104と同様の機能を有する外部装置において行われてもよい。また、本実施形態に係る情報処理装置が通知処理部106を備えない構成である場合、上記通知処理は、例えば、通知処理部106と同様の機能を有する外部装置において行われてもよい。つまり、本実施形態に係る情報処理方法に係る“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”は、例えば、本実施形態に係る情報処理装置と、1または2以上の外部装置とを有する情報処理システムにより行われてもよい。 When the information processing device according to the present embodiment does not include the analysis unit 104, the analysis process may be performed by, for example, an external device having the same function as the analysis unit 104. Further, when the information processing device according to the present embodiment is configured not to include the notification processing unit 106, the notification processing may be performed by, for example, an external device having the same function as the notification processing unit 106. That is, the "determination process and one or both processes of the analysis process and the notification process" related to the information processing method according to the present embodiment are, for example, the information processing apparatus according to the present embodiment and 1 or It may be performed by an information processing system having two or more external devices.

また、上述したように、“上記決定処理”と、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図1に示す決定処理部102、分析部104、および通知処理部106に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。 Further, as described above, each of the "determination process" and "the determination process and one or both of the analysis process and the notification process" is information processing according to the present embodiment for convenience. It is a separation of the processing related to the method. Therefore, the configuration for realizing the processing related to the information processing method according to the present embodiment is not limited to the determination processing unit 102, the analysis unit 104, and the notification processing unit 106 shown in FIG. 1, and the information processing according to the present embodiment. It is possible to take a configuration according to the method of separating the processing related to the method.

[IV]本実施形態に係る情報処理方法に係る処理の一例
次に、図1に示す情報処理装置100における、本実施形態に係る情報処理方法に係る処理の一例を挙げる。
[IV] An example of processing related to the information processing method according to the present embodiment Next, an example of processing related to the information processing method according to the present embodiment in the information processing apparatus 100 shown in FIG. 1 will be given.

図5は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図1に示す情報処理装置100における処理の一例を示している。ここで、図5に示すステップS100、S102は、上記決定処理に該当する。また、図5に示すステップS104は、上記通知処理の一例に該当し、ステップS110は、上記通知処理の他の例に該当する。また、図5に示すステップS106、S108は、上記分析処理に該当する。 FIG. 5 is a flow chart showing an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in the information processing apparatus 100 shown in FIG. Here, steps S100 and S102 shown in FIG. 5 correspond to the above determination process. Further, step S104 shown in FIG. 5 corresponds to an example of the above notification process, and step S110 corresponds to another example of the above notification process. Further, steps S106 and S108 shown in FIG. 5 correspond to the above analysis process.

図1に示す情報処理装置100では、ステップS100、S102の処理は、例えば決定処理部102により行われる。また、図1に示す情報処理装置100では、ステップS104、S110の処理は、例えば通知処理部106により行われ、ステップS106、S108の処理は、例えば分析部104により行われる。 In the information processing apparatus 100 shown in FIG. 1, the processes of steps S100 and S102 are performed by, for example, the determination processing unit 102. Further, in the information processing apparatus 100 shown in FIG. 1, the processing of steps S104 and S110 is performed by, for example, the notification processing unit 106, and the processing of steps S106 and S108 is performed, for example, by the analysis unit 104.

情報処理装置100は、ユーザ情報が取得されたか否かを判定する(S100)。ユーザ情報は、例えば、情報処理装置100が記録媒体などから読み出すこと、または、外部装置から送信されたユーザ情報を情報処理装置100が取得することによって、取得される。 The information processing device 100 determines whether or not the user information has been acquired (S100). The user information is acquired, for example, by the information processing device 100 reading from a recording medium or the like, or by the information processing device 100 acquiring the user information transmitted from the external device.

ステップS100においてユーザ情報が取得されたと判定されない場合には、情報処理装置100は、ステップS100においてユーザ情報が取得されたと判定されるまで、処理を進めない。 If it is not determined in step S100 that the user information has been acquired, the information processing apparatus 100 does not proceed with the process until it is determined in step S100 that the user information has been acquired.

また、ステップS100においてユーザ情報が取得されたと判定された場合には、情報処理装置100は、ユーザ情報と候補情報とに基づいて、動作の型の規範を決定する(S102)。情報処理装置100は、例えば、上記(1)に示す第1の例に係る処理〜上記(4)に示す第4の例に係る処理のいずれかの処理を行うことによって、動作の型の規範を決定する。 If it is determined in step S100 that the user information has been acquired, the information processing apparatus 100 determines the norm of the operation type based on the user information and the candidate information (S102). The information processing apparatus 100 performs a process according to the first example shown in the above (1) to a process related to the fourth example shown in the above (4), thereby performing a code of operation type. To determine.

ステップS102において動作の型の規範が決定されると、情報処理装置100は、決定された動作の型の規範の動作を通知する(S104)。情報処理装置100は、例えば、上記(i)に示す第1の例に係る通知処理を行うことによって、動作の型の規範の動作を通知する。 When the operation type norm is determined in step S102, the information processing apparatus 100 notifies the operation of the determined operation type norm (S104). The information processing apparatus 100 notifies the operation of the norm of the operation type by, for example, performing the notification process according to the first example shown in (i) above.

情報処理装置100は、ユーザに対応する動作情報が取得されたか否かを判定する(S106)。ユーザに対応する動作情報は、例えば、情報処理装置100が記録媒体などから読み出すこと、または、外部装置から送信された動作情報を情報処理装置100が取得することによって、取得される。また、上述したように、取得されたユーザ情報に動作情報が含まれる場合には、情報処理装置100は、ユーザ情報に含まれる動作情報を処理に用いることも可能である。 The information processing device 100 determines whether or not the operation information corresponding to the user has been acquired (S106). The operation information corresponding to the user is acquired, for example, by the information processing device 100 reading from a recording medium or the like, or by the information processing device 100 acquiring the operation information transmitted from the external device. Further, as described above, when the acquired user information includes operation information, the information processing apparatus 100 can also use the operation information included in the user information for processing.

ステップS106においてユーザに対応する動作情報が取得されたと判定されない場合には、情報処理装置100は、ステップS106において動作情報が取得されたと判定されるまで、処理を進めない。 If it is not determined in step S106 that the operation information corresponding to the user has been acquired, the information processing apparatus 100 does not proceed with the process until it is determined that the operation information has been acquired in step S106.

また、ステップS106においてユーザに対応する動作情報が取得されたと判定された場合には、情報処理装置100は、ユーザに対応する動作情報が示すユーザの動作と、ステップS102において決定された動作の型の規範の動作とを分析する(S108)。情報処理装置100は、例えば、動作の主成分分析などの任意の手法を用いて、ユーザの動作と動作の型の規範の動作との主成分の係数の差分をとることによって、ユーザの動作と動作の型の規範の動作とを分析する。 When it is determined in step S106 that the operation information corresponding to the user has been acquired, the information processing apparatus 100 determines the user's operation indicated by the operation information corresponding to the user and the type of the operation determined in step S102. The behavior of the norm of is analyzed (S108). The information processing apparatus 100 uses an arbitrary method such as principal component analysis of the motion to obtain the difference between the coefficient of the principal component between the user's motion and the normative motion of the motion type, thereby performing the user's motion. Analyze the normative behavior of the type of behavior.

ステップS108においてユーザの動作と動作の型の規範の動作とが分析されると、情報処理装置100は、分析結果を通知する(S110)。情報処理装置100は、例えば、上記(iii)に示す第3の例に係る通知処理を行うことによって、分析結果を通知する。 When the user's action and the action of the norm of the type of action are analyzed in step S108, the information processing apparatus 100 notifies the analysis result (S110). The information processing apparatus 100 notifies the analysis result by, for example, performing the notification process according to the third example shown in (iii) above.

情報処理装置100は、本実施形態に係る情報処理方法に係る処理として、例えば図5に示す処理を行う。 The information processing apparatus 100 performs, for example, the process shown in FIG. 5 as the process related to the information processing method according to the present embodiment.

なお、本実施形態に係る情報処理方法に係る処理は、図5に示す処理に限られない。 The process related to the information processing method according to the present embodiment is not limited to the process shown in FIG.

例えば、情報処理装置100は、ステップS104の処理と、ステップS106〜S110の処理とのうちの一方または双方の処理を行わないことが可能である。また、情報処理装置100は、例えば、ステップS110の処理を行わないことも可能である。 For example, the information processing apparatus 100 can not perform one or both of the processing of step S104 and the processing of steps S106 to S110. Further, the information processing apparatus 100 may not perform the process of step S110, for example.

ここで、ステップS104の処理と、ステップS106〜S110の処理とのうちの一方または双方の処理が行われない場合(または、ステップS110の処理を行わない場合)であっても、情報処理装置100では、上記決定処理が行われる。 Here, even when one or both of the processing of step S104 and the processing of steps S106 to S110 are not performed (or the processing of step S110 is not performed), the information processing apparatus 100 Then, the above-mentioned determination process is performed.

よって、ステップS104の処理と、ステップS106〜S110の処理とのうちの一方または双方の処理を行わない場合(または、ステップS110の処理を行わない場合)であっても、本実施形態に係る情報処理装置は、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することができる。また、ステップS104の処理と、ステップS106〜S110の処理とのうちの一方または双方の処理を行わない場合(または、ステップS110の処理を行わない場合)であっても、本実施形態に係る情報処理装置は、上記決定処理が行われることより奏される効果を、奏することができる。なお、情報処理装置100が、ステップS104の処理と、ステップS106〜S110の処理とのうちの一方または双方の処理を行わない場合(または、ステップS110の処理を行わない場合)、行われない処理は、情報処理装置100の外部装置により行われてもよい。 Therefore, even when one or both of the processing of step S104 and the processing of steps S106 to S110 are not performed (or the processing of step S110 is not performed), the information according to the present embodiment. The processing device can determine a norm of the type of action that can perform a normative action for the user. Further, even when one or both of the processing of step S104 and the processing of steps S106 to S110 are not performed (or the processing of step S110 is not performed), the information according to the present embodiment. The processing apparatus can achieve the effect obtained by performing the above-mentioned determination process. If the information processing apparatus 100 does not perform one or both of the processing of step S104 and the processing of steps S106 to S110 (or the processing of step S110 is not performed), the processing that is not performed is performed. May be performed by an external device of the information processing device 100.

[V]本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
情報処理装置100は、例えば下記に示す効果を奏することができる。なお、本実施形態に係る情報処理方法が用いられることにより奏される効果が、下記に示す効果に限られないことは、言うまでもない。
・個人ごとに最も体や動作の特徴が類似したプロフェッショナルスポーツ選手などを探し、各人にとって規範となる動作を提示することができる。
・規範となるプロフェッショナル選手の動作と個人の動作の差分を提示することができる。
・上記のような提示によって、各人は、効率的にスポーツなどの技能向上を達成することができる。具体例を挙げると、上記のような提示によって、例えば、若手医師(ユーザの一例)は、自分にとって規範となるベテラン医師(動作の型の規範の一例)の動きをまねすることによって、手術などの医療における手技のスキルアップを図ることができる。
[V] An example of the effect produced by using the information processing method according to the present embodiment The information processing apparatus 100 can exhibit the following effects, for example. Needless to say, the effects produced by using the information processing method according to the present embodiment are not limited to the effects shown below.
・ It is possible to search for professional athletes with the most similar physical and movement characteristics for each individual and present the normative movements for each individual.
・ It is possible to present the difference between the normative movements of professional athletes and individual movements.
-By presenting as described above, each person can efficiently achieve skill improvement such as sports. To give a specific example, by the above presentation, for example, a young doctor (an example of a user) can perform surgery by imitating the movement of a veteran doctor (an example of a norm of movement type) that is a norm for himself / herself. It is possible to improve the skill of the procedure in medical treatment.

[VI]本実施形態に係る情報処理装置の適用例
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータ、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、ユーザの身体に装着して用いられるウェアラブル装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
[VI] Application Example of Information Processing Device According to the Present Embodiment The information processing device has been described above as the present embodiment, but the present embodiment is not limited to this embodiment. The present embodiment relates to the present embodiment, for example, a computer such as a PC (Personal Computer) or a server, a tablet-type device, a communication device such as a mobile phone or a smartphone, a wearable device worn on the user's body, and the like. It can be applied to various devices capable of performing processing related to an information processing method. The present embodiment can also be applied to, for example, a processing IC that can be incorporated into the above-mentioned equipment.

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、“上記決定処理”、または、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”が、当該情報処理システムを構成する複数の装置において連携して行われるシステムが、挙げられる。 Further, the information processing device according to the present embodiment may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. .. That is, the information processing device according to the present embodiment described above can be realized as, for example, an information processing system that performs processing related to the information processing method according to the present embodiment by a plurality of devices. As an example of an information processing system that performs processing related to the information processing method according to the present embodiment by a plurality of devices, for example, "the determination process" or "the determination process, and the analysis process and the notification process" An example is a system in which one or both processes are performed in cooperation with a plurality of devices constituting the information processing system.

(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記決定処理”や、“上記決定処理、および、上記分析処理と上記通知処理との一方または双方の処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザにとって規範となる動作を行うことが可能な動作の型の規範を決定することができる。
(Program according to this embodiment)
A program for causing the computer to function as an information processing device according to the present embodiment (for example, "the determination process", "the determination process, and one or both of the analysis process and the notification process", etc. , A program capable of executing the processing related to the information processing method according to the present embodiment) is a type of operation capable of performing a standard operation for the user by being executed by a processor or the like in a computer. Can determine the norm.

また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。 Further, when a program for causing the computer to function as the information processing device according to the present embodiment is executed by a processor or the like in the computer, the effect achieved by the above-described processing related to the information processing method according to the present embodiment. Can be played.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that a person having ordinary knowledge in the technical field of the present disclosure can come up with various modifications or modifications within the scope of the technical ideas described in the claims. Of course, it is understood that the above also belongs to the technical scope of the present disclosure.

例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。 For example, in the above, it has been shown that a program (computer program) for causing a computer to function as an information processing device according to the present embodiment is provided, but the present embodiment further records a storage of the above program. A medium can also be provided.

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。 The configuration described above is an example of the present embodiment and naturally belongs to the technical scope of the present disclosure.

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 In addition, the effects described herein are merely explanatory or exemplary and are not limited. That is, the techniques according to the present disclosure may exhibit other effects apparent to those skilled in the art from the description herein, in addition to or in place of the above effects.

なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザ情報と、動作の型の規範の候補をそれぞれ示す、複数の候補情報とに基づいて、前記ユーザ情報に対応するユーザにとっての動作の型の規範を決定する決定処理部を備える、情報処理装置。
(2)
前記ユーザ情報と前記候補情報とは、それぞれ体の特徴を示し、
前記決定処理部は、前記ユーザに体の特徴がより近い前記規範の候補を、前記動作の型の規範として決定する、(1)に記載の情報処理装置。
(3)
前記ユーザ情報は、前記ユーザの体の特徴を示す、1または2以上の特徴値を示し、
前記候補情報は、前記規範の候補の体の特徴を示す、1または2以上の特徴値を示し、
前記決定処理部は、前記ユーザ情報と前記候補情報とにおける対応する前記特徴値の差分の、総和値に基づいて、前記動作の型の規範を決定する、(2)に記載の情報処理装置。
(4)
前記特徴値は、複数の区分に分類され、
前記決定処理部は、区分ごとに重み付けがされた、前記特徴値の差分の総和値に基づいて、前記動作の型の規範を決定する、(3)に記載の情報処理装置。
(5)
前記決定処理部は、前記総和値が最も小さい前記規範の候補を、前記動作の型の規範として決定する、(3)、または(4)に記載の情報処理装置。
(6)
前記ユーザ情報と前記候補情報とは、それぞれ動作の結果を示し、
前記決定処理部は、前記ユーザに動作の特徴がより近い前記規範の候補を、前記動作の型の規範として決定する、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記決定処理部は、前記ユーザ情報および前記候補情報それぞれから、動作の特徴を抽出し、抽出された動作の特徴の差分に基づいて、前記動作の型の規範を決定する、(6)に記載の情報処理装置。
(8)
前記決定処理部は、動作の特徴値を算出することによって、動作の特徴を抽出し、算出された特徴値の差分が最も小さい前記規範の候補を、前記動作の型の規範として決定する、(7)に記載の情報処理装置。
(9)
前記決定処理部は、前記ユーザおよび前記規範の候補それぞれの姿勢を、動作の特徴として抽出し、姿勢の差分が最も小さい前記規範の候補を、前記動作の型の規範として決定する、(7)に記載の情報処理装置。
(10)
前記ユーザ情報は、前記ユーザの性別をさらに示し、
前記候補情報は、前記規範の候補の性別をさらに示し、
前記決定処理部は、前記ユーザと性別が異なる前記規範の候補を除外して、前記動作の型の規範を決定する、(1)〜(9)のいずれか1つに記載の情報処理装置。
(11)
前記ユーザ情報は、前記ユーザの年齢をさらに示し、
前記候補情報は、前記規範の候補の年齢をさらに示し、
前記決定処理部は、前記ユーザとの年齢差が所定の閾値より大きな前記規範の候補、または、前記ユーザとの年齢差が所定の閾値以上の前記規範の候補を除外して、前記動作の型の規範を決定する、(1)〜(10)のいずれか1つに記載の情報処理装置。
(12)
決定された前記動作の型の規範に対応する動作情報が示す動作を通知させる通知処理部をさらに備える、(1)〜(11)のいずれか1つに記載の情報処理装置。
(13)
前記ユーザの動作を示す動作情報と、決定された前記動作の型の規範に対応する動作情報とに基づいて、前記ユーザの動作を分析する分析部をさらに備える、(1)〜(12)のいずれか1つに記載の情報処理装置。
(14)
前記分析部は、前記ユーザの動作と前記動作の型の規範の動作との動作の差分をとることによって、前記ユーザの動作を分析する、(13)に記載の情報処理装置。
(15)
前記ユーザの動作の分析結果を通知させる通知処理部をさらに備える、(13)、または(14)に記載の情報処理装置。
(16)
ユーザ情報と、動作の型の規範の候補をそれぞれ示す、複数の候補情報とに基づいて、前記ユーザ情報に対応するユーザにとっての動作の型の規範を決定するステップを有する、情報処理装置により実行される情報処理方法。
(17)
ユーザ情報と、動作の型の規範の候補をそれぞれ示す、複数の候補情報とに基づいて、前記ユーザ情報に対応するユーザにとっての動作の型の規範を決定する機能を、コンピュータに実現させるためのプログラム。
The following configurations also belong to the technical scope of the present disclosure.
(1)
An information processing device including a determination processing unit that determines an action type norm for a user corresponding to the user information based on the user information and a plurality of candidate information indicating candidates for the action type norm. ..
(2)
The user information and the candidate information indicate the characteristics of the body, respectively.
The information processing device according to (1), wherein the determination processing unit determines a candidate for the norm whose body characteristics are closer to those of the user as a norm of the type of operation.
(3)
The user information indicates one or more feature values indicating the characteristics of the user's body.
The candidate information indicates one or more feature values indicating the body characteristics of the candidate of the norm.
The information processing device according to (2), wherein the determination processing unit determines a norm of the type of operation based on the total value of the differences between the corresponding feature values in the user information and the candidate information.
(4)
The feature values are classified into a plurality of categories and are classified into a plurality of categories.
The information processing apparatus according to (3), wherein the determination processing unit determines a norm of the type of operation based on the total value of the differences of the feature values weighted for each division.
(5)
The information processing apparatus according to (3) or (4), wherein the determination processing unit determines the candidate of the norm having the smallest total value as the norm of the type of operation.
(6)
The user information and the candidate information indicate the result of the operation, respectively.
The information processing device according to any one of (1) to (5), wherein the determination processing unit determines a candidate for the norm whose operation characteristics are closer to those of the user as the norm of the operation type.
(7)
The determination processing unit extracts the characteristics of the operation from each of the user information and the candidate information, and determines the norm of the type of the operation based on the difference between the extracted characteristics of the operation, according to (6). Information processing equipment.
(8)
The determination processing unit extracts the characteristics of the motion by calculating the feature values of the motion, and determines the candidate of the norm having the smallest difference between the calculated feature values as the norm of the type of the motion. The information processing apparatus according to 7).
(9)
The determination processing unit extracts the postures of the user and the candidate of the norm as motion features, and determines the candidate of the norm having the smallest difference in posture as the norm of the type of motion (7). The information processing device described in.
(10)
The user information further indicates the gender of the user.
The candidate information further indicates the gender of the candidate for the norm.
The information processing device according to any one of (1) to (9), wherein the determination processing unit excludes candidates for the norm having a gender different from that of the user and determines a norm of the type of operation.
(11)
The user information further indicates the age of the user.
The candidate information further indicates the age of the candidate for the norm.
The determination processing unit excludes candidates for the norm whose age difference from the user is larger than a predetermined threshold value, or candidates for the norm whose age difference from the user is greater than or equal to a predetermined threshold value, and excludes the candidates for the norm. The information processing apparatus according to any one of (1) to (10), which determines the norms of the above.
(12)
The information processing apparatus according to any one of (1) to (11), further comprising a notification processing unit for notifying an operation indicated by operation information corresponding to a determined norm of the type of operation.
(13)
(1) to (12), further comprising an analysis unit that analyzes the user's behavior based on the motion information indicating the user's motion and the motion information corresponding to the determined norm of the motion type. The information processing device according to any one.
(14)
The information processing apparatus according to (13), wherein the analysis unit analyzes the user's operation by taking a difference between the operation of the user and the operation of the norm of the type of operation.
(15)
The information processing apparatus according to (13) or (14), further comprising a notification processing unit for notifying the analysis result of the user's operation.
(16)
Executed by an information processing device having a step of determining a behavior type norm for a user corresponding to the user information based on a plurality of candidate information indicating a user information and a plurality of candidate information indicating a candidate for the behavior type norm. Information processing method to be performed.
(17)
To realize a function of determining a behavior type norm for a user corresponding to the user information based on a plurality of candidate information indicating user information and a plurality of candidate information indicating candidates for the behavior type norm. program.

100 情報処理装置
102 決定処理部
104 分析部
106 通知処理部
100 Information processing device 102 Decision processing unit 104 Analysis unit 106 Notification processing unit

Claims (10)

ユーザの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記ユーザの体の特徴を示すユーザ情報と、複数の候補対象者のそれぞれの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記候補対象者の体の特徴をそれぞれ示す複数の候補情報とに基づいて、前記複数の候補対象者の中から前記ユーザ情報に対応する前記ユーザの体の特徴に前記候補対象者の体の特徴がより近い前記候補対象者を、動作の手本となる対象者として決定する決定処理部と、
前記動作の手本となる対象者を通知する通知処理部とを備える、情報処理装置。
Among the characteristics related to the user's body shape, the characteristics related to muscle strength, and the characteristics related to flexibility, the user information indicating the characteristics of the user's body, which is one or more of the characteristics, and the characteristics related to each body shape and the muscle strength of the plurality of candidate subjects. Among the features relating to and flexibility, the user information from among the plurality of candidate subjects is based on a plurality of candidate information indicating the body characteristics of the candidate subject, which is one or a plurality of features. A determination processing unit that determines the candidate target person whose body characteristics are closer to those of the user's body characteristics corresponding to the above as the target person as a model of the operation.
An information processing device including a notification processing unit that notifies a target person as a model of the operation.
前記ユーザ情報は、前記ユーザの体の特徴を示す、1または2以上の特徴値を示し、
前記候補情報は、前記候補対象者の体の特徴を示す、1または2以上の特徴値を示し、
前記決定処理部は、前記ユーザ情報と前記候補情報とにおける対応する前記特徴値の差分の、総和値に基づいて、前記動作の手本となる対象者を決定する、請求項1に記載の情報処理装置。
The user information indicates one or more feature values indicating the characteristics of the user's body.
The candidate information indicates one or more feature values indicating the body characteristics of the candidate subject, and the candidate information indicates.
The information according to claim 1, wherein the determination processing unit determines a target person to be a model of the operation based on the total value of the difference between the corresponding feature values in the user information and the candidate information. Processing equipment.
前記特徴値は、複数の区分に分類され、
前記決定処理部は、区分ごとに重み付けがされた、前記特徴値の差分の総和値に基づいて、前記動作の手本となる対象を決定する、請求項2に記載の情報処理装置。
The feature values are classified into a plurality of categories and are classified into a plurality of categories.
The information processing device according to claim 2, wherein the determination processing unit determines an object to be a model of the operation based on the total value of the differences of the feature values weighted for each category.
前記決定処理部は、前記総和値が最も小さい前記候補対象者を、前記動作の手本となる対象として決定する、請求項2または3に記載の情報処理装置。 The information processing device according to claim 2 or 3, wherein the determination processing unit determines the candidate target person having the smallest total value as a target to be a model of the operation. 前記ユーザ情報は、前記ユーザの性別をさらに示し、
前記候補対象者に対応する候補情報は、前記候補対象者の性別をさらに示し、
前記決定処理部は、前記ユーザと性別が異なる前記候補対象者を除外して、前記動作の手本となる対象者を決定する、請求項1〜のいずれか1項に記載の情報処理装置。
The user information further indicates the gender of the user.
The candidate information corresponding to the candidate subject further indicates the gender of the candidate subject.
The information processing device according to any one of claims 1 to 4 , wherein the determination processing unit excludes the candidate target person having a gender different from that of the user and determines a target person to be a model of the operation. ..
前記ユーザ情報は、前記ユーザの年齢をさらに示し、
前記候補対象者に対応する候補情報は、前記候補対象者の年齢をさらに示し、
前記決定処理部は、前記ユーザとの年齢差が所定の閾値より大きな前記候補対象者、または、前記ユーザとの年齢差が所定の閾値以上の前記候補対象者を除外して、前記動作の手本となる対象者を決定する、請求項1〜のいずれか1項に記載の情報処理装置。
The user information further indicates the age of the user.
The candidate information corresponding to the candidate subject further indicates the age of the candidate subject.
The determination processing unit excludes the candidate target person whose age difference from the user is larger than a predetermined threshold value or the candidate target person whose age difference from the user is greater than or equal to a predetermined threshold value. The information processing apparatus according to any one of claims 1 to 5 , which determines a target person to be a book.
前記通知処理部は、決定された前記動作の手本となる対象者の体の動きの検出結果および推定結果、ならびに、前記対象者の姿勢の抽出結果のうち、1つまたは複数の結果を示す動作情報に対応する動作を通知する、請求項1〜のいずれか1項に記載の情報処理装置。 The notification processing unit shows one or a plurality of results of the detection result and estimation result of the body movement of the target person, which is the model of the determined movement, and the extraction result of the posture of the target person. The information processing apparatus according to any one of claims 1 to 6 , which notifies an operation corresponding to the operation information. 前記通知処理部は、前記動作情報が示す動作の手本となる対象者の名前、または、前記動作情報が示す動作の手本となる対象者に関する内容を、音声によって通知する、請求項に記載の情報処理装置。 The notification processing unit, the name of the subject as a model of operation in which the operation information indicates, or, the contents related to the subject as a model of operation in which the operation information indicates notifies by voice, in claim 7 The information processing device described. ユーザの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記ユーザの体の特徴を示すユーザ情報と、複数の候補対象者のそれぞれの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記候補対象者の体の特徴をそれぞれ示す複数の候補情報とに基づいて、前記複数の候補対象者の中から前記ユーザ情報に対応する前記ユーザの体の特徴に前記候補対象者の体の特徴がより近い前記候補対象者を、動作の手本となる対象者として決定するステップと、
前記動作の手本となる対象者を通知するステップとを有する、情報処理装置により実行される情報処理方法。
Among the characteristics related to the user's body shape, the characteristics related to muscle strength, and the characteristics related to flexibility, the user information indicating the characteristics of the user's body, which is one or more of the characteristics, and the characteristics related to each body shape and the muscle strength of the plurality of candidate subjects. Among the features relating to and flexibility, the user information from among the plurality of candidate subjects is based on a plurality of candidate information indicating the body characteristics of the candidate subject, which is one or a plurality of features. The step of determining the candidate target person whose body characteristics are closer to those of the user's body characteristics corresponding to the above as the target person as a model of the action, and
An information processing method executed by an information processing apparatus, which comprises a step of notifying a target person as a model of the operation.
ユーザの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記ユーザの体の特徴を示すユーザ情報と、複数の候補対象者のそれぞれの体型に関する特徴、筋力に関する特徴および柔軟性に関する特徴のうち、1つまたは複数の特徴である前記候補対象者の体の特徴をそれぞれ示す複数の候補情報とに基づいて、前記複数の候補対象者の中から前記ユーザ情報に対応する前記ユーザの体の特徴に前記候補対象者の体の特徴がより近い前記候補対象者を、動作の手本となる対象者として決定する機能と、
前記動作の手本となる対象者を通知する機能とを、コンピュータに実現させるためのプログラム。
Among the characteristics related to the user's body shape, the characteristics related to muscle strength, and the characteristics related to flexibility, the user information indicating the characteristics of the user's body, which is one or more of the characteristics, and the characteristics related to each body shape and the muscle strength of the plurality of candidate subjects. Among the features relating to and flexibility, the user information from among the plurality of candidate subjects is based on a plurality of candidate information indicating the body characteristics of the candidate subject, which is one or a plurality of features. The function of determining the candidate target person whose body characteristics are closer to those of the user's body characteristics corresponding to the above as the target person as a model of the action, and
A program for realizing a function of notifying a target person as a model of the operation on a computer.
JP2020067078A 2015-09-29 2020-04-02 Information processing equipment, information processing methods, and programs Active JP6939939B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020067078A JP6939939B2 (en) 2015-09-29 2020-04-02 Information processing equipment, information processing methods, and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015191436A JP6990015B2 (en) 2015-09-29 2015-09-29 Information processing equipment, information processing methods, and programs
JP2020067078A JP6939939B2 (en) 2015-09-29 2020-04-02 Information processing equipment, information processing methods, and programs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015191436A Division JP6990015B2 (en) 2015-09-29 2015-09-29 Information processing equipment, information processing methods, and programs

Publications (2)

Publication Number Publication Date
JP2020108823A JP2020108823A (en) 2020-07-16
JP6939939B2 true JP6939939B2 (en) 2021-09-22

Family

ID=71569823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020067078A Active JP6939939B2 (en) 2015-09-29 2020-04-02 Information processing equipment, information processing methods, and programs

Country Status (1)

Country Link
JP (1) JP6939939B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196059A1 (en) * 2021-03-19 2022-09-22 ソニーグループ株式会社 Information processing device, information processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002346012A (en) * 2001-05-23 2002-12-03 Konami Sports Corp Trainer support system, trainer support method and program
JP2008073210A (en) * 2006-09-21 2008-04-03 Seiko Epson Corp Golf club and its swing evaluation support apparatus
JP5041370B2 (en) * 2008-09-02 2012-10-03 Necシステムテクノロジー株式会社 Physical training apparatus and program
JP2011062352A (en) * 2009-09-17 2011-03-31 Koki Hashimoto Exercise motion teaching device and play facility
KR101232627B1 (en) * 2011-04-06 2013-02-13 한태진 Modularization algorithm for realtime analyzing and improving golf swing using augmented reality
JP5794215B2 (en) * 2012-09-20 2015-10-14 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
US9384671B2 (en) * 2013-02-17 2016-07-05 Ronald Charles Krosky Instruction production
JP6332830B2 (en) * 2013-12-24 2018-05-30 カシオ計算機株式会社 Exercise support system, exercise support method, and exercise support program

Also Published As

Publication number Publication date
JP2020108823A (en) 2020-07-16

Similar Documents

Publication Publication Date Title
AU2017386412B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US11182599B2 (en) Motion state evaluation system, motion state evaluation device, motion state evaluation server, motion state evaluation method, and motion state evaluation program
US11679300B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
Balsalobre-Fernández et al. The validity and reliability of an iPhone app for measuring vertical jump performance
JP6794259B2 (en) Calculation of pace and energy expenditure from athletic motor attributes
Velloso et al. Qualitative activity recognition of weight lifting exercises
US20220219046A1 (en) Smart Gym
CA2834833C (en) Running form diagnostic system and method for scoring running form
CN109191588A (en) Move teaching method, device, storage medium and electronic equipment
O'Reilly et al. Technology in strength and conditioning: assessing bodyweight squat technique with wearable sensors
US20190143174A1 (en) Motion training guide system based on wearable sensor and method thereof
Saponara Wearable biometric performance measurement system for combat sports
JP2015514467A (en) System for acquiring and analyzing muscle activity and method of operation thereof
JP2016131827A (en) Communication device, program, and system
Lambert et al. Concurrent validity and reliability of a linear positional transducer and an accelerometer to measure punch characteristics
CN117122311A (en) Cardiopulmonary health assessment
JP6939939B2 (en) Information processing equipment, information processing methods, and programs
JP6990015B2 (en) Information processing equipment, information processing methods, and programs
KR102564945B1 (en) Exercise management healthcare service system using tag
JP2018081406A (en) Network analysis method, server and network analysis system
JP2017063949A (en) Information processing apparatus, information processing method, and program
JP7283692B2 (en) Swing analysis device
US20240058685A1 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium storing program
JP2020146467A (en) Information processing apparatus, information processing method, and program
JP2022096052A (en) Motion function determination device, motion function determination method, and motion function determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R151 Written notification of patent or utility model registration

Ref document number: 6939939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151