JPWO2019130755A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JPWO2019130755A1 JPWO2019130755A1 JP2019562787A JP2019562787A JPWO2019130755A1 JP WO2019130755 A1 JPWO2019130755 A1 JP WO2019130755A1 JP 2019562787 A JP2019562787 A JP 2019562787A JP 2019562787 A JP2019562787 A JP 2019562787A JP WO2019130755 A1 JPWO2019130755 A1 JP WO2019130755A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- instructor
- performance
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
- G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/02—Boards or like means for providing an indication of notes
- G09B15/023—Electrically operated
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/08—Practice keyboards
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Physical Education & Sports Medicine (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
1.本開示に係る実施形態を創作するに至るまでの経緯
2.本開示の実施形態
2.1.本開示の実施形態に係る情報処理システム1の概要
2.2.本開示の実施形態に係るセンサ装置10の構成
2.3.本開示の実施形態に係るサーバ30の構成
2.4.本開示の実施形態に係るユーザ側装置70の構成
2.5.本開示の実施形態に係る情報処理方法
3.本開示の実施形態に係る実施例
3.1.実施例1
3.2.実施例2
3.3.その他の応用例
4.まとめ
5.ハードウェア構成について
6.第2の実施形態
6.1.変形例1
6.2.変形例2
6.3.変形例3
7.第3の実施形態
8.補足
まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について説明する。
<2.1.本開示の実施形態に係る情報処理システム1の概要>
まずは、本開示の実施形態に係る情報処理システム1の概要構成について、図1を参照して説明する。図1は、本実施形態に係る情報処理システム1の構成例を説明する説明図である。
センサ装置10は、被指導者又は演奏者の身体の一部に装着可能なセンサ、被指導者又は演奏者を撮像する撮像装置、被指導者又は演奏者が弾くピアノに設けられた圧力センサ、もしくは、当該ピアノの音を収音する収音装置等であることができる。センサ装置10は、複数のセンシングデータを取得するものであれば、数やその種類については特に限定されるものではない。なお、センサ装置10の詳細については後述する。
サーバ30は、例えば、コンピュータ等により構成される。サーバ30は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ又は各第三者に対してサービスを提供する。具体的には、サーバ30は、例えば、演奏者又は被指導者に係るセンシングデータを収集し、収集したセンシングデータを解析し、被指導者等へフィードバックを行う。なお、サーバ30の詳細については後述する。
ユーザ側装置70は、被指導者等に、サーバ30からのフィードバック情報を通知するための装置であり、フィードバック情報を被指導者の演奏中又は演奏後等に可視化、力覚課、聴覚化、可聴化して通知する。例えば、ユーザ側装置70は、タブレット、スマートフォン、ラップトップ型PC(Personal Computer)、ノート型PC等のデバイス等であることができる。さらに、ユーザ側装置70は、被指導者の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、HMD(Head Mounted Display)型、イヤーデバイス(ヘッドフォン)型、アンクレット型、腕輪型、首輪型、アイウェア型、グローブ型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、ユーザ側装置70の詳細については後述する。
次に、本開示の実施形態に係るセンサ装置10の構成について、図2から図4を参照して説明する。図2は、本実施形態に係るセンサ装置10の構成を示すブロック図である。図3及び図4は、本実施形態に係るセンサ装置10の一例を示す説明図である。
センサ部100は、例えば、被指導者又は演奏者の身体に装着することにより、演奏中の被指導者又は演奏者の身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部100は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、曲げセンサ等の1つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。さらに、センサ部100によって得られた複数のセンシングデータは、後述する主制御部140に出力される。また、センサ部100は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけてもよい。
主制御部140は、センサ装置10内に設けられ、センサ装置10の各ブロックを制御することができる。当該主制御部140は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。また、当該主制御部140は、データ取得部142、処理部144、及び出力制御部152として機能することもできる。以下に、本実施形態に係る主制御部140のこれら機能の詳細について説明する。
データ取得部142は、センサ部100を制御して、センサ部100から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部144へ出力する。また、データ取得部142は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけて処理部144へ出力してもよい。
処理部144は、上述したデータ取得部142から出力されたセンシングデータを、ネットワーク90を介して送信可能な所定の形式に変換し(例えば、アナログ信号であるセンシングデータをデジタル信号に変換する)、後述する出力制御部152に出力する。
出力制御部152は、上述した処理部144から出力された所定の形式のセンシングデータを、後述する通信部160を制御してサーバ30へ送信する。
通信部160は、センサ装置10内に設けられ、サーバ30等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部160は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部160は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
次に、本開示の実施形態に係るサーバ30の構成について、図5から図8を参照して説明する。図5は、本実施形態に係るサーバ30の構成を示すブロック図である。図6は、本実施形態に係る学習部348を説明するための説明図である。図7は、本実施形態に係る算出部346を説明するための説明図である。さらに、図8は、本実施形態に係る比較部350を説明するための説明図である。
入力部300は、サーバ30へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部300は、タッチパネル、キーボード等により実現され、被指導者又は演奏者の属性情報の入力を受けつけることができる。
出力部310は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。
主制御部340は、サーバ30内に設けられ、サーバ30の各ブロックを制御することができる。当該主制御部340は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。また、当該主制御部340は、データ取得部(センシングデータ取得部)342、処理部344及び出力制御部(通知部)352として機能することもできる。以下に、本実施形態に係る主制御部340のこれら機能の詳細について説明する。
データ取得部342は、上述したセンサ装置10から送信されたセンシングデータを取得し、取得したセンシングデータを後述する処理部344へ出力する。
処理部344は、上述したデータ取得部342から出力されたセンシングデータを処理し、センシングデータから被指導者の演奏における運動要素の協調性を示す協調度を算出し、算出した協調度に基づき、被指導者へフィードバックするフィードバック情報を生成する。さらに、処理部344は、上述の協調度の算出やフィードバック情報を生成するための各種情報からなるDB372(図6参照)を作成することもできる。詳細には、処理部344は、上述したこれら機能を実現するために、算出部346、学習部348、比較部350として機能する。以下に、本実施形態に係る処理部344のこれら機能の詳細について説明する。
通信部360は、サーバ30内に設けられ、センサ装置10やユーザ側装置70等の外部装置との間で情報の送受信を行うことができる。なお、通信部360は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
記憶部370は、サーバ30内に設けられ、上述した主制御部340が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部370は、例えば、ハードディスク(Hard Disk:HD)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)等により実現される。また、記憶部370は、上述したDB372を格納することができる。
次に、本開示の実施形態に係るユーザ側装置70の構成について、図9から図11を参照して説明する。図9は、本実施形態に係るユーザ側装置70の構成を示すブロック図である。図10は、本実施形態に係るユーザ側装置70の一例を説明するための説明図である。さらに、図11は、本実施形態に係る外骨格ロボット(ウェアラブルデバイス)712を説明するための説明図である。
力覚機構710は、サーバ30から送信されたフィードバック情報506に基づいて、被指導者の身体の一部(関節等)に力を印加する等の力覚を伝える装置である。例えば、力覚機構710は、図10に示すような、被指導者の手に装着されたグローブ型ウェアラブルデバイス(ウェアラブル装置)712である。詳細には、グローブ型ウェアラブルデバイス712は、手指外骨格ロボットと呼ばれ、図11に示すように、複数の外骨格部材712aからなる機構と、当該各外骨格部材712aを可動させるアクチュエータ(電動アクチュエータ、空気圧アクチュエータ等)(図示省略)とで構成される。グローブ型ウェアラブルデバイス712は、上記アクチュエータによって、外骨格部材712aを動作させることにより、被指導者の手指や関節に力を印加し、例えば、関節の伸展・屈曲方向の力がどれだけ過剰又は不足か等を被指導者に力覚させる。その結果、当該グローブ型ウェアラブルデバイス712によれば、被指導者の演奏を熟練者の演奏に近づくように誘導することができる。また、本実施形態においては、力覚機構710に上述のセンサ装置10を装着してもよく、この場合、当該力覚機構710は、上記センサ装置10が目標とする値を取得するように、被指導者の身体の一部に力や刺激を印加してもよい。なお、本実施形態においては、ウェアラブルデバイス712は、図11に示すようなグローブ型に限定されるものではなく、例えば、被指導者の腕に装着するアームカバー型のウェアラブルデバイスであってもよい。
表示部714は、被指導者等のユーザにフィードバック情報506を表示するためのデバイスであり、例えば、被指導者に向けて、画像又は光によりフィードバック情報506を出力する。表示部714は、図10に示されるように、ディスプレイ(画像表示装置)、発光素子(図示省略)等により実現される。さらに表示部714は、映像出力端子等により実現されてもよい。
音声出力部716は、被指導者等のユーザにフィードバック情報506を音声出力(アラーム等)するためのデバイスであり、例えば、図10に示すように、被指導者に耳に装着されたヘッドフォンスピーカ716や、被指導者の近傍に設けられたスピーカ(図示省略)であってもよい。さらに、音声出力部716は、音声出力端子等により実現されてもよい。例えば、音声出力部716は、ロールモデルと被指導者の協調度504との差分が生じた際に、演奏中の被指導者に特定の音を出力することによってフィードバックを行う。
主制御部740は、ユーザ側装置70内に設けられ、ユーザ側装置70の各ブロックを制御することができる。当該主制御部740は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。
通信部760は、サーバ30等の外部装置との間で情報の送受信を行うことができる。なお、通信部760は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
記憶部770は、ユーザ側装置70内に設けられ、上述した主制御部740が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部770は、例えば、HDなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。
以上、本実施形態に係る情報処理システム1、及び当該情報処理システム1に含まれる、センサ装置10、サーバ30及びユーザ側装置70の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について、図12を参照して説明する。図12は、本実施形態に係る情報処理方法の一例を説明するシーケンス図である。図12に示すように、本実施形態に係る情報処理方法には、ステップS100からステップS400までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
まず、センサ装置10は、被指導者の演奏前に、当該被指導者の身体の一部に予め装着される、もしくは、被指導者の周囲に設置される。そして、被指導者が所定の演奏(楽曲、フレーズ、スケール、アルペジオ、和音等)を開始すると、センサ装置10のセンサ部100は、演奏中の被指導者の動作に伴って発生する各運動要素の加速度や角速度等の変化をセンシングし、複数のセンシングデータを取得する。さらに、センサ装置10は、取得したセンシングデータをサーバ30へ送信する。
サーバ30は、センサ装置10からのセンシングデータ500を取得する。サーバ30は、当該センシングデータ500に基づいて、所定のアルゴリズムを適用することにより、所望の演奏の状態と関係する被指導者の協調度504を算出する。
サーバ30は、上述のステップS200で得られた協調度504と、DB372から選択されたロールモデルとを比較し、比較結果に基づいて、フィードバック情報506を生成する。そして、サーバ30は、被指導者にフィードバックするために、当該フィードバック情報506を、ユーザ側装置70へ送信する。
ユーザ側装置70は、受信したフィードバック情報506に基づき、被指導者に向けてフィードバックを行う。
サーバ30は、センサ装置10からの複数のセンシングデータ500を取得する。
サーバ30は、正確に演奏する、速く演奏する等のあらかじめ設定された特定の演奏状態に関係の高い協調度504、言い換えると、特定の演奏状態の特徴量をDB372から選択する。
サーバ30は、上述のステップS203で選択した特徴量に対応する所定の運動要素の協調度504をステップS201で得た被指導者のセンシングデータ500から算出する。
サーバ30は、上述のステップS200で算出された被指導者の協調度504を取得する。
サーバ30は、DB372から正確な演奏や素早い演奏等の所定の演奏状態において被指導者の手本となる代表的な協調度504(ロールモデル)を選択する。
サーバ30は、上述のステップS303で選択されたロールモデルと、ステップS301で取得した被指導者の協調度504との差分を算出する。
サーバ30は、上述したステップS305で算出した差分に基づき、フィードバック情報506を生成する。
サーバ30は、上述したステップS305で生成したフィードバック情報等に基づき、フィードバックの形態(表示、音声、力覚等)を選択する。
以上、本開示の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理が下記の例に限定されるものではない。
まずは、実施例1として、上述した本開示の実施形態を、ピアノを正確に演奏するための技能習得支援システムに適用した場合の実施例1を図15及び図16を参照して説明する。図15及び図16は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能取得支援システムは、ピアノを正確に演奏するための手指の動かし方を被指導者に指導することができる。
次に、実施例2として、上述した本開示の実施形態を、ピアノを速くに演奏するための技能習得支援システムに適用した場合の実施例2を図17及び図18を参照して説明する。図17及び図18は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能取得支援システムは、ピアノを速く演奏するための手指の動かし方や筋の使い方を被指導者に指導することができる。
本開示の実施形態は上述した実施例に限定されるものではなく、様々な用途にも応用することができる。以下に、本開示の実施形態の様々な応用例について、簡単に説明する。
有名演奏家等の特定の演奏者Aのような演奏法を習得したい場合に、本開示の実施形態を応用することができる。詳細には、本実施形態に係る情報処理システム1は、演奏者Aの演奏に係るセンシングデータ500を収集する。さらに、当該情報処理システム1(詳細には、学習部348)は、収集したセンシングデータ500に基づき、演奏者Aの演奏における運動要素の協調度504を算出し、他の演奏者の協調度504と比較等する。このようにすることで、本応用例においては、演奏者Aの演奏を特徴づける協調度504、すなわち、特徴量を抽出する。そして、抽出した特徴量をロールモデルとして選択することにより、被指導者は演奏者Aのような演奏法を習得する際に本実施形態に係る情報処理システム1を利用することができる。また、本応用例においては、演奏者Aの演奏を特徴づける特徴量を利用することにより、ヒト型ロボットやロボットアーム等を使用して演奏者Aに似た演奏を再現等することも可能となる。
コンクールに入賞するための演奏法を習得したい場合に、本開示の実施形態を応用することができる。詳細には、本実施形態に係る情報処理システム1は、過去のコンクール受賞者の演奏に係るセンシングデータ500を収集する。さらに、当該情報処理システム1(詳細には、学習部348)は、収集したセンシングデータ500に基づき、受賞者の演奏における特徴量(運動要素の協調度504)を算出し、非受賞者の特徴量と比較することで受賞者の特徴量を抽出する。そして、抽出した特徴量をロールモデルとして選択することにより、被指導者はコンクールに入賞するための演奏法を習得する際に本実施形態に係る情報処理システム1を利用することができる。
また、演奏者が好適なピアノを選択する場合に、本開示の実施形態を応用することができる。例えば、本実施形態に係る情報処理システム1は、上述と同様に、ロボット等による各種ピアノに対する打鍵のパラメータ(力等)と、その打鍵の際の音との関係を示す関係情報を取得する。そして、当該情報処理システム1は、関係情報を解析することにより、各種ピアノにおいて、所定の状態の音(響きや音色)を生み出すのに必要となる打鍵に関するパラメータを特定し、各ピアノを特徴づける特徴量を抽出する。例えば、ピアノの特徴量とは、「ピアノAは柔い音色を鳴らすことが難しい」、「ピアノBは響きが弱い」とか、「ピアノCは強く打鍵しないと響かない」、「ピアノDは素早く打鍵しないと音が出ない」等といった情報であることができる。そして、当該情報処理システム1は、上述のようなピアノの特徴量と、これまで説明した各演奏者の特徴量とを組み合わせて利用することにより、演奏者に好適なピアノを選択することができる。
また、以上の説明では、本開示の実施形態をピアノ演奏に適用した場合を説明してきたが、本実施形態は、他の楽器の演奏にも適用することができる。例えば、本実施形態は、他の鍵盤楽器(オルガン、チェンバロ、シンセサイザ等)、弦楽器(ヴァイオリン、チェロ等)、打楽器(ドラム)、吹奏楽器(フルート、オーボエ、クラリネット、トランペット等)等にも適用することができる。詳細には、本実施形態に係るセンサ装置10は、上述した各種楽器の演奏であっても、演奏者の手指、脚、首、のど等の動作や押さえる弦や穴の位置を検出することができる。より具体的には、演奏者の口腔内の舌の動きは、上述したMRIによって検出することが可能である。また、本実施形態は、楽器の演奏に適用することに限定されるものではなく、歌唱や口笛に対しても適用することができる。
さらに、本開示の実施形態は、音楽以外のパフォーマンスに適用することができる。例えば、本実施形態は、発声のトレーニング(英語の発声、スピーチ等)、スポーツ、リハビリ(身体麻痺の改善のためのリハビリ等)、ゲーム、医療手術のトレーニング(予防内視鏡トレーニング等)、乗り物の運転(車や自転車、車椅子、飛行機等)のトレーニング、装置(建機等)の操作トレーニング、芸術、工芸作品(絵画、習字、折り紙等)等を作成するための技能トレーニング等に利用することができる。また、本実施形態は、先に説明したように、イメージトレーニングへの応用も可能である。
以上説明したように、上述した本開示の実施形態によれば、ユーザの身体の複数の部分が協調的又は非協調的に動作することによって行われるパフォーマンスにおける複数の運動要素の協調度に基づく情報を当該ユーザにフィードバックする、パフォーマンスの習得支援に利用可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
図19は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図19では、情報処理装置900は、上述のサーバ30のハードウェア構成の一例を示している。
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する主制御部340として機能する。
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。ROM952及びRAM954は、情報処理装置900において、例えば、上述の記憶部370の機能を果たす。
記録媒体956は、上述の記憶部370として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
入出力インタフェース958は、例えば、力覚デバイス960、表示デバイス962及び音声出力デバイス964等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
通信インタフェース968は、通信部360として機能する情報処理装置900が備える通信手段であり、ネットワーク90を介して(あるいは、直接的に)、外部装置と、無線又は有線で通信を行うための通信部(図示省略)として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)等が挙げられる。
上述の本開示の実施形態は、以下のように変形することも可能である。以下に、本開示の第2の実施形態として、各種の変形例を説明する。
まずは、上述のセンサ部100の1つとして、被指導者又は演奏者の指が、ピアノの鍵盤のどの位置を打鍵したか、さらに、どの程度の力で鍵盤を打鍵したかを測定する圧力センサ装置20を用いた変形例1を、図20から図22を参照して説明する。図20は、変形例1に係る圧力センサ装置20の構成を説明するための説明図であり、図21は、変形例1に係る圧力センサ装置20の動作を説明するための説明図である。さらに、図22は、変形例1に係る圧力センサ装置20による測定結果のフィードバックの一例を説明する説明図である。
まずは、図20を参照して、圧力センサ装置20の構成を説明する。図20に示すように、本変形例に係る圧力センサ装置20は、鍵盤604(図20では白鍵)の下に設けられた圧力センサ200と、圧力センサ200のセンシングデータを変換するAD(Analog/Digital)変換器210と、変換されたセンシングデータを処理する情報処理装置212とを主に有する。
次に、上述のような圧力センサ200による、被指導者又は演奏者の指による鍵盤上の打鍵位置の検出と、打鍵による力の大きさの検出とについて、図21を参照して説明する。図21に示すように、圧力センサ200aは、例えば、1つの鍵盤につき、鍵盤の長手方向に沿って2つ設けられている。ここでは、被指導者又は演奏者側に位置する手前側の圧力センサ200を圧力センサ200aとし、被指導者又は演奏者から見て奥に位置する圧力センサ200を圧力センサ200bとする。また、圧力センサ200aが検出した圧力をF1とし、圧力センサ200bが検出した圧力をF2とする。このような場合、被指導者又は演奏者の打鍵による力の大きさFは、2つの圧力センサ200a、200bが検出した圧力F1、F2の合力として検出することができる。すなわち、被指導者又は演奏者の打鍵による力の大きさFは、以下の数式(1)として検出することができる。
さらに、上述のような圧力センサ200による検出結果をユーザにフィードバックする方法の一例について、図22を参照して説明する。本変形例においては、例えば、図22に示すような表示画面820を用いて、圧力センサ200による検出結果をユーザにフィードバックすることができる。表示画面820には、鍵盤表示画面822が含まれており、例えば、被指導者が打鍵した位置(ここでは、鍵盤の長手方向における位置)をマーカ824a(図22では白丸)として表示することができる。この際、被指導者の手本となる演奏者の打鍵した位置をマーカ824b(図22では斜線のハッチングで示される丸)で併せて表示してもよい。このように表示することにより、ユーザは、被指導者と手本となる演奏者の打鍵の位置の違いを明確に認識することができる。さらに、本変形例においては、図22で示すような形態で打鍵した位置を示すことに限定されるものではない。例えば、本変形例においては、被指導者及び演奏者の打鍵した位置を、拡張現実(AR:Augmented Reality)技術を用いて、被指導者が打鍵する実空間上のピアノの鍵盤上に重畳して表示してもよい。この場合、表示の形態としては、図22のようなマーカ824であってもよく、アニメーション等であってもよい。さらに、この場合、例えば、被指導者の頭部等に装着される、透過型のヘッドマウントディスプレイ(Head Mounted Display:以下、「HMD」と称する)等により具現化することができる。なお、本変形例においては、上記HMDは、透過型のディスプレイに限定されるものではなく、非透過型のディスプレイであってもよい。後者の場合、HMDは、カメラ等の撮像装置を有してもよく、被指導者及び演奏者の打鍵した位置を、撮像した実空間上のピアノの鍵盤の画像に重畳して表示してもよい。さらに、後者の場合、HMDは、被指導者及び演奏者の打鍵した位置を、仮想現実(Virtual Reality)空間上に鍵盤を模式的に示す表示に重畳して表示してもよい。
上述の変形例においては、圧力センサ200を用いたが、本実施形態においては、圧力センサ200の代わりにフォトリフレクタセンサ装置40を用いてもよい。そこで、変形例2として、図23から図29を参照して、フォトリフレクタセンサ装置40を用いた例を説明する。図23及び図24は、本変形例に係るフォトリフレクタセンサ装置40の構成を説明するための説明図である。また、図25は、本変形例に係るフォトリフレクタセンサ400の動作を説明するための説明図である。図26及び図27は、本変形例に係るフォトリフレクタセンサ装置40による測定結果のフィードバックの例を説明する説明図である。さらに、図28は、本変形例に係るフォトリフレクタセンサ装置40による測定結果の解析処理のフローチャートであり、図29は、本変形例に係るフォトリフレクタセンサ装置40による測定結果の解析処理を説明するための説明図である。
まずは、図23から図25を参照して、フォトリフレクタセンサ装置40の構成を説明する。図23に示すように、本変形例に係るフォトリフレクタセンサ装置40は、各種のピアノの鍵盤の下に着脱可能に設けられる基板402と、当該基板402上に鍵盤に対応するように配列し、打鍵される鍵盤の動きを検出する複数のフォトリフレクタセンサ400とを有する。さらに、当該フォトリフレクタセンサ装置40は、フォトリフレクタセンサ400のセンシングデータを変換するAD変換器410と、変換されたセンシングデータを処理する情報処理装置412とを主に有する。本変形例に係るフォトリフレクタセンサ装置40は、各種のピアノの鍵盤の下に着脱可能に設けられることができる。従って、当該フォトリフレクタセンサ装置40は、ピアノの製造時又は出荷時にピアノに装着されてもよく、もしくは、ピアノの出荷後に後付されてもよい。
さらに、上述のようなフォトリフレクタセンサ400による検出結果をユーザにフィードバックする方法の一例について、図26及び図27を参照して説明する。なお、図26及び図27の時系列データ842、842a、842bにおいては、鍵盤が下方に移動した場合の鍵盤の移動量は、図中の上側になるように示されている。
ところで、本変形例において、被指導者の打鍵による鍵盤の移動量の時系列データ842aと、手本となる演奏者の打鍵による鍵盤の移動量の時系列データ842bとを比較する際に、同一の演奏(楽曲、フレーズ、スケール、アルペジオ、和音等)を行っていた場合であっても、各打鍵のタイミングが異なることがある。このような場合、被指導者の打鍵による鍵盤の移動量の時系列データ842aと、演奏者の打鍵による鍵盤の移動量の時系列データ842bとを重畳して表示しても、両者の打鍵時間、打鍵の速度(鍵盤の移動速度)、加速度(鍵盤の移動加速度)等の違いを一目で把握することが難しいことがある。
まず、フォトリフレクタセンサ装置40は、被指導者の打鍵による鍵盤の移動量の時系列データ842aを取得する。
次に、フォトリフレクタセンサ装置40は、ステップS501で得られた時系列データ842aから、各打鍵の開始時間と終了時間とを抽出する。この際、フォトリフレクタセンサ装置40は、フォトリフレクタセンサ400の信号が所定の閾値を超えた瞬間を、鍵盤が移動を開始した時間(打鍵開始時間)としてみなす。さらに、フォトリフレクタセンサ装置40は、フォトリフレクタセンサ400の信号が所定の閾値を下回った瞬間を、鍵盤から指が離れた時間(打鍵終了時間)としてみなす。このようにすることで、フォトリフレクタセンサ装置40は、各打鍵の開始時間と終了時間とを抽出することができる。そして、フォトリフレクタセンサ装置40は、抽出した時間に基づいて、各打鍵に対応する区間を、時系列区間842dとして、時系列データ842aから切り出して、保持する。
そして、フォトリフレクタセンサ装置40は、上述のステップS503で切り出した各時系列区間842dから、打鍵開始時間、打鍵終了時間、鍵盤が最も下方に位置した際の時間(下降終了時)、鍵盤が最も上方に位置した際の時間(上昇終了時)、打鍵の速度が最大になった時間(最大速度到達時)、鍵盤の下降中又は上昇中における最大速度到達時間、最大加速度到達時間等の特徴量を抽出する。詳細には、例えば、第1の実施形態で説明した学習部348により、被指導者又は演奏者が打鍵した鍵盤の移動量の経時変化を、打鍵ごとに抽出し、抽出した各打鍵の時系列変化の一部(時系列区間842d)から、特徴量(第3の特徴情報)を抽出する。この際、フォトリフレクタセンサ装置40は、抽出した特徴量を、マーカ844を時系列区間842dに重畳することにより、可視化する。
次に、フォトリフレクタセンサ装置40は、切り出した時系列区間842dを、例えば、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ842bに合わせて並べることにより、再構成を行う。詳細には、図28及び図29に示すように、各時系列区間842dにおける打鍵開始時間が、時系列データ842bにおける対応する打鍵の打鍵開始時間と一致するように、各時系列区間842dを時間シフトさせて並べることにより、被指導者の時系列データを連続したデータとして再構成する。より具体的には、例えば、第1の実施形態で説明した学習部348は、抽出した各打鍵の時系列変化の一部(時系列区間842d)を、所定に規則に従って、連続したデータとして再度構成する。なお、以下の説明においては、再構成によって得られた被指導者の時系列データを、時系列データ842cと呼ぶ。
さらに、フォトリフレクタセンサ装置40は、上述のステップS507で得られた時系列データ842cを、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ842bに重畳表示することにより、ユーザにフィードバックを行う。
さらに、上述のようなフォトリフレクタセンサ400による検出結果をユーザにフィードバックする方法は、以下のように変形してもよい。さらなる変形例について、図30及び図31を参照して説明する。図30及び図31は、本変形例に係るフォトリフレクタセンサ装置40による測定結果のフィードバックの例を説明する説明図である。なお、図30及び図31の時系列データ842においては、鍵盤が下方に移動した場合の鍵盤の移動量は、図中の下側になるように示されている。
さらに、これまで説明したフィードバックは、主に画面による表示が中心であったが、本実施形態においては、被指導者に対して触覚刺激を行うことにより、フィードバックを行ってもよい。そこで、以下においては、変形例3として、被指導者の筋活動量をセンシングし、センシングデータに基づいて、バイブレータ612(図32 参照)により触覚刺激を行う例を、図32を参照して説明する。図32は、本変形例に係る筋活動量センサ装置60の構成を説明するための説明図である。
まずは、図32を参照して、筋活動量センサ装置60の構成を説明する。図32に示すように、筋活動量センサ装置60は、例えば、被指導者の親指、人差し指、中指等の根元に装着され、被指導者の各指の筋活動量を検出するとともに、検出した筋活動量に基づき振動によりフィードバックを行うことができる。詳細には、本変形例に係る筋活動量センサ装置60は、筋活動量をセンシングする筋電位センサ610と、触覚刺激によりフィードバックを行うバイブレータ612とを有する。本変形例においては、筋活動量センサ装置60は、筋電位センサ610とバイブレータ612とが一体化した装置であることが好ましい。さらに、筋活動量センサ装置60は、筋電位センサ610のセンシングデータを変換するAD変換器620と、バイブレータ612を制御するマイクロコントローラ630と、変換されたセンシングデータを処理し、且つ、マイクロコントローラ630を制御する情報処理装置632とを接続される。
次に、上述のような筋活動量センサ装置60による検出結果を被指導者にフィードバックする方法の詳細について説明する。
さらに、本変形例に係る筋活動量センサ装置60は、上述した力覚機構710と組み合わせて用いてもよい。詳細には、被指導者の指先に、筋活動量センサ装置60を装着し、手指の関節に、上述の外骨格ロボット712を装着してもよい。この場合、該当する筋肉をどの程度脱力させればよいのか、もしくは、どの程度緊張させればよいかの程度は、筋活動量センサ装置60によって、被指導者にフィードバックする。一方、どのような方向に、どのような方向で指を動かすか等の情報は、外骨格ロボット712によって被指導者にフィードバックする。
上述の本開示の実施形態に係るフィードバック方法は、以下のように変形することも可能である。以下に、本開示の第3の実施形態として、各種のフィードバックの例を図33及び図34を参照して説明する。図33及び図34は、本開示の第3の実施形態に係るフィードバックの例を説明する説明図である。
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
(1)
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、
を備える情報処理装置。
(2)
前記算出部は、予め設定されたパフォーマンスの状態と関係を持つ前記運動要素の協調情報を算出する、上記(1)に記載の情報処理装置。
(3)
各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部をさらに備え、
前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから前記協調情報を算出する、
上記(2)に記載の情報処理装置。
(4)
複数の前記パフォーマンスの状態と、当該複数のパフォーマンスの状態の各々に対応する前記複数のセンシングデータとを用いて、前記各種のパフォーマンスの状態と前記運動要素の協調情報との関係を機械学習し、前記関係情報を習得する学習部をさらに備える、
上記(3)に記載の情報処理装置。
(5)
前記学習部は、前記関係情報に対して多変量解析を行って、前記各パフォーマンスの状態を特徴づける前記協調情報を第1の特徴情報として抽出する、上記(4)に記載の情報処理装置。
(6)
前記学習部は、前記取得した複数のセンシングデータに基づいて、前記ユーザの前記パフォーマンスを特徴づける前記協調情報を第2の特徴情報として抽出する、上記(4)に記載の情報処理装置。
(7)
前記学習部は、前記第2の特徴情報に基づき、前記ユーザの前記パフォーマンスの状態を分類する、上記(6)に記載の情報処理装置。
(8)
前記予め設定されたパフォーマンスの状態に関係する前記第1の特徴情報を選択し、
選択した前記第1の特徴情報と、前記算出部により算出された前記ユーザの前記協調情報とを比較し、
比較結果に基づき、前記フィードバック情報を生成する、
比較部をさらに備える、
上記(5)に記載の情報処理装置。
(9)
前記通知部は、生成された前記フィードバック情報に基づき、前記フィードバック情報の通知の形態を選択する、上記(8)に記載の情報処理装置。
(10)
前記通知部は、表示装置を制御して所定の画像を表示させることにより、前記ユーザに対して前記フィードバック情報を通知する、上記(9)に記載の情報処理装置。
(11)
前記通知部は、前記ユーザが打鍵した鍵盤上の位置を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記(10)に記載の情報処理装置。
(12)
前記通知部は、前記ユーザが打鍵した鍵盤の移動量、移動速度、移動加速度のうちの少なくとも1つの経時変化を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記(10)又は(11)に記載の情報処理装置。
(13)
前記経時変化とともに、前記鍵盤の下降開始時、下降終了時、上昇開始時、上昇終了時、及び、前記鍵盤の下降中又は上昇中における最大速度到達時、最大加速度到達時のうちの少なくとも1つを表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記(12)に記載の情報処理装置。
(14)
前記通知部は、前記経時変化と同期して、前記ユーザの打鍵に対応する楽譜を表示する、上記(12)又は(13)に記載の情報処理装置。
(15)
前記通知部は、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせることにより、前記ユーザに対して前記フィードバック情報を通知する、上記(9)に記載の情報処理装置。
(16)
前記通知部は、前記ユーザの身体の一部の筋活動量と閾値との比較結果に基づき、前記ユーザに対して触覚刺激を行わせることにより、前記ユーザに対して前記フィードバック情報を通知する、上記(15)に記載の情報処理装置。
(17)
前記通知部は、音声出力装置を制御して所定の音を出力させることにより、前記ユーザに対して前記フィードバック情報を通知する、上記(9)に記載の情報処理装置。
(18)
前記ユーザの属性情報を取得する属性情報取得部をさらに備え、
前記比較部は、取得した前記属性情報に基づいて、前記第1の特徴情報を選択する、
上記(8)に記載の情報処理装置。
(19)
前記パフォーマンスの状態は、当該パフォーマンスにおける前記ユーザの前記運動要素の運動パターン、運動速度、運動正確性、及び運動量のうちの少なくとも1つによって示される、上記(2)に記載の情報処理装置。
(20)
前記パフォーマンスの状態は、当該パフォーマンスによって生じる結果の状態によって示される、上記(2)に記載の情報処理装置。
(21)
前記複数のセンシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、又は、位置センサから得られるセンシングデータのうちの少なくとも1つを含む、上記(1)〜(20)のいずれか1つに記載の情報処理装置。
(22)
前記複数のセンシングデータは、前記ユーザを撮像する撮像装置、前記ユーザの身体の一部によって印加される圧力をセンシングする圧力センサ、又は、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサから得られるセンシングデータのうちの少なくとも1つを含む、上記(1)〜(21)のいずれか1つに記載の情報処理装置。
(23)
前記複数のセンシングデータは、前記ユーザの身体の一部によって打鍵される鍵盤の動きをセンシングするフォトリフレクタセンサから得られるセンシングデータのうちの少なくとも1つを含む、上記(1)〜(22)のいずれか1つに記載の情報処理装置。
(24)
前記フォトリフレクタセンサは、各種のピアノの鍵盤の下に着脱可能に設けられる、上記(23)に記載の情報処理装置。
(25)
前記複数のセンシングデータは、前記パフォーマンスによって生じる音をセンシングする収音装置から得られたセンシングデータを含む、上記(1)〜(24)のいずれか1つに記載の情報処理装置。
(26)
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得することと、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出することと、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知することと、
を含む、情報処理方法。
(27)
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得する機能と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する機能と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する機能と、
をコンピュータに実現させるためのプログラム。
10 センサ装置
20 圧力センサ装置
30 サーバ
40 フォトリフレクタセンサ装置
60 筋活動量センサ装置
70 ユーザ側装置
90 ネットワーク
100 センサ部
140、340、740 主制御部
142、342 データ取得部
144、344 処理部
152、352 出力制御部
160、360、760 通信部
190 電極
192、824a、824b、844 マーカ
194 高速撮影カメラ
196、200 圧力センサ
198 マイクロフォン
202 突起
204 穴
210、410、620 AD変換器
212、412、632、900 情報処理装置
300 入力部
310 出力部
346 算出部
348 学習部
350 比較部
370、770 記憶部
372 DB
400 フォトリフレクタセンサ
400a 発光素子
400b 受光素子
402 基板
500 センシングデータ
502 演奏状態
504 協調度
506 フィードバック情報
600 白鍵
604、838、904 鍵盤
604a 上部鍵盤
604b 下部鍵盤
610 筋電位センサ
612 バイブレータ
630 マイクロコントローラ
680 筋電位
682 閾値
690 皮膚
692 筋肉
710 力覚機構
712 外骨格ロボット
712a 外骨格部材
714 表示部
716 音声出力部
800、806、820、862、870、880、880a、902、910 表示画面
802、808、864 手指表示画面
804 一致指数バー
810 ベクトル
832、834、840、866 イメージ画像
822、836、872、882 鍵盤表示画面
826 打鍵力表示画面
842、842a、842b、842c 時系列データ
842d 時系列区間
850 ウィンドウ
868 領域表示
874、884 時系列データ表示
876 速度表示部
886 楽譜表示画面
888 スライドバー
890 枠
906、906a、906b タイミング表示
908、908a、908b バー表示
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インタフェース
960 力覚デバイス
962 表示デバイス
964 音声出力デバイス
968 通信インタフェース
970 バス
980 センサ
Claims (20)
- ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、
を備える情報処理装置。 - 前記算出部は、予め設定されたパフォーマンスの状態と関係を持つ前記運動要素の協調情報を算出する、請求項1に記載の情報処理装置。
- 各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部をさらに備え、
前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから前記協調情報を算出する、
請求項2に記載の情報処理装置。 - 複数の前記パフォーマンスの状態と、当該複数のパフォーマンスの状態の各々に対応する前記複数のセンシングデータとを用いて、前記各種のパフォーマンスの状態と前記運動要素の協調情報との関係を機械学習し、前記関係情報を習得する学習部をさらに備える、請求項3に記載の情報処理装置。
- 前記学習部は、前記関係情報に対して多変量解析を行って、前記各パフォーマンスの状態を特徴づける前記協調情報を第1の特徴情報として抽出する、請求項4に記載の情報処理装置。
- 前記学習部は、前記取得した複数のセンシングデータに基づいて、前記ユーザの前記パフォーマンスを特徴づける前記協調情報を第2の特徴情報として抽出する、請求項4に記載の情報処理装置。
- 前記学習部は、前記第2の特徴情報に基づき、前記ユーザの前記パフォーマンスの状態を分類する、請求項6に記載の情報処理装置。
- 前記予め設定されたパフォーマンスの状態に関係する前記第1の特徴情報を選択し、
選択した前記第1の特徴情報と、前記算出部により算出された前記ユーザの前記協調情報とを比較し、
比較結果に基づき、前記フィードバック情報を生成する、
比較部をさらに備える、
請求項5に記載の情報処理装置。 - 前記通知部は、生成された前記フィードバック情報に基づき、前記フィードバック情報の通知の形態を選択する、請求項8に記載の情報処理装置。
- 前記通知部は、表示装置を制御して所定の画像を表示させること、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも1つにより、前記ユーザに対して前記フィードバック情報を通知する、請求項9に記載の情報処理装置。
- 前記通知部は、前記ユーザが打鍵した鍵盤上の位置を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、請求項10に記載の情報処理装置。
- 前記通知部は、前記ユーザが打鍵した鍵盤の移動量、移動速度、移動加速度のうちの少なくとも1つの経時変化を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、請求項10に記載の情報処理装置。
- 前記ユーザの属性情報を取得する属性情報取得部をさらに備え、
前記比較部は、取得した前記属性情報に基づいて、前記第1の特徴情報を選択する、
請求項8に記載の情報処理装置。 - 前記パフォーマンスの状態は、当該パフォーマンスにおける前記ユーザの前記運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも1つによって示される、請求項2に記載の情報処理装置。
- 前記複数のセンシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、又は、位置センサから得られるセンシングデータのうちの少なくとも1つを含む、請求項1に記載の情報処理装置。
- 前記複数のセンシングデータは、前記ユーザを撮像する撮像装置、前記ユーザの身体の一部によって印加される圧力をセンシングする圧力センサ、又は、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサから得られるセンシングデータのうちの少なくとも1つを含む、請求項1に記載の情報処理装置。
- 前記複数のセンシングデータは、前記ユーザの身体の一部によって打鍵される鍵盤の動きをセンシングするフォトリフレクタセンサから得られるセンシングデータのうちの少なくとも1つを含む、請求項1に記載の情報処理装置。
- 前記複数のセンシングデータは、前記パフォーマンスによって生じる音をセンシングする収音装置から得られたセンシングデータを含む、請求項1に記載の情報処理装置。
- ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得することと、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出することと、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知することと、
を含む、情報処理方法。 - ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする1つ又は複数のセンサから複数のセンシングデータを取得する機能と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する機能と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する機能と、
をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250392 | 2017-12-27 | ||
JP2017250392 | 2017-12-27 | ||
JP2018159382 | 2018-08-28 | ||
JP2018159382 | 2018-08-28 | ||
PCT/JP2018/039144 WO2019130755A1 (ja) | 2017-12-27 | 2018-10-22 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019130755A1 true JPWO2019130755A1 (ja) | 2021-01-28 |
JP7238794B2 JP7238794B2 (ja) | 2023-03-14 |
Family
ID=67063382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019562787A Active JP7238794B2 (ja) | 2017-12-27 | 2018-10-22 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11508344B2 (ja) |
EP (1) | EP3734576A4 (ja) |
JP (1) | JP7238794B2 (ja) |
CN (1) | CN111433831B (ja) |
WO (1) | WO2019130755A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11508344B2 (en) * | 2017-12-27 | 2022-11-22 | Sony Corporation | Information processing device, information processing method and program |
JP2020042161A (ja) * | 2018-09-11 | 2020-03-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
DE112019004986T5 (de) * | 2018-10-05 | 2021-07-01 | Sony Corporation | Informationsverarbeitungsvorrichtung |
EP3881910A4 (en) * | 2018-11-15 | 2022-01-12 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US11883963B2 (en) * | 2019-06-03 | 2024-01-30 | Cushybots Corporation | Robotic platform for interactive play using a telepresence robot surrogate |
EP3792817A1 (en) * | 2019-09-10 | 2021-03-17 | XRSpace CO., LTD. | Method and system for human behavior identification |
WO2021090817A1 (ja) * | 2019-11-07 | 2021-05-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111951640B (zh) * | 2020-08-22 | 2022-01-25 | 湖南大学 | 一种光子衰减传感器辅助声乐气息练习装置及使用方法 |
WO2022070771A1 (ja) * | 2020-09-30 | 2022-04-07 | ヤマハ株式会社 | 情報処理方法、情報処理システムおよびプログラム |
CN112802439B (zh) * | 2021-02-05 | 2024-04-12 | 腾讯科技(深圳)有限公司 | 一种演奏数据识别方法、装置、设备及存储介质 |
JP2023053619A (ja) * | 2021-10-01 | 2023-04-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2023234197A1 (ja) * | 2022-06-02 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11133953A (ja) * | 1997-10-31 | 1999-05-21 | Yamaha Corp | 電子楽器の鍵盤装置 |
JP2000056669A (ja) * | 1998-08-10 | 2000-02-25 | Yamaha Corp | 楽器演奏動作検出と楽器演奏動作指導のための装置および方法、並びにそのプログラムを記録した記録媒体 |
JP2006162916A (ja) * | 2004-12-07 | 2006-06-22 | Xing Inc | 音楽再生装置 |
JP2010057611A (ja) * | 2008-09-02 | 2010-03-18 | Nec System Technologies Ltd | 身体訓練装置およびプログラム |
JP2011087794A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
US20120139731A1 (en) * | 2010-12-01 | 2012-06-07 | At&T Intellectual Property I, L.P. | System and method for wireless monitoring of sports activities |
JP2016087420A (ja) * | 2014-11-04 | 2016-05-23 | 国立大学法人宇都宮大学 | 協調運動評価装置 |
JP2017055913A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 動作フォーム判定装置、判定方法、判定プログラム、判定システム |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4635516A (en) * | 1984-09-17 | 1987-01-13 | Giancarlo Giannini | Tone generating glove and associated switches |
DE3856282T2 (de) * | 1987-02-03 | 1999-08-19 | Yamaha Corp. | Bekleidungsaustattung zur Steuerung von einem Musikton |
US4905560A (en) * | 1987-12-24 | 1990-03-06 | Yamaha Corporation | Musical tone control apparatus mounted on a performer's body |
US5029508A (en) * | 1988-05-18 | 1991-07-09 | Yamaha Corporation | Musical-tone-control apparatus |
JPH0283590A (ja) * | 1988-09-21 | 1990-03-23 | Yamaha Corp | 楽音制御装置 |
US5151553A (en) * | 1988-11-16 | 1992-09-29 | Yamaha Corporation | Musical tone control apparatus employing palmar member |
US5025705A (en) * | 1989-01-06 | 1991-06-25 | Jef Raskin | Method and apparatus for controlling a keyboard operated device |
US5631861A (en) * | 1990-02-02 | 1997-05-20 | Virtual Technologies, Inc. | Force feedback and texture simulating interface device |
JP2725433B2 (ja) * | 1990-03-30 | 1998-03-11 | ヤマハ株式会社 | 曲げ角度検出器及び該検出器を用いた電子楽器 |
GB9108497D0 (en) * | 1991-04-20 | 1991-06-05 | Ind Limited W | Human/computer interface |
JP2500544B2 (ja) * | 1991-05-30 | 1996-05-29 | ヤマハ株式会社 | 楽音制御装置 |
US5571020A (en) * | 1991-10-03 | 1996-11-05 | Troudet; Farideh | Education device for assisting in the learning of keyboarding |
US5166463A (en) * | 1991-10-21 | 1992-11-24 | Steven Weber | Motion orchestration system |
US5429140A (en) * | 1993-06-04 | 1995-07-04 | Greenleaf Medical Systems, Inc. | Integrated virtual reality rehabilitation system |
US5516249A (en) * | 1994-05-10 | 1996-05-14 | Technical Research Associates, Inc. | Exoskeleton with kinesthetic feedback and robotic control |
US5807376A (en) * | 1994-06-24 | 1998-09-15 | United States Surgical Corporation | Apparatus and method for performing surgical tasks during laparoscopic procedures |
US5581484A (en) * | 1994-06-27 | 1996-12-03 | Prince; Kevin R. | Finger mounted computer input device |
JPH10176919A (ja) * | 1996-12-18 | 1998-06-30 | Olympus Optical Co Ltd | 形状入力装置 |
US6110130A (en) * | 1997-04-21 | 2000-08-29 | Virtual Technologies, Inc. | Exoskeleton device for directly measuring fingertip position and inferring finger joint angle |
US6049327A (en) * | 1997-04-23 | 2000-04-11 | Modern Cartoons, Ltd | System for data management based onhand gestures |
US6042555A (en) * | 1997-05-12 | 2000-03-28 | Virtual Technologies, Inc. | Force-feedback interface device for the hand |
US6141643A (en) * | 1998-11-25 | 2000-10-31 | Harmon; Steve | Data input glove having conductive finger pads and thumb pad, and uses therefor |
US6262355B1 (en) * | 1999-07-14 | 2001-07-17 | Sun Microsystems, Inc. | Method and apparatus for glove-based chording |
US6388181B2 (en) * | 1999-12-06 | 2002-05-14 | Michael K. Moe | Computer graphic animation, live video interactive method for playing keyboard music |
US6982375B2 (en) * | 2003-06-06 | 2006-01-03 | Mcgregor Rob | Musical teaching device and method |
US7381884B1 (en) * | 2006-03-03 | 2008-06-03 | Yourik Atakhanian | Sound generating hand wear |
US7772474B2 (en) * | 2006-09-15 | 2010-08-10 | Yamaha Corporation | Keyboard device with an anti-floating part for electronic musical instrument |
TWI343031B (en) * | 2007-07-16 | 2011-06-01 | Ind Tech Res Inst | Method and device for keyboard instrument learning |
CN101168098B (zh) * | 2007-11-19 | 2011-02-02 | 煜日升电子(深圳)有限公司 | 指琴 |
US8255079B2 (en) * | 2009-09-22 | 2012-08-28 | GM Global Technology Operations LLC | Human grasp assist device and method of use |
US8362350B2 (en) * | 2009-12-07 | 2013-01-29 | Neven Kockovic | Wearable trigger electronic percussion music system |
US8620661B2 (en) * | 2010-03-02 | 2013-12-31 | Momilani Ramstrum | System for controlling digital effects in live performances with vocal improvisation |
US8957296B2 (en) * | 2010-04-09 | 2015-02-17 | Apple Inc. | Chord training and assessment systems |
CN102218214A (zh) * | 2010-04-13 | 2011-10-19 | 上海薄荷信息科技有限公司 | 一种捕捉运动信息的装置及相应的*** |
US8338684B2 (en) * | 2010-04-23 | 2012-12-25 | Apple Inc. | Musical instruction and assessment systems |
CA2814869A1 (en) * | 2010-10-22 | 2012-04-26 | Joshua Michael Young | Methods devices and systems for creating control signals |
CN201946292U (zh) * | 2010-11-25 | 2011-08-24 | 赵洪云 | 键盘乐器琴键状态的无改装非接触检测装置 |
JP2013097089A (ja) * | 2011-10-31 | 2013-05-20 | Casio Comput Co Ltd | 演奏動作表示装置、方法及びプログラム |
JP6196017B2 (ja) * | 2012-01-13 | 2017-09-13 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
US8766077B2 (en) * | 2012-02-06 | 2014-07-01 | Casio Computer Co., Ltd. | Music playing movement display control device, music playing movement control method and computer readable medium |
JP6079089B2 (ja) * | 2012-09-21 | 2017-02-15 | カシオ計算機株式会社 | 画像特定システム、画像特定方法、画像特定装置及びプログラム |
TW201415272A (zh) * | 2012-10-12 | 2014-04-16 | Ind Tech Res Inst | 擊球結果推論與姿勢修正之方法與裝置 |
JP5835206B2 (ja) * | 2012-12-21 | 2015-12-24 | ヤマハ株式会社 | 運動分析装置 |
DK3014394T3 (da) * | 2013-07-05 | 2022-07-11 | Jacob A Rubin | Helkrops-menneske-computer-grænseflade |
US9262940B2 (en) * | 2013-11-28 | 2016-02-16 | Shlomo Michael Farber | Musical notation interface for the visually impaired |
JP6508061B2 (ja) * | 2014-01-20 | 2019-05-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10248200B2 (en) * | 2014-03-02 | 2019-04-02 | Drexel University | Wearable devices, wearable robotic devices, gloves, and systems, methods, and computer program products interacting with the same |
JP6292295B2 (ja) * | 2014-04-07 | 2018-03-14 | 日本電気株式会社 | 連携システム、装置、方法、および記録媒体 |
US10121388B2 (en) * | 2014-04-29 | 2018-11-06 | Georgia Tech Research Corporation | Methods, systems, and apparatuses to convey chorded input |
EP3245648B1 (en) * | 2015-01-14 | 2019-05-22 | Taction Enterprises Inc. | Arrangement for producing musical data |
US9652038B2 (en) * | 2015-02-20 | 2017-05-16 | Sony Interactive Entertainment Inc. | Magnetic tracking of glove fingertips |
WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
US10055019B2 (en) * | 2015-05-20 | 2018-08-21 | Sony Interactive Entertainment Inc. | Electromagnet-laden glove for haptic pressure feedback |
US9750290B2 (en) * | 2015-09-16 | 2017-09-05 | The Regents Of The University Of California | Passive mechanical exoskeleton to reduce hand fatigue |
CN106310660A (zh) * | 2016-09-18 | 2017-01-11 | 三峡大学 | 一种基于力学可视化的虚拟足球运动控制*** |
US11229787B2 (en) * | 2016-11-25 | 2022-01-25 | Kinaptic, LLC | Haptic human machine interface and wearable electronics methods and apparatus |
US10255894B1 (en) * | 2016-12-16 | 2019-04-09 | Mark J. BONNER | Wearable electronic musical instrument |
US10761605B1 (en) * | 2017-06-08 | 2020-09-01 | Apple Inc. | Knit data input glove |
US11508344B2 (en) * | 2017-12-27 | 2022-11-22 | Sony Corporation | Information processing device, information processing method and program |
EP3732551A4 (en) * | 2017-12-29 | 2021-12-08 | HAPTX Inc. | GLOVE WITH HAPTIC FEEDBACK |
TWI632533B (zh) * | 2018-01-11 | 2018-08-11 | 和碩聯合科技股份有限公司 | 學習輔助系統 |
US10810984B2 (en) * | 2018-03-29 | 2020-10-20 | Kawai Musical Instruments Manufacturing Co., Ltd. | Fingering display device and fingering display program |
JP2020042161A (ja) * | 2018-09-11 | 2020-03-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
DE112019004986T5 (de) * | 2018-10-05 | 2021-07-01 | Sony Corporation | Informationsverarbeitungsvorrichtung |
EP3881910A4 (en) * | 2018-11-15 | 2022-01-12 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US10860102B2 (en) * | 2019-05-08 | 2020-12-08 | Microsoft Technology Licensing, Llc | Guide for supporting flexible articulating structure |
-
2018
- 2018-10-22 US US16/956,116 patent/US11508344B2/en active Active
- 2018-10-22 CN CN201880077651.7A patent/CN111433831B/zh active Active
- 2018-10-22 WO PCT/JP2018/039144 patent/WO2019130755A1/ja unknown
- 2018-10-22 JP JP2019562787A patent/JP7238794B2/ja active Active
- 2018-10-22 EP EP18896091.8A patent/EP3734576A4/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11133953A (ja) * | 1997-10-31 | 1999-05-21 | Yamaha Corp | 電子楽器の鍵盤装置 |
JP2000056669A (ja) * | 1998-08-10 | 2000-02-25 | Yamaha Corp | 楽器演奏動作検出と楽器演奏動作指導のための装置および方法、並びにそのプログラムを記録した記録媒体 |
JP2006162916A (ja) * | 2004-12-07 | 2006-06-22 | Xing Inc | 音楽再生装置 |
JP2010057611A (ja) * | 2008-09-02 | 2010-03-18 | Nec System Technologies Ltd | 身体訓練装置およびプログラム |
JP2011087794A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
US20120139731A1 (en) * | 2010-12-01 | 2012-06-07 | At&T Intellectual Property I, L.P. | System and method for wireless monitoring of sports activities |
JP2016087420A (ja) * | 2014-11-04 | 2016-05-23 | 国立大学法人宇都宮大学 | 協調運動評価装置 |
JP2017055913A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 動作フォーム判定装置、判定方法、判定プログラム、判定システム |
Also Published As
Publication number | Publication date |
---|---|
EP3734576A1 (en) | 2020-11-04 |
CN111433831A (zh) | 2020-07-17 |
US11508344B2 (en) | 2022-11-22 |
EP3734576A4 (en) | 2021-03-17 |
JP7238794B2 (ja) | 2023-03-14 |
CN111433831B (zh) | 2022-05-17 |
US20210104213A1 (en) | 2021-04-08 |
WO2019130755A1 (ja) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7238794B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020100671A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Miranda et al. | New digital musical instruments: control and interaction beyond the keyboard | |
CN108463271B (zh) | 用于运动技能分析以及技能增强和提示的***和方法 | |
JP7367690B2 (ja) | 情報処理装置 | |
EP1729711B1 (en) | Rehabilitation with music | |
US7378585B2 (en) | Musical teaching device and method using gloves and a virtual keyboard | |
US20220398937A1 (en) | Information processing device, information processing method, and program | |
Gonzalez-Sanchez et al. | Characterizing movement fluency in musical performance: Toward a generic measure for technology enhanced learning | |
MacRitchie | The art and science behind piano touch: A review connecting multi-disciplinary literature | |
Allingham et al. | Motor performance in violin bowing: Effects of attentional focus on acoustical, physiological and physical parameters of a sound-producing action | |
Lipke-Perry et al. | The piano keyboard as task constraint: timing patterns of pianists’ scales persist across instruments | |
Buck et al. | Expertise-and tempo-related performance differences in unimanual drumming | |
Costalonga et al. | Understanding biomechanical constraints for modelling expressive performance: A guitar case study | |
Allingham | Preparing to perform: Focus of attention and slow practice in the preparation for instrumental music performance | |
US20230386155A1 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
Ward | Effortful Interaction: A New Paradigm for the Design of Digital Musical Instruments | |
Hoemberg | A neurologist’s view on neurologic music therapy | |
EP4332957A2 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
Nown | Creating a real-time movement sonification system for hemiparetic upper limb rehabilitation for survivors of stroke | |
Karolus | Proficiency-aware systems: designing for user skill and expertise | |
Miranda et al. | Understanding Biomechanical Constraints for Modelling Expressive UbiMus Performance: A Guitar Case Study | |
Jacobs | Piano technique as a manifestation of motor control and learning: an investigation from the perspectives of the motor and action systems theories | |
KR20190042276A (ko) | 악기 연습 방법 및 전자장치 | |
Mickaël | Faculté Polytechnique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7238794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |