WO2021090817A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2021090817A1 WO2021090817A1 PCT/JP2020/041129 JP2020041129W WO2021090817A1 WO 2021090817 A1 WO2021090817 A1 WO 2021090817A1 JP 2020041129 W JP2020041129 W JP 2020041129W WO 2021090817 A1 WO2021090817 A1 WO 2021090817A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- performance
- user
- instructor
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 185
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 129
- 230000033001 locomotion Effects 0.000 claims abstract description 86
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 238000000491 multivariate analysis Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 88
- 238000010586 diagram Methods 0.000 description 55
- 238000004891 communication Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 47
- 238000012549 training Methods 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 20
- 230000003863 physical function Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 17
- 238000012800 visualization Methods 0.000 description 16
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 15
- 230000005484 gravity Effects 0.000 description 14
- 210000003205 muscle Anatomy 0.000 description 14
- 101710114762 50S ribosomal protein L11, chloroplastic Proteins 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 230000037237 body shape Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 5
- 230000003183 myoelectrical effect Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000003387 muscular Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
- G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
- G10H2220/056—Hand or finger indicator, e.g. for indicating which hand or which specific finger should be used
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
- G10H2220/376—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information using brain waves, e.g. EEG
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
- G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Definitions
- This disclosure relates to information processing devices, information processing methods and programs.
- Patent Document 1 discloses a device that senses the movements of a plurality of persons and provides feedback based on the obtained sensing data.
- This disclosure proposes information processing devices, information processing methods, and programs that can effectively support the acquisition of performance.
- an acquisition unit that acquires subjective evaluation information of a second user for each performance performed by the movement of at least a part of the body of the first user, each performance, and each subjective evaluation information.
- a learning unit that machine-learns the relationship with and generates relationship information between each performance and each subjective evaluation information, and a presentation unit that presents feedback information to the second user based on the relationship information.
- An information processing device comprising the above is provided.
- a program is provided to realize it on a computer.
- FIG. 3 is an explanatory diagram (No.
- FIG. 5 is an explanatory diagram (No. 1) for explaining an example of a display screen in the presentation device 70 of the third embodiment according to the embodiment of the present disclosure. It is explanatory drawing (the 2) for demonstrating an example of the display screen in the presentation apparatus 70 of Example 3 which concerns on embodiment of this disclosure. It is explanatory drawing (the 3) for demonstrating an example of the display screen in the presentation apparatus 70 of Example 3 which concerns on embodiment of this disclosure.
- FIG. 5 is an explanatory diagram (No. 5) for explaining an example of a display screen in the presentation device 70 of the third embodiment according to the embodiment of the present disclosure.
- FIG. 6 is an explanatory diagram (No. 6) for explaining an example of a display screen in the presentation device 70 of the third embodiment according to the embodiment of the present disclosure.
- FIG. 7 is an explanatory diagram (No. 7) for explaining an example of a display screen in the presentation device 70 of the third embodiment according to the embodiment of the present disclosure.
- the 3) which shows an example of the management of the performance data which concerns on the same embodiment.
- the 1 which shows an example of the comparison of the performance and the feature amount which concerns on the same embodiment.
- the 2 which shows an example of the comparison of the performance and the feature amount which concerns on the same embodiment.
- a plurality of components having substantially the same or similar functional configurations may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of the plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given. Further, similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components, only the same reference numerals are given.
- the artist in the acquisition of performances related to artistic expression such as playing the piano, the artist (instructor) not only seeks a performance of so-called good performance, but also faithfully adheres to the image he envisioned. , I sometimes seek to express it as a performance at will.
- the artist wants to search for the ideal expression for himself / herself based on his / her sensibility and aesthetic sense, and to acquire the expression (more specifically, the playing skill that reproduces the expression). In some cases. Therefore, for example, the artist repeats the performance while changing the playing method, and searches for and learns the ideal expression while confirming the obtained performance sound and his / her own sensibility recollected by the performance sound.
- the performance may be mechanical and lacking in expressive power, or even if the same song is played, the performance may be improvised with different expressions. It is important for the artist to search for and learn the expression. In particular, pursuing the expression of a desired image is one of reinforcement learning, which is reward-based learning in terms of brain science, because learning proceeds based on the sensibility and aesthetic sense of the expressor (instructor). Even if there is, it will have a positive effect on the establishment of playing skills and the like.
- the instructor may improve his / her own playing skill by repeating the practice with reference to the feedback, but may not always be able to acquire the expression he / she desires. Even when using the above device, if the instructor can appropriately select a performance similar to the expression he / she desires as a model, the possibility that he / she can acquire the expression he / she desires increases. However, since the instructor does not always clearly recognize what kind of performance and what kind of sensibility is recalled, the instructor himself is a hand for the expression that he / she wants. Choosing a book properly is difficult.
- the present inventors have come up with the embodiment of the present disclosure described below.
- the past performance selected according to the subjective evaluation of the instructor (second user) with respect to the performance of the past performer (first user) is used as a model.
- the subjective evaluation is the emotional information felt by the user (instructor), for example, like, passionate, and calm.
- the instructor is newly instructed by adding subjective evaluation information representing the subjective evaluation in advance to the performance of the instructor's favorite performance or the performance of the performer who wants to be the target. It is possible to select a past performance according to the subjective evaluation information specified by.
- the relationship between the past performance and the subjective evaluation information from the instructor is learned in advance, and based on the data obtained by the learning, the instructor is newly instructed. It is possible to select a past performance according to the subjective evaluation information specified by. As a result, according to the present embodiment, the difference between the measurement result of the motor element during the past performance (role model) selected by the designated subjective evaluation information and the measurement result of the motor element during the performance of the instructor ( The deviation) can be fed back to the instructor. Therefore, the instructor can effectively acquire the expression he / she desires. Further, in the present embodiment, since machine learning is performed in which the past performance and the subjective evaluation information and the relationship from the instructor are learned in advance, what kind of performance the instructor responds to. It is possible to accurately grasp whether or not the sensibility has a tendency to be recalled. Therefore, according to the present embodiment, it is possible to appropriately select a model for the expression required by the instructor.
- the performance as an example of the performance is caused by, for example, a plurality of motor elements, which are the behaviors of the joints and muscles of the fingers and arms during piano performance, or the motor elements. Changes (pressure, sound, etc.) are sensed by one or more sensors. Further, in the present embodiment, multivariate analysis is performed on a plurality of sensing data (time series data of each motion element, etc.) obtained in this way. Then, by the multivariate analysis, the motor elements that characterize each performance (performance) can be extracted as quantitative information.
- sensing data relating to a large number of performers is collected, and the collected sensing data is machine-learned to obtain a performance state such as accurate performance and each movement.
- the relationship with the elements can also be scientifically generalized.
- the collected sensing data, the motor elements that characterize the state of performance, and the coordinated or uncoordinated (features) of the motor elements can be stored in a database (DB).
- sensing data is collected from the instructor receiving guidance in the same manner as described above, and the feature amount of the collected sensing data is compared with the feature amount of the sensing data that serves as a model for the instructor.
- a comparison is made with respect to the motor elements that are considered to have a high need for correction or a high priority for correction. This is done, and the deviation (difference) and the specific content to be corrected (body part, amount of movement, etc.) are fed back to the instructor.
- a model can be selected according to the attribute information (gender, age, etc.) of the instructor, and by making such a selection, the attributes of the instructor, etc. can be selected. It will be possible to provide tailor-made feedback according to the situation.
- performance is performed by the movement of at least a part of the user's body, and the movement pattern, movement speed, movement accuracy, momentum, and the resulting sound of the user's movement elements. It shall be represented by an image or the like.
- the user is an instructor who receives instruction on how to play the piano, a performer whose sensing data is collected when constructing the DB according to the present embodiment, and the like.
- it shall mean any of the operators who use the information processing platform according to the present embodiment.
- the state of piano performance is the performance speed (tempo, rhythm) of the performer, the accuracy of the performance (the accuracy of the rhythm or the volume of each sound), and the volume of the sound generated by the performance (sound peak).
- Sound resonance integrated value of sound form
- tone color spectrumrum
- volume difference and time difference between sounds in chords multiple sounds
- maximum and minimum values of each sound parameter It means the difference (range) of, the grain size (resolution) of each sound parameter, and the like.
- the state of piano performance may be a ratio of each parameter.
- the state of performance is the movement pattern, movement speed, movement accuracy, and momentum (movement power, impulse) of the movement element performed by the user. It may be the state of the result caused by the product, the amount of work, etc.), the performance, etc.
- the subjective evaluation information described above may be included in one of the performance states.
- the feature amount may be, for example, a degree of coordination representing the coordination or non-coordination of characteristic motor elements, but is not limited thereto.
- the feature quantities include the maximum speed of the keystroke and the timing when the maximum speed is reached (time point), the maximum acceleration of the keystroke and the timing when the maximum acceleration is reached, and the keyboard when the keyboard is lowered and raised by the keystroke of the performer or the like. It is assumed that the timing of the start of movement, the timing of the keyboard bottoming out, etc. are also included.
- the feature amount shall include the timing when the keyboard leaves the bottom, the timing when the keyboard returns to the initial position, and the difference time between these timings.
- the feature amount is the time when two consecutive sounds are sounding at the same time (legato time length), the difference in the timing of keystrokes for multiple keys that should be keyed at the same time in performance (time difference), and the timing when the maximum keystroke speed is reached. Differences, differences or ratios of maximum keystroke speeds, differences or ratios of maximum accelerations, etc. may be included.
- the feature amount is the acceleration when the keyboard reaches the bottom, that is, the strength of the impact due to the collision of the keyboard, the time when the keyboard crushes the felt part at the bottom, and the so-called pressing occurs. It may be included. Further, the feature amount may include the acceleration at the moment when the keyboard starts to move, that is, the strength of the impact due to the collision between the fingertip and the keyboard.
- the feature amount of the performance may include the feature amount of the musical instrument and the feature amount of the performance environment.
- it may be a feature amount that characterizes each piano by using parameters related to keystrokes required to produce a sound (sound or timbre) in a predetermined state.
- the feature amount (sound, volume, etc.) of the performance hall itself may be used by using the position information and the environmental information (temperature, atmospheric pressure, humidity, etc.) in which the performer performs.
- the relational information obtained by learning the relation between the environmental information and the sound, the feature amount of the performance hall, the feature amount of the piano, and the feature amount of the performer may be used.
- the performance according to the embodiment may include primary information and secondary information.
- the touch feature amount directly related to such a sound is used as an index of performance.
- the touch feature amount may include information that is not directly related to the sound. For example, it is information about the posture during performance. The posture during the performance may affect the sustainability of the performer.
- such physical information hereinafter, appropriately referred to as "skill" is used as an index of performance. For example, it is physical information such as touch features such as the time when the keyboard is pressed at the bottom, which are not directly related to the sound, posture, and movement of the center of gravity.
- the skill is information that depends on the playing context (fingering) and the like.
- the performance of the song may include a task song (phrase) and a free song.
- the task song is, for example, a song that is required to be performed at a performance level that should be achieved in the previous stage of individual differences, and is often required to be played at a predetermined tempo without mistakes.
- a free song is, for example, a song composed of key phrases of various songs, and is often freely added by a performer for performance.
- the basic composition phrase of the music for playing the music is referred to as a "basic module".
- the basic module is, for example, a scale or the like, and is a phrase that is a basic component of various musical pieces.
- a performer can play various songs with a wide variety of expressions. Assuming that the music is composed by combining these basic modules, the performance of the music can be explained by the basic modules. Also, the performance of the underlying module can be explained by skill and function.
- Skill is a technique in performance, and as described above, it is information that depends on phrases and the like that are the context of the performance.
- skills include how to move a finger when hitting a key and the habit of a performer. Performers can improve their skills by practicing correctly.
- the skill is calculated as a feature amount such as the speed of passing through a finger.
- the function is information that depends on an individual's physical ability (specs) such as finger muscle strength, tactile sensation, and hearing, and often does not depend on a phrase. Performers can improve their function through daily training. Further, the function is calculated as a feature amount such as the muscle strength of a finger, for example.
- FIG. 1 is a diagram showing a configuration for realizing proficiency support using physical information according to the present disclosure.
- FIG. 1 includes three configurations: a piano permanent application (app) (and a sensor system), a physical function measurement app (and a sensor system), and an app for mobile terminals (mobile app). These may be included in the information processing platform 1 described later.
- the piano permanent application is used to measure the performance and skill of the performer.
- the measurement using the piano permanent application is, for example, measured at the time of performance.
- the physical function measurement application is used to measure the physical function.
- the physical function is measured in advance, for example, except when playing.
- the mobile app is used to check the performance of the performance and the effective practice method (playing method, playing method) using the piano permanent application and the physical function measurement application.
- the mobile app supports the performer's daily practice, for example, checking the results of measured physical functions, comparing the results with others (for example, the performer's instructor or group), and recommending practice methods. And can be provided.
- the mobile application is an application that can be used by a performer, a performer's instructor, or the like, and may support not only the performer but also the performer's instructor. By connecting these apps via the cloud, for example, performance data, daily practice information, data analysis results, etc. can be transmitted and received with others. The details of each application will be described later.
- FIG. 2 is an explanatory diagram illustrating a configuration example of the information processing platform 1 according to the present embodiment.
- the information processing platform 1 includes a sensor device 10, a server 30, and a presenting device 70, which are communicably connected to each other via a network 90.
- the sensor device 10, the server 30, and the presentation device 70 may be connected to the network 90 via a base station (for example, a base station of a mobile phone, an access point of a wireless LAN, etc.) (not shown). That is, as the communication method used in the network 90, any method can be applied regardless of whether it is wired or wireless.
- a base station for example, a base station of a mobile phone, an access point of a wireless LAN, etc.
- the sensor device 10 is a sensor that can be attached to a part of the body of the instructor or the performer, an image pickup device that images the instructor or the performer, a pressure sensor provided in the piano played by the instructor or the performer, and the like. Alternatively, it may be a photo reflector sensor, a sound collecting device (microphone) that collects the sound of the piano, or the like.
- the number and type of the sensor device 10 are not particularly limited as long as they acquire sensing data. The details of the sensor device 10 will be described later.
- the server 30 is composed of, for example, a computer or the like.
- the server 30 is owned by, for example, a service provider who provides the service according to the present embodiment, and provides the service to each user or each third party.
- the server 30 collects, for example, sensing data relating to the performer or the instructor, analyzes the collected sensing data, and provides feedback to the instructor or the like. The details of the server 30 will be described later.
- the presentation device 70 is a device for providing feedback information and applications from the server 30 to the instructor and the like, and visualizes, arouses, and auralizes the feedback information during or after the instructor's performance. , Make it audible and notify.
- the presentation device 70 is a device such as a tablet, a smartphone, a laptop computer (Personal Computer), a notebook PC, or the like.
- the presentation device 70 may be a wearable device that can be worn on a part of the body of the person to be instructed.
- wearable devices include HMD (Head Mounted Display) type, ear device (headphone) type, anklet type, bracelet type, collar type, eyewear type, glove type, pad type, batch type, and clothing type.
- HMD Head Mounted Display
- ear device headphone
- anklet bracelet
- collar eyewear
- glove glove
- pad pad
- batch type and clothing type.
- various types of wearable devices such as the above can be adopted. The details of the presentation device 70 will be described later.
- the information processing platform 1 according to the present embodiment is shown to include one sensor device 10 and a presentation device 70, but the present embodiment is limited to this. is not it.
- the information processing platform 1 according to the present embodiment may include a plurality of sensor devices 10 and a presentation device 70.
- the information processing platform 1 according to the embodiment may include, for example, another communication device such as a relay device for transmitting sensing data from the sensor device 10 to the server 30.
- FIG. 3 is a block diagram showing the configuration of the sensor device 10 according to the present embodiment.
- the sensor device 10 mainly includes a sensor unit 100, a main control unit 140, and a communication unit 160. The details of each functional unit of the sensor device 10 will be described below.
- the sensor unit 100 By attaching the sensor unit 100 to the body of the user (instructor or performer), for example, it is possible to acquire sensing data indicating the state of each motion element performed by each part of the user's body during performance. ..
- the sensor unit 100 is realized by one or a plurality of sensor devices such as an acceleration sensor, an angular velocity sensor, a gyro sensor, a geomagnetic sensor, a position sensor, a vibration sensor, and a bending sensor.
- the sensor device as described above detects changes in acceleration, angular velocity, etc. given by the motion element, and generates a plurality of sensing data indicating the detected changes.
- the plurality of sensing data obtained by the sensor unit 100 are output to the main control unit 140, which will be described later.
- the sensor unit 100 may have a built-in clock mechanism (not shown) for grasping an accurate time, and may associate the sensing data with the time when the sensing data is acquired.
- the bending sensor is, for example, a sensor using an element whose resistance value changes non-linearly according to the bending amount when bent. For example, by attaching it to a user's joint, the bending angle of the joint can be adjusted. Can be detected.
- the posture (tilt) of the finger or arm in the space, the moving speed, and the joint It is possible to quantitatively detect the bending angle and the like.
- the sensor unit 100 may be an imaging device that images the instructor or the performer.
- an imaging device can image a user to obtain video data as an example of the result produced by viewing performance.
- the position or movement of the user's joint or the like can be quantitatively detected.
- the movement of the user's eyeball, the size of the pupil, and the like may be detected by the imaging device.
- the sensor unit 100 uses nuclear magnetic resonance to detect the state in the oral cavity or trachea of the instructor or the performer, the movement of the lips or the tongue, and the like. It may be. Specifically, the above-mentioned state and movement can be detected by the instructor or the like performing a performance in a magnetic resonance imaging (MRI).
- MRI magnetic resonance imaging
- the embodiment of the present disclosure is applied to the playing method of various wind instruments (flute, oboe, clarinet, trumpet, etc.), the movements of the lips and tongue, which are difficult to detect by other methods, can be detected.
- MRI will be useful.
- the sensor unit 100 may be a position sensor that detects the vertical movement of the piano keyboard due to the movement element of the instructor or the performer. For example, by installing a position sensor under each keyboard, it is possible to detect the vertical movement of each keyboard and detect the movement of the fingers that move each keyboard up and down.
- the sensor unit 100 is a photoreflector sensor including a pressure sensor that detects the pressure applied to the piano keyboard by the motion element of the instructor or the performer, and a light receiving / receiving sensor that detects the vertical movement of the keyboard by reflecting light. It may be.
- the sensor unit 100 may be a sound collecting device that senses the sound of the piano played by the instructor or the performer, which is an example of the result produced by the listening performance.
- the sensor unit 100 may be a microphone provided in the vicinity of the piano. In that case, the voice of the instructor or performer or the voice of the instructor who guides the instructor is picked up, and what kind of practice the instructor is practicing by voice recognition, or You may estimate what kind of advice the leader is giving.
- the information obtained by voice recognition in this way may be stored in the server 30 described later as a study log.
- the sensor unit 100 detects the sound when the piano is pressed with various forces by a robot or the like via the microphone.
- the server 30, which will be described later, generates information on the relationship between the parameters and the sound by associating the parameters (force and the like) related to keystrokes with the sound data collected by using machine learning and the like. Then, by using the related information, parameters related to keystrokes of the instructor or the like are newly based on the state of the sound (for example, sound, timbre, volume, etc.) picked up from the performance of the instructor or the like with the microphone. Can be obtained.
- the sensor unit 100 includes a biometric information sensor such as a myoelectric sensor, a heart rate sensor, a pulse sensor, a blood flow sensor, a respiratory sensor, a brain wave sensor, a skin temperature sensor, and a skin conductivity sensor.
- a biometric information sensor such as a myoelectric sensor, a heart rate sensor, a pulse sensor, a blood flow sensor, a respiratory sensor, a brain wave sensor, a skin temperature sensor, and a skin conductivity sensor.
- the myoelectric sensor is a sensor that detects a weak electric field generated from muscle fibers constituting a muscle.
- an electromyographic sensor is a myoelectric potential generated by an electric signal generated in a muscle fiber when a muscle such as an arm contracts by a plurality of electrodes attached to the arm or the like of the performer or the instructor and propagated to the body surface. By measuring, the amount of muscle activity of the muscle can be quantitatively detected.
- the heartbeat sensor is a sensor that detects the heartbeat, which is the beat in the heart
- the pulse sensor is a change in pressure on the inner wall of the artery due to blood being sent to the whole body through the artery by the beat (heartbeat) in the heart. It is a sensor that detects the pulse, which is the pulsation of an artery that occurs and appears on the surface of the body.
- a blood flow sensor is a sensor that radiates infrared rays to the body and detects the blood flow rate by reflecting the infrared light.
- the respiratory sensor can be a respiratory flow meter that detects changes in respiratory volume.
- the electroencephalogram sensor is a sensor that detects electroencephalograms by attaching a plurality of electrodes to the scalp and extracting periodic waves by removing noise from fluctuations in the measured potential difference between the electrodes.
- the skin temperature sensor is a sensor that detects the body temperature of the performer or the instructor
- the skin conductivity sensor is a sensor that detects the skin electrical resistance of the performer or the instructor.
- the sensor unit 100 may include a position information sensor such as a GPS (Global Positioning System) receiver that acquires the position information of the instructor or the performer.
- the sensor unit 100 may include various other sensors such as a barometric pressure sensor, a temperature sensor, and a humidity sensor in order to acquire environmental information indicating the state of the environment in which the instructor or the performer plays.
- the sensor unit 100 may include various motion capture sensors, a three-dimensional distance measuring sensor, and the like.
- the angle of a predetermined joint can be measured by detecting a predetermined landmark position of the human body using a three-dimensional distance measuring sensor. This makes it possible to detect poor posture such as shoulders rising or neck protruding from the model posture.
- the main control unit 140 is provided in the sensor device 10 and can control each block of the sensor device 10.
- the main control unit 140 is realized by hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), for example. Further, the main control unit 140 can also function as a data acquisition unit 142, a processing unit 144, and an output control unit 152. The details of these functions of the main control unit 140 according to the present embodiment will be described below.
- the data acquisition unit 142 controls the sensor unit 100 to acquire the sensing data output from the sensor unit 100, and outputs the acquired sensing data to the processing unit 144 described later. Further, the data acquisition unit 142 may incorporate a clock mechanism (not shown) for grasping an accurate time, and may link the sensing data with the time when the sensing data is acquired and output the sensing data to the processing unit 144.
- a clock mechanism not shown
- the processing unit 144 converts the sensing data output from the data acquisition unit 142 described above into a predetermined format that can be transmitted via the network 90 (for example, converts the sensing data that is an analog signal into a digital signal).
- the data is output to the output control unit 152, which will be described later.
- the output control unit 152 controls the communication unit 160, which will be described later, to transmit the sensing data of a predetermined format output from the processing unit 144 described above to the server 30.
- the communication unit 160 is provided in the sensor device 10 and can transmit and receive information to and from an external device such as a server 30.
- the communication unit 160 can be said to be a communication interface having a function of transmitting and receiving data.
- the communication unit 160 is realized by a communication device such as a communication antenna, a transmission / reception circuit, and a port.
- the sensor device 10 may be a wearable device of various types such as an HMD type, an ear device type, an anklet type, a bracelet type, a collar type, an eyewear type, a pad type, a batch type, a belt type, and a clothing type. Good. Specifically, these wearable devices can be provided on the fingers, arms, legs, torso, head, toes, etc. of the instructor or performer in order to acquire various sensing data. .. Further, the sensor device 10 may be a device installed around the instructor or the performer, such as an image pickup device and a sound collecting device.
- FIG. 4 is a block diagram showing a configuration of the server 30 according to the present embodiment.
- 5 and 6 are explanatory views for explaining the subjective evaluation information according to the present embodiment.
- 7 and 9 are explanatory views for explaining the learning unit 346 according to the present embodiment.
- FIG. 8 is an explanatory diagram for explaining the calculation unit 347 according to the present embodiment.
- FIG. 10 is an explanatory diagram for explaining the comparison unit 350 according to the present embodiment.
- the server 30 is composed of, for example, a computer or the like. As shown in FIG. 4, the server 30 mainly includes an input unit (acquisition unit) 300, an output unit 310, a main control unit 340, a communication unit 360, and a storage unit 370. The details of each functional unit of the server 30 will be described below.
- the input unit 300 receives input of data and commands to the server 30. More specifically, the input unit 300 is realized by a touch panel, a keyboard, or the like, and can receive input of attribute information of the instructor or the performer.
- the output unit 310 is composed of, for example, a display, a speaker, a video output terminal, an audio output terminal, and the like, and outputs various information by an image, an audio, or the like.
- the main control unit 340 is provided in the server 30 and can control each block of the server 30.
- the main control unit 340 is realized by hardware such as a CPU, ROM, and RAM, for example. Further, the main control unit 340 can also function as a data acquisition unit (acquisition unit) 342, a processing unit 344, and an output control unit (presentation unit) 354. The details of these functions of the main control unit 340 according to the present embodiment will be described below.
- the data acquisition unit 342 acquires and acquires the subjective evaluation information of the instructor (second user) for each performance of the past performer (first user) transmitted from the presentation device 70 described later.
- the subjective evaluation information is output to the processing unit 344 described later.
- the data acquisition unit 342 acquires the sensing data transmitted from the sensor device 10 described above, stores the acquired sensing data in the DB 372 described later in the storage unit 370, and outputs the acquired sensing data to the processing unit 344 described later.
- the data acquisition unit 342 relates to the subjective evaluation information, the sound data of the performance associated with the subjective evaluation information, each movement element of the performer obtained during the performance, the performance state, and the like. Acquire sensing data.
- the data acquisition unit 342 acquires subjective evaluation information for the sound data obtained from the sound collecting device that senses the sound generated by the performance.
- the data acquisition unit 342 may acquire subjective evaluation information for the video data obtained from the image pickup device that images the actor, for example, in a performance to watch a play or the like.
- the subjective evaluation information is the subjective evaluation of the user, and means, for example, an evaluation that differs depending on the person, such as hard or high.
- it may be emotional information felt by the user, for example, like, passionate, or calm.
- the instructor is made to input subjective evaluation information in advance for, for example, a favorite performance or a past performance (sound data) of a performer who wants to be a target.
- the instructor may be made to specify the combination of the degrees of the predetermined subjective evaluation index as the value of the subjective evaluation information via the presenting device 70.
- the instructor is asked to input a subjective evaluation of past performances such as "impossible”, “smiley”, and “poor”.
- the instructor was asked which of "like and dislike”, “fun and sad", and “anger and fear”. Have them enter three index values that indicate the degree of closeness to.
- the coordinate value in the mapping space of the subjective evaluation of the predetermined subjectivity may be specified in advance by the instructor via the presentation device 70.
- the x-axis is a value determined by the ratio of "pleasant and unpleasant”
- the y-axis is a value determined by the ratio of "moving and static” for the instructor.
- "Noisy”, "light”, “grace”, “gloomy”, etc. are mapped in advance on a plane as predetermined subjects.
- the instructor designates a predetermined subjectivity such as "noisy”, "light”, “grace”, and “gloomy” for the past performance
- the designated predetermined subjectivity evaluation information for the past performance is specified.
- the subjective, coordinate values on the xy plane can be used.
- the value of the subjective evaluation information as described above for the past performance is specified.
- the performer (first user) of the past performance may be a performer other than the instructor, or the instructor himself.
- the instructor may specify subjective evaluation information for the performance of another performer who wants to aim, or may specify subjective evaluation information for his / her own performance in the past that he / she was able to perform as he / she envisioned. ..
- the data acquisition unit 342 may acquire sensing data obtained from a biometric information sensor attached to the instructor as sensitivity information which is an example of subjective evaluation information.
- the biometric information sensor is a sensor that senses the instructor's heartbeat, pulse, brain wave, respiration, sweating, myoelectric potential, skin temperature, skin electrical resistance, eye movement, pupil diameter, and the like.
- the processing unit 344 which will be described later, may determine the sensitivity information from the sensing data, for example, determining the feeling of excitement based on the increase in pulse rate and sweating.
- the processing unit 344 machine-learns the relationship between the past performance and the subjective evaluation information of the instructor (second user) in advance, and obtains the relationship information between each past performance and each subjective evaluation information of the instructor. It is generated, and the performance and the related information are stored in the DB 372. Then, the processing unit 344 selects a performance corresponding to the subjective evaluation information newly designated by the instructor based on the related information, compares the selected performance with the instructor's performance, and provides feedback information. Is generated, and the generated feedback information is presented to the instructor.
- the processing unit 344 functions as a learning unit 346, a calculation unit 347, and a presentation unit (selection unit 348, comparison unit 350, recommendation unit 352) in order to realize these functions described above.
- selection unit 348 selection unit 348, comparison unit 350, recommendation unit 352
- presentation unit selection unit 348, comparison unit 350, recommendation unit 352
- the learning unit 346 machine-learns the relationship between the performance of the past performer (first user) and the subjective evaluation information of the instructor (second user) in advance, and performs each past performance and the instructor's performance. Generate relationship information with each subjective evaluation information. Specifically, as shown in FIG. 7, the processing unit 344 inputs the performance data 501 and the subjective evaluation information 503, which are sound data obtained by sensing the sound generated by the performance, into the learning unit 346 of the processing unit 344. Then, the learning unit 346 is made to perform machine learning. Specifically, for example, it is assumed that the processing unit 344 is provided with a supervised learning unit (learner) 346 such as a support vector regression or a deep neural network.
- a supervised learning unit (learner) 346 such as a support vector regression or a deep neural network.
- the sound data 501 acquired from the sensor device 10 and the subjective evaluation information 503 are input to the learning unit 346 as an input signal and a teacher signal (label), respectively, and the learning unit 346 has a relationship between these information according to a predetermined rule. Do machine learning about.
- the input input signal and the teacher signal do not have a one-to-one relationship as shown in FIG. 7, but a plurality of input signals (performance data 501) and one teacher signal (subjective evaluation information 503) are present. It may be input in association with each other, or a plurality of input signals and a plurality of teacher signals may be input in association with each other. Further, the subjective evaluation information 503, which is a teacher signal, may be input by being divided into clusters in advance. That is, in the present embodiment, a plurality of performance groups having similar tendencies may be treated as data groups of the same cluster. Such clustering may be used when the selection unit 348 described later selects, or may be used when classifying the performance of the instructor.
- the learning unit 346 may acquire information on the relationship between the feature amount of each performance data 501 and the subjective evaluation information 503 by performing multivariate analysis such as multiple regression analysis.
- the feature amount of the performance data 501 can be obtained, for example, by calculating the degree of similarity between the change patterns of the phrases included in the performance data 501 having the same label.
- the learning unit 346 extracts the characteristic amount characteristic of each subjective evaluation information by performing multivariate analysis such as multiple regression analysis on the relationship between the feature amount obtained in this way and the subjective evaluation information. To do. As a result, the learning unit 346 can machine-learn the relationship information, which is the relationship between the subjective evaluation information 503 and the feature amount. Then, the database (DB) 372 is constructed by storing the relational information and the like obtained by the learning unit 346 in the storage unit 370 in the storage unit 370.
- DB database
- the learning unit 346 can classify the performance data 501 of the performer newly acquired from the sensor device 10 based on the relational information obtained by the machine learning. Specifically, the learning unit 346 extracts the feature amount corresponding to each subjective evaluation information 503 from the performer's performance data 501 newly acquired from the sensor device 10, and obtains the extracted feature amount and machine learning. Based on the DB 372, the acquired performance data 501 can be labeled with the subjective evaluation information 503.
- the selection unit 348 selects the past performance corresponding to the subjective evaluation information newly designated by the instructor as the above model based on the related information. For example, the processing unit 344 causes the instructor to specify the subjective evaluation information via the presentation device 70. In that case, the selection unit 348 selects the performance data 501 corresponding to the designated subjective evaluation information from the DB 372, and senses the moving elements and the performance state during the performance corresponding to the selected performance data 501. Get the data.
- the selection unit 348 When there are a plurality of the corresponding performance data 501, the selection unit 348 presents the plurality of the corresponding performance data 501 to the instructor via the presentation device 70 in a list format or the like, and one of them is presented. Alternatively, a plurality of them may be selected by the instructor. The selection unit 348 outputs the performance sensing data of the selected performance data 501 to the calculation unit 347 or the learning unit 346.
- the selection unit 348 is newly added from the instructor according to the attribute information (gender, age, height, weight, physique, muscular strength, flexibility, agility, etc.) of the instructor.
- the past performance corresponding to the specified subjective evaluation information may be selected. By making such a selection, it is possible to provide tailor-made feedback according to the attributes of the instructor and the like.
- the calculation unit 347 processes each sensing data output from the above-mentioned data acquisition unit 342, and calculates the feature amount from the sensing data.
- the calculated feature amount will be used when generating feedback information to be fed back to the instructor.
- the calculation unit 347 is selected by applying a predetermined algorithm based on the sensing data transmitted from the selection unit 348 or the sensor device 10. Calculate the features related to the moving elements of the performance and the playing state. More specifically, the calculation unit 347 performs multivariate analysis such as multiple regression analysis on a plurality of sensing data related to one or more selected performances to obtain a feature amount that characterizes the selected performance. Extract.
- the sensing data representing the performance state includes the performance speed, the accuracy of the performance, the volume of the sound generated by the performance, the reverberation of the sound, the tone color, the volume difference and time difference between each sound in the chord, and the maximum value of each sound parameter. It is sensing data that includes information such as the difference between the minimum value and the minimum value, and the granularity of each sound parameter. For example, sensing data related to such a playing state can be acquired by collecting sounds with a microphone provided in the vicinity of the performer.
- the learning unit 346 has the subjective evaluation information 502 that is the same as or similar to the subjective evaluation information newly designated by the instructor.
- Information on the relationship between the sensing data 500 and the corresponding subjective evaluation information 502 may be acquired by performing multivariate analysis.
- the feature amount of the selected performance may be acquired based on the acquired information on the relationship.
- the database (DB) 372 may be constructed by storing the acquired relationship information in the storage unit 370.
- the feature amount can be obtained by calculating the degree of similarity between the change patterns of the sensing data 500 of each movement element in each selected performance. Further, for example, it can be obtained by normalizing and extracting the change pattern in the three-dimensional space of the sensing data 500 of each motion element in each selected performance with a predetermined norm and calculating the similarity between them. Can be done.
- the comparison unit 350 selects a performance feature amount 504 (first feature amount) as a model of the instructor from the DB 372 as a role model, and corresponds to the feature amount 504. ,
- the feature amount (second feature amount) of the sensing data in the performance of the instructor is compared.
- the comparison unit 350 compares the sensing data related to the performance of the instructor, which is the same as the sensing data corresponding to the feature amount 504, with the sensing data corresponding to the feature amount 504.
- the comparison unit 350 may, for example, calculate the difference (deviation) between the role model and the calculated feature amount 504, or calculate the consistency between them.
- the comparison unit 350 may extract information on motor elements (body location, movement amount, etc.) necessary for making the calculated difference zero. Then, the comparison unit 350 generates feedback information 506 for feeding back to the instructor using the above comparison result, and outputs the generated feedback information 506 to the output control unit 354.
- the comparison unit 350 may extract the difference in the performance data 501 itself instead of the difference in the feature amount between the performance corresponding to the role model and the performance of the instructor. Further, the feedback information may be the feature amount or the difference of the performance data itself, or may be generated based on the difference. Alternatively, the comparison unit 350 may output the performance sensing data 500 corresponding to both of the feature quantities 504 compared to each other as the feedback information 506 to the output control unit 354 so as to be superimposed and displayed.
- the comparison unit 350 calculates the difference from the corresponding feature quantity of the instructor, and the representative feature quantity 504 having a large difference is selected by the instructor. It may be selected as a role model to be compared because the performance of is a feature that needs to be modified in order to approach the selected performance. Alternatively, the comparison unit 350 is said to have a greater effect if the feature amount 504, which is most relevant to the desired subjective evaluation, is improved based on the DB 372 so that the performance of the instructor approaches the selected performance. It may be selected as a roll model to be compared with the feature amount 504.
- the recommendation unit 352 can identify the cause corresponding to the difference and include it in the feedback information 506 by referring to the correspondence between the difference stored in the DB 372 and the cause of the difference in advance. Specifically, the processing unit 344 stores in the DB 372 in advance for each difference extracted by the comparison unit 350, associating the cause of the difference. For example, the difference indicating the phenomenon of "shoulder rising" is associated with "unnecessary keyboard pressing" as a cause and stored in the DB 372. The recommendation unit 352 identifies the cause corresponding to the difference extracted by the comparison unit 350 with reference to the DB 372, and includes the cause in the feedback information 506.
- the processing unit 344 may acquire the above-mentioned difference and the cause from another information processing device by input via the input unit 300 or via the communication unit 360.
- the processing unit 344 may acquire the correspondence between the difference and the cause by machine learning using external big data in which the knowledge about the phenomenon and the cause thereof is accumulated.
- the processing unit 344 may acquire information on the relationship between the feature amount of the difference and the cause by multivariate analysis.
- the processing unit 344 extracts the feature amount characteristic of each cause by performing multivariate analysis of the relationship between the obtained feature amount and the cause.
- the processing unit 344 can machine-learn the relationship information, which is the relationship between the difference and the cause.
- the DB 372 is constructed by storing the relational information and the like obtained by the processing unit 344 in the storage unit 370 in the storage unit 370.
- the recommendation unit 352 may present a solution for solving the cause.
- the recommendation unit 352 refers to the correspondence between the cause and the solution stored in the DB 372 in advance, and includes the solution corresponding to the identified cause in the feedback information 506.
- the processing unit 344 stores each cause and a solution in the DB 372 in advance in association with each other.
- a solution such as "muscle training” is associated with the cause of "bad posture during performance” and stored in DB 372.
- the recommendation unit 352 refers to the DB 372 and includes a solution corresponding to the identified cause in the feedback information 506.
- the processing unit 344 associates the cause with the solution by inputting through the input unit 300 or via the communication unit 360, and other information accumulating knowledge about the cause and the solution. It may be obtained from the processing device.
- the recommendation unit 352 exceeds a predetermined range such as the top N% among a plurality of instructors connected to the information processing platform 1, for example, in ascending order of difference from the model performance.
- the solution may be presented to the instructor.
- the recommendation unit 352 may switch the content and presentation method of the feedback information 506 to be presented to the instructor depending on whether or not the instructor is playing. For example, when the sensor device 10 detects that the instructor is in front of the musical instrument, the recommendation unit 352 presents a solution that can be practiced using the musical instrument, or recommends taking a break. You may. On the other hand, when it is determined that the instructor is not playing, for example, when the sensor device 10 detects that the instructor is not in front of the musical instrument, the recommendation unit 352 performs, for example, immediately before. Feedback information 506 that can review the practice content of the playing method that has been performed may be presented (see FIG. 17 described later).
- the output control unit 354 controls the communication unit 360, which will be described later, to transmit the feedback information 506 output from the processing unit 344 to the presentation device 70. That is, the output control unit 354 can control the feedback in the presentation device 70. For example, the output control unit 354 controls the display unit 714 of the presentation device 70 to display a predetermined image, as will be described later. Alternatively, the output control unit 354 controls the force sense mechanism 710, which is a wearable device attached to the body of the instructor, to cause the instructor to perform a predetermined tactile stimulus. Alternatively, the output control unit 354 controls the voice output unit 716 to output a predetermined sound.
- the output control unit 354 presents feedback information by displaying an animation of changes over time in information such as momentum, motion speed, motion acceleration, and motion accuracy in the performance of the instructor (see the figure to be described later). 16).
- the instructor can intuitively recognize a plurality of items.
- the output control unit 354 performs effect processing on the animation display according to the difference extracted by the comparison unit 350.
- the output control unit 354 changes the shading process for the animation display, changes the state of the wireframe display in the animation display, changes the color, brightness, and transparency of the animation display as the effect processing. It may be (see FIGS. 18 and 19 described later).
- the instructor can intuitively recognize the difference by performing the effect processing on such a display.
- the output control unit 354 is not limited to transmitting all of the feedback information 506 output from the processing unit 344 to the presenting device 70.
- the output control unit 354 may select the feedback information 506 based on the attribute information of the instructor or the like, and transmit the selected feedback information 506 to the presenting device 70.
- the output control unit 354 can avoid confusion of the instructor by limiting the amount of information to be fed back according to the attributes of the instructor and the like.
- the output control unit 354 may select the feedback information 506 to be transmitted to the presentation device 70 based on the preset setting.
- output control is taken as an example in which the instructor tries to improve both the problems of "performance speed” and "keystroke strength" by using the information processing platform 1 according to the present embodiment. It will be described that the part 354 selects the feedback information 506 based on the preset setting. In such a case, when both the feedback information 506 for improving (improving) the "playing speed” and the feedback information 506 for improving (improving) the "keystroke strength" are fed back, the instructor is instructed. It can be confusing.
- the instructor or the instructor sets in advance whether the feedback information 506 of the playing speed and the strength of the keystroke should be preferentially fed back. Then, the output control unit 354 controls the presentation device 70 so as to preferentially feed back any of the feedback information 506 based on the above settings. By doing so, it is possible to avoid confusion of the instructor. Further, the present embodiment is not limited to feeding back any one of the feedback information 506, and for example, a plurality of feedback information 506 may be fed back sequentially with a time lag. In such a case, the order of feedback, the time difference, and the like may be set in advance so that the feedback is preferably given to the instructor.
- the output control unit 354 uses the algorithm obtained by the learning by the learning unit 346 described above, instead of selecting based on the attribute information and the preset settings.
- Feedback information 506 to be transmitted to the presenting device 70 may be selected.
- the content of the feedback information 506 fed back to the instructor, the amount of the information, and the information on the improvement of the performance of the instructor are input to the learning unit 346.
- the learning unit 346 in which these information is input learns in advance the feedback information 506 and the relational information indicating the relationship between the amount of the information and the improvement effect.
- the output control unit 354 uses the above-mentioned relational information obtained by the learning unit 346 to provide feedback information 506 presumed to have a higher improvement effect and feedback information 506 to be transmitted to the presenting device 70 based on the amount of information. select.
- the feedback information 506 that is fed back in this way, it is possible to more effectively acquire and improve the performance of the instructor.
- not only the content and amount of feedback information 506, but also the timing of feedback and the form of feedback (display, voice, force sense, etc.) at the time of feedback are learned by the learning unit 346. It may be selected based on the obtained information.
- the output control unit 354 may select a feedback form (display, voice, force sense, etc.) based on the feedback information 506, the attribute information of the instructor, and the like, and the information on the selected feedback form. May be transmitted to the presentation device 70.
- a feedback form display, voice, force sense, etc.
- the output control unit 354 uses the movement of the expert as a model of the instructor as feedback information of the instructor.
- the form of feedback by the force sense mechanism 710 see FIG. 11
- the output control unit 354 selects the form of feedback by the display unit 714 (see FIG. 11) that visually transmits the difference in operation between the instructor and the expert as feedback information.
- the instructor or the like may set in advance which form of feedback the output control unit 354 gives feedback according to his or her own preference.
- the communication unit 360 is provided in the server 30 and can transmit and receive information to and from an external device such as the sensor device 10 and the presentation device 70.
- the communication unit 360 is realized by a communication device such as a communication antenna, a transmission / reception circuit, and a port.
- the storage unit 370 is provided in the server 30, and stores programs, information, and the like for the main control unit 340 described above to execute various processes, and information obtained by the processes.
- the storage unit 370 is realized by, for example, a magnetic recording medium such as a hard disk (Hard Disk: HD), a non-volatile memory (nonvolatile memory) such as a flash memory (flash memory), or the like.
- the storage unit 370 can store the above-mentioned DB 372.
- FIG. 11 is a block diagram showing the configuration of the presentation device 70 according to the present embodiment.
- the presentation device 70 can be a device such as a smartphone, a tablet, a laptop PC, a notebook PC, or a wearable device. Further, as shown in FIG. 11, the presentation device 70 includes a force sense mechanism 710, a display unit 714, a voice output unit (voice output device) 716, a main control unit 740, a communication unit 760, and a storage unit 770. Mainly has. The details of each functional unit of the presentation device 70 will be described below.
- the force sense mechanism 710 is a device that transmits a force sense such as applying a force to a part (joint or the like) of the body of the instructor based on the feedback information 506 transmitted from the server 30.
- the force sense mechanism 710 is a glove-type wearable device (wearable device) worn on the hand of the instructor.
- the glove-type wearable device 712 is called a finger exoskeleton robot, and applies a force to the fingers and joints of the instructor by operating a plurality of exoskeleton members (not shown) by an actuator.
- the instructor is made aware of how much the force in the extension / flexion direction of the joint is excessive or insufficient.
- the performance of the instructor can be guided to approach the performance of the expert.
- the above-mentioned sensor device 10 may be attached to the force sense mechanism 710, and in this case, the force sense mechanism 710 acquires a target value by the sensor device 10.
- Forces or stimuli may be applied to a part of the subject's body.
- the wearable device may be an arm cover type wearable device worn on the arm of the instructor.
- the force sensation mechanism 710 may be, for example, a vibrating device that vibrates a part of the body of the instructor or a stimulating device that utilizes electric muscle stimulation that stimulates muscles. That is, in the present embodiment, the force sense mechanism 710 can sensibly feed back (biofeedback) the feedback information 506 to the instructor by giving a tactile stimulus to a part of the instructor's body. Anything is fine.
- the force sense mechanism 710 can also be used when the instructor performs image training.
- the feedback information 506 when the movement of a skilled person who serves as a model for the instructor is fed back by the force sense mechanism 710, the instructor can perform image training even without a piano or the like. it can.
- the performance data 501 corresponding to the feedback information 506 may be output to the instructor by the voice output unit 716 described later.
- the feedback by the force sense mechanism 710 may be reproduced in slow motion, and the performance sound output by the voice output unit 716 may be output in slow motion to further enhance the effect of the image training of the instructor.
- the display unit 714 is a device for displaying the feedback information 506 to a user such as the instructor, and outputs the feedback information 506 to the instructor, for example, by an image or light.
- the display unit 714 is realized by a display (image display device), a light emitting element (not shown), and the like. Further, the display unit 714 may be realized by a video output terminal or the like.
- the display unit 714 may display, for example, the difference between the feature amount 504 between the role model and the instructor, which is included in the feedback information 506, in different colors according to the magnitude of the difference. it can. Further, in the display unit 714, when the difference is minute or the time when the difference is generated is a minute time, it becomes difficult for the instructor to perceive the difference. Therefore, the difference Information may be virtually enlarged and displayed. Specifically, the display unit 714 may visualize the difference by multiplying it by a predetermined scalar (enlargement in the spatial direction) or post it in slow motion (enlargement in the time direction). Further, the display unit 714 may display the difference between the past feature amount 504 and the current feature amount of the played person as described above to indicate the degree of acquisition of the played person.
- the display unit 714 may be a projection device capable of superimposing and displaying an object based on the feedback information 506 as augmented reality (AR) in the real space.
- a projection device can be, for example, a smart glass type wearable device (not shown) worn in front of the subject's eyes.
- the smart glass type wearable device is provided with a transmissive display, and the transmissive display is covered with a virtual image optical system including a transparent light guide portion or the like by using, for example, a half mirror or a transparent light guide plate. Hold it in front of the instructor and display the above object inside the virtual image optical system.
- the projection device may be an HMD worn on the head of the person to be instructed.
- the voice output unit 716 is a device for outputting feedback information 506 to a user such as the instructor by voice (alarm or the like).
- a headphone speaker 716 worn on the instructor's ear or an instructor's ear.
- a speaker provided in the vicinity (not shown) may be used.
- the audio output unit 716 may be realized by an audio output terminal or the like.
- the voice output unit 716 provides feedback by outputting a specific sound to the instructor during performance when a difference between the role model and the feature amount 504 between the instructor and the instructor occurs.
- the means corresponding to any of the above-mentioned force sense mechanism 710, display unit 714, and audio output unit 716, which corresponds to the preferred sensory modality, is selected according to the feedback information 506 and the like. Give feedback to leaders. Further, the present embodiment may be fed back by the force sense mechanism 710, the display unit 714, and the audio output unit 716 at the same time, and is not particularly limited. By doing so, the instructor can experience the "knack" for learning, which is difficult for the instructor to imagine.
- the main control unit 740 is provided in the presentation device 70 and can control each block of the presentation device 70.
- the main control unit 740 is realized by hardware such as a CPU, ROM, and RAM, for example.
- the communication unit 760 can send and receive information to and from an external device such as a server 30.
- the communication unit 760 is realized by a communication device such as a communication antenna, a transmission / reception circuit, and a port.
- the storage unit 770 is provided in the presentation device 70, and stores a program or the like for the main control unit 740 described above to execute various processes, and information obtained by the processes.
- the storage unit 770 is realized by, for example, a magnetic recording medium such as HD, a non-volatile memory such as a flash memory, or the like.
- the presentation device 70 may have an input unit (not shown).
- the input unit has a function of accepting input of data and commands to the presentation device 70. More specifically, the input unit is realized by a touch panel, a button, a switch, a key, a keyboard, a microphone, an image sensor, or the like.
- the function of the sensor unit 100 of the sensor device 10 and the force sense mechanism 710 of the presentation device 70 may be integrated into one wearable device.
- FIG. 13 is a sequence diagram illustrating an example of the information processing method according to the present embodiment. As shown in FIG. 12, the information processing method according to the present embodiment includes a plurality of steps from step S100 to step S600. The details of each step included in the information processing method according to the present embodiment will be described below.
- the presentation device 70 acquires subjective evaluation information such as passion and calmness for the performance of the past performer (first user) before the performance of the instructor. Further, the presentation device 70 transmits the acquired subjective evaluation information to the server 30 (step S100).
- the server 30 acquires the subjective evaluation information 503 from the presentation device 70.
- the server 30 selects a performance corresponding to the subjective evaluation information 503 desired by the instructor as a model by applying a predetermined algorithm based on the subjective evaluation information 503 (step S200). The details of step S200 will be described later.
- the sensor device 10 is preliminarily attached to a part of the body of the instructor or installed around the instructor before the instructor plays. Then, when the instructor starts playing, the sensor unit 100 of the sensor device 10 senses changes in acceleration, angular velocity, and the like of each motion element that occur with the movement of the instructor during the performance, and a plurality of sensings are performed. Get the data. Further, the sensor device 10 transmits the acquired sensing data to the server 30 (step S300).
- the sensing data acquired here is preferably acquired in the performance corresponding to the performance selected in step S200 described above. For example, the instructor plays the same performance song as the performance selected in step S200. It is preferable that the data is the sensing data when the performance is performed.
- the server 30 acquires the sensing data 500 corresponding to the performance selected in step S200 described above, and calculates the feature amount 504 of the selected performance by applying a predetermined algorithm based on the sensing data 500. (Step S400).
- the server 30 compares the feature amount 504 obtained in the above-mentioned step S400 with the feature amount of the sensing data obtained in the above-mentioned step S300 corresponding to the feature amount 504, extracts a difference, and obtains a comparison result. Based on this, feedback information 506 is generated. Then, the server 30 transmits the feedback information 506 to the presentation device 70 in order to give feedback to the instructor (step S500).
- the presentation device 70 gives feedback to the instructor based on the received feedback information 506 (step S600).
- step S200 in FIG. 13 is a flowchart in step S200 according to this embodiment.
- the step S200 according to the present embodiment includes a plurality of steps from step S201 to step S203 in detail. The details of each step included in step S200 according to the present embodiment will be described below.
- the server 30 acquires the subjective evaluation information of the instructor for each performance in the past. Further, the server 30 machine-learns the relationship between the past performance and the subjective evaluation information of the instructor in advance, and generates the relationship information between each past performance and each subjective evaluation information of the instructor (step S201). ).
- the server 30 acquires the subjective evaluation information that is the image of the performance that the instructor wants to learn on that day, which is newly designated by the instructor. Further, the server 30 selects the performance data 501 corresponding to the newly acquired subjective evaluation information based on the relationship information generated in step S201 described above, and uses it as a model for the instructor (step S203).
- an information processing device capable of effectively acquiring and supporting the performance related to the expression desired by the instructor (user). can do.
- Example 1 when the above-described embodiment of the present disclosure is applied to a piano skill acquisition support system will be described with reference to FIGS. 14 to 17. 14 to 17 are explanatory views for explaining an example of a display screen in the presentation device 70 of this embodiment.
- the skill acquisition support system can appropriately support the instructor to acquire a playing method according to the condition and demands of the instructor.
- the instructor first logs in to the skill acquisition support system using his / her own user ID.
- the instructor can operate the home screen for himself / herself displayed after the login process to switch to various menus such as "measurement” of his / her own condition, "evaluation” of the measurement result, and "practice diary”. It is possible.
- the "measurement" menu is further subdivided into menus such as function measurement, skill measurement, and body shape measurement.
- the function means a biological function such as movement, hearing, touch, sight, memory, and force.
- the skill means a playing technique such as fingering speed and independence of each finger.
- the instructor can start the measurement of the selected function by selecting one of the measurable function lists. After the measurement result is presented to the instructor, the instructor can select whether or not to save the measurement result in the DB 372 as a log.
- FIG. 14 illustrates the measurement result of the touch of each finger of the left and right hands of the instructor.
- the instructor switches to the selected hand by selecting the left hand or the right hand.
- the instructor is made to select a task song for measuring a specific skill such as a scale, an arpeggio, a chord, or a free song desired by the instructor.
- a measurement format such as sound or video for the selected song
- the sensor device 10 can start the measurement.
- the sensing data 500 of the measurement result is stored in the DB 372 as meta information in association with the user ID, date, selection operation history, and the like.
- the measurement of the instructor's body shape is started by a 3D scanner or the like.
- the "evaluation" menu of measurement results is subdivided into menus such as evaluation of function measurement results, evaluation of skill measurement results, and evaluation of body shape measurement results, corresponding to the above "measurement” menu. ..
- the measurement result saved as a log is displayed.
- the time-series change of the measurement result at each time point illustrated in FIG. 14 is displayed.
- FIG. 15 illustrates the time-series change of the touch of each finger shown in FIG.
- the radar chart represented by the representative value of each finger at each time point is deformed and displayed with respect to the indexes such as height, expression, and volume.
- the radar chart may be animated to show the time series changes of each indicator. It is also possible for the instructor to specify the date and time to switch to the display of the measurement results at each time point shown in FIG.
- the instructor is made to select the meta information (sensing data 500) to be evaluated.
- the skill acquisition support system sorts the meta information of DB372 by date, performer, song, etc. and displays it in a list, and lets the instructor select one of them.
- the instructor instructs the reproduction of the selected meta information, the performance data, each sensing data 500 such as the keyboard and finger movements, the feature amount of the sensing data 500, etc.
- the moving image displaying the above is played (see FIG. 42 described later).
- the instructor can select the sensing data 500 to be compared with the meta information to be evaluated as a model.
- the instructor can select the sensing data 500 of the performance of the performer who wants to be a model as a comparison target.
- the skill acquisition support system selects, for example, the sensing data 500 of the performance corresponding to the designated subjective evaluation information 503 by having the instructor specify the subjective evaluation information 503 of the present embodiment described above. It becomes possible to do.
- the skill acquisition support system can select the sensing data 500 of the performance of the designated performer by having the instructor designate the performer.
- the instructor can confirm the feedback information 506 of the comparison result. At that time, the instructor can select whether to display the sensing data 500 to be evaluated and the sensing data 500 to be compared as the feedback information 506 in an overlapping manner or to display the difference between the two (the difference between the two). See FIG. 43, which will be described later). In addition, the instructor can specify that the portion where the difference between the two is large is emphasized and displayed.
- the skill acquisition support system can also select the sensing data 500 of its own performance in the past as a comparison target. In that case, for example, it is possible to confirm the current proficiency level by comparing with one's own performance in the past.
- the skill acquisition support system may further display the cause corresponding to the difference as the feedback information 506 generated as a result of the comparison, or recommend a practice method as a solution to the cause.
- the skill acquisition support system displays the viewpoints of a plurality of tasks such as playing accurately and playing fast, and when the instructor performs an operation to select one of the viewpoints.
- the practice method corresponding to the viewpoint may be displayed.
- the skill acquisition support system displays a plurality of practice methods corresponding to each viewpoint, and when the instructor performs an operation of selecting one of the practice methods, a detailed explanation of the practice method is provided. You may view it or play a video demonstrating the practice.
- the practice content of the instructor is recorded in DB372.
- the instructor uploads the video of the practice and the performance data 501 to the server 30 on his / her own timeline.
- the practice time may be input manually, or may be automatically input from a timer of the system or the like.
- the instructor may separately record which category the practice content falls under. For example, “search for expression” to search for your ideal expression, “search for skill” to hone your playing skills, "improvement of function” to train physical functions such as fingering speed, or "secret score” of sheet music.
- search for expression to search for your ideal expression
- search for skill to hone your playing skills
- improvement of function to train physical functions such as fingering speed, or "secret score” of sheet music.
- FIG. 17 shows an example of screen display of the timeline of the instructor a.
- a friend of the instructor a and an instructor b can browse the timeline of the instructor, play the uploaded performance data, and write a comment. is there.
- the skill acquisition support system can support the instructor to acquire skills efficiently.
- the server 30 can also acquire the above-mentioned subjective evaluation information from the timeline illustrated in FIG. 17 without being explicitly specified by the instructor.
- the server 30 may acquire the subjective evaluation information by recognizing the wording on the timeline.
- the server 30 may acquire predetermined subjective evaluation information defined in advance according to the evaluation such as the number of "likes" input by a friend, an instructor, or the like on the timeline.
- FIG. 18 is a diagram showing an example of the page structure of the entire mobile application.
- FIG. 18A shows the login screen of the performer and the home screen after the login process.
- the instructor can operate his / her own home screen displayed after the login process to switch to various menus such as “physical function”, “performance”, and “practice diary”. ..
- FIG. 18B shows a confirmation screen of one's own physical function.
- a confirmation screen including finger strength, independence, flexibility, agility, etc. is displayed.
- a confirmation screen is displayed in which the sum of the scores of each function is evaluated so as to reach a maximum of 100 points.
- the information processing platform 1 may display a screen recommending a practice method in response to an operation (for example, clicking or tapping) on the item FF11 included in the screen of FIG. reference).
- Item FF11 is a point lesson, and here, it is assumed that a link is made to a screen that recommends a practice method.
- the improvement of finger strength and independence is displayed.
- FIG. 18C shows a list screen of primary information.
- the score of each item of the primary information is displayed in a chart.
- the information processing platform 1 may display a screen explaining detailed skills in response to an operation on the item FF12 (chart) included in the screen of FIG. 18C (see FIG. 20).
- Item FF12 is a chart showing the score of each item of performance, and here, it is assumed that the item FF12 is linked to the screen for explaining the detailed skill.
- the information processing platform 1 may display a screen recommending a practice method similar to the case where the item FF11 is operated (see FIG. 19). ). That is, item FF13 is a point lesson, and here, it is assumed that the item FF13 is linked to a screen that recommends a practice method.
- FIG. 18D shows a performance data management screen.
- imaging information in which the performance is displayed as thumbnails is displayed.
- the information processing platform 1 may display a screen that visualizes the playing state in response to an operation on the item FF14 (imaging information) included in the screen of FIG. 18D (see FIG. 21).
- Item FF14 is performance imaging information, and here, it is assumed that the item FF14 is linked to a screen that visualizes the performance state.
- FIG. 21 shows a case where a moving image in which the performance can be reproduced is attached, and the information processing platform 1 reproduces the moving image in response to an operation on the moving image.
- the information processing platform 1 may display a screen that visualizes the playing state in the same manner as when the item FF14 is operated (see FIG. 21). ).
- FIG. 18 (E) shows the screen of the practice diary.
- photographs, moving images, and the like during the performance are attached.
- the mobile app can support the performer's daily practice.
- the UI operations of various menus will be described below.
- the items FF11 to FF15 are not limited to the cases shown in FIG. 18, and may be any information displayed at any position as long as the information is displayed on the screen. The same applies to the item FF described later.
- FIG. 22 is a diagram showing an example of the measurement result of the physical function.
- the scores of each item such as the independence of the finger of the instructor, the strength of the finger, and the flexibility of the finger are displayed, and the total value of the scores of each item is used as the total score of the instructor. It is displayed (see FIG. 22 (A)).
- the score of each item may be converted into a normalized maximum of 100 points.
- the information processing platform 1 may display a time-series change confirmation screen in response to an operation on the item FF21 included in the screen of FIG. 22 (see FIG. 23).
- FIG. 23 shows the time-series changes in the performance score on a monthly basis.
- FIG. 24 is a diagram showing an example of a time-series change confirmation screen for each function item displayed in response to an operation of swiping the time-series change confirmation screen of FIG. 23 sideways.
- the result information for each skill is displayed (see FIG. 22 (B)).
- FIG. 22B by displaying the graph for each skill, it is possible to easily distinguish the result information for each skill.
- graphs are displayed for each skill of finger strength, independence, and flexibility.
- a score evaluated on a 100-point scale of finger strength, independence, and flexibility is displayed.
- the information processing platform 1 may display a screen showing a time-series change in response to an operation of swiping the screen of FIG. 22 sideways (see FIG. 25).
- the monthly time-series changes in the muscle strength of the fingers are displayed for each of the left and right hands.
- a score converted into a maximum of 100 points may be displayed for each item.
- the average score of all fingers may be used to calculate the score.
- the information processing platform 1 may calculate the score with the average score of a professional musician as 100 points.
- the information processing platform 1 calculates the average score by averaging the scores of all fingers in each item such as finger strength, independence, agility, and flexibility. Alternatively, weighting may be performed according to the importance of each finger, and the average score may be calculated as one score.
- the information processing platform 1 may convert the score to a maximum of 100 points by calculating the ratio of the individual score to the average score of the data of the professional musician calculated by the same method as that of the instructor. Note that FIG. 26 shows an example of the entire page structure displayed on the information processing platform.
- FIG. 27 is a diagram showing an example of a performance data management screen. Specifically, a list of measured performance data is displayed.
- FIG. 27A shows a case where the performance data is displayed as a sound waveform.
- the information processing platform 1 may enable sound reproduction in response to an operation on the item FF31 (for example, reproduction information of "Chopin Nocturn in C Sharp Minor") included in the screen of FIG. 27 (A). Further, when the sound is reproduced, the waveform of the sound displayed in the figure changes and is displayed along with the reproduction of the sound. Further, the information processing platform 1 may display a performance visualization screen in response to an operation on the item FF32 (for example, the screen of "Chopin Nocturn in C Sharp Minor") included in the screen of FIG. 27 (A). (See FIG.
- FIG. 28 For example, a touch visualization screen or the like is displayed. Although the visualization of the touch is shown in FIG. 28, the pedal may be visualized in the same manner as the touch. Further, in FIG. 27A, information such as a performance data name, song information, and a performance date and time may be displayed. FIG. 27B shows a case where the performance data is displayed as thumbnails. In response to the operation for the item FF33 (for example, the thumbnail of "Etude Op.10-2") included in the screen of FIG. 27 (B), the information processing platform 1 has the same performance visualization screen as that of FIG. 27 (A). May be displayed (see FIG. 28). In this way, by making it possible to check not only the application permanently installed on the piano but also the mobile application, it may be possible to share the performance with others through the practice diary or the like. Also, editing of the song title and the like may be performed on this screen.
- FF33 for example, the thumbnail of "Etude Op.10-2”
- FIG. 29 is a diagram showing a flow of presenting primary information and performance.
- the information processing platform 1 measures the primary information and performance of each task song by measuring the performance of the task song or the like of the instructor (S11). This makes it possible to measure the basic ability of the instructor.
- the information processing platform 1 presents a list screen of primary information for each task song (S12). Since the instructor can confirm the primary information for each task song, he / she can appropriately grasp his / her weaknesses.
- the information processing platform 1 presents performance result information (S13). For example, the information processing platform 1 presents detailed performance visualization information, model data, and the like. By comparing the model performance with their own performance, the instructor can analyze what basic skills affect the performance.
- the information processing platform 1 recommends the practice method to the instructed person (S14).
- the information processing platform 1 presents a scientifically correct practice method for the basic ability that the instructor wants to improve. In this way, by visualizing the performance and details of each song and presenting the cause, the performer can grasp his or her weaknesses and practice effectively.
- FIG. 30 is a diagram showing an example of a method of calculating primary information and skills. Specifically, the method of calculating the score when explaining the primary information of the instructor in terms of the skill and function of the instructor is shown.
- the cloud CL11 acquires the score of each item measured by the physical function measurement application (S21).
- the piano permanent application acquires the information of the song A played by the instructor and the model data from the cloud CL11 (S22).
- the piano permanent application calculates the score of the primary information and skill of each performance based on the plurality of performance data of the song A played by the instructor and the information acquired from the cloud CL11 (S23).
- the cloud CL11 acquires the primary information of each performance and the score of the skill calculated by the piano permanent application (S24).
- the cloud CL11 calculates a score indicating the primary information of the instructor in terms of the skill and function of the instructor (S25). Specifically, the cloud CL11 is based on the score of each item measured by the physical function measurement application and the primary information and skill score of each performance calculated by the piano permanent application. Calculate a score that indicates information in terms of skill and function. Then, the cloud CL11 presents the calculated score information to the mobile application (S26).
- the cloud CL11 may centrally manage all the measurement data and the like acquired for each user. Further, the cloud CL11 may be capable of confirming measurement data or the like with a mobile application, a piano permanent application described later, or the like.
- FIG. 31 is a diagram showing an example of a list screen of primary information.
- the data shown in FIG. 31 is, for example, primary information calculated based on the performance data when the instructor plays all the task songs.
- FIG. 32 is an enlarged view of the primary information of “Etude Op.25-12” of FIG. 31.
- FIG. 32 shows the performance when the instructor plays "Etude Op.25-12".
- Pitch error for each task song, five important items for performance (“Pitch error”, “Loundness error”, “Fructuation of loudness error”, “Tempo error”, “Pitch error”) Primary information is displayed.
- Pitch error “Loundness error”
- Tempo error “Pitch error”
- FIG. 33 is a diagram showing an example of a screen showing selection of sorting of primary information.
- the information processing platform 1 sorts the primary information in the selected sort order when the instructor selects a song title (Song order), a date (Date order), and the like. Although not shown, they may be sorted in the order of composer, performance score, and the like. For example, the information processing platform 1 sorts the primary information in the selected sort order according to the selection from the list displayed when the item FF41 is operated. In FIG. 33, it is assumed that the date with the check mark (Date order) is selected.
- FIG. 34 is a diagram showing an example of a screen for displaying performance details. Specifically, primary information is displayed with items such as volume, volume variation, tempo, rhythm, chord variation, legato, and legato variation (screen GM11).
- the item FF51 is operation information for selecting model data to be compared.
- the information processing platform 1 may display the primary information of the model data according to the selection of the model data to be compared.
- the item FF52 is operation information for selecting the primary information of the left hand, the right hand, and the chord.
- the information processing platform 1 may display primary information about a single note when played with the left hand, a single note when played with the right hand, and a chord. .. Then, the information processing platform 1 may display primary information based on the sensibility information for the music. Further, in FIG. 34, the information processing platform 1 displays which function or skill influences each item of primary information or sensitivity information (screen GM12). In addition, although FIG. 34 shows the case where the top 3 to 4 items having a high degree of influence between the function and the skill are displayed, in reality, the performance score may be calculated for the items above the displayed items. ..
- the item FF53 is operation information for recommending a practice method or the like for the item having the highest degree of influence between the function and the skill. As described above, in FIG. 34, by showing the score of the primary information in terms of function and skill, the cause of weakness can be appropriately presented.
- FIG. 35 is a diagram showing an example of performance visualization.
- the imaging information of the performance is displayed.
- the moving image (animation) attached to the imaging information is reproduced.
- the playback time is displayed along with the playback of the moving image.
- Item FF61 is operation information indicating a waveform display of sound.
- the information processing platform 1 displays performance data for the corresponding time.
- the item FF62 is operation information for switching the viewpoint of the moving image.
- the information processing platform 1 displays a moving image from one or more predetermined viewpoints (see FIG. 36).
- FIG. 36 see FIG.
- Item FF63 is operation information such as switching of reproduction speed and switching of model data.
- Item FF64 is operation information indicating performance data of the corresponding time.
- the information processing platform 1 displays the performance data of each note of the corresponding time in response to the operation of the item FF61 for the seek bar and the like. Further, in the item FF64, by comparing with the model data, the instructor can appropriately grasp which sound is different from the model data.
- FIG. 37 is a diagram showing an example of performance visualization.
- a screen showing imaging information such as a moving image is fixed at the upper part of the display screen, and the display of the feature amount shown at the lower part of the display screen can be switched by swiping.
- the screen GM21 shows the visualization of the posture.
- the posture visualization is displayed as a skeleton, for example.
- the screen GM22 to the screen GM24 indicate the feature amount of the touch.
- the numerical value may be displayed by superimposing it on the waveform.
- the display of the feature amount of the pedal as in the case of touch, it may be displayed as a waveform such as overlapping with a line.
- the screen GM25 and the screen GM26 show the movement of the fingers.
- the feature amount of movement may be displayed according to the display of the glove.
- the difference from the model data may be displayed by using a figure such as an arrow.
- FIG. 38 is a diagram showing an example of recommendations for the practice method.
- the information processing platform 1 displays one or more training candidates that the instructor works on.
- candidates of “Test Training 1” and “Test Training 2” are displayed.
- the instructor can appropriately select a highly effective training.
- the functions and skills and the recommended contents may be stored in a one-to-one correspondence in advance.
- the information processing platform 1 adds the selected training to, for example, a practice diary.
- the information processing platform 1 recommends training showing a practice method for each function and skill.
- the information processing platform 1 presents a plurality of information processing platforms, and the instructor selects from the plurality of information processing platforms 1 to add the selected ones to the practice diary. In this way, by selecting from a plurality of items, an effective one can be selected.
- the recommended content that recommends the practice method includes two types: imaging information such as videos and text information such as sentences, and guidance to the training application. Further, in the recommended content, the information processing platform 1 may perform auditory training on the application. Here, the information processing platform 1 may perform calibration for auditory training with a psychological region value. As a result, training can be performed with its own stimulus intensity regardless of the device.
- the calibration inspection items may include, for example, differences in volume, timing deviations, chord balances, chord deviations, and the like. In this way, it is possible to support effective hypothesis practice by presenting a plurality of recommended results for skills and functions in a mobile application.
- FIG. 39 is a diagram showing an example of a diary screen of a practice diary.
- the information processing platform 1 displays the practice time and the number of achievement tasks, which is the total number of tasks performed by the instructor.
- the information processing platform 1 displays, for example, free posts by the instructor or others, tasks given by the instructor, and tasks added from the point lesson.
- the free posting may include, for example, the performance, function, performance, and the like of the instructor.
- FIG. 40 is a diagram showing an example of a diary screen on the instructor side. On the diary screen on the instructor side, for example, each practice diary may be displayed for each instructor.
- FIG. 41 is a diagram showing an example of a diary screen when recording the practice time.
- the information processing platform 1 may present the practice time for each category using a graph such as a line graph or a pie chart (see FIGS. 42 and 43).
- a pie chart is displayed according to the operation for the total lesson time.
- the pie chart includes items of "memorization", “skill”, “performance”, “expression”, and “others", of which memorization is the highest at 53%.
- FIG. 43 a bar graph is displayed according to the operation for the total lesson time.
- the instructor may describe the practice content for each category when giving instruction such as giving a lesson to the instructor.
- the practice contents described by the instructor are displayed for each category.
- the information processing platform 1 may display, for example, a summary report of the previous practice.
- This summary report may include, for example, details of various features, playable moving images, solved problems, unsolved problems, and the like.
- the information processing platform 1 may display information for proposing a feature amount to be conscious of in the next practice, for example. This proposal may include, for example, when to pay attention to which feature amount such as movement or sound.
- the information processing platform 1 may display, for example, information for recommending practice contents and songs to be performed next. This recommendation may include, for example, practicing the four practice contents without bias.
- the information processing platform 1 may display information for reviewing past lessons, performances, and the like, for example.
- the information processing platform 1 may display information for playing a song currently being worked on, for example.
- the information for reproduction includes, for example, information on a link destination registered in advance.
- the information processing platform 1 may display information for proposing the length of the break time, for example.
- the proposal may include, for example, the required practice time based on the time previously practiced.
- the information processing platform 1 may display information for recommending necessary training, for example. This recommendation may include, for example, training of functions such as fingers and hearing.
- the information processing platform 1 may display information for requesting consultation to a specific leader, for example.
- the information for this request may include, for example, an email to a registered certified instructor. At this time, the instructor may reply to the e-mail.
- Example 2 when the above-described embodiment of the present disclosure is applied to a skill acquisition support system for playing a piano will be described with reference to FIGS. 44 and 45.
- 44 and 45 are explanatory views for explaining an example of feedback in this embodiment.
- the skill acquisition support system superimposes and displays the sensing data 500 of the instructor's performance and the past performance of the person or another performer, so that the instructor can intuitively understand the characteristics of the performance. By telling them, you can teach them how to play properly.
- the skill acquisition support system animates the change over time of the sensing data 500 of the performance of the instructor.
- the sensor device 10 of this embodiment includes a sensor that detects the vertical movement of each keyboard and the pressure applied to each keyboard. Further, the sensor device 10 detects that unnecessary pressing of the keyboard is generated, for example, when the amount of deformation of the felt installed at the bottom of each keyboard exceeds a predetermined threshold value. Is possible. It is preferable for the instructor to improve such unnecessary pressing of the keyboard because it is inefficient to use extra muscular strength even though it has no effect on the playing sound.
- the sensor device 10 is provided with motion capture, a three-dimensional distance measuring sensor, and the like, and can measure the posture of the performer during performance. For example, the sensor device 10 can detect that the performer is in a bad posture with a heavy burden, such as a posture in which the neck is protruding or a posture in which the shoulder is raised. Further, the sensor device 10 is provided with an electromyogram, and can detect muscle activity in a portion unnecessary for playing, such as a force being applied to the neck.
- the presentation device 70 animates the change over time of the vertical movement of each keyboard in the performance of the instructor, as shown in FIG. 44, by the processing of the server 30.
- the amount of movement (descending) of each keyboard that changes from moment to moment is displayed on the time axis corresponding to each keyboard of the keyboard display screen 801.
- the height of the mountain 802 which represents the amount of movement of each keyboard, is displayed higher as the peak speed when the keyboard is lowered increases.
- the higher the peak speed when the keyboard is lowered the louder the volume of the piano. Therefore, the relative volume can be visually grasped by the height of the mountain 802 representing the movement amount of each keyboard. This makes it easier for the instructor to visually grasp the variation in volume.
- the server 30 performs effect processing on the animation display and displays the difference from the model performance. For example, when unnecessary pressing of a keyboard occurs, the server 30 can change the color, brightness, or transparency of the key, for example, by changing the color, brightness, or transparency of the mountain 802 of the movement amount of each keyboard to fill the mountain 802. Notify the occurrence. Alternatively, the server 30 notifies the occurrence of unnecessary pressing by changing the line type of the waveform representing the movement amount of each keyboard, or performing shading processing on the mountain 802 of the movement amount of each keyboard. May be good. As a result, the instructor can easily visually grasp that he / she is using unnecessary muscular strength.
- the server 30 notifies that the instructor is in a bad posture, for example, by changing the color of the keyboard display screen 801 to a color that gives a heavy impression. As a result, the instructor can easily visually grasp that he / she is using the body unnaturally. Further, when the muscle activity unnecessary for the performance is detected, the server 30 similarly notifies the keyboard display screen 801 by changing the color of the keyboard display screen 801 to a color giving a heavy impression. As a result, the instructor can easily visually grasp that the body part is used unnaturally.
- these notifications are not limited to the above-mentioned display changes, and may be auditory or tactile notifications in addition to or in place of the above-mentioned display changes.
- the notification may be made by vibrating a vibrator attached to the shoulder or neck of the instructor.
- the server 30 changes the vertical movement of each keyboard in the performance of the instructor shown in FIG. 44 with time, and as shown in FIG. 803 with time is superimposed and displayed. As a result, the difference in characteristics between the performance of the instructor and the past performance can be easily grasped visually.
- Example 3 when the above-described embodiment of the present disclosure is applied to a skill acquisition support system for playing a piano will be described with reference to FIGS. 46 to 51.
- 46 to 51 are explanatory views for explaining an example of the display screen in the presentation device 70 of this embodiment.
- the user registers a login ID and password for logging in, a profile (gender, age, playing experience, etc.), a profile picture, etc. prior to using the system.
- This profile picture may be displayed as an icon indicating this user when using the system, for example.
- FIG. 46 is a diagram illustrating a home screen presented to a logged-in user. By clicking the icon 804 indicating the user on the home screen shown in FIG. 46 or each menu screen described later, it is possible to switch to My Page of this user.
- the user's My Page for example, the user's name, e-mail address, profile, etc. are displayed. Further, when the user is an instructor, the registered instructor or the like is displayed in My Page. In addition, the instructor sends an e-mail or 1 to the user selected as the instructor or friend so that the user or friend who wants to become his / her instructor can access his / her home screen or the like in My Page. It may be possible to invite using a dimensional code (for example, a bar code) or a two-dimensional code (for example, a QR code (registered trademark)). Similarly, even if the user is an instructor, in My Page, e-mails, various codes, etc.
- a dimensional code for example, a bar code
- a two-dimensional code for example, a QR code (registered trademark)
- the user may send to the user selected as the student or friend so that the student or friend can access the home screen or the like. It may be possible to invite using.
- the user may set disclosure restrictions for each information in his / her own My Page for each invited person. In this way, the user can control the disclosure range of his / her own home screen or the like.
- the user can switch to each menu screen by clicking a button indicating "measurement” 805, “evaluation” 806, "practice diary” 807, etc. set on the home screen as shown in FIG. It is possible.
- the home screen has one for the instructor in addition to the one for the instructor shown in FIG. 46.
- the practice diary of the instructor who is the student is displayed, and the practice diary of the student can be easily accessed.
- the instructor can access and upload the "practice diary" menu of the student by clicking the button indicating the "practice diary” set on the home screen and selecting one of the students. It is possible to play a video of the performance being played and to input advice as described later.
- the instructor's home screen may display a summary of the latest practice diary uploaded by one of his students.
- the screen transitions to the "Measurement” menu screen.
- the "measurement" menu screen is further subdivided into function measurement, skill measurement, body shape measurement, and the like, and a list of measurable items is displayed for each subdivided menu. For example, for function measurement, the independence of each finger, the strength of each finger, the fingering speed, and the like are displayed in a list. For skill measurement, scale, endurance, tremolo, etc. are displayed in a list.
- FIG. 47 illustrates a screen displayed when the independence of each finger is selected in the measurement of the function. As shown in FIG. 47, a moving image 808 of a performance as a model may be displayed for each item selected by the user.
- the measurement result is displayed.
- the measurement result for example, the measurement result of the independence of each finger in FIG. 14 described above is displayed.
- the measurement result of the strength of each finger is displayed.
- the strength values of the fingers of the user (Mydata) and the model performer (pianist) are displayed so that the difference between the two can be understood.
- the value of the intensity of each finger of the user (Mydata) and the range of the value of the intensity of each finger of a plurality of model performers (pianists) are displayed.
- one-point advice or the like corresponding to each measurement result may be added and displayed.
- a specific practice method may be displayed according to the magnitude of the difference from the model performer.
- FIG. 50 illustrates an "evaluation” menu screen.
- the results of measurements performed by the user in the past are displayed.
- FIG. 50 in addition to the measurement date and time and the above-mentioned measurement results (see FIGS. 14, 48, and 49), a summary at the time of measurement, a moving image 809 recording the state of performance at the time of measurement, and the like are displayed. There is. Then, by selecting each measurement result, it is possible to further display the time-series change of the measurement result (see FIGS. 15 and 16).
- the latest measurement result is displayed. For example, by selecting one of the past measurement dates and times displayed in the list, it is possible to switch to the display of the past measurement result. It is possible. Alternatively, by clicking a button (not shown) in the "evaluation" menu screen of FIG. 50, it is possible to move to a screen where a friend other than himself / herself can be selected and display the measurement result of the friend selected on that screen. is there. In this case, it is preferable to display the measurement result of the friend only when the friend sets the measurement result to be disclosed to the user.
- FIG. 51 is a modification of FIG. 50, and is a diagram showing an example of a screen on which the performance screen and the analysis result can be compared in real time.
- FIG. 51 (A) shows a skill evaluation list screen
- FIG. 51 (B) shows a skill evaluation visualization screen.
- FIG. 53 is a modification of FIG. 52, and is a diagram showing an example of a screen that the instructor can freely describe for each viewpoint of advice.
- FIG. 53 shows a case where the instructor describes “Let's memory the first movement” for “Memorization advice”.
- piano permanent app In the above embodiment, various UIs using the mobile mobile application have been described, but the present invention is not limited to these examples. In the above embodiment, the piano permanent application and the mobile mobile phone application may function in cooperation with each other. The details of the piano permanent application will be described below.
- FIG. 54 shows a case where the touch panel is installed on the music stand, but the present invention is not limited to this example, and it may be installed next to the piano instead of the music stand.
- the piano permanent application includes, for example, two types of modes, a performance mode and a measurement mode.
- FIG. 55 is a diagram showing an example of the performance mode.
- Performance modes include real-time visualization, performance and feature comparisons, performance management, and the like.
- the information processing platform 1 supports lessons and practice, for example, by visualizing tacit knowledge.
- the performance data can be confirmed on mobile by saving it in the cloud, for example.
- FIG. 56 is a diagram showing an example of the measurement mode.
- the information processing platform 1 presents the measurement result by acquiring the performance data in which the instructor plays various basic task songs. As a result, the instructor can appropriately understand his / her weaknesses and how to overcome them.
- FIG. 57 is a diagram showing an example of real-time visualization.
- FIG. 57 shows a case where the posture of the fingers is visualized.
- the timing of the pedal may be visualized in addition to the touch.
- FIG. 58 is a diagram showing an example of visualizing the movement of the touch and the pedal in real time.
- 3D performance, posture, 3D of body, radar chart of feature amount, etc. are displayed by switching tabs.
- the 3D performance for example, the 3DCG of the hand is displayed.
- addition to the list or the like is displayed according to the recording of the performance.
- the item FF73 is display information for recording the performance, display information for reproducing the recorded performance, and the like.
- the item FF74 is display information for setting the tempo and display information for using the electronic metronome.
- the item FF75 is display information for switching the display range. In item FF75, when the instructor selects a range, the touch and the movement of the pedal in the selected range are visualized. Further, the item FF76 is display information for switching the viewpoint in 3D. Item FF76 has the same function as item FF62, for example.
- FIG. 59 is a diagram showing an example of performance data management.
- the performance data to be displayed in the pull-down list on the comparison screen is selected.
- the performance data to be reviewed again is stored in the cloud.
- Item FF81 is, for example, a drawer menu.
- the data played by the instructor is additionally displayed.
- the instructor drags and drops the performance data from the drawer menu onto the performance data display screen, so that the corresponding performance data is displayed.
- song information may be input, labeled, and a memo may be entered.
- FIG. 60 is a diagram showing an example of performance data management.
- FIG. 60 is a modification of FIG. 59. Specifically, the case where the performance data is managed in the full screen is shown. In FIG. 60, it is assumed that the performance data of "2020-05-02-16: 20 Noname" is selected.
- Item FF91 is display information for reproducing the data selected by the instructor.
- the item FF92 is display information for acquiring performance data stored in the cloud. The performance data stored in the cloud is added via the item FF92.
- FIG. 61 is a diagram showing an example of management of performance data.
- FIG. 61 is a modification of FIGS. 59 and 60.
- the information processing platform 1 may display the item FF102 in response to an operation on the item FF101. As a result, it becomes easier to grasp the state of the instructor during the performance, and it is possible to promote the improvement of usability.
- FIG. 62 is a diagram showing an example of performance and comparison of features.
- FIG. 62 shows a case where the instructor selects performance data and compares the feature amount such as touch with the selected performance data and other performance data. At this time, the instructor selects, for example, the performance data to be compared from the recorded performance data.
- the performance data to be compared is not limited to the past performance data of oneself, and may be, for example, performance data shared by another person such as an instructor or a friend.
- the information processing platform 1 may zoom in / out the screen in response to an operation such as scrolling. Further, when the instructor touches one of the waves displayed on the screen, the information processing platform 1 may display the details about the wave. Further, in FIG.
- the information processing platform 1 may display a sound waveform, a musical score, or the like. At this time, the information processing platform 1 may display a seek bar together with the sound waveform and the score. By comparing the two performances while moving the seek bar, the instructor can properly grasp which physical movement was different.
- FIG. 63 is a diagram showing an example of performance and comparison of features.
- FIG. 63 is a modification of FIG. 62. Specifically, the case where the performance data to be compared is superimposed and displayed is shown.
- Item FF111 is display information in which performance data to be compared is superimposed and displayed.
- the information processing platform 1 displays the item FF112 which is display information showing details such as the similarity between the two touches.
- FIG. 64 is a diagram showing an example of searching for performance data.
- the performance data desired by the instructor is searched for by recording and collectively labeling the performance data when the instructor has performed a plurality of times in succession.
- the metronome may be made to function at the beginning of playing the performance.
- a display may be displayed so that the measurement can be recognized.
- the information processing platform 1 may perform a display such as turning the display area indicating the measurement state red.
- FIG. 64 is a diagram showing an example of labeling with respect to the recorded performance data. In FIG.
- the case where the performance preference is labeled in five stages using the numbers "1" to "5" is not limited to this example, and the labeling is performed by two choices of "like” and “dislike”. May be acceptable.
- the data labeled in this way may be statistic on the server. As a result, it is possible to compare the performance data of the model with the performance of the instructor's favorite performance as a model.
- FIG. 65 is a diagram showing an example of presenting a performance based on the measurement of the task song.
- Item FF121 is display information that lists the task songs to be recorded from now on. This list is obtained, for example, from the cloud.
- the performance selected by the instructor will be recorded. Further, the status may include, for example, four "not recorded”, “recording", “recorded”, and "uploaded”.
- Item FF122 is display information indicating a musical score. A fingering, a finger number, or the like may be written on the score. Further, the item FF123 and the item FF124 are display information for starting recording, display information for reproducing a model performance, display information for reproducing a metronome, and the like.
- piano permanent sensor system is a sensor system that multimodally records physical information during a performance in order to operate a piano permanent application.
- the piano permanent sensor system will be described.
- FIG. 66 is a diagram showing an example of an overall image of the piano permanent sensor system.
- the piano permanent sensor system includes various sensors.
- various sensors sensor PP11 to sensor PP19
- the pedal sensor is surrounded by a dotted line.
- the permanent piano sensor system includes a touch sensor (see FIG. 67 (A)), a pedal sensor (see FIG. 67 (B)), a depth sensor (see FIG. 67 (C)), and a data glove (see FIG. 67 (D)).
- High-speed camera see FIG. 67 (E)), sound and image (see FIG. 67 (F)
- center of gravity sensor wrist / arm sensor, and the like.
- the depth sensor is used, for example, for estimating the posture. High-speed cameras are also used to estimate the posture and position of fingers.
- FIG. 68 is a diagram showing an example of a pedal sensor of a piano permanent sensor system.
- the pedal is provided with an inertial measurement unit (IMU).
- the IMU can communicate with, for example, a calculation microcomputer for posture estimation and a PC.
- FIG. 69 is a diagram showing a detailed example of the pedal sensor.
- the pedal sensor may be provided with a sensor base. Pedaling is recorded via this IMU.
- the IMU is clamped, for example, to the underside of the pedal with screws.
- the IMU can be attached to, for example, one or more pedals (eg, 1 to 3 pedals).
- the IMU is provided under the pedal so as not to interfere with the performance.
- the IMU also samples acceleration, angular velocity, geomagnetism, etc. at, for example, 1000 FPS.
- the posture estimation of the sensor may be converted into the depression of the pedal.
- the posture may be converted into the angle of the pedal, and the angle of the pedal may be converted into the depression.
- the pedal depression may be converted by a calculation microcomputer or the like. As a result, the amount of communication can be reduced.
- FIG. 70 is a diagram showing an example of an IMU sensor.
- the information processing platform 1 measures the rotation of the arm by an IMU sensor attached to the wrist or arm with a band.
- FIG. 71 is a diagram showing an example in the case where the IMU sensor is provided on the wrist and the elbow. It may not be possible to measure the rotation of the arm with the information acquired from the depth sensor, but by preparing it on the wrist and elbow, the posture of the arm can be estimated with higher accuracy.
- the information processing platform 1 estimates the axial vector of the arm from the depth sensor and estimates the rotation of the arm around the axial direction using the posture of the IMU sensor. In this way, by integrating the sensor information obtained by the IMU and the posture information obtained by the depth sensor, the posture of the arm can be estimated with higher accuracy.
- FIG. 72 is a diagram showing an example of the center of gravity sensor of the piano permanent sensor system.
- the information processing platform 1 detects the movement of the center of gravity by load cells attached to the four legs of the chair. For example, the information processing platform 1 calculates features such as a position and a gradient from the locus of the center of gravity. The information processing platform 1 may perform the same calculation using, for example, a pressure-sensitive mat.
- FIG. 73 is a diagram showing a flow for calculating the change in the center of gravity.
- the piano permanent sensor system measures the load when not sitting (S31). Further, the piano permanent sensor system measures the load in a sitting state (S32).
- the piano permanent sensor system calculates the center of gravity and the sitting position based on the load in the non-sitting state and the load in the sitting state (S33). As a result, the piano permanent sensor system can appropriately compare the sitting habits with others by calculating the center of gravity and the sitting position. Then, the piano permanent sensor system measures the load during the performance (S34). Then, the piano permanent sensor system calculates the change in the center of gravity based on the center of gravity, the sitting position, and the load during the performance (S35). As a result, the piano permanent sensor system can appropriately compare the habit of moving the body with others by calculating the change in the center of gravity.
- the present embodiment can also be applied to the performance of other musical instruments.
- the present embodiment is also applied to other keyboard instruments (organ, harpsichord, synthesizer, etc.), stringed instruments (violin, cello, etc.), percussion instruments (drums), wind instruments (flute, oboe, clarinet, trumpet, etc.), etc. be able to.
- the sensor device 10 according to the present embodiment can detect the movements of the performer's fingers, legs, neck, throat, etc. and the positions of the strings and holes to be pressed even in the performance of the various musical instruments described above. it can. More specifically, the movement of the tongue in the performer's oral cavity can be detected by the above-mentioned MRI.
- the present embodiment is not limited to being applied to the performance of musical instruments, but can also be applied to singing and whistling.
- the embodiments of the present disclosure can be applied to performances other than music.
- the present embodiment includes vocal training (English vocalization, speech, etc.), sports, rehabilitation (rehabilitation for improving physical paralysis, etc.), games, medical surgery training (preventive endoscopic training, etc.), and vehicles.
- Use for training in driving cars, bicycles, wheelchairs, airplanes, etc.
- operation training for equipment construction machinery, etc.
- skill training for creating arts and crafts can be done.
- this embodiment can also be applied to image training.
- the above-described embodiment of the present disclosure provides an information processing device, an information processing method, and a program capable of effectively learning and supporting performance. be able to.
- FIG. 74 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 900 according to the present embodiment.
- the information processing apparatus 900 shows an example of the hardware configuration of the server 30 described above.
- the information processing device 900 has, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, and an input / output interface 958. Further, the information processing device 900 includes a force sense device 960, a display device 962, an audio output device 964, a communication interface 968, and a sensor 980. Further, the information processing apparatus 900 connects each component with, for example, a bus 970 as a data transmission path.
- the CPU 950 is composed of, for example, one or more processors composed of arithmetic circuits such as a CPU, various processing circuits, and the like, and functions as a main control unit 340 that controls the entire information processing apparatus 900.
- the ROM 952 stores control data such as programs and calculation parameters used by the CPU 950.
- the RAM 954 temporarily stores, for example, a program executed by the CPU 950.
- the ROM 952 and the RAM 954 perform the function of the above-mentioned storage unit 370 in the information processing device 900, for example.
- the recording medium 956 functions as the above-mentioned storage unit 370, and stores, for example, various data such as data related to the information processing method according to the present embodiment and various applications.
- examples of the recording medium 956 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 956 may be detachable from the information processing device 900.
- the input / output interface 958 connects, for example, a force sensory device 960, a display device 962, an audio output device 964, and the like.
- Examples of the input / output interface 958 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
- the force sense device 960 functions as the force sense mechanism 710 described above
- the display device 962 functions as the display unit 714 described above
- the voice output device 964 functions as the voice output unit 716 described above.
- Examples of the display device 962 include a liquid crystal display and an organic EL display (Organic Electro-Luminence Display Display).
- the input / output interface 958 can be connected to an external device such as an external operation input device (for example, a keyboard, a mouse, etc.) or an external display device of the information processing device 900.
- an external operation input device for example, a keyboard, a mouse, etc.
- an external display device of the information processing device 900 for example, a liquid crystal display, a liquid crystal display, etc.
- the communication interface 968 is a communication means included in the information processing device 900 that functions as the communication unit 360, and is a communication unit for wirelessly or wiredly communicating with an external device via the network 90 (or directly). Functions as (not shown).
- examples of the communication interface 968 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE802.5.1 port and a transmission / reception circuit (wireless communication), an IEEE802.11 port and a transmission / reception circuit (wireless communication). ), LAN (Local Area Network) terminal, transmission / reception circuit (wired communication), and the like.
- the above is an example of the hardware configuration of the information processing device 900.
- the hardware configuration of the information processing device 900 is not limited to the configuration shown in FIG. 74.
- each of the above-mentioned components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
- the information processing device 900 does not have a communication interface 968 when communicating with an external device or the like via a connected external communication device or when the information processing device 900 is configured to perform processing in a stand-alone manner. May be good.
- the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
- the information processing device may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. .. That is, the information processing device according to the present embodiment described above can be realized as, for example, an information processing platform that performs processing related to the information processing method according to the present embodiment by a plurality of devices.
- the embodiment of the present disclosure described above may include, for example, a program for making a computer function as an information processing device according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Further, the program may be distributed via a communication line (including wireless communication) such as the Internet.
- each step in the processing of the embodiment of the present disclosure described above does not necessarily have to be processed in the order described.
- each step may be processed in an appropriately reordered manner.
- each step may be partially processed in parallel or individually instead of being processed in chronological order.
- the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another method by another functional unit, for example.
- An acquisition unit that acquires the subjective evaluation information of the second user for each performance performed by the movement of at least a part of the body of the first user.
- a learning unit that machine-learns the relationship between each performance and each subjective evaluation information and generates relationship information between each performance and each subjective evaluation information.
- a presentation unit that presents feedback information to the second user based on the relational information.
- Information processing device equipped with (2) The information processing apparatus according to (1) above, wherein the performance is calculated based on primary information which is information directly related to sound.
- the presenting unit presents the feedback information based on the relationship information obtained by machine learning the relationship between the primary information which is the information directly related to the sound and the secondary information which is the physical information during the performance.
- the information processing apparatus uses an application for measuring physical function to measure the physical function of the first user in advance other than during performance, and the first user measured at the time of performance using the application for measuring performance.
- the information processing device according to any one of (1) to (3) above, which is presented to a terminal device in which an application for presenting feedback information is installed, based on the performance of one user.
- the performance is represented by at least one of the motion pattern, velocity, motion accuracy, momentum, and consequential state of the first user's motor element in the performance.
- the information processing apparatus according to any one of 1) to (4).
- the acquisition unit acquires the subjective evaluation information for the sound data obtained from the sound collecting device that senses the sound generated by the performance or the video data obtained from the image pickup device that images the first user.
- the information processing device according to 5).
- the acquisition unit acquires the sensitivity information felt by the second user with respect to the sound data or the video data as the subjective evaluation information.
- the acquisition unit acquires sensing data obtained from a biological information sensor attached to the second user as the sensitivity information.
- the biological information sensor senses at least one of the second user's heartbeat, pulse, brain wave, respiration, sweating, myoelectric potential, skin temperature, skin electrical resistance, eye movement, and pupil diameter.
- the information processing apparatus according to (8).
- (10) A selection unit that selects the performance of the first user corresponding to the subjective evaluation information designated by the second user based on the relationship information.
- a comparison unit that compares the performance of the selected first user with the performance of the second user corresponding to the performance of the first user and extracts a difference.
- the information processing apparatus according to any one of (1) to (9) above.
- (11) A selection unit that selects the performance of the first user corresponding to the subjective evaluation information designated by the second user based on the relationship information. Comparing the first feature quantity that characterizes the performance of the selected first user with the second feature quantity that characterizes the performance of the second user corresponding to the performance of the first user.
- the comparison part that extracts the difference and The information processing apparatus according to any one of (1) to (10) above.
- the comparison unit includes one or a plurality of sensing data representing the state of the motor element in the performance of the first user, and the state of the motor element in the performance of the second user corresponding to the performance of the first user.
- a calculation unit that performs multivariate analysis on a plurality of sensing data representing the states of motor elements in the performance of the first user and extracts the first feature amount that characterizes the performance of the first user. Prepare, prepare The information processing device according to (11) above.
- the information processing device according to any one of (10) to (13) above, wherein the presenting unit presents the difference as the feedback information to the second user.
- a storage unit for storing the correspondence between the difference and the cause of the difference is further provided.
- the information processing apparatus according to (14) above, wherein the presenting unit identifies a cause corresponding to the difference with reference to the correspondence and presents it as the feedback information.
- the presentation unit further presents a solution for solving the cause.
- the presenting unit switches to any one of the above (1) to (16), which switches the feedback information presented to the second user depending on whether or not the second user is performing. The information processing device described.
- the presenting unit controls a display device to display a predetermined image, and controls a wearable device worn on the body of the second user to cause the second user to perform a tactile stimulus.
- any one of the above (1) to (17) which presents the feedback information to the second user by controlling at least one of controlling the voice output device to output a predetermined sound.
- the information processing device described in 1. (19) The presenting unit animates the time course of information regarding at least one of the momentum, the exercise speed, the exercise acceleration, and the exercise accuracy in the performance of the second user, thereby displaying the feedback information to the second user.
- the information processing apparatus according to any one of (10) to (18) above.
- the presentation unit performs effect processing on the animation display according to the difference.
- the presentation unit is at least one of a change in shading processing for the animation display, a change in the state of the wireframe display in the animation display, and a change in the color, brightness, and transparency of the animation display.
- the information processing apparatus according to (20) above.
- the presenting unit presents the feedback information based on the sensing data obtained from the sensor provided in the musical instrument to be played by the first user, any one of the above (1) to (21).
- the information processing device according to one.
- the information processing device according to any one of (1) to (22) above, wherein the presentation unit presents the feedback information based on the sensing data obtained by measuring the physical function of the first user.
- the presenting unit confirms the physical function of the first user, details the performance of the first user, manages performance data played by the first user, and recommends a practice method to the first user.
- the information processing according to any one of (1) to (23) above, which presents the feedback information including at least one of the information regarding the practice diary of the first user in the page structure. apparatus.
- the presenting unit may be any one of (1) to (24) above, which presents the feedback information whose display can be switched to each page according to the operation of the first user or the second user.
- the presenting unit presents the feedback information displayed by superimposing the performance data predetermined as a model of the performance on the performance data of the first user, any one of the above (1) to (28).
- the presenting unit includes a score based on sensing data obtained from a sensor provided in a musical instrument to be played by the first user, and a score based on sensing data obtained by measuring the physical function of the first user.
- the information processing apparatus according to any one of (1) to (29) above, which presents the feedback information including the performance score of each item calculated based on the above.
- the presenting unit presents the feedback information that can sort the performance data of the first user in the order selected according to the operation of the first user or the second user.
- the presenting unit presents the feedback information whose display can be switched to the imaging information from a predetermined viewpoint according to the operation of the first user or the second user.
- the information processing apparatus according to any one of 31).
- the presenting unit adds the practice method selected by the first user among the plurality of practice methods presented to the first user to the practice diary in which the practice content of the first user is described.
- the information processing apparatus according to any one of (1) to (32) above, which presents feedback information.
- the presenting unit includes the posted information of the second user added to the practice diary of the first user in response to the operation of the second user with respect to the practice diary that can be displayed for each first user.
- the information processing apparatus according to any one of (1) to (33) above, which presents the feedback information.
- the presentation unit graphs the practice contents practiced by the first user among the practice contents recorded in the practice diary in response to the operation of the first user or the second user with respect to the practice diary.
- the information processing apparatus according to (33) or (34) above, which presents the converted feedback information.
- the presenting unit includes the attitude information of the first user estimated based on the sensor information obtained from the inertial measurement unit provided for the first user and the sensor information obtained from the depth sensor.
- the information processing apparatus according to any one of (1) to (35) above, which presents the feedback information.
- the presenting unit presents the feedback information including the attitude information of the first user estimated based on the sensor information obtained from the inertial measurement unit provided in the lower part of the pedal of the musical instrument (36). ).
- Information processing device. (39) Acquiring the second user's subjective evaluation information for each performance performed by the movement of at least a part of the first user's body. Machine learning the relationship between each performance and each subjective evaluation information to generate relationship information between each performance and each subjective evaluation information. Presenting feedback information to the second user based on the relationship information Information processing methods, including.
- Information processing platform 10 Sensor device 30 Server 70 Presentation device 90 Network 100 Sensor unit 140, 340, 740 Main control unit 142, 342 Data acquisition unit 144, 344 Processing unit 152, 354 Output control unit 160, 360, 760 Communication unit 300 Input unit 310 Output unit 346 Learning unit 347 Calculation unit 348 Selection unit 350 Comparison unit 352 Recommendation unit 370, 770 Storage unit 372 DB 500 Sensing data 501 Performance data 502, 503 Subjective evaluation information 504 Feature amount 506 Feedback information 710 Force sense mechanism 714 Display unit 716 Audio output unit 801 Keyboard display screen 802 Keyboard movement amount mountain 803 (Past) Keyboard vertical movement Change over time 950 CPU 952 ROM 954 RAM 956 Recording medium 958 Input / output interface 960 Force sensor 962 Display device 964 Audio output device 968 Communication interface 970 Bus 980 Sensor
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する取得部と、前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する学習部と、前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する提示部と、を備える情報処理装置を提供する。
Description
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、容易に使用することができるモーションセンサや生体情報センサ等の各種センサが開発されている。そこで、ピアノ演奏等のパフォーマンスにおける各種の情報をセンシングして、その結果をフィードバック等することにより、パフォーマンスの習得支援に役立てる試みが行われるようになった。例えば、下記の特許文献1には、複数の人物の動作をセンシングして、得られたセンシングデータに基づいて、フィードバックを行う装置が開示されている。
本開示では、パフォーマンスの効果的な習得支援が可能な情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する取得部と、前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する学習部と、前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する提示部と、を備える情報処理装置が提供される。
また、本開示によれば、第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得することと、前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成することと、前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示することと、を含む、情報処理方法が提供される。
さらに、本開示によれば、第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する機能と、前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する機能と、前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する機能と、をコンピュータに実現させるためのプログラムが提供される。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.本開示に係る実施形態を創作するに至るまでの経緯
1.1.本開示に係る概要(パフォーマンスと技能)
2.本開示の実施形態
2.1.本開示の実施形態に係る情報処理プラットフォーム1の概要
2.2.本開示の実施形態に係るセンサ装置10の構成
2.3.本開示の実施形態に係るサーバ30の構成
2.4.本開示の実施形態に係る提示装置70の構成
2.5.本開示の実施形態に係る情報処理方法
3.本開示の実施形態に係る実施例
3.1.実施例1
3.2.実施例2
3.3.実施例3
3.4.ピアノ常設型アプリ
3.5.ピアノ常設型センサシステム
3.6.その他の応用例
4.まとめ
5.ハードウェア構成について
6.補足
1.本開示に係る実施形態を創作するに至るまでの経緯
1.1.本開示に係る概要(パフォーマンスと技能)
2.本開示の実施形態
2.1.本開示の実施形態に係る情報処理プラットフォーム1の概要
2.2.本開示の実施形態に係るセンサ装置10の構成
2.3.本開示の実施形態に係るサーバ30の構成
2.4.本開示の実施形態に係る提示装置70の構成
2.5.本開示の実施形態に係る情報処理方法
3.本開示の実施形態に係る実施例
3.1.実施例1
3.2.実施例2
3.3.実施例3
3.4.ピアノ常設型アプリ
3.5.ピアノ常設型センサシステム
3.6.その他の応用例
4.まとめ
5.ハードウェア構成について
6.補足
<<1.本開示に係る実施形態を創作するに至るまでの経緯>>
まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について説明する。
まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について説明する。
近年、上述したような各種のセンサによりピアノ演奏中の演奏者の各運動要素や筋肉活動を測定し、測定結果を当該演奏者にフィードバックすることにより、ピアノ演奏の習得支援に役立てる試みが盛んに行われるようになってきている。例えば、被指導者の演奏中における運動要素の測定結果とその手本となる演奏者の演奏中の運動要素の測定結果(ロールモデル)との差分をフィードバックする。そして、当該差分がフィードバックされることにより、被指導者は、自身の演奏における運動要素とロールモデルとの間の差を認識し、より手本の演奏に近づくべく意識して演奏することにより、自身の上達を図ることができる。
ところで、ピアノ演奏のような芸術的表現に関わるパフォーマンスの習得においては、表現者(被指導者)は、いわゆるうまいパフォーマンスの実演を探究するだけでなく、自身が心に思い描いたイメージを忠実、且つ、自在にパフォーマンスとして表現することを探求することがある。言い換えると、表現者は、自身の感性や美的感覚に基づいて、自身にとって理想的な表現を探索し、その表現(詳細には、当該表現を再現する演奏スキル)を習得することを求めている場合がある。そこで、表現者は、例えば、演奏手法を変えながら演奏を繰り返し、得られた演奏音とそれによって想起される自身の感性とを確認しながら、理想的な表現を探索、習得する。このような表現探索、習得が不十分であると、機械的で表現力の乏しい演奏や、同一の楽曲を演奏した場合であっても表現の異なる即興的な演奏となってしまうことがあるため、表現者にとっては、表現の探索、習得は重要である。特に、所望するイメージの表現を追求することは、表現者(被指導者)の感性や美的感覚に基づいて学習が進むため、脳科学的には報酬に基づく学習である強化学習の1つであるといえ、演奏スキル等の定着にも好ましい影響を与えることとなる。
従来、上述したセンサを用いてフィードバックを行うことにより習得支援を行う装置においては、単に演奏が上手いとされる演奏家のロールモデルと、被指導者の演奏中における運動要素の測定結果との差分をフィードバックするだけである。従って、上記装置によれば、フィードバックを参照して練習を重ねることにより、被指導者は、自身の演奏スキルは向上するものの、自身が求める表現を必ず習得することできるとは限らない。また、上記装置を利用する場合であっても、被指導者は、自身が求める表現と類似する演奏を手本として適切に選択することができれば、自身が求める表現を習得できる可能性は高まる。しかしながら、被指導者が、自身がどのような演奏に対してどのような感性が想起されるのかを明確に認識しているとは限らないことから、被指導者自身が求める表現のための手本を適切に選択することは難しい。
そこで、このような状況を鑑みて、本発明者らは、以下に説明する本開示の実施形態を創作するに至った。本開示の実施形態においては、過去の演奏者(第1のユーザ)の演奏に対する被指導者(第2のユーザ)の主観的な評価に応じて選択された過去の演奏を手本として、当該手本と被指導者の演奏とを比較して被指導者にフィードバックを行う。主観的な評価とは、例えば、好き、情熱的、穏やかというようなユーザ(被指導者)の感じる感性情報のことである。詳細には、本実施形態においては、被指導者が好みの演奏や目標としたい演奏者の演奏等に予め主観的な評価を表す主観評価情報を付与しておくことで、新たに被指導者が指定した主観評価情報に応じた過去の演奏を手本として選択することができる。
より具体的には、本実施形態においては、過去の演奏と、それに対する被指導者からの主観評価情報との関係を予め学習し、学習によって得られたデータに基づいて、新たに被指導者が指定した主観評価情報に応じた過去の演奏を手本として選択することができる。これにより、本実施形態によれば、指定した主観評価情報により選択された過去の演奏中の運動要素の測定結果(ロールモデル)と被指導者の演奏中における運動要素の測定結果との差分(ズレ)を被指導者にフィードバックすることができる。従って、被指導者は、自身が所望する表現を効果的に習得することが可能となる。また、本実施形態においては、過去の演奏と、それに対する被指導者からの主観評価情報と関係を予め学習する機械学習を行うことから、被指導者がどのような演奏に対してどのような感性が想起される傾向を持っているのかを的確に把握することができる。従って、本実施形態によれば、被指導者が求める表現のための手本を適切に選択することができる。
なお、以下に説明する本開示の実施形態においては、パフォーマンスの一例である演奏について、例えばピアノ演奏時の手指や腕の関節や筋の挙動である複数の運動要素、又は、運動要素に起因する変化(圧力、音等)を1つ又は複数のセンサによってセンシングする。さらに、本実施形態においては、このように得られた複数のセンシングデータ(各運動要素の時系列データ等)に対して多変量解析を行う。そして、当該多変量解析によって、各パフォーマンス(演奏)を特徴づける運動要素を、定量的な情報として抽出することができる。
また、本実施形態においては、パフォーマンスの一例である演奏について、多数の演奏者に係るセンシングデータを収集し、収集したセンシングデータを機械学習することにより、正確な演奏等といった演奏の状態と各運動要素との関係を科学的に一般化することもできる。加えて、本実施形態においては、収集したセンシングデータや演奏の状態を特徴づける運動要素、さらには当該運動要素の協調又は非協調(特徴量)をデータベース(DB)化することもできる。
さらに、本実施形態においては、指導を受ける被指導者から上述と同様にセンシングデータを収集し、収集したセンシングデータの特徴量と、被指導者の手本となるセンシングデータの特徴量とを比較し、比較結果に基づいて被指導者にフィードバックを行うこともできる。具体的には、本実施形態においては、被指導者の演奏が手本となる演奏に近づくために、修正する必要性が高い、又は修正の優先度が高いと考えられる運動要素についての比較を行い、ズレ(差分)や修正すべき具体的な内容(身体の箇所や動作量等)を被指導者にフィードバックする。なお、修正する必要性や優先度は、演奏の状態との関係性や、上記ズレの大きさ等によって判断することができる。また、本実施形態においては、被指導者の属性情報(性別、年齢等)等に応じて、手本を選択することもでき、このような選択を行うことにより、被指導者の属性等に応じたテーラーメイドのフィードバックを行うことが可能となる。
以下、このような本開示の実施形態を順次詳細に説明する。なお、以下の説明においては、パフォーマンスの一例として、聴くパフォーマンスであるピアノ演奏の演奏法の指導(技能習得)に適用した場合について説明する。しかしながら、本開示の実施形態は、ピアノ等の楽器の演奏法の指導に適用することに限定されるものではない。例えば、舞台演劇等の観るパフォーマンスに適用することもできる。また、例えば、他の楽器の演奏法や、スポーツ、伝統工芸の技能習得、運動機能障害のリハビリ、内視鏡手術のシミュレーション等に適用することも可能である。
すなわち、パフォーマンスとは、ユーザの身体の少なくとも一部が動作することによって行われるものであり、ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、パフォーマンスによって生じる結果の音や映像等で表されるものとする。
また、以下の説明においては、特に断りが無い場合には、ユーザとは、ピアノの演奏法の指導を受ける被指導者、本実施形態に係るDBの構築にあたりセンシングデータが収集される演奏者、又は、本実施形態に係る情報処理プラットフォームを利用するオペレータのいずれかを意味するものとする。
また、ピアノ演奏の状態とは、演奏における演奏者の演奏速度(テンポ、リズム)、演奏の正確性(リズム又は各音の音量の正確性)、演奏によって生じる音の音量(音波形のピーク)、音の響き(音波形の積分値)、音色(スペクトラム)、和音(複数音)における音同士の音量差や時間差(いわゆる、和音における「バランス」)、各音パラメータの最大値と最小値との差分(レンジ)、各音のパラメータの粒度(解像度)等を意味するものとする。さらに、上述の複数のパラメータのうちトレードオフ関係にあるパラメータ(例えば、演奏の速度と正確性)が存在することから、ピアノ演奏の状態は、各パラメータの比率であってもよい。
また、本開示の実施形態をピアノ演奏だけでなく他の動作に適用した場合には、パフォーマンスの状態は、ユーザが行う運動要素の運動パターン、運動速度、運動正確性、運動量(運動パワー、力積、仕事量等)、パフォーマンスによって生じる結果の状態等であってもよい。なお、上述した主観評価情報が、演奏の状態の一つに含まれるようにしてもよい。
また、以下に説明する実施形態においては、特徴量とは、例えば、特徴的な運動要素の協調又は非協調を表す協調度であってもよいが、これに限定されるものではない。例えば、特徴量には、演奏者等の打鍵により鍵盤が下がる際と上がる際における、打鍵の最大速度と最大速度に到達したタイミング(時点)、打鍵の最大加速度と最大加速度に到達したタイミング、鍵盤の移動開始のタイミング、鍵盤が底についたタイミング等も含まれるとする。また、特徴量は、鍵盤が底から離れたタイミング、初期位置に戻ったタイミング、及び、これらのタイミングの差分時間も含むものとする。さらに、特徴量は、連続する2つの音が同時に鳴っていた時間(レガートの時間長)、演奏上同時に打鍵するべき複数鍵盤に対する打鍵したタイミングの差(時間差)、最大打鍵速度に到達したタイミングの差、最大打鍵速度の差又は比、最大加速度の差又は比、等を含んでもよい。加えて、特徴量は、鍵盤が底面に着いた際の加速度、すなわち、鍵盤の衝突による衝撃の強さや、鍵盤が最底部のフェルト部を押し潰して、いわゆる押さえが発生していた時間等を含んでもよい。さらには、特徴量は、鍵盤が動き始めた瞬間の加速度、すなわち、指先と鍵盤の衝突による衝撃の強さ等を含んでもよい。
また、演奏の特徴量には、楽器の特徴量や演奏環境の特徴量が含まれてもよい。例えば、所定の状態の音(響きや音色)を生み出すのに必要となる打鍵に関するパラメータを用いて、各ピアノを特徴づける特徴量でもよい。また、演奏者が演奏を行う位置情報や環境情報(温度、気圧、湿度等)を利用して、演奏ホール自体の特徴量(響きや音量等)でもよい。また、環境情報と音との関係を学習した関係情報、演奏ホールの特徴量や、ピアノの特徴量や演奏者の特徴量でもよい。
<1.1.本開示に係る概要(パフォーマンスと技能)>
また、本開示に係る実施形態を説明する前に、本開示に係る更なる概要について説明する。具体的には、本開示に係る演奏のパフォーマンスと技能等について説明する。
また、本開示に係る実施形態を説明する前に、本開示に係る更なる概要について説明する。具体的には、本開示に係る演奏のパフォーマンスと技能等について説明する。
ピアノ演奏のような芸術的演奏では、身体や指の動かし方等によって様々な音を奏でることができる。例えば、ピアノ演奏では、身体、腕、手、及び手指等の脱力が、様々な音を奏でる上で重要になり得る。演奏家は、理想的な音を奏でるために、日々練習や探索を重ねている。
実際の演奏では、倍音のような音と音とが複雑に重なり合う場合があるため、音情報から演奏を一音一音(各音)に分解し、評価することが難しい場合がある。評価を適切に行うために、音に直接関係するもの(例えば、タッチやペダル)の情報(以下、適宜、「一次情報」とする)と、演奏中の身体情報(以下、適宜、「二次情報」とする)とで別々に評価することが考えられる。なお、実施形態に係るパフォーマンスは、一次情報と二次情報とを含んでもよいものとする。
ピアノ演奏では、同じ鍵盤でもタッチによって様々な音色を奏でることができるため、同じ鍵盤の音でも、軽い音色と重い音色とが存在する。一次情報では、このような音に直接関係するタッチの特徴量を、演奏の指標とする。また、タッチの特徴量には、音に直接関係しない情報も含まれる場合がある。例えば、演奏中の姿勢に関する情報である。なお、演奏中の姿勢は、演奏者の持続性に影響し得る。二次情報では、このような身体情報(以下、適宜、「技能」とする)を、演奏の指標とする。例えば、鍵盤を底で押さえつける時間のようなタッチの特徴量の中でも音に直接関係しないもの、姿勢、及び重心移動等の身体情報である。なお、技能は、演奏の文脈(指づかい)等に依存した情報である。
コンクール等の一定以上の水準で演奏する場合には、楽曲の演奏には、課題曲(フレーズ)と自由曲とが含まれる場合がある。課題曲とは、例えば、個人差の前段階の達成すべき演奏水準での演奏が求められる曲であり、規定のテンポでミスなく弾けることが求められることが多い。また、自由曲とは、例えば、様々な曲のキーとなるフレーズ等からなる曲であり、演奏家が演奏のために自由に追加できることが多い。ここで、楽曲を演奏する上での楽曲の基本構成フレーズを「基礎モジュール」とする。基礎モジュールは、例えば、音階等であり、様々な楽曲の基本構成要素となっているフレーズである。例えば、高水準で演奏可能な基礎モジュールを増やしていくことで、演奏家は、様々な楽曲を多種多様な表現で演奏することができる。この基礎モジュールを組み合わせることで楽曲が構成されると仮定すると、楽曲のパフォーマンスは基礎モジュールによって説明し得る。また、基礎モジュールのパフォーマンスは技能と機能とによって説明し得る。
技能は、演奏における技術であり、上述したように、演奏の文脈であるフレーズ等に依存した情報である。例えば、技能は、打鍵の際の指の動かし方や演奏家の癖等である。演奏家は、正しく練習することで、技能を上達することができる。また、技能は、例えば、指くぐりの速度等の特徴量として算出される。一方、機能は、指の筋力や触覚、及び聴覚等のような、個人の身体的な能力(スペック)に依存した情報であり、フレーズに依存しない場合が多い。演奏家は、日々のトレーニングによって機能を向上することができる。また、機能は、例えば、指の筋力等の特徴量として算出される。
このように、技能と機能との2種類の身体情報を用いることで、効果的な熟達支援を促進することができる。以下、このような熟達支援を実現するための構成について説明する。図1は、本開示に係る身体情報を用いた熟達支援を実現するための構成を示す図である。図1では、ピアノ常設型アプリケーション(アプリ)(及び、センサシステム)と、身体機能計測アプリ(及び、センサシステム)と、モバイル端末向けアプリ(モバイルアプリ)との3つの構成が含まれる。これらは、後述する情報処理プラットフォーム1に含まれるものとしてもよい。ここで、ピアノ常設型アプリは、演奏家のパフォーマンスや技能を計測するために用いられる。ピアノ常設型アプリを用いた計測は、例えば、演奏時に計測される。また、身体機能計測アプリは、身体機能を計測するために用いられる。身体機能の計測は、例えば、演奏時以外に予め計測される。また、モバイルアプリは、ピアノ常設型アプリと身体機能計測アプリとを用いて演奏のパフォーマンスや効果的な練習法(演奏法、奏法)を確認するために用いられる。モバイルアプリは、演奏家の日々の練習を支援するものであり、例えば、計測した身体機能の結果確認、他者(例えば、演奏家の指導者や集団)との結果比較、及び練習法の推奨や提供等を行うことができる。また、モバイルアプリは、演奏家や演奏家の指導者等により使用され得るアプリであり、演奏家だけでなく、演奏家の指導者を支援するものであってもよい。これらのアプリを、クラウドを介して接続することで、例えば、演奏データ、日々の練習情報、及びデータ分析結果等を、他者との間で送受信することができる。なお、それぞれのアプリの詳細は後述する。
<<2.本開示の実施形態>>
<2.1.本開示の実施形態に係る情報処理プラットフォーム1の概要>
まずは、本開示の実施形態に係る情報処理プラットフォーム1の概要構成について、図2を参照して説明する。図2は、本実施形態に係る情報処理プラットフォーム1の構成例を説明する説明図である。
<2.1.本開示の実施形態に係る情報処理プラットフォーム1の概要>
まずは、本開示の実施形態に係る情報処理プラットフォーム1の概要構成について、図2を参照して説明する。図2は、本実施形態に係る情報処理プラットフォーム1の構成例を説明する説明図である。
図2に示すように、本実施形態に係る情報処理プラットフォーム1は、センサ装置10、サーバ30及び提示装置70を含み、これらは互いにネットワーク90を介して通信可能に接続される。例えば、センサ装置10、サーバ30及び提示装置70は、図示しない基地局等(例えば、携帯電話機の基地局、無線LANのアクセスポイント等)を介してネットワーク90に接続されてもよい。すなわち、ネットワーク90で用いられる通信方式は、有線又は無線を問わず任意の方式を適用することができる。以下に、本実施形態に係る情報処理プラットフォーム1に含まれる各装置の概要について説明する。
(センサ装置10)
センサ装置10は、被指導者又は演奏者の身体の一部に装着可能なセンサ、被指導者又は演奏者を撮像する撮像装置、被指導者又は演奏者が弾くピアノに設けられた圧力センサ、またはフォトリフレクタセンサ、もしくは、当該ピアノの音を収音する収音装置(マイクロフォン)等であることができる。センサ装置10は、センシングデータを取得するものであれば、数やその種類については特に限定されるものではない。なお、センサ装置10の詳細については後述する。
センサ装置10は、被指導者又は演奏者の身体の一部に装着可能なセンサ、被指導者又は演奏者を撮像する撮像装置、被指導者又は演奏者が弾くピアノに設けられた圧力センサ、またはフォトリフレクタセンサ、もしくは、当該ピアノの音を収音する収音装置(マイクロフォン)等であることができる。センサ装置10は、センシングデータを取得するものであれば、数やその種類については特に限定されるものではない。なお、センサ装置10の詳細については後述する。
(サーバ30)
サーバ30は、例えば、コンピュータ等により構成される。サーバ30は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ又は各第三者に対してサービスを提供する。具体的には、サーバ30は、例えば、演奏者又は被指導者に係るセンシングデータを収集し、収集したセンシングデータを解析し、被指導者等へフィードバックを行う。なお、サーバ30の詳細については後述する。
サーバ30は、例えば、コンピュータ等により構成される。サーバ30は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ又は各第三者に対してサービスを提供する。具体的には、サーバ30は、例えば、演奏者又は被指導者に係るセンシングデータを収集し、収集したセンシングデータを解析し、被指導者等へフィードバックを行う。なお、サーバ30の詳細については後述する。
(提示装置70)
提示装置70は、被指導者等に、サーバ30からのフィードバック情報やアプリケーションを提供するための装置であり、フィードバック情報を被指導者の演奏中又は演奏後等に可視化、力覚化、聴覚化、可聴化して通知する。例えば、提示装置70は、例えば、タブレット、スマートフォン、ラップトップ型PC(Personal Computer)、ノート型PC等のデバイス等である。さらに、提示装置70は、被指導者の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、HMD(Head Mounted Display)型、イヤーデバイス(ヘッドフォン)型、アンクレット型、腕輪型、首輪型、アイウェア型、グローブ型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、提示装置70の詳細については後述する。
提示装置70は、被指導者等に、サーバ30からのフィードバック情報やアプリケーションを提供するための装置であり、フィードバック情報を被指導者の演奏中又は演奏後等に可視化、力覚化、聴覚化、可聴化して通知する。例えば、提示装置70は、例えば、タブレット、スマートフォン、ラップトップ型PC(Personal Computer)、ノート型PC等のデバイス等である。さらに、提示装置70は、被指導者の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、HMD(Head Mounted Display)型、イヤーデバイス(ヘッドフォン)型、アンクレット型、腕輪型、首輪型、アイウェア型、グローブ型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、提示装置70の詳細については後述する。
なお、図2においては、本実施形態に係る情報処理プラットフォーム1には、1つのセンサ装置10及び提示装置70が含まれるものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理プラットフォーム1は、複数のセンサ装置10及び提示装置70を含んでもよい。さらに、実施形態に係る情報処理プラットフォーム1は、例えば、センサ装置10からサーバ30へセンシングデータを送信する際の中継装置等の他の通信装置等を含んでいてもよい。
<2.2.本開示の実施形態に係るセンサ装置10の構成>
次に、本開示の実施形態に係るセンサ装置10の構成について、図3を参照して説明する。図3は、本実施形態に係るセンサ装置10の構成を示すブロック図である。
次に、本開示の実施形態に係るセンサ装置10の構成について、図3を参照して説明する。図3は、本実施形態に係るセンサ装置10の構成を示すブロック図である。
本実施形態に係るセンサ装置10は、図3に示すように、センサ部100と、主制御部140と、通信部160とを主に有する。以下に、センサ装置10の各機能部の詳細について説明する。
(センサ部100)
センサ部100は、例えば、ユーザ(被指導者又は演奏者)の身体に装着することにより、演奏中のユーザの身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部100は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、曲げセンサ等の1つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。さらに、センサ部100によって得られた複数のセンシングデータは、後述する主制御部140に出力される。また、センサ部100は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけてもよい。
センサ部100は、例えば、ユーザ(被指導者又は演奏者)の身体に装着することにより、演奏中のユーザの身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部100は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、曲げセンサ等の1つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。さらに、センサ部100によって得られた複数のセンシングデータは、後述する主制御部140に出力される。また、センサ部100は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけてもよい。
なお、ここで、曲げセンサとは、例えば、曲げると曲げ量に応じて非線形に抵抗値が変化する素子を利用したセンサであり、例えば、ユーザの関節に装着することで、関節の曲げ角度を検出することができる。本実施形態においては、ユーザの腕や脚、胴体等の各関節等に、上述のようなセンサデバイスを装着することにより、空間内での手指や腕の姿勢(傾き)や、移動速度、関節の曲げ角度等を定量的に検出することができる。
また、本実施形態においては、センサ部100は、被指導者又は演奏者を撮像する撮像装置であってもよい。例えば、撮像装置は、観るパフォーマンスによって生じる結果の一例として、ユーザを撮像して映像データを得ることができる。また、例えば、高速撮影カメラ(撮像装置)によってユーザ等の動きをキャプチャすることにより、ユーザの関節等の位置や動きを定量的に検出することができる。なお、本実施形態においては、ユーザの眼球の動きや瞳孔の大きさ等を撮像装置によって検出してもよい。
また、本実施形態においては、センサ部100は、核磁気共鳴を利用して、被指導者又は演奏者の口腔内又は気管内の状態や、唇又は舌の動き等を検出する核磁気共鳴センサであってもよい。具体的には、被指導者等が磁気共鳴画像装置(MRI:Magnetic Resonance Imaging)内で演奏を実行することにより、上述の状態や動き等を検出することができる。特に、本開示の実施形態を各種の吹奏楽器(フルート、オーボエ、クラリネット、トランペット等)の演奏法に適用する場合には、他の方法では検出が難しい唇や舌の動きを検出できることから、上記MRIは有用となる。
また、センサ部100は、被指導者又は演奏者の運動要素によるピアノの鍵盤の上下動を検出する位置センサであってもよい。例えば、各鍵盤の下に位置センサを設置することにより、各鍵盤の上下動を検出し、各鍵盤を上下動させる手指の動きを検出することができる。また、センサ部100は、被指導者又は演奏者の運動要素によってピアノの鍵盤に与えられる圧力を検出する圧力センサや、鍵盤の上下動を光の反射により検出する受発光センサからなるフォトリフレクタセンサであってもよい。
また、センサ部100は、聴くパフォーマンスによって生じる結果の一例である、被指導者又は演奏者によって演奏されるピアノの音をセンシングする収音装置であってもよい。例えば、センサ部100は、ピアノの近傍に設けられたマイクロフォンであってもよい。その場合には、被指導者または演奏者が発する音声や、被指導者を指導する指導者の発する音声を収音し、音声認識により、被指導者がどのような練習を行っているか、あるいは指導者がどのようなアドバイスを行っているかなどを推定してもよい。このようにして音声認識によって得られた情報をスタディログとして、後述のサーバ30に格納してもよい。
あるいは、センサ部100は、ロボット等によって様々な力でピアノを打鍵した際の音を、上記マイクロフォンを介して検出する。さらに、後述のサーバ30は、打鍵に関するパラメータ(力等)と収音した音データとを機械学習等を利用して関係付けることにより、上記パラメータと音との関係情報を生成する。そして、関係情報を利用することにより、新たに上記マイクロフォンで被指導者等の演奏から収音した音の状態(例えば、響き、音色、音量等)に基づいて、被指導者等の打鍵に関するパラメータを取得することができる。
また、本実施形態においては、センサ部100は、筋電センサ、心拍センサ、脈拍センサ、血流センサ、呼吸センサ、脳波センサ、皮膚温度センサ、皮膚導電率センサ等の生体情報センサを含んでいてもよい。ここで、筋電センサとは、筋肉を構成する筋線維から発生する微弱な電場を検知するセンサである。例えば、筋電センサは、演奏者又は被指導者の腕等に装着された複数の電極によって、腕等の筋が収縮する際に筋線維において発生し、身体表面に伝播する電気信号による筋電位を測定することにより、筋の筋活動量を定量的に検出することができる。
また、心拍センサは、心臓における拍動である心拍を検出センサであり、脈拍センサは、心臓における拍動(心拍)により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動である脈拍を検出するセンサである。血流センサは、身体に赤外線を放射し、その赤外光の反射により血流量を検出するセンサである。さらに、呼吸センサは、呼吸量の変化を検出する呼吸流量計であることができる。脳波センサは、頭皮に複数の電極を装着し、測定した電極間の電位差の変動から雑音を除去することにより周期性のある波を抽出することにより脳波を検出するセンサである。皮膚温度センサは、演奏者又は被指導者の体温を検出するセンサであり、皮膚導電率センサは、演奏者又は被指導者の皮膚電気抵抗を検出するセンサである。
さらに、センサ部100は、被指導者又は演奏者の位置情報を取得するGPS(Global Positioning System)受信機等の位置情報センサを含んでいてもよい。また、センサ部100は、被指導者又は演奏者が演奏する環境の状態を示す環境情報を取得するために、気圧センサ、温度センサ、及び、湿度センサ等の他の各種センサを含んでもよい。
また、センサ部100は、各種モーションキャプチャや三次元測距センサ等を含んでもよい。例えば、三次元測距センサを用いて、人体の所定のランドマーク位置を検出することにより、所定の関節の角度を計測することができる。これにより、模範的な姿勢より肩が上がっている、首が突き出しているといった姿勢の悪さを検知することが可能である。
(主制御部140)
主制御部140は、センサ装置10内に設けられ、センサ装置10の各ブロックを制御することができる。当該主制御部140は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。また、当該主制御部140は、データ取得部142、処理部144、及び出力制御部152として機能することもできる。以下に、本実施形態に係る主制御部140のこれら機能の詳細について説明する。
主制御部140は、センサ装置10内に設けられ、センサ装置10の各ブロックを制御することができる。当該主制御部140は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。また、当該主制御部140は、データ取得部142、処理部144、及び出力制御部152として機能することもできる。以下に、本実施形態に係る主制御部140のこれら機能の詳細について説明する。
-データ取得部142-
データ取得部142は、センサ部100を制御して、センサ部100から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部144へ出力する。また、データ取得部142は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけて処理部144へ出力してもよい。
データ取得部142は、センサ部100を制御して、センサ部100から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部144へ出力する。また、データ取得部142は、正確な時刻を把握する時計機構(図示省略)を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけて処理部144へ出力してもよい。
-処理部144-
処理部144は、上述したデータ取得部142から出力されたセンシングデータを、ネットワーク90を介して送信可能な所定の形式に変換し(例えば、アナログ信号であるセンシングデータをデジタル信号に変換する)、後述する出力制御部152に出力する。
処理部144は、上述したデータ取得部142から出力されたセンシングデータを、ネットワーク90を介して送信可能な所定の形式に変換し(例えば、アナログ信号であるセンシングデータをデジタル信号に変換する)、後述する出力制御部152に出力する。
-出力制御部152-
出力制御部152は、上述した処理部144から出力された所定の形式のセンシングデータを、後述する通信部160を制御してサーバ30へ送信する。
出力制御部152は、上述した処理部144から出力された所定の形式のセンシングデータを、後述する通信部160を制御してサーバ30へ送信する。
(通信部160)
通信部160は、センサ装置10内に設けられ、サーバ30等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部160は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部160は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
通信部160は、センサ装置10内に設けられ、サーバ30等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部160は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部160は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
なお、センサ装置10は、HMD型、イヤーデバイス型、アンクレット型、腕輪型、首輪型、アイウェア型、パッド型、バッチ型、ベルト型、衣服型等の各種の方式のウェアラブルデバイスであってもよい。具体的には、これらウェアラブルデバイスは、様々なセンシングデータを取得するために、被指導者又は演奏者の手指、腕部、脚部、胴部、頭部、足先等に設けられることができる。さらに、センサ装置10は、撮像装置、収音装置等の被指導者又は演奏者の周囲に設置される装置であってもよい。
<2.3.本開示の実施形態に係るサーバ30の構成>
次に、本開示の実施形態に係るサーバ30の構成について、図4から図10を参照して説明する。図4は、本実施形態に係るサーバ30の構成を示すブロック図である。図5および図6は、本実施形態に係る主観評価情報を説明するための説明図である。図7および図9は、本実施形態に係る学習部346を説明するための説明図である。図8は、本実施形態に係る算出部347を説明するための説明図である。さらに、図10は、本実施形態に係る比較部350を説明するための説明図である。
次に、本開示の実施形態に係るサーバ30の構成について、図4から図10を参照して説明する。図4は、本実施形態に係るサーバ30の構成を示すブロック図である。図5および図6は、本実施形態に係る主観評価情報を説明するための説明図である。図7および図9は、本実施形態に係る学習部346を説明するための説明図である。図8は、本実施形態に係る算出部347を説明するための説明図である。さらに、図10は、本実施形態に係る比較部350を説明するための説明図である。
先に説明したように、サーバ30は、例えば、コンピュータ等により構成される。図4に示すように、サーバ30は、入力部(取得部)300と、出力部310と、主制御部340と、通信部360と、記憶部370とを主に有する。以下に、サーバ30の各機能部の詳細について説明する。
(入力部300)
入力部300は、サーバ30へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部300は、タッチパネル、キーボード等により実現され、被指導者又は演奏者の属性情報の入力を受けつけることができる。
入力部300は、サーバ30へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部300は、タッチパネル、キーボード等により実現され、被指導者又は演奏者の属性情報の入力を受けつけることができる。
(出力部310)
出力部310は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。
出力部310は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。
(主制御部340)
主制御部340は、サーバ30内に設けられ、サーバ30の各ブロックを制御することができる。当該主制御部340は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。また、当該主制御部340は、データ取得部(取得部)342、処理部344及び出力制御部(提示部)354として機能することもできる。以下に、本実施形態に係る主制御部340のこれら機能の詳細について説明する。
主制御部340は、サーバ30内に設けられ、サーバ30の各ブロックを制御することができる。当該主制御部340は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。また、当該主制御部340は、データ取得部(取得部)342、処理部344及び出力制御部(提示部)354として機能することもできる。以下に、本実施形態に係る主制御部340のこれら機能の詳細について説明する。
-データ取得部342-
データ取得部342は、後述する提示装置70から送信された、過去の演奏者(第1のユーザ)の各演奏に対する被指導者(第2のユーザ)の主観評価情報を取得して、取得した主観評価情報を後述する処理部344へ出力する。また、データ取得部342は、上述したセンサ装置10から送信されたセンシングデータを取得し、取得したセンシングデータを、記憶部370の後述するDB372に格納するとともに、後述する処理部344へ出力する。詳細には、データ取得部342は、上記主観評価情報とともに、当該主観評価情報に紐づけられた演奏の音データと、当該演奏中に得られた演奏者の各運動要素や演奏状態等に係るセンシングデータとを取得する。
データ取得部342は、後述する提示装置70から送信された、過去の演奏者(第1のユーザ)の各演奏に対する被指導者(第2のユーザ)の主観評価情報を取得して、取得した主観評価情報を後述する処理部344へ出力する。また、データ取得部342は、上述したセンサ装置10から送信されたセンシングデータを取得し、取得したセンシングデータを、記憶部370の後述するDB372に格納するとともに、後述する処理部344へ出力する。詳細には、データ取得部342は、上記主観評価情報とともに、当該主観評価情報に紐づけられた演奏の音データと、当該演奏中に得られた演奏者の各運動要素や演奏状態等に係るセンシングデータとを取得する。
具体的には、データ取得部342は、演奏によって生じる音をセンシングする収音装置から得られた音データに対する主観評価情報を取得する。あるいは、データ取得部342は、例えば、演劇等の観るパフォーマンスにおいて、俳優を撮像する撮像装置から得られた映像データに対する主観評価情報を取得してもよい。
主観評価情報とは、上述のとおり、ユーザの主観的な評価であり、例えば、固い、高いといった人によって異なる評価を意味する。特に本実施形態では、例えば、好き、情熱的、穏やかというようなユーザの感じる感性情報であってもよい。具体的には、本実施形態においては、予め被指導者に、例えば好みの演奏や目標としたい演奏者の過去の演奏(音データ)等に対して、主観評価情報を入力させる。
例えば、主観評価情報の入力は、図5に示すように、所定の主観評価指標の度合いの組み合わせを主観評価情報の値として、提示装置70を介して被指導者に指定させてもよい。図5に示す例では、まず、被指導者に、「ありえない」「ほほえましい」「かわいそう」という過去の演奏に対する主観評価を入力させる。さらに、この例では、被指導者に、「ありえない」「ほほえましい」「かわいそう」という過去の演奏に対する主観評価のそれぞれにおいて、「好きと嫌い」「楽しいと悲しい」「怒りと恐れ」のそれぞれについてどちらに近いかの度合いを示す3つの指標値を入力させる。すなわち、当該例では、被指導者に、過去の演奏に対する大まかな主観評価を入力させるだけでなく、細かな項目に対して度合いを示す指標値を入力させることにより、3つの指標値の組み合わせからなる、被指導者の主観評価の詳細情報を得ることができる。
あるいは、本実施形態においては、図6に示すように、所定の主観の、主観評価のマッピング空間における座標値を、提示装置70を介して被指導者に予め指定させてもよい。詳細には、図6に示す例では、被指導者に対して、x軸を「快と不快」の割合で決定する値、y軸を「動と静」の割合で決定する値としたxy平面上に、所定の主観として「うるさい」「軽快」「優美」「陰気」等を予めマッピングさせる。そして、被指導者が過去の演奏に対して「うるさい」「軽快」「優美」「陰気」等の所定の主観を指定した場合には、当該過去の演奏に対する主観評価情報として、指定された所定の主観の、xy平面上の座標値を用いることができる。
本実施形態においては、例えば、被指導者が練習を開始する前や練習の合間の休憩中等に、過去の演奏に対する上記のような主観評価情報の値を指定させる。なお、過去の演奏の演奏者(第1のユーザ)は、被指導者以外の他の演奏者であっても、被指導者自身であってもよい。例えば、被指導者は、目標としたい他の演奏者の演奏に対する主観評価情報を指定してもよいし、思い描いた通りに演奏できた過去の自身の演奏に対する主観評価情報を指定してもよい。
なお、データ取得部342は、主観評価情報の一例である感性情報として、被指導者に装着された生体情報センサから得られたセンシングデータを取得してもよい。例えば、生体情報センサとは、被指導者の心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサである。この場合に、後述する処理部344は、例えば、脈拍や発汗の増加によって昂揚感を判定するというように、センシングデータから感性情報を判定してもよい。
-処理部344-
処理部344は、過去の演奏と被指導者(第2のユーザ)の主観評価情報との関係を予め機械学習し、過去の各演奏と、被指導者の各主観評価情報との関係情報を生成し、演奏と関係情報とをDB372に格納しておく。そして、処理部344は、関係情報に基づいて、被指導者から新たに指定された主観評価情報に対応する演奏を選択し、選択した演奏と被指導者の演奏とを比較して、フィードバック情報を生成し、生成したフィードバック情報を被指導者に提示する。
処理部344は、過去の演奏と被指導者(第2のユーザ)の主観評価情報との関係を予め機械学習し、過去の各演奏と、被指導者の各主観評価情報との関係情報を生成し、演奏と関係情報とをDB372に格納しておく。そして、処理部344は、関係情報に基づいて、被指導者から新たに指定された主観評価情報に対応する演奏を選択し、選択した演奏と被指導者の演奏とを比較して、フィードバック情報を生成し、生成したフィードバック情報を被指導者に提示する。
詳細には、処理部344は、上述したこれら機能を実現するために、学習部346、算出部347、提示部(選択部348、比較部350、推薦部352)として機能する。以下に、本実施形態に係る処理部344のこれら機能の詳細について説明する。
学習部346は、過去の演奏者(第1のユーザ)の演奏と被指導者(第2のユーザ)の主観評価情報との関係を予め機械学習し、過去の各演奏と、被指導者の各主観評価情報との関係情報を生成する。具体的には、図7に示すように、処理部344は、演奏によって生じた音をセンシングした音データである演奏データ501と主観評価情報503とを、処理部344が有する学習部346に入力し、当該学習部346に機械学習を行わせる。詳細には、例えば、処理部344には、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習部(学習器)346が備わっているものとする。
学習部346にセンサ装置10から取得された音データ501と主観評価情報503とがそれぞれ入力信号及び教師信号(ラベル)として入力され、当該学習部346は、所定の規則に従ってこれら情報の間の関係について機械学習を行う。
その際、入力される入力信号と教師信号とは図7に示されるような1対1の関係ではなく、複数の入力信号(演奏データ501)と1つの教師信号(主観評価情報503)とが紐づけられて入力されてもよいし、複数の入力信号と複数の教師信号とが紐づけられて入力されてもよい。さらに、教師信号である主観評価情報503は、予めクラスタ分けされて入力されてもよい。すなわち、本実施形態においては、類似の傾向を持った複数の演奏群については、同一のクラスタのデータ群として取り扱ってもよい。このようなクラスタ分けは、後述する選択部348が選択する際に利用したり、被指導者の演奏を分類する際に利用したりしてもよい。
そして、学習部346は、各演奏データ501の特徴量と主観評価情報503との関係性に関する情報を、重回帰分析等の多変量解析を行うことで取得してもよい。演奏データ501の特徴量は、例えば、同一のラベルを持つ各演奏データ501に含まれる各フレーズの変化パターンの互いの類似度を算出することによって得ることができる。
また、学習部346は、このようにして得られた特徴量と主観評価情報との関係性を重回帰分析等の多変量解析を行うことで、各主観評価情報に特徴的な特徴量を抽出する。これにより、学習部346は、主観評価情報503と特徴量との関係である関係情報を機械学習することができる。そして、学習部346が機械学習で得た関係情報等を記憶部370に格納することにより、データベース(DB)372を構築する。
また、学習部346は、機械学習で得た関係情報に基づいて、新たにセンサ装置10から取得した演奏者の演奏データ501を分類することができる。具体的には、学習部346は、新たにセンサ装置10から取得した演奏者の演奏データ501から、各主観評価情報503に対応する特徴量を抽出し、抽出した特徴量と機械学習で得たDB372とに基づいて、取得した演奏データ501に主観評価情報503のラベル付けを行うことができる。
選択部348は、関係情報に基づいて、被指導者から新たに指定された主観評価情報に対応する過去の演奏を上記手本として選択する。例えば、処理部344は、提示装置70を介して被指導者に、主観評価情報を指定させる。その場合に、選択部348は、DB372から、指定された主観評価情報に対応する演奏データ501を選択するとともに、選択された演奏データ501に対応する演奏中の運動要素や演奏状態等に係るセンシングデータを取得する。
なお、該当する演奏データ501が複数ある場合には、選択部348は、提示装置70を介して被指導者に、該当した複数の演奏データ501をリスト形式等で提示して、そのうちの1つ又は複数を被指導者に選択させてもよい。選択部348は、選択した演奏データ501の演奏のセンシングデータを算出部347又は学習部346に出力する。
また、本実施形態においては、選択部348は、被指導者の属性情報(性別、年齢、身長、体重、体格、筋力、柔軟性、俊敏性等)等に応じて、被指導者から新たに指定された主観評価情報に対応する過去の演奏を選択してもよい。このような選択を行うことにより、被指導者の属性等に応じたテーラーメイドのフィードバックを行うことができる。
算出部347は、上述したデータ取得部342から出力された各センシングデータを処理し、センシングデータから特徴量を算出する。算出された特徴量は、被指導者へフィードバックするフィードバック情報を生成する際に用いられることとなる。詳細には、算出部347は、図8に示すように、選択部348あるいはセンサ装置10から送信されたセンシングデータに基づいて、所定のアルゴリズムを適用することにより、選択された1つ又は複数の演奏の運動要素や演奏状態等に係る特徴量を算出する。より具体的には、算出部347は、選択された1つ又は複数の演奏に係る複数のセンシングデータを重回帰分析等の多変量解析を行うことで、選択された演奏を特徴づける特徴量を抽出する。ここで、演奏状態を表すセンシングデータとは、演奏速度、演奏の正確性、演奏によって生じる音の音量、音の響き、音色、和音における一音同士の音量差や時間差、各音パラメータの最大値と最小値との差分、各音パラメータの粒度等の情報を含むセンシングデータのことである。例えば、このような演奏状態に係るセンシングデータは、演奏者の近傍に設けられたマイクロフォンで音を集音することにより、取得することができる。
また、本実施形態においては、例えば、図9に示すように、学習部346は、新たに被指導者から指定された主観評価情報と同一または類似する主観評価情報502を持つ選択された演奏のセンシングデータ500と、対応する主観評価情報502との関係性に関する情報を、多変量解析を行うことで取得してもよい。そして、本実施形態においては、取得した関係性に関する情報に基づき、選択された演奏の特徴量を取得してもよい。また、本実施形態においては、取得した関係情報を記憶部370に格納することにより、データベース(DB)372を構築してもよい。詳細には、例えば、選択された各演奏における各運動要素のセンシングデータ500の変化パターンの互いの類似度を算出することによって、特徴量を得ることができる。また、例えば、選択された各演奏における各運動要素のセンシングデータ500の三次元空間内の変化パターンを所定のノルムで正規化して抽出し、それらの間の類似度を算出することによっても得ることができる。
そして、比較部350は、図10に示すように、DB372から被指導者の手本となる演奏の特徴量504(第1の特徴量)をロールモデルとして選択し、当該特徴量504に対応する、被指導者の演奏におけるセンシングデータの特徴量(第2の特徴量)とを比較する。例えば、比較部350は、特徴量504に対応するセンシングデータと同一の被指導者の演奏に係るセンシングデータを、特徴量504に対応するセンシングデータと比較する。比較部350は、例えば、ロールモデルと算出された特徴量504との差分(ズレ)を算出したり、これらの整合度を算出したりしてもよい。さらに、比較部350は、算出した差分をゼロとするために必要な運動要素の情報(身体の箇所や動作量等)を抽出してもよい。そして、比較部350は、上述の比較結果を用いて、被指導者にフィードバックするためのフィードバック情報506を生成し、生成したフィードバック情報506を出力制御部354に出力する。
なお、比較部350は、ロールモデルに対応する演奏と被指導者の演奏との特徴量の差分に代えて、演奏データ501自体の差分を抽出してもよい。また、フィードバック情報は、特徴量又は演奏データの差分そのものでもよいし、差分に基づいて生成されたものでもよい。あるいは、比較部350は、互いに比較した特徴量504の双方に対応する演奏のセンシングデータ500をフィードバック情報506として、重ね合わせて表示するように出力制御部354に出力してもよい。
また、比較部350は、代表的な特徴量504が複数存在する場合には、対応する被指導者の特徴量との差分を算出し、差分が大きな代表的な特徴量504を、被指導者の演奏が選択された演奏に近づくために修正する必要性が高い特徴量であるとして、比較するロールモデルとして選択してもよい。もしくは、比較部350は、DB372に基づいて、所望する主観評価に最も関係性の高い特徴量504を、被指導者の演奏が選択された演奏に近づくために改善すると効果がより大きいとされる特徴量504であるとして比較するロールモデルとして選択してもよい。
推薦部352は、あらかじめDB372に格納された差分と差分が生じる原因との対応付けを参照して、差分に対応する原因を特定してフィードバック情報506に含めることができる。具体的には、処理部344は、予め、上記した比較部350が抽出した差分ごとに、差分が生じる原因を対応付けて、DB372に格納している。例えば、「肩が上がっている」という現象を示す差分に対し、原因として「不要な鍵盤の押さえが発生していること」が対応づけられて、DB372に格納されている。推薦部352は、DB372を参照して、比較部350が抽出した差分に対応する原因を特定して、フィードバック情報506に含める。
なお、処理部344は、上述のような差分と原因とを対応付けを、入力部300を介する入力により、あるいは通信部360を介して他の情報処理装置から取得してもよい。あるいは、処理部344は、現象とその原因についての知見を蓄積した外部のビッグデータを用いて機械学習することにより、差分と原因との対応付けを取得してもよい。例えば、処理部344は、差分の特徴量と原因との関係性に関する情報を多変量解析によって取得してもよい。そして、処理部344は、得られた特徴量と原因との関係性の多変量解析を行うことで、各原因に特徴的な特徴量を抽出する。これにより、処理部344は、差分と原因との関係である関係情報を機械学習することができる。そして、処理部344が機械学習で得た関係情報等を記憶部370に格納することにより、DB372を構築する。
さらに、推薦部352は、原因を解決するための解決策を提示してもよい。例えば、推薦部352は、あらかじめDB372に格納された原因と解決策との対応付けを参照し、特定された原因に対応する解決策をフィードバック情報506に含める。具体的には、処理部344は、予め、各原因と解決策とを対応付けて、DB372に格納している。例えば、「演奏時の姿勢が悪い」という原因に対し、「筋トレ」等の解決策が対応付けられて、DB372に格納されている。推薦部352は、DB372を参照して、特定された原因に対応する解決策をフィードバック情報506に含める。
この場合にも、処理部344は、原因と解決策との対応付けを、入力部300を介した入力により、あるいは通信部360を介して原因とその解決策についての知見を蓄積した他の情報処理装置から取得してもよい。
なお、推薦部352は、情報処理プラットフォーム1に接続される複数の被指導者のうちで、例えば、手本とした演奏との差分が小さい順で上位Nパーセント等の所定の範囲を超えた場合に、被指導者に解決策を提示するようにしてもよい。
また、推薦部352は、被指導者が演奏中か否かに応じて、被指導者に提示するフィードバック情報506の内容や提示方法を切り替えてもよい。例えば、被指導者が楽器の前にいることをセンサ装置10が検知した場合等には、推薦部352は、楽器を用いて実践できる解決策を提示したり、休憩をとることを推薦したりしてもよい。一方、例えば、被指導者が楽器の前にいないことをセンサ装置10が検知した場合等、被指導者が演奏中ではないと判定された場合には、推薦部352は、例えば、直前に実施した演奏法の練習内容を復習できるフィードバック情報506を提示してもよい(後述する図17参照)。
出力制御部354は、処理部344から出力されたフィードバック情報506を、後述する通信部360を制御して、提示装置70に送信する。すなわち、出力制御部354は、提示装置70におけるフィードバックを制御することができる。例えば、出力制御部354は、後述するように、提示装置70の表示部714を制御して、所定の画像を表示させる。あるいは、出力制御部354は、被指導者の身体に装着されたウェアラブル装置である力覚機構710を制御して被指導者に対して所定の触覚刺激を行わせる。あるいは、出力制御部354は、音声出力部716を制御して所定の音を出力させる。
本実施形態において、出力制御部354は、被指導者の演奏における運動量、運動速度、運動加速度、運動正確性等の情報の経時変化をアニメーション表示することにより、フィードバック情報を提示する(後述する図16参照)。本実施形態においては、このようなアニメーション表示を行うことにより、被指導者に、複数ある項目を直感的に認識させることができる。また、例えば、出力制御部354は、比較部350が抽出した差分に応じて、アニメーション表示に対してエフェクト処理を行う。具体的には、出力制御部354は、エフェクト処理として、アニメーション表示に対するシェーディング処理の変更、アニメーション表示におけるワイヤーフレーム表示の状態の変更、及び、アニメーション表示の色彩、輝度、透明度の変更等を行ってもよい(後述する図18及び図19参照)。本実施形態においては、このような表示に対するエフェクト処理を行うことにより、被指導者に、差分を直感的に認識させることができる。
また、出力制御部354は、処理部344から出力された出力されたフィードバック情報506の全てを提示装置70へ送信することに限定されるものではない。例えば、出力制御部354は、被指導者の属性情報等に基づいて、フィードバック情報506を選択し、選択したフィードバック情報506を提示装置70へ送信してもよい。詳細には、被指導者にフィードバックする情報量が多い場合には、被指導者が混乱し、かえって技能の習得に邪魔になる場合がある。そこで、出力制御部354において、被指導者の属性等に応じて、フィードバックする情報の量を限定することにより、被指導者の混乱を避けることができる。
また、本実施形態においては、出力制御部354は、提示装置70へ送信するフィードバック情報506の選択を、事前の設定に基づいて行ってもよい。以下に、被指導者が、本実施形態に係る情報処理プラットフォーム1を利用して「演奏速度」と「打鍵の強さ」との両方の課題について改善を行おうとする場合を例として、出力制御部354が事前の設定に基づいてフィードバック情報506の選択を行うことについて説明する。このような場合、「演奏速度」の改善(向上)のためのフィードバック情報506と「打鍵の強さ」の改善(向上)のためのフィードバック情報506の両方をフィードバックされると、被指導者が混乱する恐れがある。そこで、本実施形態においては、例えば、被指導者又は指導者により、演奏速度と打鍵の強さとのいずれかのフィードバック情報506を優先的にフィードバックすべきかを予め設定しておく。そして、上記出力制御部354は、上記設定に基づき、いずれかのフィードバック情報506を優先的にフィードバックするように提示装置70を制御する。このようにすることにより、被指導者の混乱を避けることができる。また、本実施形態においては、いずれか1つのフィードバック情報506をフィードバックすることに限定されるものではなく、例えば、時間差をおいて順次複数のフィードバック情報506をフィードバックしてもよい。このような場合、フィードバックする順番や時間差等についても、被指導者に好適にフィードバックされるよう、予め設定してもよい。
また、本実施形態においては、上述のように、属性情報や事前の設定に基づいて選択するのではなく、出力制御部354は、上述の学習部346による学習によって得たアルゴリズムを利用して、提示装置70へ送信するフィードバック情報506を選択してもよい。例えば、本実施形態においては、学習部346に、被指導者に対してフィードバックしたフィードバック情報506の内容やその情報量と、被指導者の演奏の改善に関する情報とを入力する。そして、これら情報が入力された学習部346は、フィードバック情報506及びその情報量と改善効果との関係を示す関係情報を事前に学習する。さらに、出力制御部354は、学習部346で得た上記関係情報を利用してより改善効果が高いと推定されるフィードバック情報506や情報量に基づいて、提示装置70へ送信するフィードバック情報506を選択する。本実施形態においては、このようにフィードバックするフィードバック情報506を適切に制御することにより、被指導者の演奏の習得や改善をより効果的に行うことができる。なお、本実施形態においては、フィードバック情報506の内容や情報量だけでなく、フィードバックするタイミングや、フィードバックする際のフィードバックの形態(表示、音声、力覚等)についても、学習部346の学習によって得た情報に基づいて選択してもよい。
さらに、出力制御部354は、フィードバック情報506や、被指導者の属性情報等に基づいて、フィードバックの形態(表示、音声、力覚等)を選択してもよく、選択したフィードバックの形態の情報を提示装置70へ送信してもよい。例えば、本実施形態を、ピアノを正確に演奏するための技能習得に適用した場合には、出力制御部354は、被指導者の手本となる熟練者の動作をフィードバック情報として被指導者の身体の一部(関節等)に力を印加して伝達する力覚機構710(図11参照)によるフィードバックの形態を選択する。また、同様の場合、出力制御部354は、被指導者と熟練者との動作のズレをフィードバック情報として視覚的に伝達する表示部714(図11参照)によるフィードバックの形態を選択する。また、出力制御部354が、どのフィードバックの形態でフィードバックを行うかについては、被指導者等が自身の好み等に合わせて事前に設定してもよい。
(通信部360)
通信部360は、サーバ30内に設けられ、センサ装置10や提示装置70等の外部装置との間で情報の送受信を行うことができる。なお、通信部360は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
通信部360は、サーバ30内に設けられ、センサ装置10や提示装置70等の外部装置との間で情報の送受信を行うことができる。なお、通信部360は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
(記憶部370)
記憶部370は、サーバ30内に設けられ、上述した主制御部340が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部370は、例えば、ハードディスク(Hard Disk:HD)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)等により実現される。また、記憶部370は、上述したDB372を格納することができる。
記憶部370は、サーバ30内に設けられ、上述した主制御部340が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部370は、例えば、ハードディスク(Hard Disk:HD)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)等により実現される。また、記憶部370は、上述したDB372を格納することができる。
<2.4.本実施形態に係る提示装置70の構成>
次に、本開示の実施形態に係る提示装置70の構成について、図11を参照して説明する。図11は、本実施形態に係る提示装置70の構成を示すブロック図である。
次に、本開示の実施形態に係る提示装置70の構成について、図11を参照して説明する。図11は、本実施形態に係る提示装置70の構成を示すブロック図である。
先に説明したように、提示装置70は、スマートフォン、タブレット、ラップトップ型PC、ノート型PC、ウェアラブルデバイス等のデバイスであることができる。また、図11に示すように、提示装置70は、力覚機構710と、表示部714と、音声出力部(音声出力装置)716と、主制御部740と、通信部760と、記憶部770とを主に有する。以下に、提示装置70の各機能部の詳細について説明する。
(力覚機構710)
力覚機構710は、サーバ30から送信されたフィードバック情報506に基づいて、被指導者の身体の一部(関節等)に力を印加する等の力覚を伝える装置である。例えば、力覚機構710は、被指導者の手に装着されたグローブ型ウェアラブルデバイス(ウェアラブル装置)である。詳細には、グローブ型ウェアラブルデバイス712は、手指外骨格ロボットと呼ばれ、アクチュエータによって、複数の外骨格部材(不図示)を動作させることにより、被指導者の手指や関節に力を印加し、例えば、関節の伸展・屈曲方向の力がどれだけ過剰又は不足か等を被指導者に力覚させる。その結果、当該グローブ型ウェアラブルデバイスによれば、被指導者の演奏を熟練者の演奏に近づくように誘導することができる。また、本実施形態においては、力覚機構710に上述のセンサ装置10を装着してもよく、この場合、当該力覚機構710は、上記センサ装置10が目標とする値を取得するように、被指導者の身体の一部に力や刺激を印加してもよい。なお、本実施形態においては、ウェアラブルデバイスは、被指導者の腕に装着するアームカバー型のウェアラブルデバイスであってもよい。あるいは、力覚機構710は、例えば、被指導者の身体の一部に振動を与える振動装置や、筋肉に刺激を与える電気筋肉刺激を利用した刺激装置であってもよい。すなわち、本実施形態においては、力覚機構710は、被指導者の身体の一部に触覚刺激を与えることにより、フィードバック情報506を被指導者に体感的にフィードバック(バイオフィードバック)することができるものであればよい。
力覚機構710は、サーバ30から送信されたフィードバック情報506に基づいて、被指導者の身体の一部(関節等)に力を印加する等の力覚を伝える装置である。例えば、力覚機構710は、被指導者の手に装着されたグローブ型ウェアラブルデバイス(ウェアラブル装置)である。詳細には、グローブ型ウェアラブルデバイス712は、手指外骨格ロボットと呼ばれ、アクチュエータによって、複数の外骨格部材(不図示)を動作させることにより、被指導者の手指や関節に力を印加し、例えば、関節の伸展・屈曲方向の力がどれだけ過剰又は不足か等を被指導者に力覚させる。その結果、当該グローブ型ウェアラブルデバイスによれば、被指導者の演奏を熟練者の演奏に近づくように誘導することができる。また、本実施形態においては、力覚機構710に上述のセンサ装置10を装着してもよく、この場合、当該力覚機構710は、上記センサ装置10が目標とする値を取得するように、被指導者の身体の一部に力や刺激を印加してもよい。なお、本実施形態においては、ウェアラブルデバイスは、被指導者の腕に装着するアームカバー型のウェアラブルデバイスであってもよい。あるいは、力覚機構710は、例えば、被指導者の身体の一部に振動を与える振動装置や、筋肉に刺激を与える電気筋肉刺激を利用した刺激装置であってもよい。すなわち、本実施形態においては、力覚機構710は、被指導者の身体の一部に触覚刺激を与えることにより、フィードバック情報506を被指導者に体感的にフィードバック(バイオフィードバック)することができるものであればよい。
なお、上記力覚機構710は、被指導者がイメージトレーニングを行う際にも用いることができる。例えば、上記フィードバック情報506として、被指導者の手本となる熟練者の動作が力覚機構710によってフィードバックされる場合には、ピアノ等がなくても、被指導者はイメージトレーニングを行うことができる。この際、被指導者にフィードバック情報506に対応する演奏データ501を後述する音声出力部716によって出力してもよい。また、力覚機構710によるフィードバックをスローで再生し、且つ、音声出力部716によって出力する演奏音をスローで出力して、被指導者のイメージトレーニングの効果をより高めてもよい。
(表示部714)
表示部714は、被指導者等のユーザにフィードバック情報506を表示するためのデバイスであり、例えば、被指導者に向けて、画像又は光によりフィードバック情報506を出力する。表示部714は、ディスプレイ(画像表示装置)、発光素子(図示省略)等により実現される。さらに表示部714は、映像出力端子等により実現されてもよい。
表示部714は、被指導者等のユーザにフィードバック情報506を表示するためのデバイスであり、例えば、被指導者に向けて、画像又は光によりフィードバック情報506を出力する。表示部714は、ディスプレイ(画像表示装置)、発光素子(図示省略)等により実現される。さらに表示部714は、映像出力端子等により実現されてもよい。
具体的には、表示部714は、フィードバック情報506に含まれる、例えば、ロールモデルと被指導者との特徴量504の差分を、当該差分の大きさに応じて色彩を変えて表示することができる。さらに、表示部714は、上記差分が微小であったり、差分が生じている時間が微小時間であったりした場合には、被指導者が当該差分を知覚することが難しくなることから、上記差分の情報を仮想的に拡大化して表示してもよい。詳細には、表示部714は、上記差分を所定のスカラー倍して可視化したり(空間方向における拡大化)、スローモーションで掲示したり(時間方向における拡大化)してもよい。さらに、表示部714は、被演奏者の過去の特徴量504と現在の特徴量との差分を上述のようにして表示し、被演奏者の習得の度合いを示してもよい。
また、表示部714は、フィードバック情報506に基づくオブジェクトを拡張現実(AR)として、実空間に重畳して表示することができる投影装置であってもよい。このような投影装置は、例えば、被指導者の眼前に装着されるスマートグラス型ウェアラブルデバイス(図示省略)であることができる。当該スマートグラス型ウェアラブルデバイスには、透過型ディスプレイが設けられており、当該透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系を被指導者の眼前に保持し、当該虚像光学系の内側に上記オブジェクトを表示させる。また、上記投影装置は、被指導者の頭部に装着されるHMDであってもよい。
(音声出力部716)
音声出力部716は、被指導者等のユーザにフィードバック情報506を音声出力(アラーム等)するためのデバイスであり、例えば、被指導者に耳に装着されたヘッドフォンスピーカ716や、被指導者の近傍に設けられたスピーカ(図示省略)であってもよい。さらに、音声出力部716は、音声出力端子等により実現されてもよい。例えば、音声出力部716は、ロールモデルと被指導者との特徴量504との差分が生じた際に、演奏中の被指導者に特定の音を出力することによってフィードバックを行う。
音声出力部716は、被指導者等のユーザにフィードバック情報506を音声出力(アラーム等)するためのデバイスであり、例えば、被指導者に耳に装着されたヘッドフォンスピーカ716や、被指導者の近傍に設けられたスピーカ(図示省略)であってもよい。さらに、音声出力部716は、音声出力端子等により実現されてもよい。例えば、音声出力部716は、ロールモデルと被指導者との特徴量504との差分が生じた際に、演奏中の被指導者に特定の音を出力することによってフィードバックを行う。
このように、本実施形態においては、フィードバック情報506等に応じて、上述した力覚機構710、表示部714及び音声出力部716のいずれかの好適な感覚モダリティに対応する手段を選択し、被指導者にフィードバックを行うことができる。また、本実施形態は、同時に力覚機構710、表示部714及び音声出力部716によってフィードバックを行ってもよく、特に限定されるものではない。このようにすることによって、被指導者によってイメージしにくい、習得のための「コツ」を被指導者に体感させることができる。
(主制御部740)
主制御部740は、提示装置70内に設けられ、提示装置70の各ブロックを制御することができる。当該主制御部740は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。
主制御部740は、提示装置70内に設けられ、提示装置70の各ブロックを制御することができる。当該主制御部740は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。
(通信部760)
通信部760は、サーバ30等の外部装置との間で情報の送受信を行うことができる。なお、通信部760は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
通信部760は、サーバ30等の外部装置との間で情報の送受信を行うことができる。なお、通信部760は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
(記憶部770)
記憶部770は、提示装置70内に設けられ、上述した主制御部740が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部770は、例えば、HDなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。
記憶部770は、提示装置70内に設けられ、上述した主制御部740が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部770は、例えば、HDなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。
また、提示装置70は、図示しない入力部を有していてもよい。当該入力部は、提示装置70へのデータ、コマンドの入力を受け付ける機能を有する。より具体的には、当該入力部は、タッチパネル、ボタン、スイッチ、キー、キーボード、マイクロフォン、画像センサ等により実現される。
また、本実施形態においては、センサ装置10のセンサ部100の機能と、提示装置70の力覚機構710等を一体化して、1つのウェアラブルデバイスとしてもよい。
<2.5.本開示の実施形態に係る情報処理方法>
以上、本実施形態に係る情報処理プラットフォーム1、及び当該情報処理プラットフォーム1に含まれる、センサ装置10、サーバ30及び提示装置70の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について、図12を参照して説明する。図13は、本実施形態に係る情報処理方法の一例を説明するシーケンス図である。図12に示すように、本実施形態に係る情報処理方法には、ステップS100からステップS600までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
以上、本実施形態に係る情報処理プラットフォーム1、及び当該情報処理プラットフォーム1に含まれる、センサ装置10、サーバ30及び提示装置70の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について、図12を参照して説明する。図13は、本実施形態に係る情報処理方法の一例を説明するシーケンス図である。図12に示すように、本実施形態に係る情報処理方法には、ステップS100からステップS600までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
まず、提示装置70は、被指導者の演奏前に、過去の演奏者(第1のユーザ)の演奏に対する情熱的、穏やか等といった主観評価情報を取得する。また、提示装置70は、取得した主観評価情報をサーバ30に送信する(ステップS100)。
サーバ30は、提示装置70から主観評価情報503を取得する。サーバ30は、当該主観評価情報503に基づいて、所定のアルゴリズムを適用することにより、被指導者が所望する主観評価情報503に対応する演奏を手本として選択する(ステップS200)。なお、当該ステップS200の詳細については、後述する。
また、センサ装置10は、被指導者の演奏前に、当該被指導者の身体の一部に予め装着される、もしくは、被指導者の周囲に設置される。そして、被指導者が演奏を開始すると、センサ装置10のセンサ部100は、演奏中の被指導者の動作に伴って発生する各運動要素の加速度や角速度等の変化をセンシングし、複数のセンシングデータを取得する。さらに、センサ装置10は、取得したセンシングデータをサーバ30へ送信する(ステップS300)。なお、ここで取得されるセンシングデータは、上述したステップS200で選択された演奏に対応する演奏において取得されることが好ましく、例えば、ステップS200で選択された演奏と同一演奏曲を被指導者が演奏した際のセンシングデータであることが好ましい。
サーバ30は、上述したステップS200で選択された演奏に対応するセンシングデータ500を取得し、当該センシングデータ500に基づいて、所定のアルゴリズムを適用することにより、選択された演奏の特徴量504を算出する(ステップS400)。
サーバ30は、上述のステップS400で得られた特徴量504と、特徴量504に対応する、上述のステップS300で得られたセンシングデータの特徴量とを比較して差分を抽出し、比較結果に基づいて、フィードバック情報506を生成する。そして、サーバ30は、被指導者にフィードバックするために、当該フィードバック情報506を、提示装置70へ送信する(ステップS500)。
提示装置70は、受信したフィードバック情報506に基づき、被指導者に向けてフィードバックを行う(ステップS600)。
さらに、上述の図13のステップS200の詳細を、図13を参照して説明する。図13は、本実施形態に係るステップS200におけるフローチャートである。図13に示すように、本実施形態に係るステップS200は、詳細にはステップS201からステップS203までの複数のステップが含まれている。以下に、本実施形態に係るステップS200に含まれる各ステップの詳細を説明する。
サーバ30は、過去の各演奏に対する被指導者の主観評価情報を取得する。さらに、サーバ30は、過去の演奏と被指導者の主観評価情報との関係を予め機械学習し、過去の各演奏と、被指導者の各主観評価情報との関係情報を生成する(ステップS201)。
サーバ30は、被指導者が新たに指定した、当該日指導者が習得を所望する演奏のイメージである主観評価情報を取得する。さらに、サーバ30は、上述したステップS201で生成した関係情報に基づき、新たに取得した主観評価情報に対応する演奏データ501を選択し、被指導者の手本とする(ステップS203)。
以上説明したように、上述した本開示の実施形態によれば、被指導者(ユーザ)が所望する表現に係るパフォーマンスの効果的な習得支援が可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
<<3.本開示の実施形態に係る実施例>>
以上、本開示の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理が下記の例に限定されるものではない。
以上、本開示の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理が下記の例に限定されるものではない。
<3.1.実施例1>
まず、実施例1として、上述した本開示の実施形態を、ピアノの技能習得支援システムに適用した場合の実施例1を図14~図17を参照して説明する。図14~図17は、本実施例の提示装置70における表示画面の例を説明するための説明図である。当該技能取得支援システムは、被指導者の状態や要求に応じて、被指導者に適切に演奏法の習得を支援することができる。
まず、実施例1として、上述した本開示の実施形態を、ピアノの技能習得支援システムに適用した場合の実施例1を図14~図17を参照して説明する。図14~図17は、本実施例の提示装置70における表示画面の例を説明するための説明図である。当該技能取得支援システムは、被指導者の状態や要求に応じて、被指導者に適切に演奏法の習得を支援することができる。
本実施例において、被指導者は、まず、技能習得支援システムに対して、自身のユーザIDを用いてログイン処理を行う。被指導者は、ログイン処理の後に表示される自身用のホーム画面を操作して、自身の状態の「計測」、計測結果の「評価」、「練習日記」等の各種のメニューに切り替えることが可能である。
本実施例において、「計測」メニューは、さらに、機能の計測、技能の計測、身体形状の計測等のメニューに細分化されている。ここで、機能とは、運動、聴覚、触覚、視覚、記憶、力覚等の生体機能を意味する。また技能とは、運指速度や各指の独立性等の演奏技術を意味する。
まず、機能の計測では、被指導者が、計測可能な機能リストのうちの1つを選択することにより、センサ装置10が選択された機能の計測を開始することが可能となる。計測結果は、被指導者に提示された後、ログとしてDB372に保存するか否かを被指導者が選択することができる。
例えば、図14は、被指導者の左右の手の各指のタッチの計測結果を例示している。図14に示す例では、被指導者が左手または右手を選択することにより、選択された手に切り替えて表示されている。
技能の計測では、まず、被指導者に、例えば、スケール、アルペジオ、和音等の特定の技能を計測するための課題曲、あるいは被指導者が所望する自由曲を選択させる。選択された曲について、音あるいは映像等の計測形式(センサ)を被指導者に選択させた後、センサ装置10が計測を開始することが可能となる。計測結果のセンシングデータ500は、ユーザID、日付、選択操作履歴等と対応付けて、メタ情報としてDB372に保存される。
また、被指導者が身体形状の計測を選択した場合には、例えば、3Dスキャナ等により被指導者の身体形状の計測が開始される。
計測結果の「評価」メニューは、上記の「計測」メニューに対応して、機能の計測結果の評価、技能の計測結果の評価、身体形状の計測結果の評価等のメニューに細分化されている。
機能の計測結果の評価では、ログとして保存されている計測結果が表示される。例えば、図14に例示した各時点の計測結果の時系列変化が表示される。図15には、図14に示した各指のタッチの時系列変化が例示されている。また図16に示す例では、高さ、表現、音量等の指標について、各時点での各指の代表値で表されるレーダチャートが時間の経過に応じて変形して表示される。当該レーダチャートは、各指標の時系列変化を示すために、アニメーション表示されてもよい。なお、被指導者が日時を指定することにより、図14に示した各時点での計測結果の表示に切り替えることも可能である。
技能の計測結果の評価では、まず、被指導者に評価対象のメタ情報(センシングデータ500)を選択させる。例えば、技能習得支援システムは、DB372のメタ情報を日付、演奏者、曲等でソートしてリスト表示して、いずれかを被指導者に選択させる。また、技能習得支援システムは、選択されたメタ情報の再生を被指導者が指示した場合には、演奏データや、鍵盤、指の動き等の各センシングデータ500や、センシングデータ500の特徴量等を表示する動画が再生する(後述する図42参照)。
再生に際して、被指導者は、手本として評価対象のメタ情報と比較するセンシングデータ500を選択することが可能である。例えば、被指導者は、手本としたい演奏者の演奏のセンシングデータ500を比較対象として選択することが可能である。具体的には、技能習得支援システムは、例えば、被指導者に上記した本実施形態の主観評価情報503を指定させることにより、指定された主観評価情報503に該当する演奏のセンシングデータ500を選択することが可能となる。あるいは、技能習得支援システムは、被指導者に演奏者を指定させることにより、指定された演奏者の演奏のセンシングデータ500を選択することが可能となる。
比較対象のセンシングデータ500が選択されると、被指導者は、比較結果のフィードバック情報506を確認することが可能となる。その際に、被指導者は、フィードバック情報506として、評価対象のセンシングデータ500と比較対象のセンシングデータ500とを重ね合わせて表示するか、両者の差分を表示するかを選択することができる(後述する図43参照)。また、被指導者は、両者の差分が大きい部分を強調して表示することを指定することが可能である。
なお、技能習得支援システムは、比較対象として、過去の自身の演奏のセンシングデータ500を選択することも可能である。その場合には、例えば、過去の自身の演奏と比較して、現在の習熟度を確認することが可能となる。
技能習得支援システムは、さらに、比較の結果、生成するフィードバック情報506として、差分に対応する原因を表示したり、原因の解決策となる練習法を推薦したりしてもよい。その際に、技能習得支援システムは、例えば、正確に演奏する、速く演奏する等といった複数の課題の観点を表示して、被指導者がいずれかの観点を選択する操作を行なった場合に、観点に対応した練習法を表示するようにしてもよい。さらに、技能習得支援システムは、各観点に対応した複数の練習法を表示して、被指導者がいずれかの練習法を選択する操作を行なった場合に、その練習法の詳細な説明文を表示したり、その練習を実演する動画を再生したりしてもよい。
「練習日記」メニューでは、被指導者の練習内容がDB372に記録される。例えば、被指導者は、自身のタイムラインに、実施した練習の動画や演奏データ501をサーバ30にアップロードする。その際に、練習時間が手動で入力されるようにしてもよいし、システムのタイマー等から自動で入力されるようにしてもよい。また、被指導者は、練習内容を分類するカテゴリのいずれに該当するかを区別して記録してもよい。例えば、自身が理想とする表現を探索する「表現の探索」、演奏技術を磨く「技能の探索」、運指速度等の身体機能を訓練する「機能の向上」、あるいは楽譜の「暗譜」というように、練習がカテゴリに分類されていると、後の復習を客観的に行うことが可能となる。また、練習に対する反省点や注意点等のコメントやメモを付記できるようにしてもよい。
図17には、被指導者aのタイムラインの画面表示例が示されている。図17に例示するように、被指導者aの友人や指導者bが、被指導者のタイムラインを閲覧したり、アップロードされた演奏データを再生したり、コメントを書き込んだりすることが可能である。これにより、技能習得支援システムは、被指導者が効率よく技能を習得できるように支援することが可能となる。なお、サーバ30は、上記した主観評価情報を、被指導者による明示的な指定によらずに、図17に例示したタイムラインから取得することも可能である。例えば、サーバ30は、タイムラインでの文言の認識により、主観評価情報を取得してもよい。あるいは、サーバ30は、タイムラインでの友人や指導者等により入力された「いいね」の数等の評価に応じて予め規定された所定の主観評価情報を取得してもよい。
続いて、モバイルアプリ全体のページ構成について説明する。図18は、モバイルアプリ全体のページ構成の一例を示す図である。図18(A)は、演奏者のログイン画面とログイン処理後のホーム画面とを示す。図18では、被指導者は、ログイン処理後に表示される自身のホーム画面を操作して、「身体機能」、「パフォーマンス」、及び「練習日記」等の各種のメニューに切り替えることが可能である。
また、図18(B)は、自身の身体機能の確認画面を示す。ここでは、身体機能の一例として、指の筋力、独立性、柔軟性、及び俊敏性等を含む確認画面を表示している。また、各機能のスコアの和が100点満点になるように評価した確認画面を表示している。また、例えば、図18(B)の画面に含まれる項目FF11に対する操作(例えば、クリックやタップ)に応じて、情報処理プラットフォーム1は、練習法を推奨する画面を表示してもよい(図19参照)。項目FF11は、ポイントレッスンであり、ここでは、練習法を推奨する画面にリンクするものとする。また、練習法の推奨の一例として、指の筋力及び独立性の上達を表示している。
また、図18(C)は、一次情報の一覧画面を示す。ここでは、一次情報の各項目のスコアをチャートで表示している。例えば、図18(C)の画面に含まれる項目FF12(チャート)に対する操作に応じて、情報処理プラットフォーム1は、詳細なスキルを説明する画面を表示してもよい(図20参照)。項目FF12は、パフォーマンスの各項目のスコアを示すチャートであり、ここでは、詳細なスキルを説明する画面にリンクするものとする。なお、図20の画面に含まれる項目FF13に対する操作に応じて、情報処理プラットフォーム1は、項目FF11が操作された場合と同様の、練習法を推奨する画面を表示してもよい(図19参照)。すなわち、項目FF13は、ポイントレッスンであり、ここでは、練習法を推奨する画面にリンクするものとする。
また、図18(D)は、演奏データの管理画面を示す。この管理画面には、演奏をサムネイルで表示した撮像情報が表示されている。例えば、図18(D)の画面に含まれる項目FF14(撮像情報)に対する操作に応じて、情報処理プラットフォーム1は、演奏状態を可視化した画面を表示してもよい(図21参照)。項目FF14は、演奏の撮像情報であり、ここでは、演奏状態を可視化した画面にリンクするものとする。図21では、演奏を再生可能な動画が添付されている場合を示し、動画に対する操作に応じて、情報処理プラットフォーム1は、動画を再生する。なお、図20の画面に含まれる項目FF15に対する操作に応じて、情報処理プラットフォーム1は、項目FF14が操作された場合と同様の、演奏状態を可視化した画面を表示してもよい(図21参照)。
また、図18(E)は、練習日記の画面を示す。図18(E)では、演奏時の写真や動画等が添付されている。このように、モバイルアプリは、演奏者の日々の練習をサポートすることができる。以下、各種メニューのUI操作について説明する。なお、項目FF11乃至項目FF15は、図18に示す場合に限らず、画面上に表示される情報であれば、どのような位置に表示されるどのような情報であってもよい。なお、後述する項目FFも同様である。
図22は、身体機能の計測結果の一例を示す図である。図22では、被指導者の指の独立性、指の強度、及び指の柔軟性等の各項目のスコアが表示され、各項目のスコアの合計値が、被指導者の総合的なスコアとして表示される(図22(A)参照)。この際、各項目のスコアは、正規化された100点満点に換算されてもよい。また、図22の画面に含まれる項目FF21に対する操作に応じて、情報処理プラットフォーム1は、時系列変化の確認画面を表示してもよい(図23参照)。図23では、月単位でのパフォーマンスのスコアの時系列変化を表示している。また、図24は、図23の時系列変化の確認画面を横にスワイプさせる操作に応じて表示される機能の項目ごとに時系列変化の確認画面の例を示す図である。
また、図22では、スキルごとの結果情報を表示する(図22(B)参照)。図22(B)に示すように、スキルごとのグラフを表示することで、スキルごとの結果情報を見分け易くすることができる。ここでは、指の筋力、独立性、及び柔軟性のスキルごとにグラフを表示している。また、指の筋力、独立性、及び柔軟性の100点満点で評価されたスコアが表示されている。また、図22の画面を、例えば、横にスワイプさせる操作に応じて、情報処理プラットフォーム1は、時系列変化を示す画面を表示してもよい(図25参照)。図25では、左手右手それぞれで、指の筋力の月単位の時系列変化を表示している。
また、上述したように、各項目には100点満点に換算されたスコアが表示されてもよい。スコアの算出には、例えば、全ての指の平均スコアが用いられてもよい。この際、情報処理プラットフォーム1は、プロの演奏家の平均スコアを100点としてスコアを算出してもよい。具体的な例を挙げると、情報処理プラットフォーム1は、指の筋力、独立性、俊敏性、及び柔軟性等の各項目のそれぞれにおいて全ての指のスコアを平均することで、平均スコアを算出してもよいし、指ごとの重要度に応じて重み付けを行い、一つのスコアとして平均スコアを算出してもよい。また、情報処理プラットフォーム1は、被指導者と同様の手法で算出されたプロの演奏家のデータの平均スコアに対する個人のスコアの割合を算出することで、100点満点に換算してもよい。なお、図26に、情報処理プラットフォームに表示される全体のページ構成の一例を示す。
図27は、演奏データの管理画面の一例を示す図である。具体的には、計測した演奏データの一覧を表示する。図27(A)は、演奏データを音の波形で表示した場合を示す。図27(A)の画面に含まれる項目FF31(例えば、「Chopin Nocturn in C Sharp Minor」の再生情報)に対する操作に応じて、情報処理プラットフォーム1は、音の再生を可能としてもよい。また、音が再生された場合、音の再生とともに、図中に表示された音の波形が変化して表示される。また、図27(A)の画面に含まれる項目FF32(例えば、「Chopin Nocturn in C Sharp Minor」の画面)に対する操作に応じて、情報処理プラットフォーム1は、演奏の可視化画面を表示してもよい(図28参照)。例えば、タッチの可視化画面等を表示している。なお、図28では、タッチの可視化を示すが、ペダルについてもタッチと同様の可視化を行ってもよい。また、図27(A)では、演奏データ名、曲情報、及び演奏日時等の情報が表示されてもよい。図27(B)は、演奏データをサムネイルで表示した場合を示す。図27(B)の画面に含まれる項目FF33(例えば、「Etude Op.10-2」のサムネイル)に対する操作に応じて、情報処理プラットフォーム1は、図27(A)と同様、演奏の可視化画面を表示してもよい(図28参照)。このように、ピアノに常設されたアプリだけでなくモバイルアプリでも確認できるようにすることで、練習日記等を介して、他者と演奏を共有することができるようにしてもよい。また、曲名等の編集も、この画面で行えるようにしてもよい。
図29は、一次情報とパフォーマンスの提示のフローを示す図である。まず、情報処理プラットフォーム1は、被指導者の課題曲等の演奏を計測することで、課題曲ごとの一次情報とパフォーマンスを計測する(S11)。これにより、被指導者の基礎力を計測することができる。そして、情報処理プラットフォーム1は、課題曲ごとに一次情報の一覧画面を提示する(S12)。被指導者は、課題曲ごとに一次情報を確認することができるため、苦手を適切に把握することができる。また、情報処理プラットフォーム1は、パフォーマンスの結果情報を提示する(S13)。例えば、情報処理プラットフォーム1は、詳細な演奏の可視化情報やお手本データ等を提示する。被指導者は、お手本の演奏と自身の演奏とを比較することで、パフォーマンスに何の基礎力が影響するかを分析することができる。そして、情報処理プラットフォーム1は、被指導者に対して、練習法の推奨を行う(S14)。例えば、情報処理プラットフォーム1は、被指導者の高めたい基礎力に対して科学的に正しい練習法を提示する。このように、曲ごとにパフォーマンスと詳細とを可視化して原因の提示をすることで、演奏者は自身の苦手を把握し、効果的に練習することができる。
図30は、一次情報と技能の算出方法の一例を示す図である。具体的には、被指導者の技能と機能とで被指導者の一次情報を説明する際のスコアの算出方法を示す。クラウドCL11は、身体機能計測アプリで計測された各項目のスコアを取得する(S21)。ピアノ常設型アプリは、被指導者が演奏した曲Aの情報と、お手本データとをクラウドCL11から取得する(S22)。ピアノ常設型アプリは、被指導者が演奏した曲Aの複数の演奏データと、クラウドCL11から取得した情報とに基づいて、各演奏の一次情報と技能とのスコアを算出する(S23)。クラウドCL11は、ピアノ常設型アプリで算出された各演奏の一次情報と技能のスコアを取得する(S24)。そして、クラウドCL11は、被指導者の一次情報を被指導者の技能と機能とで示したスコアを算出する(S25)。具体的には、クラウドCL11は、身体機能計測アプリで計測された各項目のスコアと、ピアノ常設型アプリで算出された各演奏の一次情報と技能のスコアとに基づいて、被指導者の一次情報を技能と機能とで示したスコアを算出する。そして、クラウドCL11は、算出したスコアに関する情報をモバイルアプリに提示する(S26)。なお、クラウドCL11は、ユーザごとに取得された全ての計測データ等を一元管理してもよいものとする。また、クラウドCL11は、モバイルアプリや後述するピアノ常設型アプリ等で計測データ等を確認できるようにしてもよい。
図31は、一次情報の一覧画面の一例を示す図である。図31に示すデータは、例えば、全て課題曲を被指導者が演奏した際の演奏データに基づいて算出された一次情報である。図32は、図31の「Etude Op.25-12」の一次情報を拡大した図である。図32には、被指導者が「Etude Op.25-12」を演奏した際のパフォーマンスが示されている。図31及び図32では、各々の課題曲に対して、演奏に重要な5項目(「Pitch error」、「Loundness error」、「Fluctuation of loudness error」、「Tempo error」、「Rhythm error」)の一次情報が表示される。図31及び図32では、被指導者の一次情報PD11と、比較対象となるもの(例えば、指導者やプロの演奏家や複数のプロの演奏家の平均)の一次情報PD12とが表示される。図33は、一次情報の並び替え(ソート)の選択を示す画面の一例を示す図である。図33では、情報処理プラットフォーム1は、被指導者が曲名(Song order)及び日付(Date order)等が選択されることで、その選択されたソート順に一次情報をソートする。なお、図示されていないが、作曲家やパフォーマンスのスコア等の順にソートしてもよい。例えば、情報処理プラットフォーム1は、項目FF41を操作すると表示される一覧からの選択に応じて、その選択されたソート順に一次情報をソートする。なお、図33では、チェックマークが付与された日付(Date order)が選択されたものとする。
図34は、パフォーマンスの詳細を表示する画面の一例を示す図である。具体的には、音量、音量のばらつき、テンポ、リズム、和音のばらつき、レガート、及びレガートのばらつき等を項目とした一次情報を表示する(画面GM11)。なお、項目FF51は、比較対象となるモデルデータを選択するための操作情報である。項目FF51において、比較対象となるモデルデータの選択に応じて、情報処理プラットフォーム1は、モデルデータの一次情報を表示してもよい。また、項目FF52は、左手、右手、及び和音の一次情報を選択するための操作情報である。項目FF52において、左手、右手、及び和音の選択に応じて、情報処理プラットフォーム1は、左手で弾いた際の単音、右手で弾いた際の単音、及び和音についての一次情報を表示してもよい。そして、情報処理プラットフォーム1は、楽曲については感性情報に基づく一次情報を表示してもよい。また、図34では、情報処理プラットフォーム1は、一次情報の各項目もしくは感性情報について、どの機能や技能が影響しているかを表示する(画面GM12)。なお、図34では、機能と技能との影響度が高い上位3~4項目を表示する場合を示すが、実際は、表示される項目以上の項目についてパフォーマンスのスコアが算出されてもよいものとする。また、項目FF53は、機能と技能との影響度が最も高い項目についての練習法等を推奨するための操作情報である。このように、図34では、一次情報のスコアを機能と技能とで示すことで、苦手の原因を適切に提示することができる。
図35は、パフォーマンスの可視化の一例を示す図である。図35では、演奏の撮像情報が表示されている。この撮像情報に対する操作に応じて、撮像情報に添付された動画(アニメーション)が再生される。この際、動画の再生とともに、再生時間が表示されている。項目FF61は、音の波形表示を示す操作情報である。項目FF61において、例えばシークバーに対する操作に応じて、情報処理プラットフォーム1は、対応する時間のパフォーマンスデータを表示する。また、項目FF62は、動画の視点切り替えのための操作情報である。項目FF62に対する操作に応じて、情報処理プラットフォーム1は、予め定められた一以上の視点からの動画を表示する(図36参照)。なお、図36では、ピアノの上部と側部との2視点からの撮像情報が表示される。この撮像情報には動画が添付されており、情報処理プラットフォーム1は、この撮像情報に対する操作に応じて、操作された撮像情報の動画を再生する。項目FF63は、再生速度の切り替えやモデルデータの切り替え等の操作情報である。項目FF64は、対応する時間のパフォーマンスデータを示す操作情報である。項目FF64において、項目FF61のシークバー等に対する操作に応じて、情報処理プラットフォーム1は、対応する時間の一音一音のパフォーマンスデータを表示する。また、項目FF64において、モデルデータと比較することで、被指導者はどの音がモデルデータと異なるのかを適切に把握することができる。
図37は、パフォーマンスの可視化の一例を示す図である。図37では、動画等の撮像情報を示す画面を表示画面の上部に固定して、表示画面の下部に示す特徴量の表示についてはスワイプで切り替え可能とする。画面GM21は、姿勢の可視化を示す。なお、姿勢の可視化は、例えば、スケルトンで表示される。これにより、被指導者は、スケルトンでお手本と比較することができるので、より直感的にお手本との相違点を把握することができる。画面GM22乃至画面GM24は、タッチの特徴量を示す。なお、タッチの特徴量の表示では、例えば、波形に重ね合わせて数値を表示してもよい。また、ペダルの特徴量の表示でも、タッチと同様に、線で重ねて表示する等、波形で表示してもよい。画面GM25及び画面GM26は、手指の動きを示す。ここで、グローブの表示に合わせて、例えば、動きの特徴量を表示してもよい。また、矢印等の図形を用いて、モデルデータとの差分を表示してもよい。
図38は、練習法の推奨の一例を示す図である。図38では、情報処理プラットフォーム1は、被指導者が取り組む一以上のトレーニングの候補を表示する。図38では、「Test Training 1」と「Test Training 2」との候補を表示する。このように、トレーニングの候補を複数表示することで、被指導者は、効果の高いトレーニングを適切に選択することができる。ここで、機能及び技能と推奨コンテンツとを1対1に予め対応付けて記憶していてもよいものとする。そして、情報処理プラットフォーム1は、被指導者が取り組むトレーニングが選択されると、その選択されたトレーニングを、例えば、練習日記に追加する。このように、図38では、情報処理プラットフォーム1は、それぞれの機能や技能について練習法を示すトレーニングを推奨する。そして、情報処理プラットフォーム1は、複数を提示して、その中から被指導者が選択することで、選択されたものを練習日記に追加する。このように、複数から選択することで、効果的なものを選択することができる。
練習法を推奨する推奨コンテンツには、動画等の撮像情報及び文章等の文字情報と、トレーニングアプリへの誘導との2種類が含まれる。また、推奨コンテンツにおいて、情報処理プラットフォーム1は、アプリ上で聴覚トレーニングを行ってもよい。ここで、情報処理プラットフォーム1は、聴覚トレーニングのためのキャリブレーションを心理域値で行ってもよい。これにより、デバイスによらず、自身の刺激強度でトレーニングを行うことができる。なお、キャリブレーションの検査項目には、例えば、音量の違い、タイミングのズレ、和音のバランス、及び和音のズレ等が含まれてもよい。このように、モバイルアプリにおいて、技能や機能について複数の推奨結果を提示することで効果的な仮説練習を支援することができる。
図39は、練習日記の日記画面の一例を示す図である。練習日記では、タスク管理と練習時間の管理とを行う。図39では、情報処理プラットフォーム1は、練習時間や被指導者が行った全タスク数である達成タスク数を表示する。また、図39では、情報処理プラットフォーム1は、例えば、被指導者又は他者の自由投稿、指導者等から与えられたタスク、及びポイントレッスンから追加されたタスク等を表示する。なお、自由投稿には、例えば、被指導者のパフォーマンス、機能、及び演奏等が含まれてもよい。また、図40は、指導者側の日記画面の一例を示す図である。指導者側の日記画面では、例えば、被指導者ごとにそれぞれの練習日記が表示されてもよい。
図41は、練習時間を記録する場合の日記画面の一例を示す図である。練習日記において、例えば、練習項目ごとの時間を記録することで、練習の偏りを減らすことができる。この際、情報処理プラットフォーム1は、線グラフや円グラフ等のグラフを用いて、カテゴリごとの練習時間を提示してもよい(図42及び図43参照)。図42では、トータルレッスンの時間に対する操作に応じて、円グラフが表示される。なお、円グラフには、「暗記」、「スキル」、「パフォーマンス」、「表現」、及び「その他」の項目が含まれており、そのうち、暗記が53%で最も高い。また、図43では、トータルレッスンの時間に対する操作に応じて、棒グラフが表示される。また、指導者側の日記画面において、指導者は、被指導者にレッスンを渡す等の指導を行う際に、カテゴリごとに練習内容を記載してもよい。この場合、被指導者側の日記画面では、指導者が記載した練習内容がカテゴリごとに表示される。
練習日記の日記画面に表示される情報として、情報処理プラットフォーム1は、例えば、直前の練習のサマリーレポートを表示してもよい。このサマリーレポートには、例えば、各種特徴量の詳細や、再生可能な動画や、解決した問題及び解決していない問題等が含まれていてもよい。また、情報処理プラットフォーム1は、例えば、次の練習時に意識すべき特徴量を提案するための情報を表示してもよい。この提案には、例えば、動きや音等、どの特徴量にどのタイミングで注意を向けるか等が含まれてもよい。また、情報処理プラットフォーム1は、例えば、次に行うべき練習内容や曲を推奨するための情報を表示してもよい。この推奨には、例えば、4つの練習内容を偏りなく練習する等が含まれてもよい。また、情報処理プラットフォーム1は、例えば、過去のレッスンや演奏等を復習するための情報を表示してもよい。この復習には、同じ曲を昔どう弾いていたか、指導者に何を注意されたか、及び直近の演奏との比較等が含まれてもよい。また、情報処理プラットフォーム1は、例えば、今取り組んでいる曲を再生するための情報を表示してもよい。この再生するための情報には、例えば、予め登録しておいたリンク先の情報等が含まれる。また、情報処理プラットフォーム1は、例えば、休憩時間の長さを提案するための情報を表示してもよい。この提案には、例えば、事前に練習していた時間に基づく必要な練習時間等が含まれてもよい。また、情報処理プラットフォーム1は、例えば、必要なトレーニングを推奨するための情報を表示してもよい。この推奨には、例えば、指や聴覚等の機能のトレーニング等が含まれてもよい。また、情報処理プラットフォーム1は、例えば、特定の指導者へのコンサルテーションをリクエストするための情報を表示してもよい。このリクエストするための情報には、例えば、登録済みの認定指導者へのメール等が含まれてもよい。この際、指導者はメールへの回答を行ってもよい。
<3.2.実施例2>
次に、実施例2として、上述した本開示の実施形態を、ピアノ演奏するための技能習得支援システムに適用した場合の実施例2を図44及び図45を参照して説明する。図44及び図45は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能習得支援システムは、被指導者の演奏と過去の本人または他の演奏者の演奏とのセンシングデータ500を重ね合わせて表示することにより、被指導者に演奏の特徴を直観的にわかりやすく伝えることにより、適切な演奏法を指導することができる。
次に、実施例2として、上述した本開示の実施形態を、ピアノ演奏するための技能習得支援システムに適用した場合の実施例2を図44及び図45を参照して説明する。図44及び図45は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能習得支援システムは、被指導者の演奏と過去の本人または他の演奏者の演奏とのセンシングデータ500を重ね合わせて表示することにより、被指導者に演奏の特徴を直観的にわかりやすく伝えることにより、適切な演奏法を指導することができる。
本実施例において、技能習得支援システムは、被指導者の演奏のセンシングデータ500の経時変化をアニメーション表示する。具体的には、本実施例のセンサ装置10は、各鍵盤の上下動と各鍵盤に加えられる圧力とを検出するセンサを備える。また、このセンサ装置10は、例えば、各鍵盤の底に設置されているフェルトの変形量が所定の閾値以上になった場合等に、鍵盤の不要な押さえが発生していることを検知することが可能である。このような鍵盤の不要な押さえは、演奏音に対する効果はないにも関わらず余分な筋力を使っている効率が悪い状態であるため、被指導者は改善することが好ましい。
また、センサ装置10は、モーションキャプチャや三次元測距センサ等を備え、演奏者の演奏時の姿勢を計測することができる。例えば、センサ装置10は、首の突き出た姿勢や、肩の上がっている姿勢等、演奏者が負担の大きい悪い姿勢をとっていることを検知することが可能である。また、センサ装置10は、筋電計を備え、例えば、首に力が入っていること等、演奏に不要な部位の筋活動を検知することができる。
そして、技能習得支援システムでは、サーバ30の処理により提示装置70が、図44に示すように、被指導者の演奏における各鍵盤の上下動の経時変化をアニメーション表示する。図44に示す例では、鍵盤表示画面801の各鍵盤に対応した時間軸上で、時々刻々と変化する各鍵盤の移動(下降)量が表示される。また、各鍵盤の移動量を表す山802の高さは、鍵盤下降時のピーク速度が大きいほど高く表示される。ここで、鍵盤下降時のピーク速度が大きいほどピアノの音量は大きくなる。したがって、各鍵盤の移動量を表す山802の高さにより、相対的な音量を視覚的に把握することができる。これにより、被指導者は、音量のバラつきを視覚的に把握しやすくなる。
また、サーバ30は、アニメーション表示に対するエフェクト処理を行って、模範的な演奏との差分を表示する。例えば、サーバ30は、鍵盤の不要な押さえが発生している場合に、例えば、各鍵盤の移動量の山802を塗りつぶす色を濁らせる等の色彩や輝度や透明度の変更により、不要な押さえの発生を通知する。あるいは、サーバ30は、各鍵盤の移動量を表す波形の線種等を変更したり、各鍵盤の移動量の山802にシェーディング処理を施したりすることにより、不要な押さえの発生を通知してもよい。これにより、被指導者は、不要な筋力を使っていることを、視覚的に容易に把握することができる。
また、サーバ30は、被指導者が悪い姿勢をとっている場合に、例えば、鍵盤表示画面801の色彩を重い印象を与える色彩に変更することにより、姿勢の悪い状態であることを通知する。これにより、被指導者は、不自然な身体の使い方をしていることを、視覚的に容易に把握することができる。また、サーバ30は、演奏に不要な筋活動が検知された場合に、同様に、例えば、鍵盤表示画面801の色彩を重い印象を与える色彩に変更することにより、これを通知する。これにより、被指導者は、不自然に身体の部位を使っていることを、視覚的に容易に把握することができる。
なお、これらの通知は、上記の表示の変更に限定されず、上記の表示の変更に加えて、あるいは表示の変更に換えて、聴覚や触覚による通知でもよい。例えば、被指導者の姿勢が悪い状態である場合に、三角波や矩形波等、ピアノ音と容易に聴き分けることが可能な人工音を出力することにより、通知してもよい。あるいは、被指導者の肩や首元等に装着されたバイブレータを振動させることにより、通知してもよい。
また、サーバ30は、図44に示した被指導者の演奏における各鍵盤の上下動の経時変化に、図45に示すように、過去の本人または他の演奏者の演奏における各鍵盤の上下動の経時変化803を重ね合わせて表示する。これにより、被指導者の演奏と過去の演奏との特徴の違いを、視覚的に容易に把握することができる。
<3.3.実施例3>
次に、実施例3として、上述した本開示の実施形態を、ピアノ演奏するための技能習得支援システムに適用した場合の実施例3を図46~図51を参照して説明する。図46~図51は、本実施例の提示装置70における表示画面の一例を説明するための説明図である。まず、ユーザは、システムの利用に先立って、ログインするためのログインIDやパスワードや、プロフィール(性別、年齢、演奏経験等)、プロフィール写真等を登録する。このプロフィール写真は、例えば、システム利用時にこのユーザを示すアイコンとして表示されてもよい。
次に、実施例3として、上述した本開示の実施形態を、ピアノ演奏するための技能習得支援システムに適用した場合の実施例3を図46~図51を参照して説明する。図46~図51は、本実施例の提示装置70における表示画面の一例を説明するための説明図である。まず、ユーザは、システムの利用に先立って、ログインするためのログインIDやパスワードや、プロフィール(性別、年齢、演奏経験等)、プロフィール写真等を登録する。このプロフィール写真は、例えば、システム利用時にこのユーザを示すアイコンとして表示されてもよい。
図46は、ログインしたユーザに提示されるホーム画面を例示する図である。図46に示すホーム画面または後述する各メニュー画面において、ユーザを示すアイコン804をクリックすると、このユーザのMy Pageに切り替えることが可能である。
ユーザのMy Pageでは、例えば、ユーザの名前、メールアドレス、プロフィール等が表示される。また、ユーザが被指導者である場合には、My Pageには、登録されている指導者等が表示される。また、被指導者は、My Pageにおいて、自身の指導者になってもらいたいユーザや友人が自身のホーム画面等にアクセス可能になるように、指導者あるいは友人として選択したユーザに、メールや1次元コード(例えば、バーコード)又は2次元コード(例えば、QRコード(登録商標))等を用いて招待することが可能となっていてもよい。同様に、ユーザが指導者である場合にも、My Pageにおいて、自身の生徒や友人が自身のホーム画面等にアクセス可能になるように、生徒あるいは友人として選択したユーザに、メールや各種コード等を用いて招待することが可能となっていてもよい。この際、ユーザ(被指導者又は指導者)は、招待した人ごとに、自身のMy Page内の情報ごとの開示制限を設定してもよい。このようにして、ユーザは自身のホーム画面等の開示範囲を制御することが可能である。
また、ユーザは、図46に示すようにホーム画面に設定されている「計測」805、「評価」806、「練習日記」807等を示すボタンをクリックすることにより、各メニュー画面に切り替えることが可能である。
なお、ホーム画面には、図46に示した被指導者用の他、指導者用がある。指導者用のホーム画面には、例えば自分の生徒である被指導者の練習日記等が表示され、生徒の練習日記に容易にアクセス可能である。例えば、指導者は、ホーム画面に設定されている「練習日記」を示すボタンをクリックし、自身の生徒の中から一人を選択することにより、当該生徒の「練習日記」メニューにアクセスし、アップロードされている演奏の動画を再生したり、後述するようにアドバイスの入力を行うことが可能となる。指導者のホーム画面に、自身の生徒のうちのいずれかがアップロードした最新の練習日記の概要が表示されてもよい。
ユーザ(被指導者)がホーム画面の「計測」805ボタンをクリックすると、「計測」メニュー画面に遷移する。「計測」メニュー画面では、上記したように、さらに機能の計測、技能の計測、身体形状の計測等に細分化され、細分化された各メニューについて計測可能な項目のリストが表示される。例えば、機能の計測については、各指の独立性、各指の強さ、運指速度等がリスト表示される。また、技能の計測については、スケール、持久力、トレモロ等がリスト表示される。ユーザが希望の項目を選択することにより、計測を開始する画面に遷移する。図47には、機能の計測のうち、各指の独立性を選択した場合に表示される画面が例示されている。図47に示すように、ユーザが選択した各項目には、お手本となる演奏の動画808が表示されてもよい。
計測が終了すると、計測結果が表示される。計測結果としては、例えば、上記した図14の各指の独立性の計測結果が表示される。あるいは、図48または図49に示すように、各指の強さの計測結果が表示される。図48に示す例では、例えば、ユーザ(Mydata)と模範演奏者(ピアニスト)との各指の強度の値が、両者の違いがわかるように表示されている。また、図49に示す例では、例えば、ユーザ(Mydata)の各指の強度の値と複数の模範演奏者(ピアニスト)の各指の強度の値の範囲とが表示されている。また、計測結果の表示の際には、各計測結果に応じたワンポイントアドバイス等が付加されて表示されてもよい。たとえば、計測結果に加え、模範演奏者との差分の大きさに応じた具体的な練習方法が表示されてもよい。
ユーザ(被指導者)がホーム画面の「評価」806ボタンをクリックすると、「評価」メニュー画面に遷移する。図50は、「評価」メニュー画面を例示している。図50に示すように、「評価」メニュー画面では、過去にユーザが行った計測の結果が表示される。例えば、図50には、計測日時と、上述した計測結果(図14、図48、図49参照)に加え、計測時のサマリー、計測時の演奏の様子を録画した動画809等が表示されている。そして、各計測結果を選択することにより、さらに計測結果の時系列変化(図15、16参照)を表示させることが可能である。なお、図50に示す例では、最新の計測結果が表示されており、例えば、リスト表示されている過去の計測日時のいずれかを選択することにより、さらに過去の計測結果の表示に切り替えることが可能である。あるいは、図50の「評価」メニュー画面内のボタン(図示省略)をクリックすると、自身以外の友人等を選択できる画面に移行し、その画面で選択した友人の計測結果を表示させることが可能である。この場合、当該友人が、ユーザに対して計測結果を開示可能に設定した場合にのみ、当該友人の計測結果を表示させることが好ましい。なお、図51は、図50の変形例であり、演奏画面と解析結果とをリアルタイムに比較可能な画面の一例を示す図である。例えば、解析結果では、「Pitch Error」、「Loudness error」、「Fluctuation of loudness error」、「Tempo error」、及び「Rhythm error」を示す。また、「頭の傾き」、「頭の動き」、「姿勢」、及び「肩の動き」の評価を示す。図51(A)は、技能評価の一覧画面を示し、図51(B)は、技能評価のビジュアライズ画面を示す。
ユーザ(被指導者)がホーム画面の「練習日記」807ボタンをクリックすると、「練習日記」メニュー画面に遷移する。「練習日記」メニュー画面では、例えば、上記したように、タイムライン形式でユーザの練習内容が表示される(図17参照)。あるいは、ホーム画面の「練習日記」807ボタンをクリックすると、自身以外の友人を選択できる画面に移行し、その画面で選択した友人の「練習日記」メニューが表示されるようにしてもよい。この場合、当該友人が、ユーザに対して「練習日記」を開示可能に設定した場合にのみ、当該友人の「練習日記」メニューを表示させることが好ましい。
また、上記したように、指導者がホーム画面の「練習日記」ボタンをクリックすると、例えば、生徒を選択できる画面で移行し、その画面で選択した生徒の「練習日記」メニューが表示される。指導者は、生徒の「練習日記」に対するコメントを入力したり、図52に示すように、アドバイスを入力したりすることが可能である。例えば、生徒の「練習日記」にアップロードされている演奏データを選択することにより、図52に示す画面に移行して、演奏に対するアドバイスを入力できる。図52に示す例では、各指の独立性、運指速度等の中からアドバイスを行う観点を選択した上でアドバイスを入力することが可能となっている。これにより、生徒(被指導者)は、指導者により追加されたアドバイスを参照しやすく有効に活用できるようになる。なお、図53は、図52の変形例であり、アドバイスの観点ごとに指導者が自由に記述可能な画面の一例を示す図である。図53では、「Memorization advice」に対して指導者が「Let‘s memorize the first movement」と記載した場合を示す。
<3.4.ピアノ常設型アプリ>
上記実施形態では、モバイル携帯向けアプリを用いた種々のUIについて説明したが、これらの例に限られない。上記実施形態では、ピアノ常設型アプリとモバイル携帯向けアプリとが連携して機能してもよい。以下、ピアノ常設型アプリの詳細を説明する。
上記実施形態では、モバイル携帯向けアプリを用いた種々のUIについて説明したが、これらの例に限られない。上記実施形態では、ピアノ常設型アプリとモバイル携帯向けアプリとが連携して機能してもよい。以下、ピアノ常設型アプリの詳細を説明する。
ピアノ常設型アプリでは、例えば、センサシステムとモニタ(例えば、タッチモニタ)とがピアノに常設されている(図54参照)。図54では、譜面台にタッチパネルが設置された場合を示すが、この例に限らず、譜面台でなくピアノの横に設置されてもよいものとする。また、ピアノ常設型アプリには、例えば、演奏モードと計測モードとの2種類のモードが含まれる。
図55は、演奏モードの一例を示す図である。演奏モードには、リアルタイムでの可視化、演奏及び特徴量の比較、及び演奏の管理等が含まれる。演奏モードでは、情報処理プラットフォーム1は、例えば、暗黙知を可視化することで、レッスンや練習をサポートする。また、演奏データを、例えば、クラウドに保存することで、モバイルで確認することができる。
図56は、計測モードの一例を示す図である。計測モードでは、情報処理プラットフォーム1は、様々な基礎的な課題曲を被指導者が演奏した演奏データを取得することで、計測結果を提示する。これにより、被指導者は、苦手や克服方法を適切に把握することができる。
図57は、リアルタイムでの可視化の一例を示す図である。図57では、手指の姿勢が可視化される場合を示す。なお、図57に示す例に限らず、例えば、タッチに加えて、ペダルのタイミングも可視化されてもよいものとする。図58は、タッチとペダルとの動きをリアルタイムに可視化した一例を示す図である。項目FF71では、タブ切り替えで3D演奏、姿勢、身体の3D、及び特徴量のレーダチャート等が表示される。なお、3D演奏では、例えば、手の3DCGが表示される。また、項目FF72では、演奏の記録に応じてリストへの追加等が表示される。また、項目FF73は、演奏を記録するための表示情報や、記録した演奏を再生するための表示情報等である。また、項目FF74は、テンポを設定するための表示情報や、電子メトロノームを使用するための表示情報である。また、項目FF75は、表示するレンジを切り替えるための表示情報である。項目FF75において、被指導者がレンジを選択することで、選択されたレンジでのタッチとペダルとの動きが可視化される。また、項目FF76は、3Dで視点を切り替えるための表示情報である。項目FF76は、例えば、項目FF62と同様の機能を有する。
図59は、演奏データの管理の一例を示す図である。図59では、演奏データのうち、比較画面でプルダウンリストに表示するものが選択されるものとする。また、図59では、演奏データのうち、再度見直したいものがクラウドに保存されるものとする。項目FF81は、例えば、ドロワーメニューである。項目FF81において、被指導者の演奏したデータが追加的に表示される。項目FF81において、ドロワーメニューの中から被指導者が演奏データの表示画面へドラッグ&ドロップすることで、対応する演奏データが表示される。なお、項目FF81において、曲情報の入力やラベル付、及びメモの記入等がされてもよいものとする。
図60は、演奏データの管理の一例を示す図である。図60は、図59の変形例である。具体的には、演奏データの管理を全画面で行う場合を示す。図60では、「2020-05-02-16:20 Noname」の演奏データが選択されたものとする。項目FF91は、被指導者が選択したデータを再生するための表示情報である。また、項目FF92は、クラウドに保存された演奏データを取得するための表示情報である。項目FF92を介して、クラウドに保存された演奏データが追加される。
図61は、演奏データの管理の一例を示す図である。図61は、図59及び図60の変形例である。図61では、情報処理プラットフォーム1は、項目FF101に対する操作に応じて、項目FF102を表示してもよい。これにより、演奏中の被指導者の状態を把握し易くなるため、ユーザビリティの向上を促進することができる。
図62は、演奏及び特徴量の比較の一例を示す図である。図62では、被指導者が演奏データを選択して、選択された演奏データと、他の演奏データとのタッチ等の特徴量を比較する場合を示す。この際、被指導者は、例えば、記録した演奏データの中から比較したい演奏データを選択する。なお、比較する演奏データは、過去の自身の演奏データに限らず、例えば、指導者や友人等の他者から共有された演奏データであってもよい。また、図62では、情報処理プラットフォーム1は、例えばスクロール等の操作に応じて、画面をズームイン/ズームアウトしてもよい。また、被指導者が、画面に表示された波のうち、一つの波をタッチすると、情報処理プラットフォーム1は、その波についての詳細を表示してもよい。また、図62では、情報処理プラットフォーム1は、音の波形や楽譜等を表示してもよい。この際、情報処理プラットフォーム1は、音の波形や楽譜とともに、シークバーを表示してもよい。被指導者は、シークバーを動かしながら2つの演奏を比較することで、どの身体動作が違っていたのかを適切に把握することができる。
図63は、演奏及び特徴量の比較の一例を示す図である。図63は、図62の変形例である。具体的には、比較する演奏データを重畳して表示する場合を示す。項目FF111は、比較する演奏データを重畳して表示した表示情報である。項目FF111に対する操作に応じて、情報処理プラットフォーム1は、2つのタッチの類似度等の詳細を示す表示情報である項目FF112を表示する。
図64は、演奏データの探索の一例を示す図である。図64では、被指導者が連続で複数回演奏した際の演奏データを記録してまとめてラベリングすることで、被指導者が所望する演奏データを探索する。ここで、演奏の弾き始めにおいて、メトロノームが機能するようにしてもよい。また、演奏データの記録中は、例えば、計測中と分かるような表示を行ってもよい。例えば、情報処理プラットフォーム1は、計測状態を示す表示領域を赤くする等のような表示を行ってもよい。図64は、記録した演奏データに対するラベリングの一例を示す図である。図64では、「1」から「5」の数字を用いて5段階で演奏の好みをラベリングする場合を示したが、この例に限らず、「好き」及び「嫌い」の2択でラベリングしてもよいものとする。また、このようにラベリングされたデータをサーバ上で統計してもよい。これにより、被指導者の好みの演奏をお手本として、そのお手本の演奏データとの比較を行うことができる。
図65は、課題曲の計測に基づくパフォーマンスの提示の一例を示す図である。項目FF121は、これから記録する課題曲をリストにした表示情報である。このリストは、例えば、クラウドから取得される。また、被指導者が選択した演奏について、収録が行われる。また、ステータスには、例えば、「未収録」、「収録中」、「収録済み」、及び「アップロード済み」の4つが含まれてもよい。項目FF122は、楽譜を示す表示情報である。なお、楽譜には、運指や指番号等が記入されてもよい。また、項目FF123及び項目FF124は、収録を開始するための表示情報や、お手本の演奏を再生するための表示情報や、メトロノームを再生するための表示情報等である。
<3.5.ピアノ常設型センサシステム>
ここで、ピアノ常設型センサシステムは、ピアノ常設型アプリを動かすため演奏中の身体情報をマルチモーダルに記録するセンサシステムである。以下、ピアノ常設型センサシステムについて説明する。
ここで、ピアノ常設型センサシステムは、ピアノ常設型アプリを動かすため演奏中の身体情報をマルチモーダルに記録するセンサシステムである。以下、ピアノ常設型センサシステムについて説明する。
図66は、ピアノ常設型センサシステムの全体像の一例を示す図である。ピアノ常設型センサシステムには、種々のセンサが含まれる。図66では、種々のセンサ(センサPP11乃至センサPP19)は実線で囲まれている。なお、ペダルセンサは点線で囲まれている。例えば、ピアノ常設型センサシステムには、タッチセンサ(図67(A)参照)、ペダルセンサ(図67(B)参照)、深度センサ(図67(C)参照)、データグローブ(図67(D)参照)、高速カメラ(図67(E)参照)、音と画像(図67(F)参照)、重心センサ、及び手首・腕センサ等が含まれる。なお、深度センサは、例えば、姿勢の推定に用いられる。また、高速カメラは、手指の姿勢や位置の推定に用いられる。
図68は、ピアノ常設型センサシステムのペダルセンサの一例を示す図である。図68では、ペダルに慣性計測装置(Inertial Measurement Unit:IMU)が備えられる。IMUは、例えば、姿勢推定を行う計算用マイコンや、PCと通信可能である。図69は、ペダルセンサの詳細の一例を示す図である。なお、ペダルセンサには、センサ基盤が備えられてもよい。このIMUを介してペダリングが記録される。図68に示すように、IMUは、例えば、ペダルの下側にネジでクランプされる。IMUは、例えば、一以上のペダル(例えば、1~3個のペダル)に装着可能である。IMUは、ペダルの下側に備えられることで、演奏を妨げないようにすることができる。また、IMUは、加速度、角速度、及び地磁気等を、例えば、1000FPSでサンプリングする。また、ピアノ常設型センサシステムは、センサの姿勢推定をペダルの踏み込みに換算してもよい。例えば、ピアノ常設型センサシステムは、姿勢をペダルの角度に換算して、ペダルの角度を踏み込みに換算してもよい。また、ピアノ常設型センサシステムは、計算用マイコン等でペダルの踏み込みの換算を行ってもよい。これにより、通信量を減らすことができる。
図70は、IMUセンサの一例を示す図である。図70では、情報処理プラットフォーム1は、手首や腕にバンドで取り付けられたIMUセンサによって、腕の回転を計測する。図71は、手首と肘の上とにIMUセンサを備えた場合の一例を示す図である。深度センサから取得される情報では腕の回転まで計測できない可能性があるが、手首と肘の上とに備えることで、腕の姿勢をより高精度に推定することができる。図71では、情報処理プラットフォーム1は、深度センサから腕の軸方向のベクトルを推定し、IMUセンサの姿勢を用いて腕の軸方向周りの回転を推定する。このように、IMUで得たセンサ情報と、深度センサで得た姿勢情報とを統合することで、より高精度に腕の姿勢を推定することができる。
図72は、ピアノ常設型センサシステムの重心センサの一例を示す図である。図72では、情報処理プラットフォーム1は、椅子の4つの足に取り付けられたロードセルによって、重心移動を検出する。例えば、情報処理プラットフォーム1は、重心の軌跡から、位置や勾配等の特徴量を算出する。なお、情報処理プラットフォーム1は、同様の計算を、例えば、感圧マットを用いて行ってもよいものとする。図73は、重心変化の算出のフローを示す図である。ピアノ常設型センサシステムは、座っていない状態の荷重を計測する(S31)。また、ピアノ常設型センサシステムは、座った状態の荷重を計測する(S32)。そして、ピアノ常設型センサシステムは、座っていない状態の荷重と、座った状態の荷重とに基づいて、重心や座る位置を算出する(S33)。これにより、ピアノ常設型センサシステムは、重心や座る位置を計算することで、座り方の癖を他者と適切に比較することができる。そして、ピアノ常設型センサシステムは、演奏中の荷重を計測する(S34)。そして、ピアノ常設型センサシステムは、重心や座る位置と、演奏中の荷重とに基づいて、重心変化を算出する(S35)。これにより、ピアノ常設型センサシステムは、重心変化を計算することで、身体の動かし方の癖を他者と適切に比較することができる。
<3.6.その他の応用例>
本開示の実施形態は上述した実施例に限定されるものではなく、様々な用途にも応用することができる。以下に、本開示の実施形態の様々な応用例について、簡単に説明する。
本開示の実施形態は上述した実施例に限定されるものではなく、様々な用途にも応用することができる。以下に、本開示の実施形態の様々な応用例について、簡単に説明する。
(応用例1)
また、以上の説明では、本開示の実施形態をピアノ演奏に適用した場合を説明してきたが、本実施形態は、他の楽器の演奏にも適用することができる。例えば、本実施形態は、他の鍵盤楽器(オルガン、チェンバロ、シンセサイザ等)、弦楽器(ヴァイオリン、チェロ等)、打楽器(ドラム)、吹奏楽器(フルート、オーボエ、クラリネット、トランペット等)等にも適用することができる。詳細には、本実施形態に係るセンサ装置10は、上述した各種楽器の演奏であっても、演奏者の手指、脚、首、のど等の動作や押さえる弦や穴の位置を検出することができる。より具体的には、演奏者の口腔内の舌の動きは、上述したMRIによって検出することが可能である。また、本実施形態は、楽器の演奏に適用することに限定されるものではなく、歌唱や口笛に対しても適用することができる。
また、以上の説明では、本開示の実施形態をピアノ演奏に適用した場合を説明してきたが、本実施形態は、他の楽器の演奏にも適用することができる。例えば、本実施形態は、他の鍵盤楽器(オルガン、チェンバロ、シンセサイザ等)、弦楽器(ヴァイオリン、チェロ等)、打楽器(ドラム)、吹奏楽器(フルート、オーボエ、クラリネット、トランペット等)等にも適用することができる。詳細には、本実施形態に係るセンサ装置10は、上述した各種楽器の演奏であっても、演奏者の手指、脚、首、のど等の動作や押さえる弦や穴の位置を検出することができる。より具体的には、演奏者の口腔内の舌の動きは、上述したMRIによって検出することが可能である。また、本実施形態は、楽器の演奏に適用することに限定されるものではなく、歌唱や口笛に対しても適用することができる。
(応用例2)
さらに、本開示の実施形態は、音楽以外のパフォーマンスに適用することができる。例えば、本実施形態は、発声のトレーニング(英語の発声、スピーチ等)、スポーツ、リハビリ(身体麻痺の改善のためのリハビリ等)、ゲーム、医療手術のトレーニング(予防内視鏡トレーニング等)、乗り物の運転(車や自転車、車椅子、飛行機等)のトレーニング、装置(建機等)の操作トレーニング、芸術、工芸作品(絵画、習字、折り紙等)等を作成するための技能トレーニング等に利用することができる。また、本実施形態は、先に説明したように、イメージトレーニングへの応用も可能である。
さらに、本開示の実施形態は、音楽以外のパフォーマンスに適用することができる。例えば、本実施形態は、発声のトレーニング(英語の発声、スピーチ等)、スポーツ、リハビリ(身体麻痺の改善のためのリハビリ等)、ゲーム、医療手術のトレーニング(予防内視鏡トレーニング等)、乗り物の運転(車や自転車、車椅子、飛行機等)のトレーニング、装置(建機等)の操作トレーニング、芸術、工芸作品(絵画、習字、折り紙等)等を作成するための技能トレーニング等に利用することができる。また、本実施形態は、先に説明したように、イメージトレーニングへの応用も可能である。
<<4.まとめ>>
以上説明したように、上述した本開示の実施形態によれば、上述した本開示の実施形態によれば、パフォーマンスの効果的な習得支援が可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
以上説明したように、上述した本開示の実施形態によれば、上述した本開示の実施形態によれば、パフォーマンスの効果的な習得支援が可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
<<5.ハードウェア構成について>>
図74は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図74では、情報処理装置900は、上述のサーバ30のハードウェア構成の一例を示している。
図74は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図74では、情報処理装置900は、上述のサーバ30のハードウェア構成の一例を示している。
情報処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インタフェース958とを有する。さらに、情報処理装置900は、力覚デバイス960と、表示デバイス962と、音声出力デバイス964と、通信インタフェース968と、センサ980とを有する。また、情報処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
(CPU950)
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する主制御部340として機能する。
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する主制御部340として機能する。
(ROM952及びRAM954)
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。ROM952及びRAM954は、情報処理装置900において、例えば、上述の記憶部370の機能を果たす。
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。ROM952及びRAM954は、情報処理装置900において、例えば、上述の記憶部370の機能を果たす。
(記録媒体956)
記録媒体956は、上述の記憶部370として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
記録媒体956は、上述の記憶部370として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
(入出力インタフェース958、力覚デバイス960、表示デバイス962及び音声出力デバイス964)
入出力インタフェース958は、例えば、力覚デバイス960、表示デバイス962及び音声出力デバイス964等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
入出力インタフェース958は、例えば、力覚デバイス960、表示デバイス962及び音声出力デバイス964等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
力覚デバイス960は、上述の力覚機構710として機能し、表示デバイス962は、上述した表示部714として機能し、音声出力デバイス964は、上述した音声出力部716として機能する。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
なお、入出力インタフェース958が、情報処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
(通信インタフェース968)
通信インタフェース968は、通信部360として機能する情報処理装置900が備える通信手段であり、ネットワーク90を介して(あるいは、直接的に)、外部装置と、無線又は有線で通信を行うための通信部(図示省略)として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)等が挙げられる。
通信インタフェース968は、通信部360として機能する情報処理装置900が備える通信手段であり、ネットワーク90を介して(あるいは、直接的に)、外部装置と、無線又は有線で通信を行うための通信部(図示省略)として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)等が挙げられる。
以上、情報処理装置900のハードウェア構成の一例を示した。なお、情報処理装置900のハードウェア構成は、図74に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
例えば、情報処理装置900は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース968を備えていなくてもよい。また、通信インタフェース968は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成を有していてもよい。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理プラットフォームとして実現することも可能である。
<<6.補足>>
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
また、上述した本開示の実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する取得部と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する学習部と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する提示部と、
を備える情報処理装置。
(2)
前記パフォーマンスは、音に直接関係する情報である一次情報に基づいて算出される、上記(1)に記載の情報処理装置。
(3)
前記提示部は、音に直接関係する情報である一次情報と、演奏中の身体的な情報である二次情報との関係を機械学習した関係情報に基づいて、前記フィードバック情報を提示する、上記(1)又は(2)に記載の情報処理装置。
(4)
前記提示部は、身体機能を計測するアプリを用いて、演奏時以外で予め計測された前記第1のユーザの身体機能と、前記パフォーマンスを計測するアプリを用いて、演奏時に計測された当該第1のユーザのパフォーマンスとに基づいて、前記フィードバック情報を提示するアプリがインストールされた端末装置に提示する、上記(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
前記パフォーマンスは、該パフォーマンスにおける前記第1のユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、該パフォーマンスによって生じる結果の状態のうちの少なくとも1つによって表される、上記(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記取得部は、前記パフォーマンスによって生じる音をセンシングする収音装置から得られた音データまたは前記第1のユーザを撮像する撮像装置から得られた映像データに対する前記主観評価情報を取得する、上記(5)に記載の情報処理装置。
(7)
前記取得部は、前記主観評価情報として、前記音データまたは前記映像データに対して前記第2のユーザの感じる感性情報を取得する、上記(6)に記載の情報処理装置。
(8)
前記取得部は、前記感性情報として、前記第2のユーザに装着された生体情報センサから得られたセンシングデータを取得する、上記(7)に記載の情報処理装置。
(9)
前記生体情報センサは、前記第2のユーザの心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、及び、瞳孔径のうちの少なくとも1つをセンシングする、上記(8)に記載の情報処理装置。
(10)
前記関係情報に基づいて、前記第2のユーザから指定された前記主観評価情報に対応する前記第1のユーザのパフォーマンスを選択する選択部と、
選択された前記第1のユーザのパフォーマンスと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスとを比較して差分を抽出する比較部と、
をさらに備える、上記(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
前記関係情報に基づいて、前記第2のユーザから指定された前記主観評価情報に対応する前記第1のユーザのパフォーマンスを選択する選択部と、
選択された前記第1のユーザのパフォーマンスを特徴づける第1の特徴量と、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスを特徴づける第2の特徴量とを比較して差分を抽出する比較部と、
をさらに備える、上記(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
前記比較部は、前記第1のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータとを比較して差分を抽出する、上記(11)に記載の情報処理装置。
(13)
前記第1のユーザのパフォーマンスにおける運動要素の状態を表す複数のセンシングデータに対して多変量解析をおこなって、前記第1のユーザのパフォーマンスを特徴づける第1の特徴量を抽出する算出部をさらに備える、
上記(11)に記載の情報処理装置。
(14)
前記提示部は、前記差分を前記フィードバック情報として、前記第2のユーザに提示する、上記(10)~(13)のいずれか1つに記載の情報処理装置。
(15)
前記差分と該差分が生じる原因との対応付けを記憶する記憶部をさらに備え、
前記提示部は、前記対応付けを参照して前記差分に対応する原因を特定し、前記フィードバック情報として提示する、上記(14)に記載の情報処理装置。
(16)
前記提示部は、前記原因を解決するための解決策をさらに提示する、上記(15)に記載の情報処理装置。
(17)
前記提示部は、前記第2のユーザがパフォーマンスを行っているか否かに応じて、前記第2のユーザに提示する前記フィードバック情報を切り替える、上記(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
前記提示部は、表示装置を制御して所定の画像を表示させること、前記第2のユーザの身体に装着されたウェアラブル装置を制御して前記第2のユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも1つにより、前記第2のユーザに前記フィードバック情報を提示する、上記(1)~(17)のいずれか1つに記載の情報処理装置。
(19)
前記提示部は、前記第2のユーザのパフォーマンスにおける運動量、運動速度、運動加速度、運動正確性のうち少なくとも1つに関する情報の経時変化をアニメーション表示することにより、前記第2のユーザに前記フィードバック情報を提示する、上記(10)~(18)のいずれか1つに記載の情報処理装置。
(20)
前記提示部は、前記差分に応じて、前記アニメーション表示に対してエフェクト処理を行う、上記(19)に記載の情報処理装置。
(21)
前記提示部は、前記エフェクト処理として、前記アニメーション表示に対するシェーディング処理の変更、前記アニメーション表示におけるワイヤーフレーム表示の状態の変更、及び、前記アニメーション表示の色彩、輝度、透明度の変更のうちの少なくとも1つを行う、上記(20)に記載の情報処理装置。
(22)
前記提示部は、前記第1のユーザの演奏の対象となる楽器に設けられたセンサから得られたセンシングデータに基づいて、前記フィードバック情報を提示する、上記(1)~(21)のいずれか1つに記載の情報処理装置。
(23)
前記提示部は、前記第1のユーザの身体機能を計測したセンシングデータに基づいて、前記フィードバック情報を提示する、上記(1)~(22)のいずれか1つに記載の情報処理装置。
(24)
前記提示部は、前記第1のユーザの身体機能の確認、当該第1のユーザのパフォーマンスの詳細、当該第1のユーザが演奏した演奏データの管理、当該第1のユーザへの練習法の推奨、及び当該第1のユーザの練習日記に関する情報のうち、少なくともいずれか一つをページ構成に含む前記フィードバック情報を提示する、上記(1)~(23)のいずれか1つに記載の情報処理装置。
(25)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて各ページへ表示を切り替え可能な前記フィードバック情報を提示する、上記(1)~(24)のいずれか1つに記載の情報処理装置。
(26)
前記提示部は、前記第1のユーザのパフォーマンスの経時変化を項目ごとにグラフで示した前記フィードバック情報を提示する、上記(1)~(25)のいずれか1つに記載の情報処理装置。
(27)
前記提示部は、前記第1のユーザの指ごとに算出された各項目のパフォーマンスのスコアの平均を項目ごとに表示した前記フィードバック情報を提示する、上記(1)~(26)のいずれか1つに記載の情報処理装置。
(28)
前記提示部は、前記第1のユーザの演奏におけるタッチ及びペダルのうち、少なくともいずれか一つを可視化した前記フィードバック情報を提示する、上記(1)~(27)のいずれか1つに記載の情報処理装置。
(29)
前記提示部は、前記第1のユーザの演奏データに、演奏のお手本として予め定められた演奏データを重畳して表示した前記フィードバック情報を提示する、上記(1)~(28)のいずれか1つに記載の情報処理装置。
(30)
前記提示部は、前記第1のユーザの演奏の対象となる楽器に設けられたセンサから得られたセンシングデータに基づくスコアと、当該第1のユーザの身体機能を計測したセンシングデータに基づくスコアとに基づいて算出された各項目のパフォーマンスのスコアを含む前記フィードバック情報を提示する、上記(1)~(29)のいずれか1つに記載の情報処理装置。
(31)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて選択された順に、当該第1のユーザの演奏データをソート可能な前記フィードバック情報を提示する、上記(1)~(30)のいずれか1つに記載の情報処理装置。
(32)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて、予め定められた視点からの撮像情報に表示を切り替え可能な前記フィードバック情報を提示する、上記(1)~(31)のいずれか1つに記載の情報処理装置。
(33)
前記提示部は、前記第1のユーザに提示された複数の練習法のうち、当該第1のユーザに選択された練習法を当該第1のユーザの練習内容を記した練習日記に追加した前記フィードバック情報を提示する、上記(1)~(32)のいずれか1つに記載の情報処理装置。
(34)
前記提示部は、前記第1のユーザごとに表示可能な練習日記に対する前記第2のユーザの操作に応じて当該第1のユーザの練習日記に追加された当該第2のユーザの投稿情報を含む前記フィードバック情報を提示する、上記(1)~(33)のいずれか1つに記載の情報処理装置。
(35)
前記提示部は、前記練習日記に対する前記第1のユーザ又は前記第2のユーザの操作に応じて、当該練習日記に記された練習内容のうち、当該第1のユーザが練習した練習内容をグラフ化した前記フィードバック情報を提示する、上記(33)又は(34)に記載の情報処理装置。
(36)
前記提示部は、前記第1のユーザに備えられた慣性計測装置から得られたセンサ情報と、深度センサから得られたセンサ情報とに基づいて推定された当該第1のユーザの姿勢情報を含む前記フィードバック情報を提示する、上記(1)~(35)のいずれか1つに記載の情報処理装置。
(37)
前記提示部は、前記楽器のペダルの下部に備えられた慣性計測装置から得られたセンサ情報に基づいて推定された当該第1のユーザの姿勢情報を含む前記フィードバック情報を提示する、上記(36)に記載の情報処理装置。
(38)
前記提示部は、前記第1のユーザが座った状態と座っていない状態との荷重の差分に基づく重心移動に関する情報を含む前記フィードバック情報を提示する、上記(36)又は(37)に記載の情報処理装置。
(39)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得することと、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成することと、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示することと、
を含む、情報処理方法。
(40)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する機能と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する機能と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する機能と、
をコンピュータに実現させるためのプログラム。
(1)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する取得部と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する学習部と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する提示部と、
を備える情報処理装置。
(2)
前記パフォーマンスは、音に直接関係する情報である一次情報に基づいて算出される、上記(1)に記載の情報処理装置。
(3)
前記提示部は、音に直接関係する情報である一次情報と、演奏中の身体的な情報である二次情報との関係を機械学習した関係情報に基づいて、前記フィードバック情報を提示する、上記(1)又は(2)に記載の情報処理装置。
(4)
前記提示部は、身体機能を計測するアプリを用いて、演奏時以外で予め計測された前記第1のユーザの身体機能と、前記パフォーマンスを計測するアプリを用いて、演奏時に計測された当該第1のユーザのパフォーマンスとに基づいて、前記フィードバック情報を提示するアプリがインストールされた端末装置に提示する、上記(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
前記パフォーマンスは、該パフォーマンスにおける前記第1のユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、該パフォーマンスによって生じる結果の状態のうちの少なくとも1つによって表される、上記(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記取得部は、前記パフォーマンスによって生じる音をセンシングする収音装置から得られた音データまたは前記第1のユーザを撮像する撮像装置から得られた映像データに対する前記主観評価情報を取得する、上記(5)に記載の情報処理装置。
(7)
前記取得部は、前記主観評価情報として、前記音データまたは前記映像データに対して前記第2のユーザの感じる感性情報を取得する、上記(6)に記載の情報処理装置。
(8)
前記取得部は、前記感性情報として、前記第2のユーザに装着された生体情報センサから得られたセンシングデータを取得する、上記(7)に記載の情報処理装置。
(9)
前記生体情報センサは、前記第2のユーザの心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、及び、瞳孔径のうちの少なくとも1つをセンシングする、上記(8)に記載の情報処理装置。
(10)
前記関係情報に基づいて、前記第2のユーザから指定された前記主観評価情報に対応する前記第1のユーザのパフォーマンスを選択する選択部と、
選択された前記第1のユーザのパフォーマンスと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスとを比較して差分を抽出する比較部と、
をさらに備える、上記(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
前記関係情報に基づいて、前記第2のユーザから指定された前記主観評価情報に対応する前記第1のユーザのパフォーマンスを選択する選択部と、
選択された前記第1のユーザのパフォーマンスを特徴づける第1の特徴量と、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスを特徴づける第2の特徴量とを比較して差分を抽出する比較部と、
をさらに備える、上記(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
前記比較部は、前記第1のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータとを比較して差分を抽出する、上記(11)に記載の情報処理装置。
(13)
前記第1のユーザのパフォーマンスにおける運動要素の状態を表す複数のセンシングデータに対して多変量解析をおこなって、前記第1のユーザのパフォーマンスを特徴づける第1の特徴量を抽出する算出部をさらに備える、
上記(11)に記載の情報処理装置。
(14)
前記提示部は、前記差分を前記フィードバック情報として、前記第2のユーザに提示する、上記(10)~(13)のいずれか1つに記載の情報処理装置。
(15)
前記差分と該差分が生じる原因との対応付けを記憶する記憶部をさらに備え、
前記提示部は、前記対応付けを参照して前記差分に対応する原因を特定し、前記フィードバック情報として提示する、上記(14)に記載の情報処理装置。
(16)
前記提示部は、前記原因を解決するための解決策をさらに提示する、上記(15)に記載の情報処理装置。
(17)
前記提示部は、前記第2のユーザがパフォーマンスを行っているか否かに応じて、前記第2のユーザに提示する前記フィードバック情報を切り替える、上記(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
前記提示部は、表示装置を制御して所定の画像を表示させること、前記第2のユーザの身体に装着されたウェアラブル装置を制御して前記第2のユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも1つにより、前記第2のユーザに前記フィードバック情報を提示する、上記(1)~(17)のいずれか1つに記載の情報処理装置。
(19)
前記提示部は、前記第2のユーザのパフォーマンスにおける運動量、運動速度、運動加速度、運動正確性のうち少なくとも1つに関する情報の経時変化をアニメーション表示することにより、前記第2のユーザに前記フィードバック情報を提示する、上記(10)~(18)のいずれか1つに記載の情報処理装置。
(20)
前記提示部は、前記差分に応じて、前記アニメーション表示に対してエフェクト処理を行う、上記(19)に記載の情報処理装置。
(21)
前記提示部は、前記エフェクト処理として、前記アニメーション表示に対するシェーディング処理の変更、前記アニメーション表示におけるワイヤーフレーム表示の状態の変更、及び、前記アニメーション表示の色彩、輝度、透明度の変更のうちの少なくとも1つを行う、上記(20)に記載の情報処理装置。
(22)
前記提示部は、前記第1のユーザの演奏の対象となる楽器に設けられたセンサから得られたセンシングデータに基づいて、前記フィードバック情報を提示する、上記(1)~(21)のいずれか1つに記載の情報処理装置。
(23)
前記提示部は、前記第1のユーザの身体機能を計測したセンシングデータに基づいて、前記フィードバック情報を提示する、上記(1)~(22)のいずれか1つに記載の情報処理装置。
(24)
前記提示部は、前記第1のユーザの身体機能の確認、当該第1のユーザのパフォーマンスの詳細、当該第1のユーザが演奏した演奏データの管理、当該第1のユーザへの練習法の推奨、及び当該第1のユーザの練習日記に関する情報のうち、少なくともいずれか一つをページ構成に含む前記フィードバック情報を提示する、上記(1)~(23)のいずれか1つに記載の情報処理装置。
(25)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて各ページへ表示を切り替え可能な前記フィードバック情報を提示する、上記(1)~(24)のいずれか1つに記載の情報処理装置。
(26)
前記提示部は、前記第1のユーザのパフォーマンスの経時変化を項目ごとにグラフで示した前記フィードバック情報を提示する、上記(1)~(25)のいずれか1つに記載の情報処理装置。
(27)
前記提示部は、前記第1のユーザの指ごとに算出された各項目のパフォーマンスのスコアの平均を項目ごとに表示した前記フィードバック情報を提示する、上記(1)~(26)のいずれか1つに記載の情報処理装置。
(28)
前記提示部は、前記第1のユーザの演奏におけるタッチ及びペダルのうち、少なくともいずれか一つを可視化した前記フィードバック情報を提示する、上記(1)~(27)のいずれか1つに記載の情報処理装置。
(29)
前記提示部は、前記第1のユーザの演奏データに、演奏のお手本として予め定められた演奏データを重畳して表示した前記フィードバック情報を提示する、上記(1)~(28)のいずれか1つに記載の情報処理装置。
(30)
前記提示部は、前記第1のユーザの演奏の対象となる楽器に設けられたセンサから得られたセンシングデータに基づくスコアと、当該第1のユーザの身体機能を計測したセンシングデータに基づくスコアとに基づいて算出された各項目のパフォーマンスのスコアを含む前記フィードバック情報を提示する、上記(1)~(29)のいずれか1つに記載の情報処理装置。
(31)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて選択された順に、当該第1のユーザの演奏データをソート可能な前記フィードバック情報を提示する、上記(1)~(30)のいずれか1つに記載の情報処理装置。
(32)
前記提示部は、前記第1のユーザ又は前記第2のユーザの操作に応じて、予め定められた視点からの撮像情報に表示を切り替え可能な前記フィードバック情報を提示する、上記(1)~(31)のいずれか1つに記載の情報処理装置。
(33)
前記提示部は、前記第1のユーザに提示された複数の練習法のうち、当該第1のユーザに選択された練習法を当該第1のユーザの練習内容を記した練習日記に追加した前記フィードバック情報を提示する、上記(1)~(32)のいずれか1つに記載の情報処理装置。
(34)
前記提示部は、前記第1のユーザごとに表示可能な練習日記に対する前記第2のユーザの操作に応じて当該第1のユーザの練習日記に追加された当該第2のユーザの投稿情報を含む前記フィードバック情報を提示する、上記(1)~(33)のいずれか1つに記載の情報処理装置。
(35)
前記提示部は、前記練習日記に対する前記第1のユーザ又は前記第2のユーザの操作に応じて、当該練習日記に記された練習内容のうち、当該第1のユーザが練習した練習内容をグラフ化した前記フィードバック情報を提示する、上記(33)又は(34)に記載の情報処理装置。
(36)
前記提示部は、前記第1のユーザに備えられた慣性計測装置から得られたセンサ情報と、深度センサから得られたセンサ情報とに基づいて推定された当該第1のユーザの姿勢情報を含む前記フィードバック情報を提示する、上記(1)~(35)のいずれか1つに記載の情報処理装置。
(37)
前記提示部は、前記楽器のペダルの下部に備えられた慣性計測装置から得られたセンサ情報に基づいて推定された当該第1のユーザの姿勢情報を含む前記フィードバック情報を提示する、上記(36)に記載の情報処理装置。
(38)
前記提示部は、前記第1のユーザが座った状態と座っていない状態との荷重の差分に基づく重心移動に関する情報を含む前記フィードバック情報を提示する、上記(36)又は(37)に記載の情報処理装置。
(39)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得することと、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成することと、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示することと、
を含む、情報処理方法。
(40)
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する機能と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する機能と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する機能と、
をコンピュータに実現させるためのプログラム。
1 情報処理プラットフォーム
10 センサ装置
30 サーバ
70 提示装置
90 ネットワーク
100 センサ部
140、340、740 主制御部
142、342 データ取得部
144、344 処理部
152、354 出力制御部
160、360、760 通信部
300 入力部
310 出力部
346 学習部
347 算出部
348 選択部
350 比較部
352 推薦部
370、770 記憶部
372 DB
500 センシングデータ
501 演奏データ
502、503 主観評価情報
504 特徴量
506 フィードバック情報
710 力覚機構
714 表示部
716 音声出力部
801 鍵盤表示画面
802 鍵盤の移動量の山
803 (過去の)鍵盤の上下動の経時変化
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インタフェース
960 力覚デバイス
962 表示デバイス
964 音声出力デバイス
968 通信インタフェース
970 バス
980 センサ
10 センサ装置
30 サーバ
70 提示装置
90 ネットワーク
100 センサ部
140、340、740 主制御部
142、342 データ取得部
144、344 処理部
152、354 出力制御部
160、360、760 通信部
300 入力部
310 出力部
346 学習部
347 算出部
348 選択部
350 比較部
352 推薦部
370、770 記憶部
372 DB
500 センシングデータ
501 演奏データ
502、503 主観評価情報
504 特徴量
506 フィードバック情報
710 力覚機構
714 表示部
716 音声出力部
801 鍵盤表示画面
802 鍵盤の移動量の山
803 (過去の)鍵盤の上下動の経時変化
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インタフェース
960 力覚デバイス
962 表示デバイス
964 音声出力デバイス
968 通信インタフェース
970 バス
980 センサ
Claims (20)
- 第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する取得部と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する学習部と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する提示部と、
を備える情報処理装置。 - 前記パフォーマンスは、音に直接関係する情報である一次情報に基づいて算出される、請求項1に記載の情報処理装置。
- 前記提示部は、音に直接関係する情報である一次情報と、演奏中の身体的な情報である二次情報との関係を機械学習した関係情報に基づいて、前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、身体機能を計測するアプリを用いて、演奏時以外で予め計測された前記第1のユーザの身体機能と、前記パフォーマンスを計測するアプリを用いて、演奏時に計測された当該第1のユーザのパフォーマンスとに基づいて、前記フィードバック情報を提示するアプリがインストールされた端末装置に提示する、請求項1に記載の情報処理装置。
- 前記取得部は、前記パフォーマンスによって生じる音をセンシングする収音装置から得られた音データまたは前記第1のユーザを撮像する撮像装置から得られた映像データに対する前記主観評価情報を取得する、請求項1に記載の情報処理装置。
- 前記取得部は、前記主観評価情報として、前記音データまたは前記映像データに対して前記第2のユーザの感じる感性情報を取得する、請求項5に記載の情報処理装置。
- 前記取得部は、前記感性情報として、前記第2のユーザに装着された生体情報センサから得られたセンシングデータを取得する、請求項6に記載の情報処理装置。
- 前記関係情報に基づいて、前記第2のユーザから指定された前記主観評価情報に対応する前記第1のユーザのパフォーマンスを選択する選択部と、
選択された前記第1のユーザのパフォーマンスと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスとを比較して差分を抽出する比較部と、
をさらに備える、請求項1に記載の情報処理装置。 - 前記比較部は、前記第1のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータと、該第1のユーザのパフォーマンスに対応する前記第2のユーザのパフォーマンスにおける運動要素の状態を表す1つ又は複数のセンシングデータとを比較して差分を抽出する、請求項8に記載の情報処理装置。
- 前記第1のユーザのパフォーマンスにおける運動要素の状態を表す複数のセンシングデータに対して多変量解析をおこなって、前記第1のユーザのパフォーマンスを特徴づける第1の特徴量を抽出する算出部をさらに備える、
請求項8に記載の情報処理装置。 - 前記差分と該差分が生じる原因との対応付けを記憶する記憶部をさらに備え、
前記提示部は、前記対応付けを参照して前記差分に対応する原因を特定し、前記フィードバック情報として前記原因を解決するための解決策を提示する、請求項9に記載の情報処理装置。 - 前記提示部は、表示装置を制御して所定の画像を表示させること、前記第2のユーザの身体に装着されたウェアラブル装置を制御して前記第2のユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも1つにより、前記第2のユーザに前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、前記第2のユーザのパフォーマンスにおける運動量、運動速度、運動加速度、運動正確性のうち少なくとも1つに関する情報の経時変化をアニメーション表示することにより、前記第2のユーザに前記フィードバック情報を提示する、請求項8に記載の情報処理装置。
- 前記提示部は、前記第1のユーザのパフォーマンスの経時変化を項目ごとにグラフで示した前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、前記第1のユーザの演奏におけるタッチ及びペダルのうち、少なくともいずれか一つを可視化するとともに、当該第1のユーザの演奏データに、演奏のお手本として予め定められた演奏データを重畳して表示したフィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、前記第1のユーザの演奏の対象となる楽器に設けられたセンサから得られたセンシングデータに基づくスコアと、当該第1のユーザの身体機能を計測したセンシングデータに基づくスコアとに基づいて算出された各項目のパフォーマンスのスコアを含む前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、前記第1のユーザに提示された複数の練習法のうち、当該第1のユーザに選択された練習法を当該第1のユーザの練習内容を記した練習日記に追加した前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- 前記提示部は、前記第1のユーザごとに表示可能な練習日記に対する前記第2のユーザの操作に応じて当該第1のユーザの練習日記に追加された当該第2のユーザの投稿情報を含む前記フィードバック情報を提示する、請求項1に記載の情報処理装置。
- コンピュータが実行する情報処理方法であって、
第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得することと、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成することと、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示することと、
を含む、情報処理方法。 - 第1のユーザの身体の少なくとも一部が動作することによって行われる各パフォーマンスに対する第2のユーザの主観評価情報を取得する機能と、
前記各パフォーマンスと前記各主観評価情報との関係を機械学習し、前記各パフォーマンスと前記各主観評価情報との関係情報を生成する機能と、
前記関係情報に基づいて、フィードバック情報を前記第2のユーザに提示する機能と、
をコンピュータに実現させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/773,400 US20220398937A1 (en) | 2019-11-07 | 2020-11-02 | Information processing device, information processing method, and program |
EP20884742.6A EP4057211A4 (en) | 2019-11-07 | 2020-11-02 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
JP2021554942A JPWO2021090817A1 (ja) | 2019-11-07 | 2020-11-02 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202726 | 2019-11-07 | ||
JP2019-202726 | 2019-11-07 | ||
JP2020128670 | 2020-07-29 | ||
JP2020-128670 | 2020-07-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021090817A1 true WO2021090817A1 (ja) | 2021-05-14 |
Family
ID=75848450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/041129 WO2021090817A1 (ja) | 2019-11-07 | 2020-11-02 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220398937A1 (ja) |
EP (1) | EP4057211A4 (ja) |
JP (1) | JPWO2021090817A1 (ja) |
WO (1) | WO2021090817A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113946211A (zh) * | 2021-10-14 | 2022-01-18 | 网易有道信息技术(江苏)有限公司 | 基于元宇宙的多个对象的交互方法及相关设备 |
WO2023032422A1 (ja) * | 2021-09-03 | 2023-03-09 | キヤノン株式会社 | 処理方法、プログラムおよび処理装置 |
WO2023214518A1 (ja) * | 2022-05-02 | 2023-11-09 | ソニーグループ株式会社 | 検出装置および検出方法 |
WO2023234197A1 (ja) * | 2022-06-02 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042161A (ja) * | 2018-09-11 | 2020-03-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3881910A4 (en) * | 2018-11-15 | 2022-01-12 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310204A (ja) * | 2006-05-19 | 2007-11-29 | Yamaha Corp | 楽曲練習支援装置、制御方法及びプログラム |
JP2011087794A (ja) | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
WO2019012784A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019130755A1 (ja) * | 2017-12-27 | 2019-07-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2751382A1 (en) * | 2009-01-21 | 2010-07-29 | Musiah Ltd | Music education system |
US8907195B1 (en) * | 2012-01-14 | 2014-12-09 | Neset Arda Erol | Method and apparatus for musical training |
JP5748128B2 (ja) * | 2012-09-20 | 2015-07-15 | カシオ計算機株式会社 | 練習時間予測装置、及び練習時間予測方法、プログラム |
JP6320143B2 (ja) * | 2014-04-15 | 2018-05-09 | 株式会社東芝 | 健康情報サービスシステム |
JP2017055913A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 動作フォーム判定装置、判定方法、判定プログラム、判定システム |
EP3881910A4 (en) * | 2018-11-15 | 2022-01-12 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
-
2020
- 2020-11-02 WO PCT/JP2020/041129 patent/WO2021090817A1/ja unknown
- 2020-11-02 EP EP20884742.6A patent/EP4057211A4/en active Pending
- 2020-11-02 US US17/773,400 patent/US20220398937A1/en active Pending
- 2020-11-02 JP JP2021554942A patent/JPWO2021090817A1/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310204A (ja) * | 2006-05-19 | 2007-11-29 | Yamaha Corp | 楽曲練習支援装置、制御方法及びプログラム |
JP2011087794A (ja) | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
WO2019012784A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019130755A1 (ja) * | 2017-12-27 | 2019-07-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032422A1 (ja) * | 2021-09-03 | 2023-03-09 | キヤノン株式会社 | 処理方法、プログラムおよび処理装置 |
CN113946211A (zh) * | 2021-10-14 | 2022-01-18 | 网易有道信息技术(江苏)有限公司 | 基于元宇宙的多个对象的交互方法及相关设备 |
WO2023214518A1 (ja) * | 2022-05-02 | 2023-11-09 | ソニーグループ株式会社 | 検出装置および検出方法 |
WO2023234197A1 (ja) * | 2022-06-02 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4057211A1 (en) | 2022-09-14 |
JPWO2021090817A1 (ja) | 2021-05-14 |
US20220398937A1 (en) | 2022-12-15 |
EP4057211A4 (en) | 2022-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021090817A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7468356B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7238794B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7367690B2 (ja) | 情報処理装置 | |
MacRitchie | The art and science behind piano touch: A review connecting multi-disciplinary literature | |
Allingham et al. | Motor performance in violin bowing: Effects of attentional focus on acoustical, physiological and physical parameters of a sound-producing action | |
CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估***及方法 | |
Weiss et al. | Motion types of ancillary gestures in clarinet playing and their influence on the perception of musical performance | |
JP5160830B2 (ja) | 動画生成システム、動画生成方法、およびコンピュータプログラム | |
Mainsbridge | Body as instrument: performing with gestural systems in live electronic music | |
Cosentino et al. | Natural human–robot musical interaction: understanding the music conductor gestures by using the WB-4 inertial measurement system | |
Platte | The Maestro myth: exploring the impact of conducting gestures on the musician's body and the sounding result | |
Nymoen | Methods and technologies for analysing links between musical sound and body motion | |
Hall et al. | Real-time auditory biofeedback system for learning a novel arm trajectory: a usability study | |
Mainsbridge | Feeling movement in live electronic music: An embodied autoethnography | |
Costalonga et al. | Understanding biomechanical constraints for modelling expressive performance: A guitar case study | |
Wang | Designing smart garments for rehabilitation | |
US20230386155A1 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
EP4332957A2 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
WO2023053632A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Karolus | Proficiency-aware systems: designing for user skill and expertise | |
JP5726827B2 (ja) | 運動メニュー作成システム、運動メニュー作成方法、およびコンピュータプログラム | |
Blewett et al. | Brass Haptics: Comparing Virtual and Physical Trumpets in Extended Realities | |
Rozendom | Developing a Rapid Prototyping Kit for Interactive Sports and Movement Design within Creative Technology | |
Dias Pereira dos Santos | Using Motion Sensor and Machine Learning to Support the Assessment of Rhythmic Skills in Social Partner Dance: Bridging Teacher, Student and Machine Contexts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20884742 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021554942 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020884742 Country of ref document: EP Effective date: 20220607 |