WO2020145209A1 - 映像制御システム、及び映像制御方法 - Google Patents
映像制御システム、及び映像制御方法 Download PDFInfo
- Publication number
- WO2020145209A1 WO2020145209A1 PCT/JP2019/051566 JP2019051566W WO2020145209A1 WO 2020145209 A1 WO2020145209 A1 WO 2020145209A1 JP 2019051566 W JP2019051566 W JP 2019051566W WO 2020145209 A1 WO2020145209 A1 WO 2020145209A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- video
- performance
- reproduction
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000007786 learning performance Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Definitions
- the present invention relates to a video control system and a video control method.
- This application claims the priority on the basis of Japanese Patent Application No. 2019-000686 for which it applied on January 7, 2019, and takes in those the indications of all here.
- Patent Document 1 discloses a technique that allows a user to intuitively edit the reproduction order of videos and the like.
- An example of an object of the present invention is to provide a video control system that enables even a user who does not have a special technique to control a video in accordance with music.
- an estimation unit that estimates performance information regarding performance of the music of the acoustic signal based on an output from a learned model in response to an input of an audio signal that represents performance of the music, and is input by a user.
- the operation control includes: an acquisition unit that acquires operation information that represents an operation related to video reproduction, and a video control unit that controls reproduction of the video based on the estimated performance information.
- a video control system that controls reproduction of the video based on the operation information when the operation information is acquired by the acquisition unit.
- Another aspect of the present invention is to estimate performance information related to performance of the music of the acoustic signal based on an output from a learned model with respect to an input of an audio signal representing performance of the music, and to estimate the performance information.
- Control the reproduction of the video on the basis of the operation information which is an operation input by the user, acquires operation information indicating an operation related to the reproduction of the video, and when the operation information is acquired, the operation information is acquired based on the operation information.
- An image control method including controlling reproduction of an image.
- FIG. 1 is a block diagram showing a configuration example of a video control system 1 of the first embodiment.
- the video control system 1 includes, for example, a sound collection device 10, a performance analysis device 20, a video control device 30, a video output device 40, and an input device 50.
- the sound pickup device 10 picks up a performance of a musical instrument or a song by a performer to generate an acoustic signal A.
- the sound collection device 10 is a microphone.
- the sound collection device 10 is connected to the performance analysis device 20 and outputs the generated acoustic signal A to the performance analysis device 20.
- the musical performance signal output from the electronic musical instrument may be directly output to the musical performance analysis device 20.
- the sound collection device 10 can be omitted.
- the performance signal is a MIDI signal.
- the performance includes a performance such as singing.
- the performance analysis device 20 may be, for example, a computer including a memory and a processor.
- the performance analysis device 20 estimates the performance information B regarding the performance of the acoustic signal A by analyzing the acoustic signal A acquired from the sound collection device 10. For this analysis, for example, the technique described in Japanese Patent Laid-Open No. 2015-79183 is used. The entire disclosure of Japanese Patent Laid-Open No. 2015-79183 is incorporated herein.
- the performance information B may be information related to the performance, and is, for example, information indicating the position of the performance and/or the speed of the performance.
- the performance analysis device 20 is connected to the video control device 30 and outputs the estimated performance information B to the video control device 30.
- the performance analysis device 20 may estimate the performance information B by analyzing the performance signal acquired from the electronic musical instrument.
- the input device 50 is connected to the video control device 30 and acquires the content (instruction) operated and input by the user with respect to the content displayed on the display unit 302 (see FIG. 5) of the video control device 30 described later. It is a device.
- the input device 50 is a device such as a mouse, a keyboard or a touch panel.
- the input device 50 acquires the content input by operation by the user and generates the operation information D based on the acquired content.
- the operation information D is information indicating an operation performed by the user on the content displayed on the display unit 302.
- the operation information D is, for example, information that specifies a reproduction position or a reproduction speed of a video controlled by the video control device 30.
- the input device 50 outputs the generated operation information D to the video control device 30.
- the video control device 30 may be, for example, a computer including a memory and a processor.
- the video control device 30 generates the video control information C for controlling the reproduction of the video to be output to the video output device 40 based on the performance information B acquired from the performance analysis device 20 or the operation information D acquired from the input device 50.
- the image control information C is information for controlling the reproduction of the image and is, for example, information indicating the reproduction position and the reproduction speed of the image.
- the video control device 30 is connected to the video output device 40 and outputs the generated video control information C to the video output device 40.
- the video control device 30 reproduces a video by prioritizing the operation by the user (operation information D from the input device 50) over the information by the machine (performance information B by the performance analysis device 20). To control. Specifically, when the operation information D is input while controlling the reproduction of the video based on the performance information B, the video control device 30 controls the reproduction of the video based on the operation information D. That is, the video control device 30 controls the reproduction of the video based on the performance information B except the period during which the reproduction of the video is controlled based on the operation information D. This allows the user to match the reproduction speed of the video to the performance speed of the live performance by a machine in the normal case, for example. On the other hand, in an important phrase (decision scene) such as a climax of a music, the user can control the image by the user's own operation to realize an effective image production.
- an important phrase such as a climax of a music
- the video output device 40 generates video data M based on the video control information C acquired from the video control device 30, and outputs the generated video data M to a display device (not shown) such as a screen.
- the video data M is information of a video displayed on the display device.
- FIG. 2 is a block diagram showing a configuration example of the performance analysis device 20 of the embodiment.
- the performance analysis device 20 includes, for example, an acoustic signal acquisition unit 200, a performance information estimation unit 201, a performance information output unit 202, a music data storage unit 203, a learned model storage unit 204, and a control unit 205. ..
- the performance information estimation unit 201 is an example of an “estimation unit”.
- the acoustic signal acquisition unit 200 acquires the acoustic signal A output by the sound collection device 10.
- the acoustic signal acquisition unit 200 outputs the acquired acoustic signal A to the performance information estimation unit 201.
- the performance information estimation unit 201 estimates the performance information B regarding the performance of the music of the acoustic signal A by inputting the acoustic signal A into the learned model.
- the performance information estimation unit 201 outputs the estimated performance information B to the performance information output unit 202.
- the learned model is a model learned by performing machine learning on the correspondence between the learning performance data, which is the performance data used for learning, and the performance position indicated by the learning performance data.
- Commonly used machine learning techniques include Hidden Markov Model (HMM), Deep Learning, Recurrent Neural Network, Convolutional Neural Network, Support Vector Machine (SVM), Decision Tree Learning, and Genetic Programming. Any of these may be used.
- the learned model is a model in which data in which the performance position of each performance data is associated with each of the performance data (learning performance data) obtained by dividing the acoustic signal of the music at a predetermined cycle is learned. is there.
- the degree of similarity between the acoustic signal A and the learned performance data for learning is calculated.
- the degree of similarity is calculated, for example, as a distance in a vector space between a value obtained by digitizing the feature amount of the input acoustic signal A by vector expression and a value obtained by digitizing the feature amount of learning performance data by vector expression.
- the distance in the vector space is proportional to the correlation amount of the values digitized by mutual vector representation, and is calculated by, for example, the inner product of the vectors. Then, the learned model estimates, in the acoustic signal A, a performance position in which the distance in the vector space from the input acoustic signal A is less than a predetermined threshold value, that is, a performance position associated with similar learning performance data. Output as the playing position.
- the performance information B estimated by the performance information estimation unit 201 is, for example, information related to the position on the music piece at which the acoustic signal A is currently playing.
- the performance information B is information indicating the number of bars, beats, ticks, etc. from the start of the performance in the score corresponding to the music.
- the performance information B is the time from the performance start time to the performance position when the performance is performed at the speed indicated by the score (speed indicated by the speed symbol or speed term) as the performance position. It may be the information shown.
- the performance information estimation unit 201 refers to the music data storage unit 203 based on the estimated performance position, and acquires the speed indicated in the score corresponding to the music.
- the performance information estimation unit 201 derives the performance information B by converting the performance position into the time from the performance start time to the performance position, using the acquired velocity on the score.
- the performance information B may be a performance speed indicating the speed of performance.
- the performance information estimation unit 201 may derive the performance speed by differentiating the performance position with respect to time.
- the performance information estimation unit 201 may estimate the performance speed by using a learned model in which data for associating the performance data for learning with the performance speed of the performance data for learning is learned as learning data.
- the performance information estimation unit 201 sets (updates) the performance information B to the content (for example, the reproduction position or the reproduction speed) corresponding to the acquired reproduction information.
- the reproduction information is information indicating a position (reproduction position) at which the image control device 30 is currently reproducing an image or a reproduction speed.
- the performance information output unit 202 outputs the performance information B estimated by the performance information estimation unit 201 to the video control device 30.
- the music data storage unit 203 stores music data corresponding to the score of the music played by the performer.
- the music data is time-series data indicating the pitch, the volume, and the sounding period of each note constituting the music, and is, for example, a MIDI format file (SMF, Standard MIDI File).
- the learned model storage unit 204 stores the learned model.
- the control unit 205 is, for example, a processing circuit such as a CPU (Central Processing Unit), and controls each element of the performance analysis device 20 as a whole.
- a storage device (for example, a cloud storage) that is separate from the performance analysis device 20 is prepared, and the control unit 205 controls the storage unit 203 via the mobile communication network or the communication network such as the Internet. , And the information stored in the learned model storage unit 204 can be written or read.
- the performance analysis device 20 may not include the music data storage unit 203 and the learned model storage unit 204.
- FIG. 3 is a block diagram showing a configuration example of the video control device 30 of the embodiment.
- the video control device 30 includes, for example, a performance information acquisition unit 300, an operation information acquisition unit 301, a display unit 302, a video control unit 303, a video meta information storage unit 304, and a control unit 305.
- the video meta information storage unit 304 is an example of a “storage unit”.
- the performance information acquisition unit 300 acquires the performance information B from the performance analysis device 20.
- the operation information acquisition unit 301 outputs the acquired performance information B to the video control unit 303.
- the operation information acquisition unit 301 acquires the operation information D from the input device 50.
- the operation information acquisition unit 301 outputs the acquired operation information D to the video control unit 303.
- the display unit 302 is, for example, a liquid crystal display, and displays a menu screen, an operation screen, a setting screen, and the like when the user operates reproduction of video.
- the video control unit 303 controls the reproduction of video based on the performance information B or the operation information D.
- the video control unit 303 controls the reproduction of the video based on the performance information B or the operation information D for each section of the music played by the performer, for example, according to the content preset by the user.
- the video control unit 303 In the section where the video is controlled based on the performance information B, the video control unit 303 generates the video control information C corresponding to the performance information B and designating the video position and/or the video speed.
- the video control unit 303 generates video control information C corresponding to the video position and/or the video speed indicated by the operation information D in the section in which the video is controlled based on the operation information D.
- the video control unit 303 switches to control based on the operation information D when the operation information D is acquired from the operation information acquisition unit 301 while controlling the video based on the performance information B. That is, when the video control unit 303 acquires the operation information D from the operation information acquisition unit 301 during the performance of the section where the video is controlled based on the performance information B, the section is controlled to be the section controlled based on the operation information D. Switch. That is, even if the video control unit 303 is performing control by the machine (control based on the performance information B), if the control by the user (control based on the operation information D) is operated, the video control unit 303 is operated by the user. Give priority to control.
- the video control unit 303 switches to the control based on the performance information B when the user operates to control the video based on the performance information B while controlling the video based on the operation information D.
- the video control unit 303 determines the section based on the performance information B. Switch to the section to be controlled. That is, the video control unit 303 follows an instruction from the user when the user gives an instruction (an instruction to perform control based on the performance information B or the operation information D).
- the video control unit 303 outputs the reproduction information to the performance information estimation unit 201 of the performance analysis device 20 when the operation information acquisition unit 301 acquires the instruction information during the control based on the operation information D. ..
- the instruction information is information indicating an instruction to control the reproduction of the video based on the performance information B.
- the reproduction information is information indicating the position (reproduction position) where the video is currently reproduced or the reproduction speed.
- the video control unit 303 uses the video meta information when performing the control based on the operation information D.
- the video meta information is information stored in the video meta information storage unit 304.
- the video meta information is information in which a target video to be operated by the user is associated with meta information indicating the content of reproduction (reproduction method) in the target video.
- the meta information is information indicating the content of reproduction, and is, for example, presence/absence of reproduction, presence/absence of stop, presence/absence of jump cut, presence/absence of loop, and the like.
- the presence/absence of reproduction is information indicating whether or not to advance (reproduce) the reproduction position of the target video after displaying the target video.
- the presence/absence of the stop is information indicating whether or not the progress of the target video is stopped after the target video is displayed.
- the jump cut is information indicating whether or not the display of the currently reproduced image is directly switched to the display of the target image when the target video is displayed, and the video during that period is skipped (jump cut).
- the presence/absence of a loop is information indicating whether or not the reproduction of the target video is repeated (loop) again when the reproduction of the target video is completed.
- the video meta information storage unit 304 stores the video meta information.
- the control unit 305 is, for example, a processing circuit such as a CPU (Central Processing Unit), and integrally controls each element of the video control device 30.
- CPU Central Processing Unit
- FIG. 4 shows an example of video meta information stored in the video meta information storage unit 304 of the embodiment.
- the video meta information includes, for example, items such as items, seconds, marker information RGB, reproduction, stop, jump cut, loop, and AI application (automatic control application).
- the item is a number attached to the content registered as video meta information.
- the number of seconds is information indicating the position of the video by the elapsed time [seconds] from the start of the video.
- the marker information RGB is information that indicates the color attached to the frame of the thumbnails (images G6 to G9 in FIG. 5) of the video registered on the operation display screen (see FIG. 5) as RGB values.
- Reproduction is information indicating whether or not to proceed with reproduction after displaying the registered video.
- the stop is information indicating whether to stop the advance of the image after displaying the registered image.
- the jump cut is information indicating whether or not to cut the intervening video when displaying the registered video.
- the loop is information indicating whether or not to replay the registered video when the replay of the video is completed.
- AI application is information indicating whether or not to apply video control (automatic video control) by the machine (performance analysis device 20).
- the video at the start time of the video (0 seconds later), 1 second later, 630.8 seconds later, 1274.50 seconds later, etc. are respectively registered.
- the video after 0 second is reproduced, and AI is not applied to the reproduction control in the section starting from 0 second.
- AI is applied to the reproduction control.
- FIG. 5 shows an example of a display on the display unit 302 of the embodiment.
- the display unit 302 displays images G1 to G9, for example.
- the image G1 is an operation button for operating whether to apply AI, that is, whether to apply video control by the performance analysis device 20.
- AI automatic control
- the video control is switched to manual.
- the image G1 is clicked in a state where AI (automatic control) is not applied (a state of manual control)
- the video control is switched to AI (automatic control).
- the image G2 is an operation button for controlling reproduction of video.
- the image G2 is provided with operation buttons such as play, stop, fast forward, and rewind.
- the image G3 is a slide bar (knob) for changing the reproduction speed.
- the reproduction speed is changed by operating the image G30 on the slide bar in the vertical direction. For example, moving the image G30 in the upward direction increases the reproduction speed, and moving the image G30 in the downward direction decreases the reproduction speed.
- Image G4 is a reproduction screen on which the image being reproduced is displayed.
- the image G5 is an image for performing an operation of switching to a video registered as video meta information.
- Images G6 to G9 are thumbnail images of the images located at the beginning of each of the images registered as the image meta information.
- the image G6 is an image 0 seconds after the start of the image.
- the image G7 is a video one second after the start of the video.
- the image G8 is an image 630.80 seconds after the start of the image.
- the image G9 is an image 1274.50 seconds after the start of the image.
- FIG. 6 is a diagram for explaining the operation of the video control device 30 of the embodiment.
- the performance information B acquired by the performance information acquisition unit 300 is input to the selector 303A of the video control unit 303.
- An operation signal which is acquired by the operation information acquisition unit 301 and indicates the operation of changing the video reproduction speed (the operation of moving the image G30 of the slide bar), is input to the selector 303A. Further, this operation signal is converted into an operation signal indicating an operation of turning off AI (automatic control). That is, this operation signal is converted into an operation of switching AI application from ON to OFF (operation of clicking the image G1). This converted operation is input to the selector 303A as an operation signal indicating an operation to turn off AI.
- This operation signal is input to the selector 303A as a signal indicating control for selecting whether to output the signal from the selector 303A. That is, when the operation signal indicating the operation of turning off AI is input to the selector 303A, the operation signal is output from the selector 303A. On the other hand, when the operation signal indicating the operation of turning on AI is input to the selector 303A, the operation signal is not output from the selector 303A.
- the operation signal output from the selector 303A is input to the functional unit (playback speed control unit) 303B of the video control unit 303.
- the functional unit 303B is a functional unit that controls the reproduction speed.
- the functional unit 303B generates video control information C (playback speed control information) from the operation signal and outputs the video control information C to the video output device 40. Further, the functional unit 303B outputs (feedback) the generated video control information C (performance position designation information) to the performance analysis device 20.
- the functional unit 303B may periodically feed back the video control information C (performance position designation information) to the performance analysis device 20 when switched to a manual operation by the user.
- An operation signal which is acquired by the operation information acquisition unit 301 and indicates the operation of the scene switching screen for switching the video (the operation of clicking the images G6 to G9), is input to the functional unit (playback position control unit) 303C of the video control unit 303.
- the functional unit 303C is a functional unit that controls the reproduction position.
- the functional unit 303C generates video control information C (playback position control information) from the input operation signal and outputs it to the video output device 40. Further, the functional unit 303C outputs (feedback) the generated video control information C (performance position designation information) to the performance analysis device 20.
- the functional unit 303C may periodically feed back the video control information C (performance position designation information) to the performance analysis device 20 when the video is switched by the user.
- FIG. 7 is a sequence diagram showing an operation flow of the video control system 1 of the embodiment.
- the sound collection device 10 collects the sound of a performance (live performance, real-time performance) (step S10), and generates an acoustic signal A using the collected sound (step S11).
- the sound collection device 10 outputs the generated acoustic signal A to the performance analysis device 20.
- the performance analysis device 20 acquires the acoustic signal A from the sound collection device 10 (step S12), and inputs the acquired acoustic signal A to the learned model (step S13).
- the performance analysis device 20 sets the output from the learned model as the performance information B estimated in the acoustic signal A (step S14). Alternatively, the performance analysis device 20 may estimate the performance information B based on the output from the learned model.
- the performance analysis device 20 outputs the estimated performance information B to the video control device 30.
- the video control device 30 acquires the performance information B from the performance analysis device 20 (step S15), and controls the reproduction of the video based on the acquired performance information B (step S16).
- Input information indicating an input by a user operation is input to the input device 50 (step S17).
- the input device 50 generates the operation information D using the input information (step S18).
- the input device 50 outputs the generated operation information D to the video control device 30.
- the video control device 30 acquires the operation information D from the input device 50 (step S19), it switches the video control and controls the video reproduction based on the operation information D (step S20).
- the video control system 1 of the first embodiment based on the output from the learned model for the input of the acoustic signal A representing the performance of the music, the performance information B regarding the performance of the music in the audio signal A.
- a performance information estimation unit 201 (an example of an “estimation unit”) for estimating the operation information
- an operation information acquisition unit 301 (“acquisition unit”) that acquires operation information D that is an operation input by the user and that indicates an operation related to video reproduction.
- an image control unit 303 that controls reproduction of an image based on the performance information B estimated by the performance information estimation unit 201 or the operation information D acquired by the operation information acquisition unit 301.
- the video control unit 303 controls the reproduction of the video based on the operation information D.
- the video control system 1 of the first embodiment can control the video according to the performance information.
- the operation information D from the user is acquired, the reproduction of the video can be controlled based on the operation information D. Therefore, in an unexpected situation such as an important phrase (decision scene) such as a climax of a music piece or the sound pickup device 10 malfunctioning and the acoustic signal A is not input to the performance analysis device 20, the video is controlled by the user's operation. It is possible to realize a more effective video effect.
- the learned model defines the correspondence between the learning performance data, which is the performance data used for learning, and the position or speed of the performance indicated by the learning performance data. It is a model learned by executing learning.
- the performance information estimation unit 201 estimates performance information B regarding the position or speed of the performance of the music in the audio signal A.
- the video control system 1 of the first embodiment can control the video playback position and playback speed in accordance with the performance position and speed indicated by the performance information. As a result, for example, even when the performance speed (tempo) of the live performance becomes slow or fast, the reproduction speed of the video can be matched with the performance speed of the live performance.
- the video control unit 303 controls the reproduction of the video based on the performance information while controlling the reproduction of the video based on the operation information D.
- the reproduction information regarding the speed of reproduction of the video is output to the performance information estimation unit 201.
- the performance information estimation unit 201 uses the reproduction information acquired from the video control unit 303 to set (update) the performance information based on the reproduction information.
- the control of the video by the user's operation can be returned to the control (automatic control) by the machine (performance information estimating unit 201).
- the playback position and playback speed of the video do not change when switching to machine control, and smooth playback is possible. It is possible to perform various switching.
- the video control system 1 of the first embodiment further includes a video meta information storage unit 304 that stores information in which target video that is an operation target and meta information that indicates a reproduction method of the target video are associated with each other. ..
- the operation information D is information indicating the target video (information indicating selection of the target video).
- the video control unit 303 reproduces the target video by the reproduction method indicated by the meta information.
- the video control system 1 of the first embodiment when the user manually controls the video, it is associated with the video (target video) to be displayed, and the video playback method (for example, standby, predetermined It is possible to record (register) meta-information such as repeating (looping) reproduction of the video section. Therefore, the user can play the video as registered in the meta information by selecting the video registered in advance, and does not need to perform the operation of stopping or looping the video. You can concentrate on the adjustment.
- the video control system 1 of the first embodiment has a performance information estimation unit 201, a performance analysis device 20 that transmits performance information, an operation information acquisition unit 301, and a video control unit 303.
- the image control device 30 that receives the information B may be included. Thereby, the same effect as the above-mentioned effect is exhibited.
- the performance analysis device 20 is different from the above-described embodiment in that the learned model storage unit 204 stores a plurality of learned models.
- Each of the plurality of learned models is a model learned using different learning data for each music type.
- the type of music is a genre with different playing styles. Specific examples of the type of music are orchestra, chamber music, singing, rock, and the like.
- a learned model is data in which the performance position of each performance data is associated with each of the performance data (learning performance data) obtained by dividing the performance by various orchestras at a predetermined cycle. Is a model that is trained as learning data.
- another learned model corresponds to the performance position of each performance data to each performance data (learning performance data) in which various chamber music performances are divided at predetermined intervals.
- This is a model in which the attached data is learned as learning data.
- genres such as singing and rock.
- a plurality of learned models having different learning contents, which are learned by using the learning data according to the genre (type) of the music, are used.
- the learned model used for estimation is switched according to the genre of the music played by the performer. For example, when a performer plays an orchestra, a learned model learned from playing the orchestra is used. When the performer plays chamber music, a learned model learned from playing chamber music is used. The same applies to genres such as singing and rock.
- the performance information estimation unit 201 estimates the performance information B using a learned model corresponding to the type of music corresponding to the acoustic signal A.
- the performance information B can be estimated by using the learned model corresponding to the type (genre) of the music to be played. It is possible to estimate performance information B that reflects characteristics peculiar to each genre, such as, rock, and singing (for example, tempo during performance is likely to change or difficult to change). As a result, it becomes possible to match the reproduction of the video with the music played.
- All or part of the video control system 1 in the above-described embodiment may be realized by a computer.
- the program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer system and executed.
- the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
- the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
- the "computer-readable recording medium” means to hold a program dynamically for a short time like a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line.
- a volatile memory inside a computer system that serves as a server or a client in that case may hold a program for a certain period of time.
- the program may be for realizing a part of the above-mentioned functions, or may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, It may be realized using a programmable logic device such as FPGA.
- the present invention may be applied to a video control system and a video control method.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Auxiliary Devices For Music (AREA)
- Television Signal Processing For Recording (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
映像制御システムは、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備える。前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する。
Description
本発明は、映像制御システム、及び映像制御方法に関する。
この出願は、2019年1月7日に出願された日本国特願2019-000686を基礎とする優先権を主張し、その開示の全てをここに取り込む。
この出願は、2019年1月7日に出願された日本国特願2019-000686を基礎とする優先権を主張し、その開示の全てをここに取り込む。
従来、イベント会場などにおいては楽曲に合わせて映像を流すことで効果的な映像演出を実現している。例えば、特許文献1には、映像の再生順などの編集をユーザが直観的に行うことができる技術が開示されている。
しかしながら、コンサートなどのイベントの場合、生演奏に合わせて映像を制御しなければならない。生演奏においては演奏者が楽譜通りに演奏することは稀であり、テンポが遅くなったり早くなったりすることがある。このような生演奏に合わせて映像を制御するには特別な訓練や技術が必要である。つまり、技術を有していないユーザにとって生演奏に合わせて映像を制御することは困難であった。
本発明は、このような状況に鑑みてなされた。この発明の目的の一例は、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる映像制御システムを提供することである。
本発明の一態様は、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備え、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する映像制御システムである。
本発明の別の一態様は、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定し、前記推定された演奏情報に基づいて映像の再生を制御し、ユーザにより入力される操作であって、前記映像の再生に関する操作を表す操作情報を取得し、前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、ことを含む映像制御方法である。
本発明の実施形態によれば、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる。
以下、本発明の実施形態を、図面を参照して説明する。
図1は、第1の実施形態の映像制御システム1の構成例を示すブロック図である。映像制御システム1は、例えば、収音装置10と、演奏解析装置20と、映像制御装置30と、映像出力装置40と、入力装置50とを備える。
収音装置10は、演奏者による楽器の演奏や歌唱を収音して音響信号Aを生成する。例えば、収音装置10は、マイクロホンである。収音装置10は、演奏解析装置20と接続しており、演奏解析装置20に、生成した音響信号Aを出力する。なお、演奏者が電子楽器にて演奏する場合には、電子楽器から出力される演奏信号を、直接、演奏解析装置20に出力するように構成されてもよい。この場合、収音装置10は省略することが可能である。例えば、演奏信号は、MIDI信号である。
以下の説明では、演奏は歌唱等の実演を含む。
以下の説明では、演奏は歌唱等の実演を含む。
演奏解析装置20は、例えば、メモリとプロセッサを含むコンピュータであってもよい。演奏解析装置20は、収音装置10から取得した音響信号Aを解析することで音響信号Aの演奏に関する演奏情報Bを推定する。この解析には、例えば、日本国特開2015-79183号公報記載の技術が用いられる。日本国特開2015-79183号公報の開示の全てをここに取り込む。演奏情報Bは、演奏に関係する情報であればよく、例えば、演奏の位置及び/又は演奏の速度を示す情報である。演奏解析装置20は、映像制御装置30と接続しており、映像制御装置30に推定した演奏情報Bを出力する。
演奏解析装置20は、電子楽器から取得した演奏信号を解析することで演奏情報Bを推定してもよい。
演奏解析装置20は、電子楽器から取得した演奏信号を解析することで演奏情報Bを推定してもよい。
入力装置50は、映像制御装置30と接続し、後述する映像制御装置30の表示部302(図5参照)に表示される内容に対して、ユーザにより操作入力される内容(指示)を取得する装置である。例えば、入力装置50は、マウス、キーボード、タッチパネルなどの装置である。入力装置50は、ユーザにより操作入力された内容を取得し、取得した内容に基づいて操作情報Dを生成する。操作情報Dは、ユーザによる表示部302に表示された内容に対する操作を示す情報である。操作情報Dは、例えば、映像制御装置30が制御する映像の再生位置や再生速度を指定する情報である。入力装置50は、映像制御装置30に生成した操作情報Dを出力する。
映像制御装置30は、例えば、メモリとプロセッサを含むコンピュータであってもよい。映像制御装置30は、演奏解析装置20から取得した演奏情報B、又は、入力装置50から取得した操作情報Dに基づいて、映像出力装置40に出力させる映像の再生を制御する映像制御情報Cを生成する。映像制御情報Cは、映像の再生を制御する情報であって、例えば、映像の再生位置や再生速度を表す情報である。映像制御装置30は、映像出力装置40と接続しており、映像出力装置40に生成した映像制御情報Cを出力する。
映像制御システム1においては、映像制御装置30は、機械による情報(演奏解析装置20による演奏情報B)よりも、ユーザによる操作(入力装置50からの操作情報D)を優先させて、映像の再生を制御する。具体的に、映像制御装置30は、演奏情報Bに基づいて映像の再生を制御している際に、操作情報Dが入力された場合、操作情報Dに基づいて映像の再生を制御する。すなわち、映像制御装置30は、操作情報Dに基づいて映像の再生を制御している期間以外は、演奏情報Bに基づいて映像の再生を制御する。これにより、ユーザは、例えば、通常の場合は機械により生演奏の演奏速度に映像の再生速度を合わせることができる。一方、ユーザは、楽曲のクライマックスなどの重要なフレーズ(決めの場面)では、ユーザ自らの操作により映像を制御して効果的な映像演出を実現することが可能である。
映像出力装置40は、映像制御装置30から取得した映像制御情報Cに基づいて、映像データMを生成し、生成した映像データMを、スクリーン等の表示装置(不図示)に出力する。映像データMは、表示装置に表示させる映像の情報である。
図2は、実施形態の演奏解析装置20の構成例を示すブロック図である。演奏解析装置20は、例えば、音響信号取得部200と、演奏情報推定部201と、演奏情報出力部202と、楽曲データ記憶部203と、学習済みモデル記憶部204と、制御部205とを備える。ここで、演奏情報推定部201は、「推定部」の一例である。
音響信号取得部200は、収音装置10により出力された音響信号Aを取得する。音響信号取得部200は、取得した音響信号Aを演奏情報推定部201に出力する。
演奏情報推定部201は、音響信号Aを学習済みモデルに入力することにより、音響信号Aの楽曲における演奏に関する演奏情報Bを推定する。演奏情報推定部201は、推定した演奏情報Bを演奏情報出力部202に出力する。
学習済みモデルは、学習に用いる演奏データである学習用演奏データとその学習用演奏データが示す演奏位置との対応関係を、機械学習を実行することにより学習したモデルである。機械学習の技法としては、隠れマルコフモデル(HMM)、ディープラーニング、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、サポートベクタマシン(SVM)、決定木学習、遺伝的プログラミング、などの一般的に用いられている技法のいずれが用いられてもよい。
例えば、学習済みモデルは、楽曲の音響信号を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。学習済みモデルは、未学習の音響信号Aが入力されると、音響信号Aと学習済みの学習用演奏データとの類似度合いを算出する。類似度合いは、例えば、入力された音響信号Aの特徴量をベクトル表現により数値化した値と、学習用演奏データの特徴量をベクトル表現により数値化した値との、ベクトル空間における距離として算出される。ベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。そして、学習済みモデルは、入力された音響信号Aとのベクトル空間における距離が所定の閾値未満である、つまり類似している学習用演奏データに対応付けられた演奏位置を、音響信号Aにおいて推定される演奏位置として出力する。
演奏情報推定部201が推定する演奏情報Bは、例えば、音響信号Aが現に演奏している楽曲上の位置に関係する情報である。この場合、演奏情報Bは、楽曲に対応する楽譜における、演奏開始からの小節の数、拍目、ティック等を示す情報である。或いは、演奏情報Bは、楽譜に示された速度(速度記号や速度用語により示される速度)で演奏が行われた場合における、演奏開始時点から演奏位置に到達するまでの時間を、演奏位置として示した情報であってもよい。この場合、演奏情報推定部201は、推定した演奏位置に基づいて、楽曲データ記憶部203を参照し、楽曲に対応する楽譜において示された速度を取得する。演奏情報推定部201は、取得した楽譜上の速度を用いて、演奏位置を演奏開始時点から演奏位置に到達するまでの時間に換算した演奏情報Bを導出する。
演奏情報Bは、演奏の速度を表す演奏速度であってもよい。この場合、演奏情報推定部201は、演奏位置を時間微分することにより演奏速度を導出してもよい。演奏情報推定部201は、学習用演奏データにその学習用演奏データの演奏速度を対応付けたデータを学習データとして学習させた学習済みモデルを用いて演奏速度を推定するようにしてもよい。
演奏情報推定部201は、映像制御装置30から再生情報を取得した場合、演奏情報Bをその取得した再生情報に対応する内容(例えば、再生位置や再生速度)に設定(更新)する。再生情報は、映像制御装置30が、現在、映像を再生している位置(再生位置)、又は再生速度を示す情報である。これにより、演奏情報推定部201により推定した演奏情報Bが、実際の演奏位置から外れている場合に、正しい演奏位置に設定し直すことが可能である。
演奏情報出力部202は、演奏情報推定部201により推定された演奏情報Bを映像制御装置30に出力する。
楽曲データ記憶部203は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、MIDI形式のファイル(SMF、Standard MIDI File)である。
学習済みモデル記憶部204は、学習済みモデルを記憶する。
制御部205は、例えばCPU(Central Processing Unit)等の処理回路であり、演奏解析装置20の各要素を統括的に制御する。
演奏解析装置20とは別体の記憶装置(例えばクラウドストレージ)を用意し、その記憶装置に対して、移動体通信網またはインターネット等の通信網を介して制御部205が、楽曲データ記憶部203、及び学習済みモデル記憶部204に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、演奏解析装置20は、楽曲データ記憶部203、及び学習済みモデル記憶部204を備えていなくてもよい。
楽曲データ記憶部203は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、MIDI形式のファイル(SMF、Standard MIDI File)である。
学習済みモデル記憶部204は、学習済みモデルを記憶する。
制御部205は、例えばCPU(Central Processing Unit)等の処理回路であり、演奏解析装置20の各要素を統括的に制御する。
演奏解析装置20とは別体の記憶装置(例えばクラウドストレージ)を用意し、その記憶装置に対して、移動体通信網またはインターネット等の通信網を介して制御部205が、楽曲データ記憶部203、及び学習済みモデル記憶部204に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、演奏解析装置20は、楽曲データ記憶部203、及び学習済みモデル記憶部204を備えていなくてもよい。
図3は、実施形態の映像制御装置30の構成例を示すブロック図である。映像制御装置30は、例えば、演奏情報取得部300と、操作情報取得部301と、表示部302と、映像制御部303と、映像メタ情報記憶部304と、制御部305とを備える。ここで、映像メタ情報記憶部304は、「記憶部」の一例である。
演奏情報取得部300は、演奏解析装置20から演奏情報Bを取得する。操作情報取得部301は、取得した演奏情報Bを映像制御部303に出力する。
操作情報取得部301は、入力装置50から操作情報Dを取得する。操作情報取得部301は、取得した操作情報Dを映像制御部303に出力する。
表示部302は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
操作情報取得部301は、入力装置50から操作情報Dを取得する。操作情報取得部301は、取得した操作情報Dを映像制御部303に出力する。
表示部302は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
映像制御部303は、演奏情報B、又は操作情報Dに基づいて、映像の再生を制御する。映像制御部303は、例えば、ユーザにより予め設定された内容に応じて、演奏者が演奏する楽曲の区間ごとに、演奏情報B、又は操作情報Dに基づいて映像の再生を制御する。
映像制御部303は、演奏情報Bに基づいて映像を制御する区間においては、演奏情報Bに対応する、映像位置及び/又は映像速度を指定する映像制御情報Cを生成する。
映像制御部303は、操作情報Dに基づいて映像を制御する区間においては、操作情報Dに示される映像位置及び/又は映像速度に対応する映像制御情報Cを生成する。
映像制御部303は、演奏情報Bに基づいて映像を制御する区間においては、演奏情報Bに対応する、映像位置及び/又は映像速度を指定する映像制御情報Cを生成する。
映像制御部303は、操作情報Dに基づいて映像を制御する区間においては、操作情報Dに示される映像位置及び/又は映像速度に対応する映像制御情報Cを生成する。
映像制御部303は、演奏情報Bに基づいて映像を制御している際に、操作情報取得部301から操作情報Dを取得した場合、操作情報Dに基づく制御に切り替える。すなわち、映像制御部303は、演奏情報Bに基づいて映像を制御する区間の演奏中に操作情報取得部301から操作情報Dを取得した場合、その区間を操作情報Dに基づいて制御する区間に切り替える。つまり、映像制御部303は、機械による制御(演奏情報Bに基づく制御)を行っている場合であっても、ユーザによる制御(操作情報Dに基づく制御)が操作された場合には、ユーザによる制御を優先させる。
映像制御部303は、操作情報Dに基づいて映像を制御している際に、ユーザにより演奏情報Bに基づいて制御する旨を指示する操作がなされた場合、演奏情報Bに基づく制御に切り替える。映像制御部303は、操作情報Dに基づいて映像を制御する区間の演奏中にユーザにより演奏情報Bに基づいて制御する旨を指示する操作がなされた場合、その区間を演奏情報Bに基づいて制御する区間に切り替える。つまり、映像制御部303は、ユーザによる指示(演奏情報B又は操作情報Dに基づく制御をする旨の指示)がなされた場合には、ユーザによる指示に従う。
映像制御部303は、操作情報Dに基づく制御を行っている際に、指示情報が操作情報取得部301により取得された場合、演奏解析装置20の演奏情報推定部201に、再生情報を出力する。指示情報は、演奏情報Bに基づいて映像の再生を制御する旨の指示を示す情報である。再生情報は、現在、映像を再生している位置(再生位置)、又は再生速度を示す情報である。これにより、手動制御(操作情報Dに基づく制御)から自動制御(演奏情報Bに基づく制御)に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
映像制御部303は、操作情報Dに基づく制御を行っている際に、映像メタ情報を用いる。映像メタ情報は、映像メタ情報記憶部304に記憶される情報である。
映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容(再生方法)を示すメタ情報とを対応付けた情報である。
メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像の再生位置を進める(再生する)か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像の進みを停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像の表示から対象画像の表示に直接切り替え、その間の映像を飛ばす(ジャンプカット)するか否かを示す情報である。ループの有無は、対象映像の再生が終了した際に、再度対象映像の再生を繰り返す(ループ)するか否かを示す情報である。
映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容(再生方法)を示すメタ情報とを対応付けた情報である。
メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像の再生位置を進める(再生する)か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像の進みを停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像の表示から対象画像の表示に直接切り替え、その間の映像を飛ばす(ジャンプカット)するか否かを示す情報である。ループの有無は、対象映像の再生が終了した際に、再度対象映像の再生を繰り返す(ループ)するか否かを示す情報である。
映像メタ情報記憶部304は、映像メタ情報を記憶する。
制御部305は、例えばCPU(Central Processing Unit)等の処理回路であり、映像制御装置30の各要素を統括的に制御する。
制御部305は、例えばCPU(Central Processing Unit)等の処理回路であり、映像制御装置30の各要素を統括的に制御する。
図4は、実施形態の映像メタ情報記憶部304に記憶される映像メタ情報の例を示す。映像メタ情報は、例えば、項目、秒数、マーカ情報RGB、再生、停止、ジャンプカット、ループ、AI適用(自動制御適用)などの各項目を備える。
項目は、映像メタ情報として登録された内容に付された番号である。秒数は、映像の位置を映像開始時点から経過時間[秒]により示す情報である。マーカ情報RGBは、操作の表示画面(図5参照)に登録した映像のサムネイル(図5の画像G6~G9)の枠に付す色をRGB値で示す情報である。これにより登録する映像が多くなる場合であっても、操作対象とする所望の映像のサムネイルを、ユーザが見分け易くすることが可能である。
再生は登録した映像を表示させた後に再生を進めるか否かを示す情報である。停止は登録した映像を表示させた後に映像の進みを停止するか否かを示す情報である。ジャンプカットは登録した映像を表示させる際に間の映像をカットするか否かを示す情報である。ループは登録した映像を再生し終えた際に再度その映像の再生を行うか否かを示す情報である。AI適用は機械(演奏解析装置20)による映像制御(自動映像制御)を適用するか否かを示す情報である。
図4の例では、映像の開始時点(0秒後)、1秒後、630.8秒後、1274.50秒後等の映像がそれぞれ登録されている。図4の例では、0秒後の映像は再生され、0秒から開始する区間では再生の制御にAIは適用しない。一方で、630.8秒から開始する区間では、再生の制御にAIが適用される。
図5は、実施形態の表示部302における表示の例を示す。図5の例に示すように、表示部302は、例えば、画像G1~G9を表示する。
画像G1は、AIの適用、つまり演奏解析装置20による映像制御を適用するか否かを操作する操作ボタンである。AI(自動制御)が適用されている状態において画像G1がクリックされると、映像制御が手動に切り替わる。AI(自動制御)が適用されていない状態(手動制御の状態)において画像G1がクリックされると、映像制御がAI(自動制御)に切り替わる。画像G2は、映像の再生を制御する操作ボタンである。画像G2には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像G3は再生速度を変更するスライドバー(ツマミ)である。スライドバーの画像G30を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像G30を上方向に移動させると再生速度が速くなり、画像G30を下方向に移動させると再生速度が遅くなる。
画像G1は、AIの適用、つまり演奏解析装置20による映像制御を適用するか否かを操作する操作ボタンである。AI(自動制御)が適用されている状態において画像G1がクリックされると、映像制御が手動に切り替わる。AI(自動制御)が適用されていない状態(手動制御の状態)において画像G1がクリックされると、映像制御がAI(自動制御)に切り替わる。画像G2は、映像の再生を制御する操作ボタンである。画像G2には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像G3は再生速度を変更するスライドバー(ツマミ)である。スライドバーの画像G30を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像G30を上方向に移動させると再生速度が速くなり、画像G30を下方向に移動させると再生速度が遅くなる。
画像G4は、再生中の画像が表示される再生画面である。画像G5は、映像メタ情報として登録された映像に切り替える操作を行うための画像である。画像G6~G9は、映像メタ情報として登録された映像の各々の先頭に位置する映像のサムネイル画像である。画像G6は映像の開始時点から0秒後の映像である。画像G7は映像の開始時点から1秒後の映像である。画像G8は映像の開始時点から630.80秒後の映像である。画像G9は映像の開始時点から1274.50秒後の映像である。
図6は、実施形態の映像制御装置30の動作を説明する図である。
演奏情報取得部300により取得された演奏情報Bは、映像制御部303のセレクタ303Aに入力される。
操作情報取得部301により取得された、映像の再生速度を変更する操作(スライドバーの画像G30を移動させる操作)を示す操作信号は、セレクタ303Aに入力される。また、この操作信号は、AI(自動制御)をOFFする操作を示す操作信号に変換される。すなわち、この操作信号は、AI適用をONからOFFに切り替える操作(画像G1をクリックする操作)に変換される。この変換された操作は、AIをOFFする操作を示す操作信号として、セレクタ303Aに入力される。この操作信号はセレクタ303Aから信号を出力するか否かを選択する制御を示す信号として、セレクタ303Aに入力される。つまり、AIをOFFする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aからは操作信号が出力される。一方で、AIをONする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aから操作信号が出力されない。
演奏情報取得部300により取得された演奏情報Bは、映像制御部303のセレクタ303Aに入力される。
操作情報取得部301により取得された、映像の再生速度を変更する操作(スライドバーの画像G30を移動させる操作)を示す操作信号は、セレクタ303Aに入力される。また、この操作信号は、AI(自動制御)をOFFする操作を示す操作信号に変換される。すなわち、この操作信号は、AI適用をONからOFFに切り替える操作(画像G1をクリックする操作)に変換される。この変換された操作は、AIをOFFする操作を示す操作信号として、セレクタ303Aに入力される。この操作信号はセレクタ303Aから信号を出力するか否かを選択する制御を示す信号として、セレクタ303Aに入力される。つまり、AIをOFFする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aからは操作信号が出力される。一方で、AIをONする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aから操作信号が出力されない。
セレクタ303Aから出力された操作信号は、映像制御部303の機能部(再生速度制御部)303Bに入力される。機能部303Bは、再生速度を制御する機能部である。機能部303Bは、操作信号から映像制御情報C(再生速度制御情報)を生成して映像出力装置40に出力する。また、機能部303Bは、生成した映像制御情報C(演奏位置指定情報)を演奏解析装置20に出力(フィードバック)する。この例に示すように、機能部303Bは、ユーザによる手動の操作に切替えられた際に、周期的に映像制御情報C(演奏位置指定情報)を演奏解析装置20にフィードバックしてもよい。
操作情報取得部301により取得された、映像の切り替えるシーン切替画面の操作(画像G6~G9をクリックする操作)を示す操作信号は、映像制御部303の機能部(再生位置制御部)303Cに入力される。機能部303Cは、再生位置を制御する機能部である。機能部303Cは、入力された操作信号から映像制御情報C(再生位置制御情報)を生成して映像出力装置40に出力する。また、機能部303Cは、生成した映像制御情報C(演奏位置指定情報)を演奏解析装置20に出力(フィードバック)する。この例に示すように、機能部303Cは、ユーザにより映像が切替えられた際に、周期的に映像制御情報C(演奏位置指定情報)を演奏解析装置20にフィードバックしてもよい。
図7は、実施形態の映像制御システム1の動作の流れを示すシーケンス図である。
まず、収音装置10は演奏(生演奏、リアルタイムの演奏)の音を収音し(ステップS10)、収音した音を用いて音響信号Aを生成する(ステップS11)。収音装置10は、生成した音響信号Aを演奏解析装置20に出力する。
まず、収音装置10は演奏(生演奏、リアルタイムの演奏)の音を収音し(ステップS10)、収音した音を用いて音響信号Aを生成する(ステップS11)。収音装置10は、生成した音響信号Aを演奏解析装置20に出力する。
演奏解析装置20は、収音装置10より音響信号Aを取得し(ステップS12)、取得した音響信号Aを学習済みモデルに入力する(ステップS13)。演奏解析装置20は、学習済みモデルからの出力を、音響信号Aにおいて推定された演奏情報Bとする(ステップS14)。または、演奏解析装置20は、学習済みモデルからの出力に基づいて、演奏情報Bを推定してもよい。演奏解析装置20は、推定した演奏情報Bを映像制御装置30に出力する。
映像制御装置30は、演奏解析装置20より演奏情報Bを取得し(ステップS15)、取得した演奏情報Bに基づいて映像の再生を制御する(ステップS16)。
映像制御装置30は、演奏解析装置20より演奏情報Bを取得し(ステップS15)、取得した演奏情報Bに基づいて映像の再生を制御する(ステップS16)。
入力装置50には、ユーザの操作による入力を示す入力情報が入力される(ステップS17)。入力装置50は、入力情報を用いて操作情報Dを生成する(ステップS18)。入力装置50は、生成した操作情報Dを映像制御装置30に出力する。
映像制御装置30は、入力装置50から操作情報Dを取得すると(ステップS19)、映像の制御を切り替え、操作情報Dに基づいて映像の再生の制御を行う(ステップS20)。
映像制御装置30は、入力装置50から操作情報Dを取得すると(ステップS19)、映像の制御を切り替え、操作情報Dに基づいて映像の再生の制御を行う(ステップS20)。
以上説明したように、第1の実施形態の映像制御システム1は、楽曲の演奏を表す音響信号Aの入力に対する学習済みモデルからの出力に基づいて、音響信号Aにおける楽曲における演奏に関する演奏情報Bを推定する演奏情報推定部201(「推定部」の一例)と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報Dを取得する操作情報取得部301(「取得部」の一例)と、演奏情報推定部201により推定された演奏情報B、又は操作情報取得部301により取得された操作情報Dに基づいて映像の再生を制御する映像制御部303と、を備える。映像制御部303は、操作情報取得部301により操作情報Dが取得された場合、操作情報Dに基づいて映像の再生を制御する。
これにより、第1の実施形態の映像制御システム1は、演奏情報に応じて映像を制御することができる。その結果、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することが可能である。また、ユーザからの操作情報Dが取得された場合には、操作情報Dに基づいて映像の再生を制御することができる。このため、楽曲のクライマックスなどの重要なフレーズ(決めの場面)や収音装置10が故障して演奏解析装置20に音響信号Aが入力されない等の不測の事態において、ユーザの操作により映像を制御することができ、より効果的な映像演出を実現することが可能である。
また、第1の実施形態の映像制御システム1では、学習済みモデルは、学習に用いる演奏データである学習用演奏データとその学習用演奏データが示す演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルである。演奏情報推定部201は、音響信号Aにおける楽曲における演奏の位置又は速度に関する演奏情報Bを推定する。これにより、第1の実施形態の映像制御システム1は、演奏情報に示される演奏の位置や速度に応じて、映像の再生位置や再生速度を制御することができる。その結果、例えば、生演奏の演奏速度(テンポ)が遅くなったり早くなったりする場合であっても、映像の再生速度を生演奏の演奏速度に合わせることができる。
また、第1の実施形態の映像制御システム1では、映像制御部303は、操作情報Dに基づいて映像の再生を制御している際に、演奏情報に基づいて映像の再生を制御する旨を指示する指示情報が操作情報取得部301により取得された場合、演奏情報推定部201に映像における再生の速度に関する再生情報を出力する。演奏情報推定部201は、映像制御部303から取得した再生情報を用いて、演奏情報を再生情報に基づいて設定(更新)する。
これにより、第1の実施形態の映像制御システム1では、ユーザの操作による映像の制御から、機械(演奏情報推定部201)による制御(自動制御)に戻すことができる。また、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
これにより、第1の実施形態の映像制御システム1では、ユーザの操作による映像の制御から、機械(演奏情報推定部201)による制御(自動制御)に戻すことができる。また、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
また、第1の実施形態の映像制御システム1では、操作の対象である対象映像と対象映像の再生方法を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部304、を更に備える。操作情報Dは、対象映像を示す情報(対象映像の選択を示す情報)である。映像制御部303は、操作情報Dとしての対象映像を示す情報が操作情報取得部301により取得された場合、メタ情報によって示される再生方法で対象映像を再生する。これにより、第1の実施形態の映像制御システム1では、ユーザが手動により映像を制御する場合に、表示させたい映像(対象映像)に対応付けて、映像の再生方法(例えば、待機する、所定の映像区間の再生を繰り返す(ループする)など)をメタ情報として記録させる(登録する)ことができる。このため、ユーザは、予め登録した映像を選択しさえすれば、メタ情報に登録した通りに映像を再生させることができ、映像を停止させたりループさせたりする操作を行う必要がないため再生速度の調整に集中することができる。
また、第1の実施形態の映像制御システム1は、演奏情報推定部201を有し、演奏情報を送信する演奏解析装置20と、操作情報取得部301と映像制御部303とを有し、演奏情報Bを受信する映像制御装置30と、を備える構成としてもよい。これにより、上述した効果と同様の効果を奏する。
(実施形態の変形例)
次に、第1の実施形態の変形例について説明する。本変形例では、演奏解析装置20は、学習済みモデル記憶部204に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルである。楽曲の種別の具体例は、オーケストラ、室内楽、歌唱、ロックなどである。
複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
本変形例では、このように楽曲のジャンル(種別)に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
次に、第1の実施形態の変形例について説明する。本変形例では、演奏解析装置20は、学習済みモデル記憶部204に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルである。楽曲の種別の具体例は、オーケストラ、室内楽、歌唱、ロックなどである。
複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
本変形例では、このように楽曲のジャンル(種別)に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
以上説明したように、第1の実施形態の変形例の映像制御システム1では、学習済みモデルは、楽曲の種別に応じて複数設けられる。演奏情報推定部201は、音響信号Aに対応する楽曲の種別に応じた学習済みモデルを用いて演奏情報Bを推定する。これにより、第1の実施形態の変形例の映像制御システム1では、演奏させる楽曲の種別(ジャンル)に応じた学習済みモデルを用いて演奏情報Bを推定することができるので、オーケストラや、室内楽、ロック、歌唱などの各々のジャンルに特有の特徴(例えば、演奏中のテンポが変化しやすい、或いは変化し難いなど)を反映させた演奏情報Bを推定することができる。その結果、映像の再生を、演奏される楽曲によりマッチさせることが可能となる。
上述した実施形態における映像制御システム1の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
本発明は、映像制御システム及び映像制御方法に適用してもよい。
1…映像制御システム
20…演奏解析装置
200…音響信号取得部
201…演奏情報推定部
202…演奏情報出力部
203…楽曲データ記憶部
204…学習済みモデル記憶部
205…制御部
30…映像制御装置
300…演奏情報取得部
301…操作情報取得部
302…表示部
303…映像制御部
304…映像メタ情報記憶部
305…制御部
20…演奏解析装置
200…音響信号取得部
201…演奏情報推定部
202…演奏情報出力部
203…楽曲データ記憶部
204…学習済みモデル記憶部
205…制御部
30…映像制御装置
300…演奏情報取得部
301…操作情報取得部
302…表示部
303…映像制御部
304…映像メタ情報記憶部
305…制御部
Claims (9)
- 楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、
ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、
前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、
を備え、
前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
映像制御システム。 - 前記学習済みモデルは、学習に用いる演奏データである学習用演奏データと前記学習用演奏データにより示された楽曲における演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルである、
請求項1に記載の映像制御システム。 - 前記推定部は、前記演奏情報として、前記音響信号の前記楽曲における演奏の位置又は速度に関する情報を推定する、
請求項1又は2に記載の映像制御システム。 - 前記取得部は、前記操作情報に基づいて前記映像の再生を行う制御から前記演奏情報に基づいて前記映像の再生を行う制御への切り替えを指示する指示情報を取得し、
前記映像制御部は、前記指示情報が前記取得部により取得された場合、前記推定部に前記映像の再生の位置に関する再生情報を出力し、
前記推定部は、前記取得した再生情報に基づいて、前記演奏情報を設定する、
請求項1から請求項3のいずれか一項に記載の映像制御システム。 - 対象映像と前記対象映像の再生方法を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部、を更に備え、
前記操作情報は、前記対象映像の選択を示す情報であり、
前記映像制御部は、前記対象映像の選択を示す情報が前記取得部により取得された場合、前記メタ情報によって示される前記再生方法で前記対象映像を再生する、
請求項1から請求項4の何れか一項に記載の映像制御システム。 - 前記学習済みモデルは、それぞれ異なる楽曲の種別に応じた複数の学習済みモデルを含み、
前記推定部は、前記複数の学習済みモデルのうち、前記音響信号に対応する楽曲の種別に応じた学習済みモデルを用いて前記演奏情報を推定する、
請求項1から請求項5の何れか一項に記載の映像制御システム。 - 前記音響信号は、生演奏を表す、
請求項1から請求項6の何れか一項に記載の映像制御システム。 - 前記推定部を有し、前記演奏情報を送信する演奏解析装置と、
前記取得部と前記映像制御部とを有し、前記演奏情報を受信する映像制御装置と、
を備える請求項1から請求項7の何れか一項に記載の映像制御システム。 - 楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定し、
前記推定された演奏情報に基づいて映像の再生を制御し、
ユーザにより入力される操作であって、前記映像の再生に関する操作を表す操作情報を取得し、
前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
ことを含む映像制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980087885.4A CN113272890B (zh) | 2019-01-07 | 2019-12-27 | 影像控制***及影像控制方法 |
US17/367,925 US20210335331A1 (en) | 2019-01-07 | 2021-07-06 | Image control system and method for controlling image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-000686 | 2019-01-07 | ||
JP2019000686A JP7226709B2 (ja) | 2019-01-07 | 2019-01-07 | 映像制御システム、及び映像制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/367,925 Continuation US20210335331A1 (en) | 2019-01-07 | 2021-07-06 | Image control system and method for controlling image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020145209A1 true WO2020145209A1 (ja) | 2020-07-16 |
Family
ID=71521699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/051566 WO2020145209A1 (ja) | 2019-01-07 | 2019-12-27 | 映像制御システム、及び映像制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210335331A1 (ja) |
JP (1) | JP7226709B2 (ja) |
CN (1) | CN113272890B (ja) |
WO (1) | WO2020145209A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024040194A1 (en) | 2022-08-17 | 2024-02-22 | Capstan Therapeutics, Inc. | Conditioning for in vivo immune cell engineering |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233698A (ja) * | 2003-01-30 | 2004-08-19 | Ricoh Co Ltd | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム |
JP2008097021A (ja) * | 2001-05-10 | 2008-04-24 | Yamaha Corp | 動画再生装置 |
JP2010122630A (ja) * | 2008-11-21 | 2010-06-03 | Sony Corp | 情報処理装置、音声解析方法、及びプログラム |
JP2010521021A (ja) * | 2007-02-14 | 2010-06-17 | ミューズアミ, インコーポレイテッド | 楽曲ベースの検索エンジン |
JP2017044765A (ja) * | 2015-08-25 | 2017-03-02 | ヤマハ株式会社 | 映像提供装置、映像提供システム及びプログラム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7221852B2 (en) * | 2001-05-10 | 2007-05-22 | Yamaha Corporation | Motion picture playback apparatus and motion picture playback method |
JP3663626B2 (ja) * | 2001-09-18 | 2005-06-22 | ソニー株式会社 | ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造 |
US7897865B2 (en) * | 2002-01-15 | 2011-03-01 | Yamaha Corporation | Multimedia platform for recording and/or reproducing music synchronously with visual images |
JP3982443B2 (ja) * | 2003-03-31 | 2007-09-26 | ソニー株式会社 | テンポ解析装置およびテンポ解析方法 |
JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
JP4321518B2 (ja) * | 2005-12-27 | 2009-08-26 | 三菱電機株式会社 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
CN1953044B (zh) * | 2006-09-26 | 2011-04-27 | 中山大学 | 一种基于midi文件的乐器演奏提示和检测***及方法 |
JP4506748B2 (ja) * | 2006-12-13 | 2010-07-21 | ヤマハ株式会社 | コンテンツ再生装置 |
JP2011516907A (ja) * | 2008-02-20 | 2011-05-26 | オーイーエム インコーポレーティッド | 音楽の学習及びミキシングシステム |
CN201294089Y (zh) * | 2008-11-17 | 2009-08-19 | 音乐传奇有限公司 | 互动音乐演奏设备 |
JP5625235B2 (ja) * | 2008-11-21 | 2014-11-19 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
JP2010141461A (ja) * | 2008-12-10 | 2010-06-24 | Panasonic Corp | 映像編集装置 |
US8629342B2 (en) * | 2009-07-02 | 2014-01-14 | The Way Of H, Inc. | Music instruction system |
JP5382361B2 (ja) * | 2010-05-11 | 2014-01-08 | ブラザー工業株式会社 | 楽曲演奏装置 |
JP5842383B2 (ja) * | 2011-05-16 | 2016-01-13 | ヤマハ株式会社 | カラオケシステム及びカラオケ装置 |
JP2013171070A (ja) * | 2012-02-17 | 2013-09-02 | Pioneer Electronic Corp | 楽曲情報処理装置及び楽曲情報処理方法 |
JP2013231951A (ja) * | 2012-04-06 | 2013-11-14 | Yamaha Corp | 音響データ処理装置および音響データ通信システム |
JP6187132B2 (ja) * | 2013-10-18 | 2017-08-30 | ヤマハ株式会社 | スコアアライメント装置及びスコアアライメントプログラム |
US9754503B2 (en) * | 2014-03-24 | 2017-09-05 | Educational Testing Service | Systems and methods for automated scoring of a user's performance |
JP6627325B2 (ja) * | 2014-10-17 | 2020-01-08 | ヤマハ株式会社 | 音響システム及び音響装置 |
US9721551B2 (en) * | 2015-09-29 | 2017-08-01 | Amper Music, Inc. | Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions |
JP6801225B2 (ja) * | 2016-05-18 | 2020-12-16 | ヤマハ株式会社 | 自動演奏システムおよび自動演奏方法 |
JP6614356B2 (ja) * | 2016-07-22 | 2019-12-04 | ヤマハ株式会社 | 演奏解析方法、自動演奏方法および自動演奏システム |
JP6776788B2 (ja) * | 2016-10-11 | 2020-10-28 | ヤマハ株式会社 | 演奏制御方法、演奏制御装置およびプログラム |
US10629223B2 (en) * | 2017-05-31 | 2020-04-21 | International Business Machines Corporation | Fast playback in media files with reduced impact to speech quality |
CN107464572B (zh) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | 多模式交互音乐感知***及其控制方法 |
CN107770596A (zh) * | 2017-09-25 | 2018-03-06 | 北京达佳互联信息技术有限公司 | 一种特效同步方法、装置及移动终端 |
CN108806657A (zh) * | 2018-06-05 | 2018-11-13 | 平安科技(深圳)有限公司 | 音乐模型训练、音乐创作方法、装置、终端及存储介质 |
JP7230919B2 (ja) * | 2018-08-10 | 2023-03-01 | ヤマハ株式会社 | 楽譜データの情報処理装置 |
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
CN114402387A (zh) * | 2019-09-27 | 2022-04-26 | 雅马哈株式会社 | 音响处理方法及音响处理*** |
US11166050B2 (en) * | 2019-12-11 | 2021-11-02 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event |
US20220036866A1 (en) * | 2020-07-31 | 2022-02-03 | Yamaha Corporation | Reproduction control method, reproduction control system, and reproduction control apparatus |
-
2019
- 2019-01-07 JP JP2019000686A patent/JP7226709B2/ja active Active
- 2019-12-27 WO PCT/JP2019/051566 patent/WO2020145209A1/ja active Application Filing
- 2019-12-27 CN CN201980087885.4A patent/CN113272890B/zh active Active
-
2021
- 2021-07-06 US US17/367,925 patent/US20210335331A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097021A (ja) * | 2001-05-10 | 2008-04-24 | Yamaha Corp | 動画再生装置 |
JP2004233698A (ja) * | 2003-01-30 | 2004-08-19 | Ricoh Co Ltd | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム |
JP2010521021A (ja) * | 2007-02-14 | 2010-06-17 | ミューズアミ, インコーポレイテッド | 楽曲ベースの検索エンジン |
JP2010122630A (ja) * | 2008-11-21 | 2010-06-03 | Sony Corp | 情報処理装置、音声解析方法、及びプログラム |
JP2017044765A (ja) * | 2015-08-25 | 2017-03-02 | ヤマハ株式会社 | 映像提供装置、映像提供システム及びプログラム |
Non-Patent Citations (1)
Title |
---|
MAEZAWA, AKIRA: "Expressive Timing Prediciton Based on Deep Autoregressive Model Using Score and Performance Data", IPSJ SIG TECHNICAL REPORT: MUSIC AND COMPUTER (MUS), vol. 2017-MUS-116, no. 9, 25 August 2017 (2017-08-25), pages 1 - 5 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024040194A1 (en) | 2022-08-17 | 2024-02-22 | Capstan Therapeutics, Inc. | Conditioning for in vivo immune cell engineering |
WO2024040195A1 (en) | 2022-08-17 | 2024-02-22 | Capstan Therapeutics, Inc. | Conditioning for in vivo immune cell engineering |
Also Published As
Publication number | Publication date |
---|---|
CN113272890B (zh) | 2024-06-18 |
CN113272890A (zh) | 2021-08-17 |
US20210335331A1 (en) | 2021-10-28 |
JP7226709B2 (ja) | 2023-02-21 |
JP2020109918A (ja) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1808566B (zh) | 重放装置和方法 | |
JP4226313B2 (ja) | 楽音再生装置及び楽音再生プログラム | |
WO2016121921A1 (ja) | コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム | |
JP4755672B2 (ja) | コンテンツ編集装置、方法及びプログラム | |
WO2020145209A1 (ja) | 映像制御システム、及び映像制御方法 | |
JP5110706B2 (ja) | 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体 | |
JPH1063281A (ja) | 音響映像装置及びこれを用いた楽曲のアレンジ方法 | |
JP5044503B2 (ja) | 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体 | |
JP2002140080A (ja) | 体操指導用の映像音楽番組を編集出力する機能を備えたカラオケ装置 | |
JP6110731B2 (ja) | ジェスチャーによるコマンド入力識別システム | |
JP6065871B2 (ja) | 演奏情報表示装置、および演奏情報表示プログラム | |
JP2014123085A (ja) | カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム | |
Borchers et al. | Engineering a realistic real-time conducting system for the audio/video rendering of a real orchestra | |
KR101790998B1 (ko) | 악보전환방법 및 악보전환장치 | |
JP2010008893A (ja) | 電子音楽装置 | |
JP3799359B2 (ja) | 再生装置、再生方法、及びプログラム | |
KR102524870B1 (ko) | 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 | |
WO2023032137A1 (ja) | データ変更方法、データ再生方法、プログラムおよびデータ変更装置 | |
JP2003271158A (ja) | 画像変更機能を持つカラオケ装置及びプログラム | |
JP5510822B2 (ja) | 歌唱情報処理システム | |
US20230076959A1 (en) | System and method for synchronizing performance effects with musical performance | |
JP5789477B2 (ja) | 画像再生装置及び画像再生システム | |
JP6699137B2 (ja) | データ管理装置、コンテンツ再生装置、コンテンツ再生方法、及びプログラム | |
JP6642215B2 (ja) | 楽曲選曲装置、カラオケシステム及び楽曲選曲用プログラム | |
JP4407559B2 (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19909248 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19909248 Country of ref document: EP Kind code of ref document: A1 |