RU2371777C2 - Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end - Google Patents
Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end Download PDFInfo
- Publication number
- RU2371777C2 RU2371777C2 RU2007145317/09A RU2007145317A RU2371777C2 RU 2371777 C2 RU2371777 C2 RU 2371777C2 RU 2007145317/09 A RU2007145317/09 A RU 2007145317/09A RU 2007145317 A RU2007145317 A RU 2007145317A RU 2371777 C2 RU2371777 C2 RU 2371777C2
- Authority
- RU
- Russia
- Prior art keywords
- phonogram
- fragments
- sound
- inverted
- series
- Prior art date
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
Группа изобретений относится к обучению, а именно к развитию имитационных способностей слухоречевого аппарата человека, и может быть использована для тренировки музыкального слуха, памяти и темпоритмических способностей при определении профессиональной пригодности, а также в качестве обучающей игры и развлечений.The group of inventions relates to training, namely to the development of imitation abilities of the human auditory-speech apparatus, and can be used to train musical hearing, memory and tempo-rhythmic abilities in determining professional suitability, as well as an educational game and entertainment.
Существует большое число методов, использующих игровые моменты при обучении слухоголосовой координации, развитии музыкального слуха и памяти, вокальных возможностей с использованием технических аудиосредств. Так, из патента (RU 2177648 С2, Чеботарев, 27.12.2001) известен способ коррекции речи и слухового анализатора с использованием фонограмм. Фонограммы содержат в качестве акустико-семантического образца записи собственного голоса человека и сигналов психофизиологических реакций организма. Воздействие записями собственного голоса осуществляют в полуактивном и активном режимах. В изобретении (RU 2231975 С2, Яновская, 10.07.2004) описан способ обучения, в котором производят запись-воспроизведение музыкального материала и служебных сигналов, корректирующих процесс обучения.There are a large number of methods that use gaming moments in the training of auditory-voice coordination, the development of musical hearing and memory, vocal capabilities using technical audio tools. So, from the patent (RU 2177648 C2, Chebotarev, 12/27/2001), a method for correcting speech and an auditory analyzer using phonograms is known. Phonograms contain recordings of a person’s own voice and signals of the psychophysiological reactions of the body as an acoustic-semantic sample. Exposure to own voice recordings is carried out in semi-active and active modes. In the invention (RU 2231975 C2, Yanovskaya, July 10, 2004) a training method is described in which recording and reproduction of musical material and service signals correcting the learning process are performed.
Из патента (RU 2136342 C1, Григорьев и др., 09.10.1999; патент-аналог US 6589116, Grigoriev et al., 08.07.2003) известна обучающая игра, сюжет которой состоит в конструировании звукового ряда из отдельных фрагментов музыкальных или литературных произведений, что наряду с занимательностью несет дидактический смысл: развивает память, абстрактное мышление и музыкальный слух. В изобретении (RU 2142651 С1, Яковлев, 10.12.1999) описан способ развлечения и активного самообучения посредством записи и воспроизведения как своей речи, так и диктора, что дает возможность сравнивать произношение с образцовым и уловить разницу. Использован магнитофон с функцией записи на реверсивном ходу.From the patent (RU 2136342 C1, Grigoriev et al., 09.10.1999; patent analogue US 6589116, Grigoriev et al., 08.07.2003), an educational game is known, the plot of which is to construct a sound series from individual fragments of musical or literary works, which, along with entertaining, carries a didactic meaning: it develops memory, abstract thinking and musical ear. The invention (RU 2142651 C1, Yakovlev, 12/10/1999) describes a method of entertainment and active self-study by recording and reproducing both your speech and the speaker, which makes it possible to compare the pronunciation with the exemplary and catch the difference. A tape recorder with a recording function on the reverse move is used.
Описаны устройства для записи, воспроизведения и обработки звуковых сигналов на основе цифровых технологий, например игровые устройства по типу караоке. Эти устройства содержат каналы записи и воспроизведения звука, процессоры управления и обработки аудиосигналов, блоки памяти, микрофоны и средства обработки сигналов. Так, в изобретении JP 7146689, UMEZAWA, 06.06.1995 предусмотрено проигрывание музыки в реверсивном направлении, что дает возможность проигрывать избранные стихи без вывода слов на экран. В изобретении JP 9171391, IZUTA, 30.06.1997 звуковой сигнал дополнительно инвертируется по фазе и складывается с голосовым, чем обеспечивается активное шумоподавление. В изобретении RU 2178922 С1, Ровнер и др., 21.01.2002, процессор средства обработки голосовых сигналов для целей развлечения по типу караоке выполнен с возможностью обработки звука: регулировки высоты тона, ритма, темпа, задержки звука, громкости исполнения.Devices are described for recording, reproducing and processing audio signals based on digital technologies, for example, gaming devices of the karaoke type. These devices contain channels for recording and reproducing sound, processors for controlling and processing audio signals, memory units, microphones, and signal processing facilities. So, in the invention of JP 7146689, UMEZAWA, 06/06/1995 provides for playing music in the reverse direction, which makes it possible to play selected verses without displaying words on the screen. In the invention of JP 9171391, IZUTA, 06/30/1997, the audio signal is additionally inverted in phase and added to the voice signal, which ensures active noise reduction. In the invention RU 2178922 C1, Rovner et al., January 21, 2002, a processor for processing voice signals for entertainment purposes, such as karaoke, is capable of processing sound: adjusting pitch, rhythm, tempo, sound delay, performance volume.
Известно, что оценку инструментально-музыкального слуха производят по способности обследуемого к адекватному воспроизведению фрагментов музыки, заданных ему путем проигрывания на музыкальном инструменте или голосом певца и воспроизведенных обследуемым на том же или другом музыкальном инструменте или голосом. Адекватность воспроизведения, то есть качество музыкального слуха, памяти и темпоритмических способностей оценивают с помощью экспертов. Аналогичным образом оценивают и речевые - риторические возможности. Тренировку слухоголосового аппарата проводят с использованием средств записи-воспроизведения звука.It is known that the evaluation of instrumental-musical hearing is carried out according to the ability of the subject to adequately reproduce fragments of music given to him by playing on a musical instrument or the voice of a singer and reproduced by the subject on the same or another musical instrument or voice. Adequacy of reproduction, that is, the quality of ear for music, memory and tempo-rhythmic abilities, is evaluated with the help of experts. Speech and rhetorical possibilities are likewise evaluated. Training of the auditory-voice apparatus is carried out using sound recording-reproducing means.
В отдельных случаях при оценке слуха для исключения понимания смысла речевого сообщения известно использование метода инверсии записи звуковой речи во времени, что достигалось протяжкой магнитной ленты в обратном направлении (RU 2221487 С1, Морозов В.П. и др., 20.01.2004). Данный прием разрушал смысловое содержание произносимых диктором фраз, изменял развертывание во времени интонационного контура звуковых сообщений, но сохранял их частотные и темпоритмические параметры. Однако при этом не ставилась задача имитировать голосом услышанное. Известно также, что метод инверсии звуковых сигналов при обратном воспроизведении записи позволяет синтезировать сложные звуки и необычные эффекты, которые нельзя получить иным способом (SU 0767825A, Майстренко и др., 30.09.1980), однако этот метод не использовался для тренировки имитационного мастерства. Для усложнения тренировки памяти известен прием воспроизведения запомненной оператором информации (последовательность цифр) не только в прямом, но и в обратном порядке (SU 1462397A1, Злобинский и др., 28.02.1989), однако при этом вокальное мастерство не совершенствуется.In some cases, when evaluating hearing, in order to exclude understanding of the meaning of a speech message, it is known to use the method of inversion of recording audio speech in time, which was achieved by pulling the magnetic tape in the opposite direction (RU 2221487 C1, Morozov V.P. et al., 20.01.2004). This technique destroyed the semantic content of the phrases pronounced by the announcer, changed the time deployment of the intonation circuit of audio messages, but retained their frequency and temporal parameters. However, the goal was not to imitate what was heard. It is also known that the method of inverting sound signals during reverse playback of a recording allows you to synthesize complex sounds and unusual effects that cannot be obtained in another way (SU 0767825A, Maistrenko et al., 09/30/1980), but this method was not used to train simulation skills. To complicate the training of memory, a technique is known for reproducing information stored by an operator (a sequence of numbers) not only in direct but also in reverse order (SU 1462397A1, Zlobinsky et al., 02.28.1989), however, vocal mastery is not improved.
Задачей настоящей группы изобретений является расширение возможностей тренировки имитационных голосовых способностей обучаемого, его музыкального слуха и памяти с использованием инвертированных по времени звуковых образов, полученных как из фонограмм известных или самодеятельных произведений музыкального и/или литературного жанра, так и из звуковых образов техногенного или природного характера. Способ может быть осуществлен в виде занимательной игры и развлечений на звукозаписывающем оборудовании с использованием компьютерных технологий обработки сигналов.The objective of this group of inventions is to expand the training capabilities of imitated voice abilities of a student, his musical hearing and memory using time-inverted sound images obtained both from phonograms of famous or amateur works of a musical and / or literary genre, and from sound images of anthropogenic or natural nature . The method can be implemented in the form of an entertaining game and entertainment on recording equipment using computer signal processing technologies.
Ближайшим аналогом способа развития музыкального слуха, памяти и имитационных возможностей и обучающей игры на его основе и устройства является техническое решение по упомянутому патенту RU 2136342 C1, Григорьев и др., 09.10.1999.The closest analogue to the method of developing musical hearing, memory and imitation capabilities and educational games based on it and the device is a technical solution according to the aforementioned patent RU 2136342 C1, Grigoryev et al., 09.10.1999.
Способ развития музыкального слуха, памяти и имитационных способностей (первый объект группы изобретений) включает предъявление исполнителю исходной фонограммы произведения и задания воспроизвести его звучание собственным голосом и/или инструментальными средствами, последующую запись фонограммы воспроизведенного (сымитированного) звучания, сравнение исходной и полученной фонограмм и текущую оценку верности воспроизведения. Новизна способа состоит в том, что исходную фонограмму произведения предъявляют исполнителю в инвертированном по времени виде и проводят запись фонограммы воспроизведенного звучания. Затем полученную фонограмму воспроизведенного звучания инвертируют по времени с получением фонограммы-реплики, а текущую оценку верности воспроизведения проводят по сравнению с фонограммой-репликой, причем параметры режимов инвертирования по времени обеих фонограмм устанавливают одинаковыми.A method of developing musical hearing, memory, and imitation abilities (the first object of the group of inventions) includes presenting the performer with the original phonogram of the work and the task of reproducing its sound with its own voice and / or instrumental means, subsequent recording of the phonogram of the reproduced (simulated) sound, comparing the original and received phonograms and the current assessment of fidelity of reproduction. The novelty of the method lies in the fact that the original phonogram of the work is presented to the performer in a time-inverted form and the phonogram of the reproduced sound is recorded. Then, the resulting phonogram of the reproduced sound is inverted in time to obtain a phonogram-replica, and the current assessment of fidelity of reproduction is carried out in comparison with the phonogram-replica, and the parameters of the invert modes in time of both phonograms are set the same.
Способ может характеризоваться тем, что в качестве исходной фонограммы используют звуковой ряд произведений музыкального и/или литературного содержания, а также тем, что в качестве исходной фонограммы используют звуковые образы техногенного или природного характера.The method can be characterized by the fact that as the initial phonogram, a sound series of works of musical and / or literary content is used, and also by the fact that sound images of anthropogenic or natural character are used as the initial phonogram.
Способ может характеризоваться и тем, что фонограмму произведения в инвертированном по времени виде предъявляют исполнителю в форме последовательности фрагментов, причем разбиение на фрагменты проводят в местах пауз в звуковом ряде.The method can be characterized by the fact that the phonogram of the work in time-inverted form is presented to the performer in the form of a sequence of fragments, moreover, the splitting into fragments is carried out at the places of pauses in the sound series.
Способ может характеризоваться также тем, что фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов, причем части фонограммы соединяют друг с другом с удалением начальных и конечных пауз, и тем, что длительность исходной фонограммы произведения составляет 30-60 сек, а число фрагментов - 5-10.The method can also be characterized by the fact that the phonogram of the reproduced sound is formed from parts whose order coincides with the order of presentation of the fragments, the parts of the phonogram being connected to each other with the removal of the initial and final pauses, and the fact that the duration of the original phonogram of the work is 30-60 seconds, and the number of fragments is 5-10.
Обучающая игра с тренировкой музыкального слуха, памяти и имитационных способностей (второй объект группы изобретений) включает следующие операции:An educational game with training in musical hearing, memory and imitative abilities (the second object of the group of inventions) includes the following operations:
первый игрок формирует исходную фонограмму посредством собственного голоса и/или инструментальными средствами в секрете от второго игрока;the first player generates the original phonogram by means of his own voice and / or instrumental means in secret from the second player;
исходную фонограмму предъявляют второму игроку только в инвертированном по времени виде с условием воспроизвести звучание собственным голосом и/или инструментальными средствами;the initial phonogram is presented to the second player only in time-inverted form with the condition to reproduce the sound with one's own voice and / or instrumental means;
производят запись фонограммы воспроизведенного звучания, исполненного вторым игроком;recording phonograms of the reproduced sound performed by the second player;
фонограмму воспроизведенного звучания инвертируют по времени с получением фонограммы-реплики;the phonogram of the reproduced sound is inverted in time to obtain a phonogram-replica;
второй игрок считается выигравшим при подобии звукового ряда фонограммы-реплики исходной фонограмме произведения, определяемом экспертными оценками, при условии соблюдения одинаковых параметров режимов записи и воспроизведении всех фонограмм,the second player is considered to have won when the sound sequence of the phonogram-replica is similar to the original phonogram of the work, determined by expert estimates, subject to the same parameters of the recording modes and the reproduction of all phonograms,
Игра может характеризоваться тем, что в качестве исходной фонограммы использован звуковой ряд произведения музыкального и/или литературного содержания, а также тем, что в качестве исходной фонограммы использованы звуковые образы техногенного или природного характера.The game can be characterized by the fact that the soundtrack of the work of musical and / or literary content is used as the initial phonogram, as well as by the use of sound images of anthropogenic or natural character as the initial phonogram.
Игра может характеризоваться и тем, что фонограмму произведения в инвертированном по времени виде предъявляют исполнителю в форме последовательности фрагментов, причем разбиение на фрагменты проводят в местах пауз в звуковом ряде.The game can also be characterized by the fact that the phonogram of the work in time-inverted form is presented to the performer in the form of a sequence of fragments, moreover, the splitting into fragments is carried out in places of pauses in the sound series.
Игра может характеризоваться также тем, что фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов, причем части фонограммы соединяют друг с другом с удалением начальных и конечных пауз, и тем, что длительность исходной фонограммы составляет 30-60 сек, а число фрагментов - 5-10.The game can also be characterized by the fact that the phonogram of the reproduced sound is formed from parts whose order coincides with the order of presentation of the fragments, moreover, the parts of the phonogram are connected to each other with the removal of the initial and final pauses, and the length of the initial phonogram is 30-60 seconds, and the number of fragments is 5-10.
Технический результат группы изобретения в рамках способа и игры - создание искусственного звукового образа для тренировки кратковременной памяти и слухоречевого аппарата исполнителя в процессе обучения и расширение дидактических возможностей.The technical result of the group of the invention within the framework of the method and the game is the creation of an artificial sound image for training short-term memory and the hearing system of the performer in the learning process and the expansion of didactic opportunities.
Устройство для осуществления способа и игры включает средства для записи и воспроизведения фонограмм, блок памяти, средство для обработки фонограмм, связанные с блоком управления. Новизна устройства состоит в том, что средство для обработки фонограмм, блок памяти и блок управления выполнены с возможностью инвертирования звукового ряда фонограммы по времени для предъявления исполнителю и инвертирования фонограммы воспроизведенного исполнителем предъявленного звукового ряда с получением фонограммы-реплики, ее хранением и обеспечением одинаковых параметров обоих режимов инвертирования.A device for implementing the method and the game includes means for recording and reproducing phonograms, a memory unit, means for processing phonograms associated with the control unit. The novelty of the device is that the means for processing phonograms, a memory unit and a control unit are configured to invert the sound series of the phonogram in time for presentation to the performer and invert the phonogram of the presented sound series reproduced by the performer to obtain a phonogram-replica, its storage and ensuring the same parameters of both invert modes.
Устройство может характеризоваться также тем, что средство для обработки фонограмм выполнено с возможностью фрагментирования в местах пауз в звуковом ряде фонограммы инвертирования звукового ряда по времени для предъявления исполнителю в виде последовательности фрагментов.The device can also be characterized in that the means for processing phonograms is configured to fragment in places of pauses in the audio series of the phonogram inverting the audio series in time for presentation to the performer as a sequence of fragments.
Устройство может характеризоваться и тем, что средство для обработки фонограмм выполнено с возможностью дефрагментирования фонограммы воспроизведенного исполнителем предъявленного звукового ряда с удалением начальных и конечных пауз.The device can also be characterized by the fact that the means for processing phonograms is configured to defragment the phonogram of the presented sound series reproduced by the performer with the removal of the initial and final pauses.
Технический результат устройства - обеспечение двойного инвертирования фонограмм по времени с формированием суммарной фонограммы-реплики из фрагментов.The technical result of the device is the provision of double inversion of phonograms in time with the formation of the total phonogram-replica from fragments.
Изобретения поясняются на чертежах, где:The invention is illustrated in the drawings, where:
на фиг.1 представлена блок-схема устройства;figure 1 presents a block diagram of a device;
на фиг.2, 3 - блок-схема алгоритма формирования фонограмм и их обработки;figure 2, 3 is a block diagram of an algorithm for the formation of phonograms and their processing;
на фиг.4 - блок-схема алгоритма фрагментации фонограммы;figure 4 is a block diagram of a fragmentation algorithm for a phonogram;
на фиг.5 - блок-схема алгоритма устранения пауз перед дефрагментацией;figure 5 is a block diagram of an algorithm for eliminating pauses before defragmentation;
на фиг.6 - блок-схема алгоритма обучающей игры.figure 6 is a block diagram of a learning game algorithm.
Патентуемые способы обучения и обучающей игры с тренировкой музыкального слуха, памяти и имитационных способностей используют новый искусственный звуковой образ - предъявление инвертированной по времени фонограммы и задание ее повторить (сымитировать) таким образом, чтобы при ее обратном инвертировании получить фонограмму-реплику. Эту фонограмму-реплику требуется сравнить с исходной фонограммой. Критерием положительной динамики процесса обучения является схожесть (распознаваемость) исходного произведения по фонограмме-реплике.Patented methods of teaching and learning games with training in musical hearing, memory and imitative abilities use a new artificial sound image - presenting a time-inverted phonogram and assigning it to be repeated (simulated) so that when it is inverted, a phonogram-replica is obtained. This replica phonogram needs to be compared with the original phonogram. The criterion for the positive dynamics of the learning process is the similarity (recognizability) of the original work on the phonogram-replica.
Как игровой компонент может быть поставлена задача распознать фонограмму-реплику, например, при использовании в качестве исходной фонограммы широко известной мелодии, стихотворного текста, пения птицы, работы механизма и т.п. Задача ставится весьма сложная, поскольку исполнитель не имеет возможности воспроизвести уже когда-то слышанные им звуковые образы повседневного содержания или культурного наследия. Как показали психофизиологические исследования (работы упомянутого Морозова В.П.), в инвертированной по времени речевой фонограмме, например, полностью отсутствуют семантический и экстралингвистический компоненты и лишь частично проявляется темпоритмический характер. Поэтому ни один из испытуемых в субъективном отчете не мог воспроизвести ни слова из прослушанных фраз, а, кроме того, у исполнителя полностью исключено привыкание.As a game component, the task can be set to recognize a phonogram-replica, for example, when using a well-known melody, poetic text, bird singing, mechanism operation, etc. as the source phonogram. The task is very difficult, since the performer is not able to reproduce the sound images of everyday content or cultural heritage that he had once heard. As shown by psychophysiological studies (the work of the aforementioned Morozov V.P.), in a time-inverted speech phonogram, for example, the semantic and extralinguistic components are completely absent and the temporal rhythmic nature is only partially manifested. Therefore, not one of the subjects in the subjective report could reproduce a single word from the phrases heard, and, in addition, the artist completely eliminated addiction.
Существо способа развития музыкального слуха, памяти и имитационных способностей и обучающей игры на основе этого способа удобно раскрыть при описании функционирования устройства, блок-схема которого показана на фиг.1.The essence of the method of developing musical hearing, memory and imitation abilities and an educational game based on this method is conveniently disclosed when describing the operation of the device, a block diagram of which is shown in Fig. 1.
Устройство содержит микрофон 1, подключенный к блоку 2 записи, информационный выход которого связан с блоком 3 памяти. Информационный выход блока 3 связан с блоком 4 воспроизведения, выход которого подключен к электроакустическому преобразователю 5 - динамику или наушнику. Блок 3 памяти связан двухсторонней шиной обмена данными с блоком 6 обработки фонограмм. Блок 7 управления и анализа обеспечивает управление блоками 2, 3, 4, 6 в соответствии с алгоритмом работы, приведенным на фиг.2-3.The device comprises a
На начальном этапе реализации способа осуществляется выбор варианта исходной фонограммы (п.1). Может использоваться готовая фонограмма, выбираемая из банка фонограмм (п.2-3). В качестве исходной фонограммы могут быть использованы различные музыкальные произведения, известные мелодии, речевые литературные тексты, звуковые образы техногенного и природного содержания и т.п. Длительность исходной фонограммы определяется экспериментально.At the initial stage of the implementation of the method, a choice is made of the variant of the initial phonogram (p. 1). A ready-made phonogram can be used, selected from a phonogram bank (p.2-3). Various musical works, well-known melodies, speech literary texts, sound images of technogenic and natural content, etc. can be used as the initial phonogram. The duration of the original phonogram is determined experimentally.
По желанию может быть выбран вариант (п.4-7), предусматривающий формирование уникальной фонограммы в процессе реализации способа. В этом случае запись уникальной фонограммы осуществляется непосредственно с помощью патентуемого устройства рутинным образом посредством микрофона 1 и блока 2 записи, управляемого от блока 7 управления.Optionally, an option can be selected (p. 4-7), providing for the formation of a unique phonogram in the process of implementing the method. In this case, the recording of a unique phonogram is carried out directly using the patented device in a routine manner through the
Затем записанная фонограмма подвергается нормализации по уровню сигнала (п.6). Для этого фонограмма разбивается на участки (окна) длительностью ~10 сек, определяется среднее значения уровня Li сигнала внутри каждого окна и по всем окнам Lc. Далее проводится расчет коэффициента Кi усиления для каждого окна: Кi=Li/Lсред и нормализация уровня сигнала каждого окна путем умножения уровня сигнала на Кi. Нормализация завершается применением фильтра оконных функций к результирующей фонограмме для сглаживания межоконных переходов.Then, the recorded phonogram undergoes normalization by the signal level (item 6). For this, the phonogram is divided into sections (windows) with a duration of ~ 10 sec, the average value of the signal level L i is determined inside each window and over all windows L c . Next, we calculate the gain coefficient K i for each window: K i = L i / L media and normalize the signal level of each window by multiplying the signal level by K i . Normalization is completed by applying a window function filter to the resulting phonogram to smooth window transitions.
Подготовленная исходная фонограмма (ИФ) (п.8) подвергается инвертированию по времени (т.е. воспроизведению в обратном направлении - от конца в начало) и воспроизведению (п.9). Проводится анализ ИФ, с точки зрения ее длительности, и принимается решение о необходимости фрагментирования (п.10). Если фонограмма длительна (например, более минуты), то в зависимости от желания и исполнительских возможностей производится ее деление на фрагменты. Учитывается то обстоятельство, что ввиду особой сложности задания исполнитель высокого класса (профессиональный певец или диктор) оказывается неспособным сымитировать инвертированный звуковой сигнал с длительностью более 5 сек. Обычно длительность исходной фонограммы произведения составляет 30-60 сек, а число фрагментов - 5-10.The prepared initial phonogram (IF) (p. 8) undergoes time inversion (i.e., playback in the opposite direction - from the end to the beginning) and reproduction (p. 9). An analysis of IF is carried out, in terms of its duration, and a decision is made on the need for fragmentation (Clause 10). If the phonogram is long (for example, more than a minute), then depending on the desire and performing abilities, it is divided into fragments. It takes into account the fact that, due to the particular complexity of the task, a high-class performer (professional singer or announcer) is unable to imitate an inverted sound signal with a duration of more than 5 seconds. Typically, the duration of the original phonogram of a work is 30-60 seconds, and the number of fragments is 5-10.
Фрагментирование инвертированной по времени фонограммы произведения (п.11) проводят в местах пауз в звуковом ряде (фиг.4). Для этого выставляется уровень LS сигнала, соответствующего тишине. Он определяется калибровкой микрофона 1 или задается исходя из априорных данных. Далее определяются точки, где сигнал принимает значение ниже уровня тишины (п.11.1). Принимаются во внимание участки фонограммы, где длительность участка тишины превышает 250 мс. За точку тишины Fragmentation of a time-inverted phonogram of a work (item 11) is carried out in places of pauses in the sound row (figure 4). For this, the level L S of the signal corresponding to silence is set. It is determined by the calibration of the
Sk принимается середина между началом и концом участка тишины.S k is the middle between the beginning and the end of the silence section.
Далее проводится поиск межфонемных переходов Wk, определяемых по ускорению роста wavelet-коэффициентов (поиск максимумов роста) (п.11.2). Затем осуществляется поиск ближайшего максимума Wk к точке Ni разбиения, а также поиск ближайшей точки тишины Sk. Поиск проводится как справа, так и слева от Ni. В качестве точки разбиения принимается ближайшая из точек (Wk-, Sk-, Wk+, Sk+) к точке Ni (п.11.3). Далее осуществляется переход к следующей точке Ni. Если точка разбиения последняя, то проводится выход из алгоритма. Операции фрагментирования и инвертирования проводятся в блоках 3, 6 и 7.Next, a search is made for interfonemic transitions W k determined by accelerating the growth of wavelet coefficients (search for growth maxima) (Section 11.2). Then, the closest maximum W k to the point N i of the partition is searched, as well as the closest point of silence S k is searched. The search is conducted both to the right and to the left of N i . The closest of the points (Wk-, Sk-, Wk +, Sk +) to the point N i (paragraph 11.3) is taken as the partition point. Next, the transition to the next point N i . If the split point is the last, then the algorithm is exited. Fragmentation and inversion operations are carried out in
Исполнителю предъявляют посредством блока 4 воспроизведения и электроакустического преобразователя 5 n фрагментов инвертированной по времени фонограммы последовательно в порядке их следования от конца исходной фонограммы в ее начало (п.12.1-12.n). От исполнителя требуется сымитировать собственным голосом и/или инструментально звуковой образ каждого из n фрагментов. Фонограммы воспроизведенного звучания посредством микрофона 1 и блока 2 записи заносятся в блок 3 памяти устройства (п.13.1-13.n). Процесс прослушивания каждого фрагмента и записи сымитированного звука может производиться многократно с выбором наиболее схожего, по мнению исполнителя, варианта (п.14). Аналогичным образом (п.15-17) производится прослушивание-запись при принятии решения записывать фонограмму целиком.The performer is presented by means of the
Затем проводится обработка фонограмм с записью сымитированного звука (п.18.1-18.n) для очистки от начальных и концевых пауз, которая, например, может быть выполнена следующим образом (см. фиг.5).Then the phonograms are processed to record the simulated sound (p.18.1-18.n) to clear the initial and final pauses, which, for example, can be performed as follows (see Fig. 5).
Фонограмма разбивается на участки длительностью ~250 мс, определяется средний уровень сигнала S(i) в каждом участке (п.181). Вычисляется коэффициент dS изменения среднего уровня сигнала участка (i+1) по отношению к участку i: dS(i)=S(i+1)-S(i) (п.182), далее определяется коэффициент R роста изменения уровня сигнала участка (i+2) по отношению к (i+1) по выражению: R=dS(i+1)/(dS(i)+0,000001) (п.182).The phonogram is divided into sections with a duration of ~ 250 ms, the average signal level S (i) is determined in each section (p. 181). The coefficient dS of the change in the average signal level of the section (i + 1) with respect to the section i is calculated: dS (i) = S (i + 1) -S (i) (p.182), then the coefficient R of the change in the level of the signal of the section is determined (i + 2) with respect to (i + 1) in the expression: R = dS (i + 1) / (dS (i) +0.000001) (p.182).
Далее проводится сравнение R с пороговым значением L, заданным с учетом используемой частоты дискретизации. При превышении (R>L) началом полезного сигнала (концом начальной паузы) Р1 считается начало предыдущего участка длительностью 250 мс (п.183).Next, a comparison is made of R with a threshold value L, given the used sampling frequency. If (R> L) is exceeded, the beginning of the useful signal (end of the initial pause) P1 is considered the beginning of the previous section with a duration of 250 ms (p.183).
Затем проводится вычисление коэффициента dS изменения среднего уровня сигнала участка i+1 по отношению к участку i: dS(i)=S(i+1)-S(i) и коэффициента роста R изменения уровня сигнала участка (i+2) по отношению к (i+1): R=dS(i+1)/(dS(i)+0,000001) (п.184). Сравниваются величина R с пороговым значением L, заданным с учетом используемой частоты дискретизации. При R<L запоминается номер i участка (п.185).Then, the coefficient dS of the change in the average signal level of the section i + 1 with respect to the section i is calculated: dS (i) = S (i + 1) -S (i) and the growth coefficient R of the change in the signal level of the section (i + 2) with respect to k (i + 1): R = dS (i + 1) / (dS (i) +0.000001) (p.184). The value of R is compared with a threshold value L set taking into account the used sampling frequency. When R <L, the number i of the section is stored (p. 185).
Проводится вычисление R для последующих участков до конца фонограммы (п.186). При обнаружении R>L сбрасывается запомненный номер участка и алгоритм возвращается в п.184. Если до конца фонограммы величина R более не превысит L, то местом начала концевой паузы Р2 считается начало следующего участка длительностью 250 мс, находящегося за участком, где сохранено значение R. Результирующей фонограммой с записью сымитированного звука для одного фрагмента считается трек между точками Р1 и Р2 (п.187).R is calculated for subsequent sections to the end of the phonogram (p.186). When R> L is detected, the stored section number is reset and the algorithm returns to step 184. If, until the end of the phonogram, the value of R no longer exceeds L, then the beginning of the end pause of P2 is considered to be the beginning of the next section of 250 ms in duration, located behind the section where the value of R is stored. The resulting phonogram with the recording of simulated sound for one fragment is considered to be the track between points P1 and P2 (para. 187).
Далее производится операция дефрагментации (конкатенации) - объединение фонограмм с записью сымитированного звука всех фрагментов в одну фонограмму (п.19). Фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов. Аналогичным образом, при необходимости, проводится обработка и нефрагментированной фонограммы (п.20).Next, the operation of defragmentation (concatenation) is performed - the combination of phonograms with the recording of the simulated sound of all fragments into one phonogram (p. 19). The phonogram of the reproduced sound is formed from parts whose order coincides with the order of presentation of the fragments. Similarly, if necessary, processing of unfragmented phonograms is carried out (item 20).
Далее, полученную фонограмму воспроизведенного звучания инвертируют по времени (п.21) с получением фонограммы-реплики (п.22).Next, the resulting phonogram of the reproduced sound is inverted in time (item 21) to obtain a phonogram-replica (item 22).
Текущую оценку верности воспроизведения проводят сравнивая фонограмму-реплику с исходной фонограммой (п.23), причем степень сходности определяют по подобию спектральных характеристик, темпа, ритма, композиционных особенностей, речевым компонентам, стилистике и т.п. признакам и особенностям оригинала и имитации. Для этой цели могут использоваться экспертные оценки или технические средства. Необходимым условием реализации является назначение для обеих фонограмм одинаковых параметров инвертирования по времени в прямом (п.9) и обратном (п.21) направлениях.The current assessment of fidelity of reproduction is carried out by comparing the phonogram-replica with the original phonogram (item 23), and the degree of similarity is determined by the similarity of spectral characteristics, tempo, rhythm, compositional features, speech components, style, etc. signs and features of the original and imitation. For this purpose, expert judgment or technical means may be used. A necessary condition for the implementation is the appointment for both phonograms of the same time inversion parameters in the forward (item 9) and reverse (item 21) directions.
На основе манипулирования с фонограммами в инвертированном состоянии предлагается обучающая игра-развлечение, которая обеспечивает развитие музыкальных способностей, памяти и имитационных способностей в игровой форме. Блок-схема алгоритма игры приведена на фиг.6. В простейшем случае в игре могут принимать участие два игрока и зрители-эксперты. В начале игры 1-й игрок формирует исходную фонограмму. Для этого может использоваться уже готовый звуковой ряд ранее записанного произведения (песни, текста и т.п.) или непосредственно изготовленный в присутствии зрителей, но недоступный для слуха 2-го игрока - вокальный проигрыш, барабанная трель, выстукивание и т.п. (п.300). Далее звуковой ряд (фонограмма) инвертируется по времени (п.301) и предъявляется 2-му игроку (п.302). Согласно условию игры 2-му игроку требуется воспроизвести (сымитировать) его звучание собственным голосом и/или инструментальными средствами и эта фонограмма записывается (п.303). Производится инвертирование этой фонограммы по времени (п.304) и ее запись (п.305) с получением фонограммы-реплики. Затем производится распознавание содержания фонограммы-реплики самим 2-ым игроком-исполнителем имитации, а также экспертная оценка схожести звукового ряда исходной фонограммы и фонограммы-реплики (п.306) с выявлением победителя (п.307). Особенности технической реализации в части нормализации уровня сигнала, фрагментации, удаления пауз для дефрагментации полностью аналогичны описанным алгоритмам (фиг.2-5). Тем самым искусственный звуковой образ, образованный одним из игроков, используется для тренировки кратковременной памяти и слухоречевого аппарата исполнителя в игровой ситуации и может использоваться как развлечение с реализацией дидактических функций.Based on the manipulation of phonograms in an inverted state, an educational game-entertainment is proposed that provides the development of musical abilities, memory and imitation abilities in a playful way. The block diagram of the game algorithm is shown in Fig.6. In the simplest case, two players and expert viewers can take part in the game. At the beginning of the game, the 1st player forms the initial phonogram. For this, a ready-made sound sequence of a previously recorded work (song, text, etc.) or directly made in the presence of the audience, but not accessible to the hearing of the second player — vocal loss, drum trill, percussion, etc., can be used for this. (p. 300). Next, the sound row (phonogram) is inverted in time (p. 301) and presented to the 2nd player (p. 302). According to the condition of the game, the 2nd player is required to reproduce (imitate) his sound with his own voice and / or instrumental means and this phonogram is recorded (item 303). This phonogram is inverted in time (p. 304) and recorded (p. 305) to obtain a replica phonogram. Then, the content of the phonogram-replica is recognized by the 2nd simulation player himself, as well as an expert assessment of the similarity of the sound sequence of the original phonogram and the phonogram-replica (item 306) with the identification of the winner (item 307). Features of the technical implementation in terms of normalizing the signal level, fragmentation, removing pauses for defragmentation are completely similar to the described algorithms (Fig.2-5). Thus, an artificial sound image formed by one of the players is used to train short-term memory and the hearing system of the performer in a game situation and can be used as entertainment with the implementation of didactic functions.
Промышленная применимость. Устройство может быть реализовано с использованием компьютерных средств обработки сигналов или устройств под управлением специализированных микропроцессоров, содержащих в своем составе цифровые блоки общего применения и известных специалистам. Примером такого типа устройств могут служить бытовые DVD-проигрыватели.Industrial applicability. The device can be implemented using computer-aided signal processing or devices controlled by specialized microprocessors containing digital blocks of general use and known to specialists. An example of this type of device is home DVD players.
Claims (15)
выбирают исходную фонограмму произведения,
фонограмму инвертируют во времени и предъявляют ее исполнителю посредством блока воспроизведения,
исполнитель имитирует звучание инвертированной фонограммы собственным голосом и/или инструментальными средствами,
производят запись сымитированного звукового ряда,
полученную фонограмму сымитированного звукового ряда инвертируют по времени с получением фонограммы-реплики, а
текущую оценку верности имитации производят по сравнению с фонограммой-репликой, причем параметры инвертирования исходной фонограммы и фонограммы-реплики устанавливают одинаковыми.1. The method of development of musical hearing, memory and imitative abilities, which consists in the fact that
choose the original phonogram of the work,
the phonogram is inverted in time and presented to the performer by means of a playback unit,
the performer imitates the sound of an inverted phonogram with his own voice and / or instrumental means,
record a simulated sound series,
the resulting phonogram of the simulated sound series is inverted in time to obtain a phonogram-replica, and
the current assessment of the fidelity of the simulation is made in comparison with the phonogram-replica, and the parameters of inversion of the original phonogram and phonogram-replica are set the same.
записывают ее в блоке памяти,
инвертируют фонограмму во времени и предъявляют второму игроку инвертированную фонограмму или фрагменты инвертированной фонограммы посредством блока воспроизведения,
второй игрок имитирует звучание инвертированной фонограммы или ее фрагментов собственным голосом и/или инструментальными средствами, производят запись сымитированного звукового ряда,
полученную фонограмму сымитированного звукового ряда инвертируют по времени с получением фонограммы-реплики и воспроизводят,
второй игрок считается выигравшим при подобии звукового ряда фонограммы-реплики исходной фонограмме произведения, определяемом экспертными оценками, при условии соблюдения одинаковых параметров инвертирования при записи и воспроизведении фонограмм первого и второго игроков.7. An educational game with training in musical hearing, memory and imitative abilities, consisting in the fact that the first player forms the initial phonogram of the work through voice and / or instrumental means;
write it in the memory block,
invert the phonogram in time and present the inverted phonogram or fragments of the inverted phonogram to the second player by means of the playback unit,
the second player imitates the sound of the inverted phonogram or its fragments with his own voice and / or instrumental means, record the simulated sound series,
the resulting phonogram of the simulated sound series is inverted in time to obtain a phonogram-replica and reproduced,
the second player is considered to have won when the phonogram-replica sound series is similar to the original phonogram of the work, determined by expert estimates, provided that the same inversion parameters are observed when recording and playing back phonograms of the first and second players.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007145317/09A RU2371777C2 (en) | 2007-12-07 | 2007-12-07 | Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007145317/09A RU2371777C2 (en) | 2007-12-07 | 2007-12-07 | Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2007145317A RU2007145317A (en) | 2009-06-20 |
| RU2371777C2 true RU2371777C2 (en) | 2009-10-27 |
Family
ID=41025280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007145317/09A RU2371777C2 (en) | 2007-12-07 | 2007-12-07 | Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2371777C2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MD4164C1 (en) * | 2010-03-04 | 2012-11-30 | Еуджен МОРАРУ | Method for the formation of skills for doing physical exercises during the morning exercises and during the day in children, and system for implementing the method |
-
2007
- 2007-12-07 RU RU2007145317/09A patent/RU2371777C2/en not_active IP Right Cessation
Non-Patent Citations (1)
| Title |
|---|
| C1, 20.01.2005. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MD4164C1 (en) * | 2010-03-04 | 2012-11-30 | Еуджен МОРАРУ | Method for the formation of skills for doing physical exercises during the morning exercises and during the day in children, and system for implementing the method |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2007145317A (en) | 2009-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bell | Dawn of the DAW: The studio as musical instrument | |
| Moylan | Understanding and crafting the mix: The art of recording | |
| Katz | Capturing sound: How technology has changed music | |
| US11653167B2 (en) | Audio generation system and method | |
| Keller | The Music of Language | |
| Berry | Listening to rap: An introduction | |
| Choi et al. | A proposal for foley sound synthesis challenge | |
| WO2010139002A1 (en) | Music game improvements | |
| RU2371777C2 (en) | Method of developing ear for music, memory and imitation capabilities, training game based on said method and device to this end | |
| Avarese | Post sound design: the art and craft of audio post production for the moving image | |
| Hulme | Killing-off the Crossfade: Achieving Seamless Transitions With Imbricate Audio | |
| Febrian et al. | Scoring music for montage movies | |
| Ben | Oh Mama, Mama, the Creation of Four Songs, from Start to Finish | |
| Richardson | Cadence of the Swarm: The Creative Process of Scoring to Picture | |
| JP2004184619A (en) | System for acquiring language and practicing musical performance | |
| Clarke | Vocal Synthetics: Designing for an Adaptable Singing Synthesizer | |
| Bigelow | Noise as Music: Effects of Physical and Digital Noise in One's Life | |
| Wheeler | The construction of liveness in rock recordings | |
| Attah | 1 “I BEEN STUDYING RAIN” | |
| Wright | 11 ICT and the music curriculum | |
| Cupps | " The Sound of the Underground": Distinguishing Alternative Identity in Rap's Contemporary Moment | |
| Miller | The influence of recording technology on music performance and production | |
| MARTINO | CHAPTER SIXTEEN CROSSING THE BORDERS OF JAZZ, LANGUAGE AND IDENTITY: MICHAEL ONDAATJE’S COMING THROUGH SLAUGHTER | |
| Dellaira | For the Record: Recorded objects and the new listener (with); Original compositions and original text | |
| JP2004133231A (en) | Storage medium for learning foreign language conversation, sound output device and distribution device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20121208 |