RU2770747C1 - Способ преобразования аудиосигнала, устройство и носитель данных - Google Patents
Способ преобразования аудиосигнала, устройство и носитель данных Download PDFInfo
- Publication number
- RU2770747C1 RU2770747C1 RU2021119297A RU2021119297A RU2770747C1 RU 2770747 C1 RU2770747 C1 RU 2770747C1 RU 2021119297 A RU2021119297 A RU 2021119297A RU 2021119297 A RU2021119297 A RU 2021119297A RU 2770747 C1 RU2770747 C1 RU 2770747C1
- Authority
- RU
- Russia
- Prior art keywords
- segment
- frequency domain
- target
- signal
- audio signal
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 248
- 238000000034 method Methods 0.000 title claims description 50
- 238000006243 chemical reaction Methods 0.000 title claims description 14
- 230000008859 change Effects 0.000 claims abstract description 71
- 238000001914 filtration Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000005452 bending Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0324—Details of processing therefor
- G10L21/034—Automatic adjustment
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в повышении качества аудиосигнала с измененной высотой тона. Технический результат достигается за счет определения аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и соотношения первоначальных областей формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области; при этом изменение высоты тона исходного целевого аудиосигнала состоит в регулировке высоты тона аудио, и изменение высоты тона аудиосигнала с измененной высотой тона обеспечивает непротиворечивость характеристик голоса в аудиосигнале до и после изменения высоты тона. 4 н. и 8 з.п. ф-лы, 5 ил.
Description
Ссылка на родственную заявку
[1] Данная заявка представляет собой национальную фазу России международной заявки № PCT/CN2019/121838, поданной 29 ноября 2019 года, которая испрашивает приоритет на основании заявки на патент Китая № 201811628761.6, поданной 28 декабря 2018 года, содержание которой полностью включено в настоящий документ посредством ссылки.
Область техники, к которой относится настоящее изобретение
[2] Настоящее изобретение относится к технической области распознавания голоса, в частности, к способу и устройству для преобразования аудиосигнала, устройству и носителю данных.
Предшествующий уровень техники настоящего изобретения
[3] В условиях стремительного развития Интернет-технологий все более широкое распространение в нашей повседневной жизни получает развлекательное программное обеспечение, которое изменяет высоту тона исходной речи с помощью алгоритма изменения высоты тона. Этот тип программного обеспечения предоставляет пользователям новый способ развлечения и релаксации путем воспроизведения речи с измененной высотой тона. Например, во время модификации первоначальной записи голоса певца может быть изменен тон дефектных звуков с тем, чтобы улучшить звучание песни.
Краткое раскрытие настоящего изобретения
[4] Вариантами осуществления настоящего изобретения предложен способ и устройство для преобразования аудиосигнала, устройство и носитель данных, которые могут осуществлять изменение высоты тона первоначального аудиосигнала, обеспечивая при этом непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона, повышая тем самым качество аудиосигнала с измененной высотой тона.
[5] Одним из вариантов осуществления настоящего изобретения предложен способ преобразования аудиосигнала, предусматривающий:
[6] получение сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области и выполнение преобразования Фурье в отношении первоначального аудиосигнала и исходного целевого аудиосигнала, поученного при изменении высоты тона первоначального аудиосигнала.
[7] получение соответствующих первоначальных областей формант путем фильтрации сегментных первоначальных сигналов частотной области на основании первоначальной сегментной функции-окна и получение соответствующей целевой области формант путем фильтрации сегментного целевого сигнала частотной области на основании целевой сегментной функции-окна, причем первоначальная сегментная функция-окно определяется на основании главной частоты и отношения сегментов сегментного первоначального сигнала частотной области, а целевая сегментная функция- окно определяется на основании главной частоты и отношения сегментов сегментного целевого сигнала частотной области; и
[8] определение аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и отношения первоначальных областей формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области:
[9] при этом изменение высоты тона исходного целевого аудиосигнала состоит в регулировке высоты тона аудио, и изменение высоты тона аудиосигнала с измененной высотой тона обеспечивает непротиворечивость характеристик голоса в аудиосигнале до и после изменения высоты тона.
[10] Одним из вариантов осуществления настоящего изобретения предложено устройство для преобразования аудиосигнала, включающее в себя:
[11] модуль сегментации и преобразования, выполненный с возможностью получения сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области путем соответствующего сегментирования и выполнения преобразования Фурье в отношении первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала;
[12] модуль определения областей формант, выполненный с возможностью получения соответствующей первоначальной области формант путем фильтрации сегментного первоначального сигнала частотной области на основании первоначальной сегментной функции-окна и получение соответствующей целевой области формант путем фильтрации множества сегментных целевых сигналов частотной области на основании целевой сегментной функции-окна, причем первоначальная сегментная функция-окно определяется на основании главной частоты и длины сегмента сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно определяется на основании главной частоты и длины сегмента сегментного целевого сигнала частотной области; и
[13] модуль определения аудиосигнала с измененной высотой тона, выполненный с возможностью определения аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и соотношения первоначальных областей формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области.
[14] при этом изменение высоты тона исходного целевого аудиосигнала состоит в регулировке высоты тона аудио, и изменение высоты тона аудиосигнала с измененной высотой тона обеспечивает непротиворечивость характеристик голоса в аудиосигнале до и после изменения высоты тона.
[15] Одним из вариантов осуществления настоящего изобретения предложено электрическое устройство, включающее в себя:
[16] один или несколько процессоров; и
[17] запоминающее устройство, выполненное с возможностью хранения одной или нескольких программ;
[18] причем при выполнении одной или нескольких программ одним или несколькими процессорами инициируется реализация одним или несколькими процессорами способа преобразования аудиосигнала согласно любому из вариантов осуществления настоящего изобретения.
[19] Одним из вариантов осуществления настоящего изобретения предложен машиночитаемый носитель данных, в котором хранится компьютерная программа; при этом компьютерная программа при ее выполнении процессором инициирует реализацию процессором способа преобразования аудиосигнала согласно любому из вариантов осуществления настоящего изобретения.
Краткое описание фигур
[20] На фиг. 1A показана блок-схема, иллюстрирующая алгоритм реализации способа преобразования аудиосигнала согласно первому варианту осуществления настоящего изобретения;
[21] На фиг. 1B показана блок-схема, иллюстрирующая принцип процесса преобразования аудиосигнала согласно первому варианту осуществления настоящего изобретения;
[22] На фиг. 2 показана блок-схема, иллюстрирующая принципы процесса определения главной частоты и процесса построения функции-окна согласно второму варианту осуществления настоящего изобретения;
[23] На фиг. 3 показана блок-схема, иллюстрирующая принцип процесса преобразования аудиосигнала согласно третьему варианту осуществления настоящего изобретения;
[24] На фиг. 4 показана структурная схема устройства для преобразования аудиосигнала согласно четвертому варианту осуществления настоящего изобретения; и
[25] На фиг. 5 показана структурная схема устройства согласно пятому варианту осуществления настоящего изобретения.
Подробное раскрытие настоящего изобретения
[26] Настоящее изобретение описано ниже в привязке к прилагаемым чертежам и вариантам своего осуществления. Конкретные варианты осуществления заявленного изобретения, описанные в настоящем документе, служат исключительно цели разъяснения, а не ограничения представленного изобретения. Для облегчения описания на прилагаемых чертежах показана лишь часть структуры, относящаяся к настоящему изобретению, а не вся эта структура.
[27] Хотя при обработке первоначальной речи с использованием алгоритма изменения высоты тона цель коррекции высоты тона голоса оказывается достигнутой, характеристики голоса пользователя аудио могут быть изменены, вследствие чего воспроизводимый голос будет существенно отличаться от фактического голоса пользователя аудио. Например, при повышении высоты тона речевого сигнала мужского голоса на четыре полутона этот сигнал будет звучать как девичий голос и характеризоваться определенной погрешностью. Для устранения указанной проблемы, присущей предшествующему уровню техники, обычно используется функция-окно фиксированной длины для обработки кратковременных сигналов преобразования Фурье, соответствующих аудиосигналам до и после изменения высоты тона, с целью получения областей формант, соответствующих аудиосигналам до и после изменения высоты тона; затем на основании полученных областей формант выполняется обработка аудиосигнала с измененной высотой тона для получения в итоге аудиосигнала с измененной высотой тона, в котором устранена погрешность голоса. Однако вследствие фиксированной длины функции-окна для определения областей формант на предшествующем уровне техники установленные области формант будут неточными, что обуславливает несоответствие между характеристиками голоса в полученном в итоге аудиосигнале с измененной высотой тона и характеристиками голоса в аудиосигнале до изменения высоты тона, причем аудиосигнал с измененной высотой тона обладает плохим качеством, а погрешность голоса не может быть устранена
[28] Для обеспечения непротиворечивости характеристик голоса в аудиосигналах до и после изменения высоты тона аудиосигналов настоящее изобретение сфокусировано, главным образом, на обработке данных с целью обеспечения непротиворечивости областей формант в аудиосигналах до и после изменения высоты тона, поскольку форманта отражает распределение энергии аудиосигнала в частотной области и определяет качество аудио, т.е. характеристики голоса. Алгоритм сохранения областей формант используется для устранения влияния целевой области формант с измененной высотой тона на изменение высоты тона, благодаря чему области формант до и после изменения высоты тона остаются такими же, что повышает звуковое качество аудиосигнала с измененной высотой тона.
[29] Первый вариант осуществления
[30] На фиг. 1A показана блок-схема, иллюстрирующая алгоритм реализации способа преобразования аудиосигнала согласно первому варианту осуществления настоящего изобретения. Этот вариант осуществления применим к любому устройству, способному изменять высоту тона аудиосигнала. Технические решения, реализованные в вариантах осуществления настоящего изобретения, пригодны для обеспечения непротиворечивости характеристик голоса в аудиосигналах до и после изменения высоты тона. Способ преобразования аудиосигнала, предложенный этим вариантом осуществления настоящего изобретения, может быть реализован устройством для преобразования аудиосигнала согласно вариантам осуществления настоящего изобретения. Это устройство может быть реализовано в виде программных и/или аппаратных средств, и оно может быть интегрировано в другое устройство для реализации указанного способа. Таким устройством может служить интеллектуальный терминал, в котором предусмотрено приложение, выполненное с возможностью изменения высоты тона аудиосигнала, например, смартфон, планшетный компьютер, карманный компьютер или иное устройство подобного рода.
[31] В одном из вариантов осуществления настоящего изобретения, который проиллюстрирован на фиг. 1A, предложенный способ может предусматривать выполнение стадий, описанных ниже.
[32] На стадии S110 обеспечивается получение первоначального аудиосигнала.
[33] В этом варианте осуществления настоящего изобретения первоначальный аудиосигнал представляет собой аудиосигнал, изначально записанный пользователем аудио с помощью приложения Voice Collector без какой-либо обработки, причем первоначальный аудиосигнал кодируется в виде дискретного сигнала. Первоначальный аудиосигнал содержит большое число точек дискретизации аудио.
[34] В этом варианте осуществления настоящего изобретения предусмотрено, что когда надо изменить высоту тона, сначала необходимо получить первоначальный аудиосигнал, изначально записанный пользователем аудио и снятый с помощью приложения Voice Collector, а затем изменить высоту тона первоначального аудиосигнала.
[35] На стадии S120 обеспечивается получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала.
[36] В этом варианте осуществления настоящего изобретения изменением высоты тона называется коррекция высоты тона аудиосигнала, т.е. регулировка основных частот в аудиосигнале, например, модифицирование некоторых дефектных звуков в первоначальной записи певца, т.е. изменение высоты тона аудиосигнала.
[37] В одном из вариантов осуществления настоящего изобретения предусмотрено, что когда получен первоначальный аудиосигнал и необходимо изменить высоту тона первоначального аудиосигнала, могут быть установлены определенные требования к изменению высоты тона, и на основании этих требований в соответствующей звуковой программе изменения высоты тона могут быть заданы соответствующие параметры изменения высоты тона. Изменение высоты тона проводится в отношении первоначального аудиосигнала в соответствии с заданными параметрами изменения высоты тона с целью получения исходного целевого аудиосигнала. Поскольку во время изменения высоты тона характеристики голоса в первоначальном аудиосигнале нарушаются, характеристики голоса в исходном целевом аудиосигнале также изменяются в сравнении с характеристиками голоса в первоначальном аудиосигнале, и исходный целевой аудиосигнал не может быть выдан напрямую. Необходимо дополнительно восстановить измененные характеристики голоса, гарантируя тем самым, что при воспроизведении итогового аудиосигнала пользователь аудио, записывающий аудиосигнал, будет понятен другим пользователям.
[38] В одном из вариантов осуществления настоящего изобретения получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала может предусматривать: получение амплитуды изменения высоты тона; и получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала на основании амплитуды изменения высоты тона.
[39] В одном из вариантов осуществления настоящего изобретения первоначальный аудиосигнал может быть обработан с использованием алгоритма изменения высоты тона. В этом случае амплитуда изменения высоты тона, соответствующая текущему изменению высоты тона, задается заранее, в результате чего амплитуда изменения высоты тона будет задана в алгоритме изменения высоты тона, а исходный целевой аудиосигнал будет получен путем изменения высоты тона первоначального аудиосигнала на основании амплитуды изменения высоты тона.
[40] На стадии S130 обеспечивается получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем соответствующего сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, а также соответственное выполнение преобразования Фурье в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества сегментных целевых аудиосигналов, полученных в результате сегментирования.
[41] В этом варианте осуществления настоящего изобретения преобразование Фурье является способом преобразования сигнала временной области в сигнал частотной области. Информация, которая не может быть явственно получена во временной области, может быть преобразована в частотную область для анализа.
[42] В этом варианте осуществления настоящего изобретения предусмотрено, что поскольку первоначальный аудиосигнал представляет собой аудиосигнал, содержащий разную частотную информацию за определенный период, переданный пользователем аудио, то если преобразование Фурье выполняется напрямую в отношении всего первоначального аудиосигнала, соответственно полученный сигнал частотной области будет представлять собой спектр, соответствующий единичной частоте, определяемой для всей аудиоинформации во всей временной области, что не может отражать соответствующие частотные характеристики в локальных временных областях, и не может быть использовано для выполнения анализа с целью получения информации о частотной области в разные временные периоды. Следовательно, в этом варианте осуществления настоящего изобретения для обработки первоначального аудиосигнала и исходного целевого аудиосигнала с целью получения информации о частотной области, соответствующей первоначальному аудиосигналу и исходному целевому аудиосигналу в разные временные периоды, используется кратковременное преобразование Фурье. Кратковременное преобразование Фурье призвано отобразить характеристику момента в частотной области с использованием сигнала частотной области, соответствующего сегментному аудиосигналу в пределах заданного временного окна.
[43] В этом варианте осуществления настоящего изобретения после получения первоначального аудиосигнала и исходного целевого аудиосигнала для проведения точного анализа информации о частотной области аудиосигнала в данный момент времени, как это показано на фиг. 1B, первоначальный аудиосигнал и исходный целевой аудиосигнал могут быть разбиты на сегменты с целью получения множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов. После этого обеспечивается возможность анализа сегментного первоначального аудиосигнала и сегментного целевого аудиосигнала в одном и том же временном сегменте. В отношении множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов, которые получены в результате сегментации, для получения множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области в пределах множества сегментов выполняется преобразование Фурье. При этом, поскольку первоначальный аудиосигнал и исходный целевой аудиосигнал сегментируются с использованием одного и того же метода сегментации, множество сегментных первоначальных сигналов частотной области и множество сегментных целевых сигналов частотной области, полученных после выполнения преобразования Фурье, также находятся во взаимно-однозначном соответствии во множестве сегментов.
[44] На стадии S140 обеспечивается получение множества первоначальных областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области на основании множества первоначальных сегментных функций-окон, а также получение множества целевых областей формант путем соответствующей фильтрации множества сегментных целевых сигналов частотной области на основании множества целевых сегментных функций-окон.
[45] В этом варианте осуществления настоящего изобретения первоначальная сегментная функция-окно, соответствующая каждому сегментному первоначальному сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно, соответствующая каждому сегментному целевому сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного целевого сигнала частотной области. В этом варианте осуществления настоящего изобретения первоначальная сегментная функция-окно и целевая сегментная функция-окно представляют собой адаптивные функции-окна переменной длины. Множество полученных первоначальных сегментных функций-окон характеризуется разной длиной из-за разности главных частот множества сегментных первоначальных сигналов частотной области, и множество полученных целевых сегментных функций-окон также характеризуется разной длиной из-за разности главных частот множества сегментных целевых сигналов частотной области. Вследствие разности колебаний частот в разных сегментах аудиосигнала анализ, выполняемый с использованием функции-окна фиксированной длины, будет приводить к определенным погрешностям. В этом варианте осуществления настоящего изобретения адаптивные функции-окна переменной длины используются для обработки аудиосигналов до и после изменения высоты тона в разных сегментах, что позволяет уменьшить погрешности обработки. В этом варианте осуществления настоящего изобретения главной частотой сегментного первоначального аудиосигнала называется основанная частота, входящая в сегментный первоначальный аудиосигнал, которая может быть отражена в сегментном первоначальном сигнале частотной области; главной частотой сегментного целевого сигнала частотной области называется основанная частота, входящая в сегментный целевой сигнал частотной области, которая может быть отражена в сегментном целевом сигнале частотной области; а длина сегмента обозначает количество точек дискретизации, которые должны находиться в пределах каждого сегмента аудиосигнала, и обычно она составляет величину 2n; к примеру, длина сегмента может быть равна 1024, 2048 и т.п.
[46] В одном из вариантов осуществления настоящего изобретения форманта представляет собой область сигнала частотной области, где наблюдается относительная концентрация акустической энергии, которая определяет качество речи. Форманта сигнала может быть использована для определения пользователя аудио, который передает аудиосигнал. Областью формант называется интервал частотной области, который образуется путем соединения точек с наивысшей амплитудой, соответствующих разным частотам в сигнале частотной области, и который может отображать характеристики голоса пользователя аудио в текущем сегменте.
[47] В одном из вариантов осуществления настоящего изобретения для повышения скорости обработки сигнала во время определения главной частоты сегментного целевого сигнала частотной области предусмотрено, что поскольку изменение высоты тона сигнала заключается в регулировке частоты сигнала, главная частота сегментного целевого сигнала частотной области в пределах сегмента может быть определена напрямую на основании главной частоты сегментного первоначального сигнала частотной области в пределах этого сегмента и амплитуды изменения высоты тона. При этом отсутствует необходимость в повторном определении главных частот множества сегментных целевых сигналов частотной области, что сокращает число дополнительных операций детектирования и повышает скорость обработки сигналов.
[48] В одном из вариантов осуществления настоящего изобретения предусмотрено, что при получении сегментных первоначальных сигналов частотной области и сегментных исходных сигналов частотной области сначала может быть детектирована главная частота каждого сегментного первоначального сигнала частотной области, и на основании главной частоты и длины сегмента сегментного первоначального сигнала частотной области определяется соответствующая первоначальная сегментная функция-окно. При этом предусмотрена обработка только сегментного первоначального сигнала частотной области в пределах соответствующего сегмента на основании первоначальной сегментной функции-окна, тогда как прочие сегментные первоначальные сигналы частотной области не обрабатываются. Разные сегментные первоначальные сигналы частной области соответствуют разным первоначальным сегментным функциям- окнам вследствие того, что разные сегментные первоначальные сигналы частной области характеризуются разными главными частотами. Для сегментных целевых сигналов частной области множество целевых сегментных функций-окон, соответствующих множеству сегментных целевых сигналов частной области, определяется таким же образом на основании главных частот и длины сегментов во множестве сегментных целевых сигналов частотной области.
[49] В одном из вариантов осуществления настоящего изобретения множество сегментных первоначальных сигналов частотной области фильтруется с использованием множества первоначальных сегментных функций-окон, соответствующих множеству сегментных первоначальных сигналов частотной области, вследствие чего обеспечивается получение множества первоначальных областей формант, соответствующих множеству сегментных первоначальных сигналов частотной области. При этом множество сегментных первоначальных сигналов частотной области фильтруется с использованием целевых сегментных функций-окон, соответствующих множеству сегментных целевых сигналов частотной области, вследствие чего обеспечивается получение множества целевых областей формант, соответствующих множеству сегментных целевых сигналов частотной области. Количество первоначальных областей формант и количество целевых областей формант соответствует количеству сегментов.
[50] Функции-окна в этом варианте осуществления настоящего изобретения могут трактоваться как фильтры нижних частот в разных формах при фильтрации сигналов частотной области, причем адаптивная переменная длина используемой функции-окна может приводить к варьированию характеристик низкочастотной фильтрации с изменением характеристик сигнала частотной области.
[51] На стадии S150 определяется аудиосигнал с измененной высотой тона на основании множества сегментных целевых сигналов частотной области, множества первоначальных областей формант и множества целевых областей формант.
[52] В этом варианте осуществления настоящего изобретения аудиосигнал с измененной высотой тона представляет собой выданный в итоге аудиосигнал, который был получен путем изменения высоты тона первоначального аудиосигнала, и влияние которого на характеристики голоса вследствие изменения высоты тона было устранено, причем аудиосигнал с измененной высотой тона имеет характеристики голоса, согласующиеся с характеристиками голоса первоначального аудиосигнала.
[53] После получения множества первоначальных областей формант и множества целевых областей формант для обеспечения непротиворечивости характеристик голоса в аудиосигналах до и после изменения высоты тона необходимо устранить влияние целевых формант во множестве сегментных целевых сигналов частотной области после изменения высоты тона. В одном из вариантов осуществления настоящего изобретения определяется отношение первоначальной области формант к целевой области формант для отображения изменения характеристик голоса в сегментном первоначальном сигнале частотной области до изменения высоты тона и в сегментом целевом сигнале частотной области после изменения высоты тона в пределах сегмента. Затем определяется итоговый соответствующий сегментный сигнал частотной области в пределах сегмента на основании сегментного целевого сигнала частотной области в пределах сегмента и указанного отношения. И, наконец, определяются сегментные сигналы частотной области в пределах множества сегментов на основании множества сегментных целевых сигналов частотной области в пределах множества сегментов и множества соответствующий отношений. На основании множества сегментных сигналов частотной области обеспечивается получение итогового сигнала частотной области с измененной высотой тона, в результате чего определяется итоговый аудиосигнал с измененной высотой тона.
[54] Согласно техническому решению, реализованному в этом варианте осуществления настоящего изобретения, обеспечивается получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, и в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества сегментных целевых аудиосигналов, полученных в результате сегментирования, соответствующим образом выполняется преобразование Фурье. На основании главных частот и длины сегментов множества сегментных первоначальных сигналов частотной области определяется множество первоначальных сегментных функций-окон, а на основании главных частот и длины сегментов множества сегментных целевых сигналов частотной области определяется множество целевых сегментных функций-окон. Разные сегментные сигналы могут соответствовать разным сегментным функциям-окнам. Затем обеспечивается получение множества первоначальных областей формант и множества целевых областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области на основании множества первоначальных сегментных функций-окон и множества целевых сегментных функций-окон. Таким образом, уменьшаются погрешности при получении областей формант до и после изменения высоты тона. Затем определяется итоговый аудиосигнал с измененной высотой тона на основании множества сегментных целевых сигналов частотной области и множества областей формант до и после изменения высоты тона. При этом устраняется влияние целевых областей формант на изменение высоты тона, благодаря чему аудиосигналы до и после изменения высоты тона характеризуются одинаковыми областями формант, что обеспечивает непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона, а также повышает звуковое качество аудиосигнала с измененной высотой тона.
[55] Второй вариант осуществления
[56] На фиг. 2 показана блок-схема, иллюстрирующая принципы процесса определения главной частоты и процесса построения функции-окна согласно второму варианту осуществления настоящего изобретения. Этот вариант осуществления описан в привязке к предыдущему варианту осуществления настоящего изобретения. Этот вариант осуществления раскрывает, главным образом, процесс детектирования главных частот множества сегментных первоначальных сигналов частотной области, получаемых путем выполнения преобразования Фурье после сегментирования первоначального аудиосигнала, а также процесс построения множества первоначальных сегментных функций-окон, соответствующих множеству сегментных первоначальных сигналов частотной области, и множества целевых сегментных функций-окон, соответствующих множеству сегментных целевых сигналов частотной области.
[57] Способ согласно этому варианту осуществления настоящего изобретения может предусматривать выполнение стадий, описанных ниже.
[58] На стадии S2010 обеспечивается получение первоначального аудиосигнала.
[59] На стадии S2020 обеспечивается получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала. На стадии S2030 обеспечивается получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем соответствующего сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, и соответственно выполняется преобразование Фурье в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества сегментных целевых аудиосигналов, полученных в результате сегментирования.
[60] На стадии S2040 определяется, несет ли каждый сегментный первоначальный сигнал частотной области из числа множества сегментных первоначальных сигналов частотной области главную частоту; если сегментный первоначальный сигнал частотной области несет главную частоту, то выполняется стадия S2050; а если сегментный первоначальный сигнал частотной области не несет главную частоту, то выполняется стадия S2060.
[61] В одном из вариантов осуществления настоящего изобретения сегментные первоначальные сигналы частотной области и сегментные целевые сигналы частотной области должны фильтроваться с последовательным использованием функций-окон для определения соответствующих областей формант. Следовательно, в этом варианте осуществления настоящего изобретения для повышения точности областей формант сигналов частотной области в разных сегментах до и после изменения высоты тона необходимо отфильтровать разные сигналы частотной области с использованием адаптивных функций-окон переменной длины. В данном случае функции-окна, соответственно используемые в отношении множества сигналов частотной области, могут быть определены на основании главных частот и длины сегментов разных сигналов частотной области. Следовательно, в этом варианте осуществления настоящего изобретения сначала должны быть детектированы главные частоты сегментных первоначальных сигналов частотной области. В данном случае определяется, несет ли каждый сегментный первоначальный сигнал частотной области из числа множества сегментных первоначальных сигналов частотной области главную частоту. В этом варианте осуществления настоящего изобретения для последующего анализа эффективности результата детектирования главной частоты результат определения того, несет ли текущий сегментный первоначальный сигнал частотной области главную частоту, может быть маркирован. Если текущий сегментный первоначальный сигнал частотной области несет главную частоту, то маркируется фактический результат по главной частоте. Если текущий сегментный первоначальный сигнал частотной области не несет главную частоту, то используется заданный флажок для маркировки текущего сегментного первоначального сигнала частотной области с тем, чтобы впоследствии можно было четко определить сегментный первоначальный сигнал частотной области, который не несет главную частоту.
[62] На стадии S2050 переносимая главная частота используется в качестве главной частоты каждого сегментного первоначального сигнала частотной области.
[63] В одном из вариантов осуществления настоящего изобретения
предусмотрено, что если текущий сегментный первоначальный сигнал частотной области несет главную частоту, то переносимая главная частота напрямую используется в качестве главной частоты текущего сегментного первоначального сигнала частотной области.
[64] На стадии S260 определяется главная частота каждого сегментного первоначального сигнала частотной области на основании главной частоты предыдущего сегментного первоначального сигнала частотной области относительно каждого сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области относительно каждого сегментного первоначального сигнала частотной области.
[65] В одном из вариантов осуществления настоящего изобретения детектирование главной частоты может не дать результата вследствие наличия сглаженной или слабой части сигнала в первоначальном аудиосигнале. Следовательно, после сегментирования и выполнения преобразования Фурье в отношении
первоначального аудиосигнала сегментный первоначальный сигнал частотной области, соответствующий сглаженной или слабой части сигнала, может не нести главную частоту. В этом варианте осуществления настоящего изобретения предусмотрено, что если текущий сегментный первоначальный сигнал частотной области не несет главную частоту, то для сглаживания результата детектирования главной частоты главная частота текущего сегментного первоначального сигнала частотной области определяется на основании главной частоты предыдущего сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области.
[66] В одном из вариантов осуществления настоящего изобретения определение
главной частоты каждого сегментного первоначального сигнала частотной области на основании главной частоты предыдущего сегментного первоначального сигнала
частотной области относительно каждого сегментного первоначального сигнала
частотной области и главной частоты последующего сегментного первоначального сигнала частотной области относительно каждого сегментного первоначального сигнала частотной области может предусматривать: вычисление - с использованием
интерполяционного алгоритма - главной частоты предыдущего сегментного первоначального сигнала частотной области относительно каждого сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области относительно каждого сегментного первоначального сигнала частотной области с целью получения главной частоты каждого сегментного первоначального сигнала частотной области.
[67] В одном из вариантов осуществления настоящего изобретения интерполяционный алгоритм может быть использован для вычисления главной частоты предыдущего сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области относительно текущего сегментного первоначального сигнала частотной области с целью получения главной частоты текущего сегментного первоначального сигнала частотной области.
[68] На стадии S2070 определяется главная частота каждого сегментного целевого сигнала частотной области на основании произведения главной частоты каждого сегментного первоначального сигнала частотной области и амплитуды изменения высоты тона.
[69] На стадии S2080 обеспечивается получение первоначальной длины окна, соответствующей каждому сегментному первоначальному сигналу частотной области, на основании главной частоты и длины сегмента каждого сегментного первоначального сигнала частотной области; и обеспечивается построение первоначальной сегментной функции-окна, соответствующей каждому сегментному первоначальному сигналу частотной области, на основании первоначальной длины окна и заданного типа окна, соответствующего каждому сегментному первоначальному сигналу частотной области.
[70] В этом варианте осуществления настоящего изобретения после получения главных частот множества сегментных первоначальных сигналов частотной области могут быть определены первоначальные значения длины используемых функций-окон в пределах множества сегментов на основании главных частот и значений длины сегментов множества сегментных первоначальных сигналов частотной области. Например, первоначальная длина окна может быть определена следующим образом: Ln_s=Pn*N/Fs, где величина Ln_s обозначает первоначальную длину окна; величина Pn обозначает главную частоту сегментного первоначального сигнала частотной области; величина N обозначает длину сегмента, т.е. количество точек дискретизации в пределах каждого сегмента; а величина Fs обозначает частоту дискретизации первоначального аудиосигнала, которая обычно составляет 48 кГ ц.
[71] В одном из вариантов осуществления настоящего изобретения заданные типы окон относятся к разным типам функций-окон, которые могут представлять собой треугольное окно, прямоугольное окно, окно Хеннинга или иное окно подобного рода, что не носит ограничительного характера в этом варианте осуществления настоящего изобретения. Множество первоначальных сегментных функций-окон, соответствующее множеству сегментных первоначальных сигналов частотной области, может быть построено на основании первоначальных значений длины окон и заданных типов окон, соответствующих множеству сегментных первоначальных сигналов частотной области, после чего обеспечивается фильтрация соответствующих сегментных первоначальных сигналов частотной области с использованием - соответствующим образом - множества первоначальных сегментных функций-окон.
[72] На стадии S2090 обеспечивается получение целевой длины окна,
соответствующей каждому сегментному целевому сигналу частотной области на основании главной частоты и длины сегмента сегментного целевого сигнала частотной области; и обеспечивается построение целевой сегментной функции-окна, соответствующей каждому сегментному целевому сигналу частотной области на
основании целевой длины окна и заданного типа окна, соответствующего каждому сегментному целевому сигналу частотной области.
[73] В этом варианте осуществления настоящего изобретения после получения главных частот множества сегментных целевых сигналов частотной области на основании главных частот множества сегментных первоначальных сигналов частотной области и амплитуды изменения высоты тона может быть определена целевая длина функции-окна, используемого в каждом сегменте, на основании главной частоты и длины сегмента каждого сегментного целевого сигнала частотной области. К примеру, целевая длина окна может быть определена следующим образом: Ln_s=Pn*Ratio*N/Fs, где величина Ln_s обозначает длину окна; величина Pn обозначает главную частоту сегментного первоначального сигнала частотной области; величина Ratio обозначает амплитуду изменения высоты тона; величина N обозначает длину сегмента, т.е. количество точек дискретизации в пределах каждого сегмента; а величина Fs обозначает частоту дискретизации исходного целевого аудиосигнала, которая обычно составляет 48 кГ ц.
[74] В одном из вариантов осуществления настоящего изобретения может быть обеспечено построение множества целевых сегментных функций-окон, соответствующих множеству сегментных целевых сигналов частотной области, на основании целевых значений длины окон и заданных типов окон, соответствующих множеству сегментных целевых сигналов частотной области, после чего выполняется фильтрация множества соответствующих сегментных целевых сигналов частотной области с использованием - соответствующим образом - множества целевых сегментных функций-окон.
[75] Стадии S2080 и S2090 не обязательно должны выполняться в строго заданном порядке, а они могут выполняться одновременно, что не носит ограничительного характера в этом варианте осуществления настоящего изобретения.
[76] На стадии S2100 обеспечивается получение множества первоначальных областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области на основании множества первоначальных сегментных функций-окон и получение множества целевых областей формант путем соответствующей фильтрации множества сегментных целевых сигналов частотной области на основании множества целевых сегментных функций-окон.
[77] На стадии S2110 определяется аудиосигнал с измененной высотой тона на основании множества сегментных целевых сигналов частотной области, множества первоначальных областей формант и множества целевых областей формант.
[78] Согласно техническому решению, реализованному в этом варианте осуществления настоящего изобретения, обеспечивается определение главных частот множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области; соответственно определяется множество соответствующих первоначальных значений длины окон во множестве сегментов на основании главных частот и значений длины окон множества сегментных первоначальных сигналов частотной области во множестве сегментов, и соответственно определяется множество соответствующих целевых значений длины окон во множестве сегментов на основании главных частот и значений длины окон множества сегментных целевых сигналов частотной области во множестве сегментов. Строятся адаптивные функции-окна переменной длины. Обеспечивается получение множества первоначальных областей формант и множества целевых областей формант путем фильтрации множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области. Таким образом, уменьшаются погрешности при получении областей формант до и после изменения высоты тона. Сообразно областям формант до и после изменения высоты тона устраняется влияние целевых областей формант на изменение высоты тона, так что аудиосигналы до и после изменения высоты тона характеризуются одинаковыми областями формант, что обеспечивает непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона, а также повышает звуковое качество аудиосигнала с измененной высотой тона.
[79] Третий вариант осуществления
[80] На фиг. 3 показана блок-схема, иллюстрирующая принцип процесса преобразования аудиосигнала согласно третьему варианту осуществления настоящего изобретения. Этот вариант осуществления настоящего изобретения описан в привязке к вариантам осуществления, раскрытым выше. Этот вариант осуществления описывает процесс выполнения сегментирования и преобразования Фурье в отношении аудиосигнала и процесс определения аудиосигнала с измененной высотой тона.
[81] Этот вариант осуществления настоящего изобретения может предусматривать выполнение стадий, описанных ниже.
[82] На стадии S310 обеспечивается получение первоначального аудиосигнала.
[83] На стадии S320 обеспечивается получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала.
[84] На стадии S330 обеспечивается получение множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала на основании заданной длины сегмента и смещения сегмента.
[85] В одном из вариантов осуществления настоящего изобретения во время сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала согласно этому варианту осуществления настоящего изобретения сначала должна была определена заданная длина сегмента и смещение сегмента, соответствующее текущему сегментированию. Заданная длина сегмента обозначает количество точек дискретизации, которые должны находиться в пределах каждого сегмента аудиосигнала, и обычно она составляет величину 2n. Например, заданная длина сегмента может быть равна 1024, 2048 и т.п. Смещение сегмента указывает на расстояние между начальными точками дискретизации соседних сегментов. Если заданная длина сегмента равна 1024, а смещение сегмента равно 512, то первый сегмент будет состоять из точек дискретизации 1-1024, а второй сегмент будет состоять из точек дискретизации 513-1536. В этом варианте осуществления настоящего изобретения получение множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов в пределах множества сегментов обеспечивается путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала на основании заданной длины сегмента и смещения сегмента.
[86] На стадии S340 обеспечивается получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем соответствующего выполнения преобразования Фурье в отношении множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов.
[87] В одном из вариантов осуществления настоящего изобретения предусмотрено, что после получения множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов может быть выполнено преобразование Фурье в отношении множества сегментных первоначальных аудиосигналов и множества сегментных целевых аудиосигналов в пределах множества сегментов с целью получения множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области, соответствующих множеству сегментов.
[88] На стадии S350 обеспечивается получение множества первоначальных областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области на основании множества первоначальных сегментных функций-окон, а также получение множества целевых областей формант путем соответствующей фильтрации множества сегментных целевых сигналов частотной области на основании множества целевых сегментных функций-окон, причем первоначальная сегментная функция-окно, соответствующая каждому сегментному первоначальному сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно, соответствующая каждому сегментному целевому сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного целевого сигнала частотной области.
[89] На стадии S360 определяется отношение изменения высоты тона,
соответствующее каждому сегментному целевому сигналу частотной области, на
основании первоначальной области формант и целевой области формант, соответствующей каждому сегментному целевому сигналу частотной области.
[90] В одном из вариантов осуществления настоящего изобретения
предусмотрено, что после получения первоначальной области формант, соответствующей каждому сегментному первоначальному сигналу частотной области, и целевой области формант, соответствующей каждому сегментному целевому сигналу частотной области, для единичного сегментного целевого сигнала частотной области может быть
предусмотрено сравнение друг с другом первоначальной области формант и целевой области формант в сегменте, соответствующем сегментному целевому сигналу частотной области, с целью определения отношения изменения высоты тона, соответствующего сегментному целевому сигналу частотной области, причем отношение изменения высоты тона отражает влияние целевой области формант с измененной высотой тона на характеристики голоса в процессе изменения высоты тона. Используя этот же способ, можно определить множество отношений изменения высоты тона, соответствующих множеству сегментных целевых сигналов частотной области.
[91] На стадии S370 определяется сегментный сигнал частотной области с измененной высотой тона, соответствующий каждому сегментному целевому сигналу частотной области, на основании каждого сегментного целевого сигнала частотной области и отношения изменения высоты тона, соответствующего каждому сегментному целевому сигналу частотной области.
[92] В этом варианте осуществления настоящего изобретения для устранения влияния целевой области формант на характеристики голоса в процессе изменения высоты тона сегментный целевой сигнал частотной области и отношение изменения высоты тона, соответствующее целевой области формант, могут быть помножены с целью получения сегментного сигнала частотной области с измененной высотой тона, соответствующего сегменту, за счет чего устраняется влияние изменения высоты тона. Сегментный сигнал частотной области с измененной высотой тона характеризуется такой же областью формант, что и сегментный первоначальный сигнал частотной области в пределах того же сегмента. Используя этот же способ, можно определить множество сегментных сигналов частотной области с измененной высотой тона, соответствующих множеству сегментов, за счет чего устраняется влияние изменения высоты тона. В этом варианте осуществления настоящего изобретения получение соответствующего сегментного сигнала частотной области с измененной высотой тона обеспечивается по следующей формуле: STFT_tn'=STFT_tn*Esn/Etn, где величина STFT_tn' обозначает сегментный сигнал частотной области с измененной высотой тона; величина STFT_tn обозначает сегментный целевой сигнал частотной области; величина Esn обозначает соответствующую первоначальную область формант в сегменте; а величина Etn обозначает соответствующую целевую область формант в сегменте.
[93] На стадии S380 обеспечивается получение сегментного аудиосигнала с измененной высотой тона, соответствующего каждому сегментному целевому сигналу частотной области, путем выполнения обратного преобразования Фурье в отношении сегментного сигнала частотной области с измененной высотой тона, соответствующего каждому сегментному целевому сигналу частотной области.
[94] В одном из вариантов осуществления настоящего изобретения предусмотрено, что после получения соответствующего сегментного сигнала частотной области с измененной высотой тона в пределах каждого сегмента может быть выполнено обратное преобразование Фурье в отношении соответствующего сегментного сигнала частотной области с измененной высотой тона в пределах каждого сегмента с целью получения сегментного аудиосигнала с измененной высотой тона в пределах каждого сегмента, после чего определяется итоговый аудиосигнал с измененной высотой тона на основании множества сегментных аудиосигналов с измененной высотой тона.
[95] На стадии S390 определяется аудиосигнал с измененной высотой тона на основании множества сегментных аудиосигналов с измененной высотой тона, заданной длины сегмента и смещения сегмента.
[96] В одном из вариантов осуществления настоящего изобретения после получения множества сегментных аудиосигналов с измененной высотой тона это множество сегментных аудиосигналов с измененной высотой тона может быть составлено на основании заданной длины окна и смещения сегмента во время сегментирования первоначального аудиосигнала с целью получения итогового аудиосигнала с измененной высотой тона, за счет чего влияние целевых областей формант на характеристики голоса в процессе изменения высоты тона было устранено. Аудиосигнал с измененной высотой тона характеризуется такими же областями формант, что и первоначальный аудиосигнал, что обеспечивает непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона.
[97] Согласно техническому решению, реализованному в этом варианте осуществления настоящего изобретения, для единичного сегментного целевого сигнала частотной области соответствующее отношение изменения высоты тона определяется на основании области формант до изменения высоты тона и области формант после изменения высоты тона, а соответствующий сегментный сигнал частотной области с измененной высотой тона определяется на основании сегментного целевого сигнала частотной области в пределах сегмента и отношения изменения высоты тона, что устраняет влияние области формант в пределах сегмента на изменение высоты тона. Таким образом, обеспечивается получение множества сегментных сигналов частотной области с измененной высотой тона, за счет которых устраняется влияние областей формант, в пределах множества сегментов, а также обеспечивается получение множества сегментных аудиосигналов с измененной частотой тона с использованием обратного преобразования Фурье. Соответствующий аудиосигнал с измененной высотой тона образуется множеством сегментных аудиосигналов с измененной высотой тона, что обеспечивает непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона и повышает звуковое качество аудиосигнала с измененной высотой тона.
[98] Четвертый вариант осуществления
[99] На фиг. 4 показана структурная схема устройства для преобразования аудиосигнала согласно четвертому варианту осуществления настоящего изобретения. Как показано на фиг. 4, это устройство может включать в себя: модуль 410 сегментации и преобразования, выполненный с возможностью получения множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала, и выполнения преобразования Фурье в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества сегментных целевых аудиосигналов, полученных в результате сегментирования; модуль 420 определения областей формант, выполненный с возможностью получения множества первоначальных областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области на основании множества первоначальных сегментных функций-окон и получения множества целевых областей формант путем соответствующей фильтрации множества сегментных целевых сигналов частотной области на основании множества целевых сегментных функций-окон, причем первоначальная сегментная функция-окно, соответствующая каждому сегментному первоначальному сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно, соответствующая каждому сегментному целевому сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного целевого сигнала частотной области; и модуль 430 определения аудиосигнала с измененной высотой тона, выполненный с возможностью определения аудиосигнала с измененной высотой тона на основании множества сегментных целевых сигналов частотной области, множества первоначальных областей формант и множества целевых областей формант.
[100] Согласно техническому решению, реализованному в этом варианте осуществления настоящего изобретения, обеспечивается получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала, и выполнение преобразования Фурье в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества целевых аудиосигналов, полученных в результате сегментирования. На основании главных частот и длины сегментов множества сегментных первоначальных сигналов частотной области определяется множество первоначальных сегментных функций-окон, а на основании главных частот и длины сегментов множества сегментных целевых сигналов частотной области определяется множество целевых сегментных функций-окон. Разные сегменты сигналов могут соответствовать разным сегментным функциям-окнам. Затем обеспечивается получение множества первоначальных областей формант и множества целевых областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области на основании множества первоначальных сегментных функций-окон и множества целевых сегментных функций-окон. Таким образом, уменьшаются погрешности при получении областей формант до и после изменения высоты тона. Затем определяется итоговый аудиосигнал с измененной высотой тона на основании множества сегментных целевых сигналов частотной области и множества областей формант до и после изменения высоты тона. При этом устраняется влияние целевых областей формант на изменение высоты тона, благодаря чему аудиосигналы до и после изменения высоты тона характеризуются одинаковыми областями формант, что обеспечивает непротиворечивость характеристик голоса в аудиосигналах до и после изменения высоты тона, а также повышает звуковое качество аудиосигнала с измененной высотой тона.
[101] Пятый вариант осуществления
[102] На фиг. 5 показана структурная схема устройства согласно пятому варианту осуществления настоящего изобретения. Как показано на фиг. 5, это устройство включает в себя процессор 50, запоминающее устройство 51 и устройство 52 связи.
[103] Запоминающее устройство 51, представленное в виде машиночитаемого носителя данных, может быть выполнено с возможностью хранения программных продуктов, исполняемых компьютером программ и модулей, таких как программные команды/модули, соответствующие способу преобразования аудиосигнала, описанному согласно любом из вариантов осуществления настоящего изобретения. Процессор 50 приводит в исполнение программные продукты, команды и модули, хранящиеся в запоминающем устройстве 51, с целью выполнения различных функциональных приложений устройства и обработки данных, т.е. для реализации способа преобразования аудиосигнала, описанного выше.
[104] Шестой вариант осуществления
[105] Этим вариантом осуществления настоящего изобретения дополнительно предложен энергонезависимый машиночитаемый носитель данных, в котором хранится компьютерная программа; при этом компьютерная программа при ее выполнении процессором может реализовать способ преобразования аудиосигнала согласно любому из вариантов осуществления настоящего изобретения. Этот способ может, в частности, предусматривать: получение множества сегментных первоначальных сигналов частотной области и множества сегментных целевых сигналов частотной области путем сегментирования первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала, и выполнение преобразования Фурье в отношении множества сегментных первоначальных аудиосигналов, полученных в результате сегментирования, и множества сегментных целевых аудиосигналов, полученных в результате сегментирования; получение множества первоначальных областей формант путем соответствующей фильтрации множества сегментных первоначальных сигналов частотной области на основании множества первоначальных сегментных функций-окон и получение множества целевых областей формант путем соответствующей фильтрации множества сегментных целевых сигналов частотной области на основании множества целевых сегментных функций-окон, причем первоначальная сегментная функция-окно, соответствующая каждому сегментному первоначальному сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно, соответствующая каждому сегментному целевому сигналу частотной области, определяется на основании главной частоты и длины сегмента каждого сегментного целевого сигнала частотной области; и определение аудиосигнала с измененной высотой тона на основании множества сегментных целевых сигналов частотной области, множества первоначальных областей формант и множества целевых областей формант.
Claims (38)
1. Способ преобразования аудиосигнала, предусматривающий:
получение сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области путем соответственного сегментирования и выполнения преобразования Фурье в отношении первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала;
получение соответствующих первоначальных областей формант путем фильтрации сегментных первоначальных сигналов частотной области на основании первоначальной сегментной функции-окна и получение соответствующей целевой области формант путем фильтрации сегментного целевого сигнала частотной области на основании целевой сегментной функции-окна, причем первоначальная сегментная функция-окно определяется на основании главной частоты и отношения сегментов сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно определяется на основании главной частоты и отношения сегментов сегментного целевого сигнала частотной области; и
определение аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и соотношения первоначальных областей формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области;
при этом изменение высоты тона исходного целевого аудиосигнала состоит в регулировке высоты тона аудио, и изменение высоты тона аудиосигнала с измененной высотой тона обеспечивает непротиворечивость характеристик голоса в аудиосигнале до и после изменения высоты тона.
2. Способ по п. 1, дополнительно предусматривающий:
получение амплитуды изменения высоты тона; и
получение исходного целевого аудиосигнала путем изменения высоты тона первоначального аудиосигнала на основании амплитуды изменения высоты тона.
3. Способ по п. 2, в котором главная частота сегментного целевого сигнала частотной области является произведением главной частоты сегментного первоначального сигнала частотной области, и амплитуды изменения высоты тона.
4. Способ по п. 1, отличающийся тем, что перед фильтрацией сегментного первоначального сигнала частотной области на основании первоначальной сегментной функции-окна этот способ дополнительно предусматривает:
использование переносимой главной частоты в качестве главной частоты текущего сегментного первоначального сигнала частотной области, если текущий сегментный первоначальный сигнал частотной области несет главную частоту; и
если текущий сегментный первоначальный сигнал частотной области не несет главную частоту, определение главной частоты текущего сегментного первоначального сигнала частотной области на основании главной частоты предыдущего сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области.
5. Способ по п. 4, в котором определение главной частоты текущего сегментного первоначального сигнала частотной области на основании главной частоты предыдущего сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области предусматривает:
вычисление – с использованием интерполяционного алгоритма – главной частоты предыдущего сегментного первоначального сигнала частотной области и главной частоты последующего сегментного первоначального сигнала частотной области с целью получения главной частоты текущего сегментного первоначального сигнала частотной области.
6. Способ по п. 1, отличающийся тем, что перед получением соответствующей первоначальной области формант путем фильтрации сегментного первоначального сигнала частотной области на основании первоначальной сегментной функции-окна этот способ дополнительно предусматривает:
получение соответствующей первоначальной длины окна на основании главной частоты и отношения сегментов сегментного первоначального сигнала частотной области; и
построение соответствующей первоначальной сегментной функции-окна на основании первоначальной длины окна и заданного типа окна.
7. Способ по п. 1, отличающийся тем, что перед получением соответствующей целевой области формант путем фильтрации сегментного целевого сигнала частотной области на основании целевой сегментной функции-окна этот способ дополнительно предусматривает:
получение соответствующей целевой длины окна на основании главной частоты и длины сегмента сегментного целевого сигнала частотной области; и
построение соответствующей целевой сегментной функции-окна на основании целевой длины окна и заданного типа окна.
8. Способ по п. 1, в котором получение сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области путем соответственного сегментирования и выполнения преобразования Фурье в отношении первоначального аудиосигнала и исходного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала, предусматривает:
получение сегментного первоначального аудиосигнала и сегментного целевого аудиосигнала путем сегментирования – на основании заданной длины сегмента и смещения сегмента – первоначального аудиосигнала и исходного целевого аудиосигнала; и
получение сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области путем выполнения преобразования Фурье в отношении сегментного первоначального аудиосигнала и сегментного целевого аудиосигнала.
9. Способ по п. 8, в котором определение аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и соотношения первоначальной области формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области, предусматривает:
определение – для единичного сегментного целевого сигнала частотной области – отношения изменения высоты тона, соответствующего сегментному целевому сигналу частотной области, на основании соответствующей первоначальной области формант и целевой области формант;
определение соответствующего сегментного сигнала частотной области с измененной высотой тона на основании сегментного целевого сигнала частотной области и отношения изменения высоты тона;
определение сегментного аудиосигнала с измененной высотой тона путем выполнения обратного преобразования Фурье в отношении сегментного сигнала частотной области с измененной высотой тона; и
определение аудиосигнала с измененной высотой тона на основании каждого сегментного аудиосигнала с измененной высотой тона, заданной длины сегмента и смещения сегмента.
10. Устройство для преобразования аудиосигнала, включающее в себя:
модуль сегментации и преобразования, выполненный с возможностью получения сегментного первоначального сигнала частотной области и сегментного целевого сигнала частотной области путем соответственного сегментирования и выполнения преобразования Фурье в отношении первоначального аудиосигнала и сегментного целевого аудиосигнала, полученного при изменении высоты тона первоначального аудиосигнала;
модуль определения областей формант, выполненный с возможностью получения соответствующей первоначальной области формант путем фильтрации сегментного первоначального сигнала частотной области на основании первоначальной сегментной функции-окна и получения соответствующей целевой области формант путем фильтрации множества сегментных целевых сигналов частотной области на основании целевой сегментной функции-окна, причем первоначальная сегментная функция-окно определяется на основании главной частоты и длины сегмента сегментного первоначального сигнала частотной области, а целевая сегментная функция-окно определяется на основании главной частоты и длины сегмента сегментного целевого сигнала частотной области; и
модуль определения аудиосигнала с измененной высотой тона, выполненный с возможностью определения аудиосигнала с измененной высотой тона на основании сегментного целевого сигнала частотной области и соотношения первоначальных областей формант и целевой области формант, соответствующей сегментному целевому сигналу частотной области;
при этом изменение высоты тона исходного целевого аудиосигнала состоит в регулировке высоты тона аудио, и изменение высоты тона аудиосигнала с измененной высотой тона обеспечивает непротиворечивость характеристик голоса в аудиосигнале до и после изменения высоты тона.
11. Электронное устройство для преобразования аудиосигнала, содержащее:
один или несколько процессоров; и
запоминающее устройство, выполненное с возможностью хранения одной или нескольких программ;
причем при выполнении одной или нескольких программ одним или несколькими процессорами инициируется реализация одним или несколькими процессорами способа преобразования аудиосигнала по любому из предшествующих пп. 1-9.
12. Машиночитаемый носитель данных, в котором хранится компьютерная программа; при этом компьютерная программа при ее выполнении процессором инициирует реализацию этим процессором способа преобразования аудиосигнала по любому из предшествующих пп. 1-9.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811628761.6A CN111383646B (zh) | 2018-12-28 | 2018-12-28 | 一种语音信号变换方法、装置、设备和存储介质 |
CN201811628761.6 | 2018-12-28 | ||
PCT/CN2019/121838 WO2020134851A1 (zh) | 2018-12-28 | 2019-11-29 | 语音信号变换方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2770747C1 true RU2770747C1 (ru) | 2022-04-21 |
Family
ID=71126923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2021119297A RU2770747C1 (ru) | 2018-12-28 | 2019-11-29 | Способ преобразования аудиосигнала, устройство и носитель данных |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220051685A1 (ru) |
EP (1) | EP3905243A4 (ru) |
CN (1) | CN111383646B (ru) |
RU (1) | RU2770747C1 (ru) |
SG (1) | SG11202106539QA (ru) |
WO (1) | WO2020134851A1 (ru) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112289330A (zh) * | 2020-08-26 | 2021-01-29 | 北京字节跳动网络技术有限公司 | 一种音频处理方法、装置、设备及存储介质 |
CN112908351A (zh) * | 2021-01-21 | 2021-06-04 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频变调方法、装置、设备及存储介质 |
CN112887480B (zh) * | 2021-01-22 | 2022-07-29 | 维沃移动通信有限公司 | 音频信号处理方法、装置、电子设备和可读存储介质 |
CN113129922B (zh) * | 2021-04-21 | 2022-11-08 | 维沃移动通信有限公司 | 语音信号的处理方法和装置 |
CN113241082B (zh) * | 2021-04-22 | 2024-02-20 | 杭州网易智企科技有限公司 | 变声方法、装置、设备和介质 |
CN114295577B (zh) * | 2022-01-04 | 2024-04-09 | 太赫兹科技应用(广东)有限公司 | 一种太赫兹检测信号的处理方法、装置、设备和介质 |
CN116761128B (zh) * | 2023-08-23 | 2023-11-24 | 深圳市中翔达润电子有限公司 | 一种运动蓝牙耳机声音泄漏检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070010999A1 (en) * | 2005-05-27 | 2007-01-11 | David Klein | Systems and methods for audio signal analysis and modification |
US20090228288A1 (en) * | 1998-11-16 | 2009-09-10 | Victor Company Of Japan, Ltd. | Audio signal processing apparatus |
US20100292994A1 (en) * | 2007-12-18 | 2010-11-18 | Lee Hyun Kook | method and an apparatus for processing an audio signal |
RU2456682C2 (ru) * | 2008-01-04 | 2012-07-20 | Долби Интернэшнл Аб | Аудиокодер и декодер |
RU2668397C2 (ru) * | 2014-07-28 | 2018-09-28 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Кодер и декодер аудиосигнала, использующие процессор частотной области, процессор временной области и кросспроцессор для непрерывной инициализации |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3265962B2 (ja) * | 1995-12-28 | 2002-03-18 | 日本ビクター株式会社 | 音程変換装置 |
US6336092B1 (en) * | 1997-04-28 | 2002-01-01 | Ivl Technologies Ltd | Targeted vocal transformation |
CN100440314C (zh) * | 2004-07-06 | 2008-12-03 | 中国科学院自动化研究所 | 基于语音分析与合成的高品质实时变声方法 |
ATE515021T1 (de) * | 2004-10-27 | 2011-07-15 | Yamaha Corp | Tonhöhenumsetzungsvorrichtung |
CN101354889B (zh) * | 2008-09-18 | 2012-01-11 | 北京中星微电子有限公司 | 一种语音变调方法及装置 |
CN101527141B (zh) * | 2009-03-10 | 2011-06-22 | 苏州大学 | 基于径向基神经网络的耳语音转换为正常语音的方法 |
CN102592590B (zh) * | 2012-02-21 | 2014-07-02 | 华南理工大学 | 一种可任意调节的语音自然变声方法及装置 |
US9240193B2 (en) * | 2013-01-21 | 2016-01-19 | Cochlear Limited | Modulation of speech signals |
US9728182B2 (en) * | 2013-03-15 | 2017-08-08 | Setem Technologies, Inc. | Method and system for generating advanced feature discrimination vectors for use in speech recognition |
US9583116B1 (en) * | 2014-07-21 | 2017-02-28 | Superpowered Inc. | High-efficiency digital signal processing of streaming media |
CN105304092A (zh) * | 2015-09-18 | 2016-02-03 | 深圳市海派通讯科技有限公司 | 一种基于智能终端的实时变声方法 |
US9947341B1 (en) * | 2016-01-19 | 2018-04-17 | Interviewing.io, Inc. | Real-time voice masking in a computer network |
CN106057208B (zh) * | 2016-06-14 | 2019-11-15 | 科大讯飞股份有限公司 | 一种音频修正方法及装置 |
CN106228973A (zh) * | 2016-07-21 | 2016-12-14 | 福州大学 | 稳定音色的音乐语音变调方法 |
CN108988822A (zh) * | 2018-08-24 | 2018-12-11 | 广东石油化工学院 | 一种非平稳非高斯噪声的滤除方法及*** |
-
2018
- 2018-12-28 CN CN201811628761.6A patent/CN111383646B/zh active Active
-
2019
- 2019-11-29 US US17/416,709 patent/US20220051685A1/en active Pending
- 2019-11-29 SG SG11202106539QA patent/SG11202106539QA/en unknown
- 2019-11-29 RU RU2021119297A patent/RU2770747C1/ru active
- 2019-11-29 WO PCT/CN2019/121838 patent/WO2020134851A1/zh unknown
- 2019-11-29 EP EP19902578.4A patent/EP3905243A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228288A1 (en) * | 1998-11-16 | 2009-09-10 | Victor Company Of Japan, Ltd. | Audio signal processing apparatus |
US20070010999A1 (en) * | 2005-05-27 | 2007-01-11 | David Klein | Systems and methods for audio signal analysis and modification |
US20100292994A1 (en) * | 2007-12-18 | 2010-11-18 | Lee Hyun Kook | method and an apparatus for processing an audio signal |
RU2456682C2 (ru) * | 2008-01-04 | 2012-07-20 | Долби Интернэшнл Аб | Аудиокодер и декодер |
RU2668397C2 (ru) * | 2014-07-28 | 2018-09-28 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Кодер и декодер аудиосигнала, использующие процессор частотной области, процессор временной области и кросспроцессор для непрерывной инициализации |
Also Published As
Publication number | Publication date |
---|---|
EP3905243A1 (en) | 2021-11-03 |
WO2020134851A1 (zh) | 2020-07-02 |
SG11202106539QA (en) | 2021-07-29 |
CN111383646A (zh) | 2020-07-07 |
CN111383646B (zh) | 2020-12-08 |
EP3905243A4 (en) | 2022-02-23 |
US20220051685A1 (en) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2770747C1 (ru) | Способ преобразования аудиосигнала, устройство и носитель данных | |
Su et al. | Combining spectral and temporal representations for multipitch estimation of polyphonic music | |
CN111128213B (zh) | 一种分频段进行处理的噪声抑制方法及其*** | |
CN109767783A (zh) | 语音增强方法、装置、设备及存储介质 | |
CN110265064B (zh) | 音频爆音检测方法、装置和存储介质 | |
BE1010336A3 (fr) | Procede de synthese de son. | |
Ding et al. | A DCT-based speech enhancement system with pitch synchronous analysis | |
CN111739544B (zh) | 语音处理方法、装置、电子设备及存储介质 | |
CN108269579B (zh) | 语音数据处理方法、装置、电子设备及可读存储介质 | |
CN108847253A (zh) | 车辆型号识别方法、装置、计算机设备及存储介质 | |
CN111667803B (zh) | 一种音频处理方法及相关产品 | |
CN112599148A (zh) | 一种语音识别方法及装置 | |
CN109410971B (zh) | 一种美化声音的方法和装置 | |
Chen et al. | Time domain speech enhancement with attentive multi-scale approach | |
CN109741761B (zh) | 声音处理方法和装置 | |
CN111489739A (zh) | 音素识别方法、装置及计算机可读存储介质 | |
CN114302301B (zh) | 频响校正方法及相关产品 | |
JP3901475B2 (ja) | 信号結合装置、信号結合方法及びプログラム | |
Kawahara et al. | Analysis and synthesis of strong vocal expressions: Extension and application of audio texture features to singing voice | |
JP2002175099A (ja) | 雑音抑制方法および雑音抑制装置 | |
CN109697985B (zh) | 语音信号处理方法、装置及终端 | |
CN112885380B (zh) | 一种清浊音检测方法、装置、设备及介质 | |
US11462231B1 (en) | Spectral smoothing method for noise reduction | |
CN115206345B (zh) | 基于时频结合的音乐人声分离方法、装置、设备及介质 | |
He et al. | An algorithm with smooth filtering based on LPC |