JP6654404B2 - 音声補正方法、音声補正プログラム、音声補正装置および音声補正システム - Google Patents
音声補正方法、音声補正プログラム、音声補正装置および音声補正システム Download PDFInfo
- Publication number
- JP6654404B2 JP6654404B2 JP2015216943A JP2015216943A JP6654404B2 JP 6654404 B2 JP6654404 B2 JP 6654404B2 JP 2015216943 A JP2015216943 A JP 2015216943A JP 2015216943 A JP2015216943 A JP 2015216943A JP 6654404 B2 JP6654404 B2 JP 6654404B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- frequency
- level
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
変形例1では、音声補正装置100は、目標音声では歌唱がある一方で、ユーザー音声では歌唱がない区間(以下では、「ユーザー無音区間」と呼ぶ)を特定する。そして、音声補正装置100は、ユーザー無音区間にデータを補完するか否かを判断する。以下では、ユーザー無音区間にデータを補完する方法を、音声補完方法と呼ぶ。変形例1は、上記実施形態の作用を前提とする。
(変形例2)
上記実施形態においては、音声補正装置100単体により、ユーザー音声の録音や、音声補正処理を実行している。変形例2では、複数の装置を含む音声補正システムにより、ユーザー音声の録音や、音声の補正を実行する。
110 CPU、
111 伴奏データ再生部、
112 音声データ録音部、
113 周波数特定部、
114 レベル特定部、
115 基準レベル計算部、
116 最大補正量受付部、
117 周波数補正部、
118 レベル補正部、
119 補正データ出力部、
120 メモリー、
130 ハードディスク、
140 通信I/F部、
150 表示部、
160 操作部、
170 音声入力部、
180 音声出力部、
190 バス、
200 音声補正システム、
210 PC(ユーザー端末)、
220 携帯端末(ユーザー端末)、
230 サーバー装置、
240 ネットワーク。
Claims (18)
- ユーザーが歌唱して得られる音声を補正する音声補正方法であって、
前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定ステップと、
前記周波数特定ステップにおいて特定された前記目標音声の周波数および前記ユーザー音声の周波数を、歌唱の同一タイミングにおいて比較して、前記目標音声の周波数および前記ユーザー音声の周波数の差分が所定の最大補正量以下である場合、前記ユーザー音声の周波数を前記目標音声の周波数に合わせるように前記ユーザー音声データを補正し、前記目標音声の周波数および前記ユーザー音声の周波数の差分が前記最大補正量を超える場合、前記ユーザー音声の周波数を前記最大補正量の分だけ前記目標音声の周波数に近づけるように前記ユーザー音声データを補正する周波数補正ステップと、
前記周波数補正ステップにおいて補正された前記ユーザー音声データを出力する補正データ出力ステップと、
含む音声補正方法。 - 前記所定の最大補正量の入力を前記ユーザーから受け付ける最大補正量受付ステップをさらに含む請求項1に記載の音声補正方法。
- 前記最大補正量受付ステップにおいては、複数の最大補正量の候補から一つを選択させることによって、前記所定の最大補正量の入力を受け付ける請求項2に記載の音声補正方法。
- 前記周波数補正ステップにおいては、
前記目標音声の基本周波数および前記ユーザー音声の基本周波数を比較して、前記ユーザー音声の基本周波数を前記目標音声の基本周波数に合わせるように、前記ユーザー音声データを補正し、
前記ユーザー音声の基本周波数を変更した比率と同一の比率で、前記ユーザー音声の基本周波数以外の周波数を変更するように、前記ユーザー音声データをさらに補正する請求項1〜3のいずれか一項に記載の音声補正方法。 - 前記目標音声データから、時間遷移する前記目標音声のレベルを特定し、前記ユーザー音声データから、時間遷移する前記ユーザー音声のレベルを特定するレベル特定ステップと、
前記目標音声のレベルの一部または全部を用いて、前記目標音声のレベルの基準となる目標基準レベルを計算し、前記ユーザー音声のレベルの一部または全部を用いて、前記ユーザー音声のレベルの基準となるユーザー基準レベルを計算する基準レベル計算ステップと、
前記目標基準レベルに対する前記ユーザー基準レベルの比率を、前記目標音声のレベルに乗算して得られるレベルに、前記ユーザー音声のレベルを合わせるように、前記ユーザー音声データを補正するレベル補正ステップと、
をさらに含み、
前記補正データ出力ステップにおいて、前記周波数補正ステップおよび前記レベル補正ステップにおいて補正された前記ユーザー音声データを出力する請求項1〜4のいずれか一項に記載の音声補正方法。 - 前記レベル特定ステップにおいて特定された前記目標音声のレベルおよび前記ユーザー音声のレベルに基づいて、前記目標音声のレベルが所定の最小レベル以上である一方で、前記ユーザー音声のレベルが所定の最小レベル未満であるユーザー無音区間を特定し、当該ユーザー無音区間において、前記ユーザー無音区間の直前の所定の区間のデータを繰り返すように、前記ユーザー音声データを補完するデータ補完ステップをさらに含む請求項5に記載の音声補正方法。
- 前記ユーザーに伴奏音を提供するために、前記目標音声データと共に楽曲データに含まれる、伴奏データを再生する伴奏データ再生ステップをさらに含み、
前記補正データ出力ステップにおいて、前記補正されたユーザー音声データを、前記伴奏データと組み合わせて出力する請求項1〜6のいずれか一項に記載の音声補正方法。 - 前記補正データ出力ステップにおける出力は、前記補正されたユーザー音声データの保存または再生、あるいは保存および再生である請求項1〜7のいずれか一項に記載の音声補正方法。
- 請求項1〜8に記載の音声補正方法をコンピューターに実行させるための音声補正プログラム。
- ユーザーが歌唱して得られる音声を補正する音声補正装置であって、
前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定部と、
前記周波数特定部によって特定された前記目標音声の周波数および前記ユーザー音声の周波数を、歌唱の同一タイミングにおいて比較して、前記目標音声の周波数および前記ユーザー音声の周波数の差分が所定の最大補正量以下である場合、前記ユーザー音声の周波数を前記目標音声の周波数に合わせるように前記ユーザー音声データを補正し、前記目標音声の周波数および前記ユーザー音声の周波数の差分が前記最大補正量を超える場合、前記ユーザー音声の周波数を前記最大補正量の分だけ前記目標音声の周波数に近づけるように前記ユーザー音声データを補正する周波数補正部と、
前記周波数補正部によって補正された前記ユーザー音声データを出力する補正データ出力部と、
を有する音声補正装置。 - 前記所定の最大補正量の入力を前記ユーザーから受け付ける最大補正量受付部をさらに有する請求項10に記載の音声補正装置。
- 前記最大補正量受付部は、複数の最大補正量の候補から一つを選択させることによって、前記所定の最大補正量の入力を受け付ける請求項11に記載の音声補正装置。
- 前記周波数補正部は、
前記目標音声の基本周波数および前記ユーザー音声の基本周波数を比較して、前記ユーザー音声の基本周波数を前記目標音声の基本周波数に合わせるように、前記ユーザー音声データを補正し、
前記ユーザー音声の基本周波数を変更した比率と同一の比率で、前記ユーザー音声の基本周波数以外の周波数を変更するように、前記ユーザー音声データをさらに補正する請求項10〜12のいずれか一項に記載の音声補正装置。 - 前記目標音声データから、時間遷移する前記目標音声のレベルを特定し、前記ユーザー音声データから、時間遷移する前記ユーザー音声のレベルを特定するレベル特定部と、
前記目標音声のレベルの一部または全部を用いて、前記目標音声のレベルの基準となる目標基準レベルを計算し、前記ユーザー音声のレベルの一部または全部を用いて、前記ユーザー音声のレベルの基準となるユーザー基準レベルを計算する基準レベル計算部と、
前記目標基準レベルに対する前記ユーザー基準レベルの比率を、前記目標音声のレベルに乗算して得られるレベルに、前記ユーザー音声のレベルを合わせるように、前記ユーザー音声データを補正するレベル補正部と、
をさらに有し、
前記補正データ出力部は、前記周波数補正部および前記レベル補正部によって補正された前記ユーザー音声データを出力する請求項10〜13のいずれか一項に記載の音声補正装置。 - 前記レベル特定部によって特定された前記目標音声のレベルおよび前記ユーザー音声のレベルに基づいて、前記目標音声のレベルが所定の最小レベル以上である一方で、前記ユーザー音声のレベルが所定の最小レベル未満であるユーザー無音区間を特定し、当該ユーザー無音区間において、前記ユーザー無音区間の直前の所定の区間のデータを繰り返すように、前記ユーザー音声データを補完するデータ補完部をさらに有する請求項14に記載の音声補正装置。
- 前記ユーザーに伴奏音を提供するために、前記目標音声データと共に楽曲データに含まれる、伴奏データを再生する伴奏データ再生部をさらに有し、
前記補正データ出力部は、前記補正されたユーザー音声データを、前記伴奏データと組み合わせて出力する請求項10〜15のいずれか一項に記載の音声補正装置。 - 前記補正データ出力部による出力は、前記補正されたユーザー音声データの保存または再生、あるいは保存および再生である請求項10〜16のいずれか一項に記載の音声補正装置。
- ユーザーの音声であるユーザー音声からユーザー音声データを生成し、当該ユーザー音声データを、ネットワークを介して送信するユーザー端末と、
前記ユーザー音声データを前記ユーザー端末から受信し、前記ユーザー音声データを、前記ユーザーが目標とする目標音声を表す目標音声データと比較して、前記ユーザー音声データを補正する請求項10〜16のいずれか一項に記載の音声補正装置として機能するサーバー装置と、
を有し、
前記ユーザー端末は、前記補正されたユーザー音声データを前記サーバー装置から受信し、当該補正されたユーザー音声データを保存または再生、あるいは保存および再生する音声補正システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216943A JP6654404B2 (ja) | 2015-11-04 | 2015-11-04 | 音声補正方法、音声補正プログラム、音声補正装置および音声補正システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216943A JP6654404B2 (ja) | 2015-11-04 | 2015-11-04 | 音声補正方法、音声補正プログラム、音声補正装置および音声補正システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017090546A JP2017090546A (ja) | 2017-05-25 |
JP6654404B2 true JP6654404B2 (ja) | 2020-02-26 |
Family
ID=58770508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015216943A Active JP6654404B2 (ja) | 2015-11-04 | 2015-11-04 | 音声補正方法、音声補正プログラム、音声補正装置および音声補正システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6654404B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966687A (en) * | 1996-12-30 | 1999-10-12 | C-Cube Microsystems, Inc. | Vocal pitch corrector |
JP3843199B2 (ja) * | 2000-02-25 | 2006-11-08 | ヤマハ株式会社 | 音の時間伸長装置、方法、および音の時間伸長プログラムを記録した記録媒体 |
JP3597156B2 (ja) * | 2001-07-25 | 2004-12-02 | 株式会社第一興商 | ピッチシフター付きカラオケ装置 |
JP5087292B2 (ja) * | 2007-02-20 | 2012-12-05 | 株式会社カプコン | ゲームプログラムおよびゲームシステム |
JP2013195481A (ja) * | 2012-03-16 | 2013-09-30 | Panasonic Corp | 音声制御装置 |
JP2015034923A (ja) * | 2013-08-09 | 2015-02-19 | ヤマハ株式会社 | 音高補正装置 |
-
2015
- 2015-11-04 JP JP2015216943A patent/JP6654404B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017090546A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10790919B1 (en) | Personalized real-time audio generation based on user physiological response | |
CN105632508B (zh) | 音频处理方法及音频处理装置 | |
US8253006B2 (en) | Method and apparatus to automatically match keys between music being reproduced and music being performed and audio reproduction system employing the same | |
JP6201460B2 (ja) | ミキシング管理装置 | |
JP4375810B1 (ja) | カラオケホスト装置及びプログラム | |
JP4237768B2 (ja) | 音声処理装置、音声処理プログラム | |
CN113035164A (zh) | 歌声生成方法和装置、电子设备及存储介质 | |
JP6102076B2 (ja) | 評価装置 | |
JP6654404B2 (ja) | 音声補正方法、音声補正プログラム、音声補正装置および音声補正システム | |
JP7194559B2 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2017027070A (ja) | 評価装置及びプログラム | |
CN112992110B (zh) | 音频处理方法、装置、计算设备以及介质 | |
JP7419768B2 (ja) | 楽曲生成方法および楽曲生成システム | |
JP2011215292A (ja) | 歌唱判定装置およびカラオケ装置 | |
JP6690165B2 (ja) | 出力制御装置、電子楽器、出力制御方法及びプログラム | |
JP6781636B2 (ja) | 情報出力装置及び情報出力方法 | |
JP2015225302A (ja) | カラオケ装置 | |
JP6236807B2 (ja) | 歌唱音声評価装置および歌唱音声評価システム | |
JP6650248B2 (ja) | 歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システム | |
JP5703555B2 (ja) | 楽音信号処理装置及びプログラム | |
JP5731661B2 (ja) | 記録装置、記録方法、及び記録制御用のコンピュータプログラム、並びに再生装置、再生方法、及び再生制御用のコンピュータプログラム | |
JP4168391B2 (ja) | カラオケ装置、音声処理方法及びプログラム | |
JP2018072698A (ja) | 信号処理方法、および信号処理装置 | |
JP2017032603A (ja) | 楽音信号変換装置および楽音信号変換プログラム | |
KR101060546B1 (ko) | 사용자의 청력에 맞게 오디오 재생파일을 변환하는 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6654404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |