JP2001056696A - 音声蓄積再生方法および音声蓄積再生装置 - Google Patents
音声蓄積再生方法および音声蓄積再生装置Info
- Publication number
- JP2001056696A JP2001056696A JP11230972A JP23097299A JP2001056696A JP 2001056696 A JP2001056696 A JP 2001056696A JP 11230972 A JP11230972 A JP 11230972A JP 23097299 A JP23097299 A JP 23097299A JP 2001056696 A JP2001056696 A JP 2001056696A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- speech
- speed
- input
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
おいて,話頭切断による会話の不明瞭さを防止するとと
もに,音声遅延による会話の不自然さを防止することを
目的とする。 【解決手段】 入力された音声をリングバッファ2に蓄
積し,音声検出部1によって音声区間が検出されたと
き,話速変換器5は,話速制御部4の制御のもとに,あ
る時間さかのぼった時点の蓄積された音声から再生を開
始し,蓄積された音声のうち話頭部分を速く再生し,入
力音声に追いついたところで等速度再生するように話速
を変換する。
Description
等において,自然な通話の実現を可能とした音声蓄積再
生方法および音声蓄積再生装置に関する。
上で行うときなど効率的に音声を伝送するために,いわ
ゆるボイス(音声)スイッチを用い,音声を送るときに
は音声回線を開いて音声を送り,無音時には音声回線を
閉じて他のユーザが音声を送信できるようにしたり,他
のデータを送受できるようにしたシステムがある。この
システムでは,送信側において,音声パワー計測によっ
て音声パワーがある閾値を越えたときに,語頭と判断し
て音声回線を開くようにしたり,音素認識技術を用いる
ことにより語頭検出精度を高め,語頭(話頭)切断を防
止していた。
は,語頭における音声パワーは背景雑音に対し小さく,
また,音声認識率も低くなることから,語頭検出誤りに
よる欠落が生じやすくなり,音声通話は非常に不自然か
つ不明瞭になり易いという問題点があった。
声パワー,および音声スイッチがONしている期間の例
を示す。図5の例から明らかなように,語頭の「k」の
部分は音声パワーが閾値に達していないため,音声スイ
ッチのONが遅れ,これにより話頭の「き」の「k」の
部分が欠落することがわかる。このように,話頭切断
は,話頭が子音部のような音声パワーの小さいときに生
じ易く,母音など音声パワーの大きなときには生じにく
い。日本語を考えると,通常,音声は子音+母音の組合
せが多い。そこで,上記問題点を解決するために,常に
音声を一旦蓄積しておき,音声パワーの大きな母音部等
で語頭が検出されたときに,ある一定期間さかのぼった
時点から音声を再生し語頭欠落を防止する方法がある。
蓄積により,音声遅延が生じ通話は非常に不自然なもの
になってしまう。通常人間が会話するときには,相手の
発言が終ってから発声することが多いと考えられる。例
えば,100msecの音声蓄積を行うことを考えると,発
声者が,発声し終ってから相手に発声の終了がわかるま
でに,回線遅延がなかったとして100msecかかり,そ
の後,相手が発声し最初の発声が相手の発声開始を知る
までに100msecかかることになる。そのため,会話間
の無音部分は,合計200msecとなり,スムーズな会話
が阻害される。
現するときに問題となる話頭切断を防止し,かつ音声遅
延を生じさせないで自然な通話を可能とすることを目的
とする。
決するため,話頭部分では,音声蓄積部から過去の音声
を話速変換することにより速く再生し,音声蓄積部に過
去の音声データがなくなったところで,入力されている
音声データを等速度で再生し,語尾において音声遅延が
生じないようにする。上記方法により,先に示した音声
を蓄積しておいて話頭切断を防止するだけのシステムを
用いたときの会話間の無音部分は,多くても100msec
となり,スムーズに会話することが可能となる。
さを防止し,音声遅延による会話の不自然さを防止する
ことができる。
開平8−83095号公報「話速変換方法および装置」
や,特開平8−202391号公報「話速変換装置」に
記載されているものがある。これらは,受聴者の聞き取
り能力に合った話速度で入力音声信号を出力する装置で
あり,主に話速度を下げる制御を行う。また,話速度
は,音素や音声処理フレームに対しては変動するが,一
つの文といった大枠で,話速度が設定されるので,本発
明のように,話頭部分で速く再生し,途中から等速再生
し語尾において遅延をなくすことはできない。
ロック図である。図1において,1は音声を入力し,入
力音声が音声区間かどうかを判別する音声検出部,2は
入力された音声を蓄積する音声蓄積部であるリングバッ
ファ,3は入力音声をリングバッファ2に格納し入力ポ
インタおよび出力ポインタを更新する制御を行うリング
バッファ制御部,4は音声検出部1において音声が検出
されたときに,どのくらい時間をさかのぼった時点の蓄
積された音声から再生するかを決め,リングバッファ2
に蓄積された音声のうち話頭部分を速く再生し,入力音
声に追いついたところで等速度再生する制御を行う話速
制御部,5は話速制御部4の制御のもとにリングバッフ
ァ2に蓄積された音声の話速を変換する話速変換器を表
す。
部1において音声パワー等が計測され,リングバッファ
2に蓄えられる。また,音声検出部1は,常に背景雑音
パワーを計測し,音声区間検出のための閾値を動的に変
化させる。
常に過去のデータを保持しながら次々とリングバッファ
2に蓄えられる。音声検出部1で音声が検出されると通
知がリングバッファ制御部3および話速制御部4へ送ら
れる。リングバッファ制御部3では,今現在書き込まれ
ている音声データの格納されているポインタ,および過
去の音声データが書き込まれているポインタを把握して
いるので,過去の音声データが存在していること,また
どのくらい過去のデータが蓄えられているかを話速制御
部4に通知する。
3から受け取ったデータにより,話速変換器5に話速度
を通知し,ある特定の時間内に過去のデータを全て再生
し,今現在書き込まれている入力音声データのポインタ
に過去の入力音声データのポインタが追いつくようにす
る。
100msec分あり,100msecで追いつくようにしよう
と考えると,再生速度は2倍ということになり,この情
報を話速変換器5に通知する。逆に,目標とする時間を
設定せず,話速変換器5に通知する話速度は,常に2倍
とすることも考えられる。
き,無音部や母音部の長さが大きく変化するが,子音部
の速度は変化しない。逆に子音部の速度を変化させずに
ポーズ部や母音部の速度を変化させても,聞き取りに大
きな劣化は生じない。つまり,音素により認知できる最
小の継続時間が違うので,音声検出部1に音素認識を用
いたときには,再生データの音素によって細かく動的に
話速度を変化させることで,さらに違和感のない通話が
可能となる。
されている音声データのどこからどこまでがどの音素な
のかという情報も蓄積されているので,それぞれの区間
における音素に対する最小継続時間が保証される再生速
度を話速変換器5に通知する。ただし,あまりにも大き
な速度になると違和感が増大するので,もし,あらかじ
め定められた最大速度を越えるようなときには,最大速
度を話速変換器5に通知する。例えば,「おーがき」と
発声したときに,「おがき」と再生されることを防ぐ役
割を持たせる。
続時間は,ポーズ部,無音摩擦音,破裂音,母音等,あ
る似通った音素間での違いは小さいので,厳密に,処理
量が大きな音素認識をせず,ポーズ部,無声摩擦音,破
裂音,母音等といった処理量の小さな音素の大分類を用
いて,再生速度を決定することも考えられる。
声フレームデータを取り出し,話速制御部4から指定さ
れた速度に応じてフレームデータを圧縮することで,フ
レームデータ数を減少させる。音声出力では,定期的な
周期でフレームデータの1サンプル毎に再生されるの
で,フレームデータの削減により,話速度が大きくな
る。入力音声データに追いついたところで,話速度を入
力音声と同じとする。
化再生される音声の例を示す。図2(a)は,音素認識
せずにパワーのみで音声を検出し,一定速度で現在の音
声データに追いつくように再生をしたとき,図2(b)
は,音素認識を行い,音素の種類によって再生速度を変
化させる可変速度で再生をしたときの様子を示してい
る。便宜上,音声データの単位をフレームと呼ぶ。ま
た,簡単のため速度変化を音声フレーム数を間引くこと
により表現している。「*」は無音部を表す。
で入力音声に再生音声が到達するが,そこに到達するま
で,再生速度を2倍にして再生し,その後は,入力音声
に対し等速度で再生する。図2(b)のとき,1〜2フ
レーム目の「*」は,破裂音に先行する無音部なので,
フレームを1つ飛ばした速度で再生する。3〜4フレー
ムの「k」は,子音部なので,そのまま再生する。5〜
8フレームの「i」は,人間が母音を認知するのに必要
なフレーム数を確保するために,例えば3フレームにし
て再生する。9〜10フレームの「*」は,1フレーム
にする。11〜12フレームの「t」は,子音部なので
そのまま再生する。13〜17フレームの「a」は,
「i」と同様の理由により5フレームを3フレームにし
て再生する。これ以降過去の音声データはなくなるの
で,そのまま再生する。
音声フレームと再生音声フレームとは一致しているの
で,語尾において音声遅延はなくなる。また,語尾にお
いては,音声区間終端が検出されたときには,リングバ
ッファ制御部3は,出力音声データのポインタ(以下,
出力ポインタという)を停止させる。入力音声データの
ポインタ(以下,入力ポインタという)が,出力ポイン
タに追いついた時点で,出力ポインタを進ませる。これ
により,音声終端が検出され再生が終った後に,すぐに
音声区間が検出されたときに,2重に音声が再生される
ことを防ぐ。
る場合の制御例を図3に,音素認識をして,音素の種類
により再生速度を変化させる場合の制御例を図4に示
す。
みで音声検出をする場合,まず,音声検出部1では,音
声区間を音声パワーと閾値との大小比較により検出する
(S1)。リングバッファ2には,リングバッファ制御
部3によって常時入力音声が蓄積される。話速制御部4
は,音声検出部1から通知を受け,話速変換器5が参照
する話速レジスタ(図示省略)に目標話速度を設定する
(S2)。
とにリングバッファ2から音声フレームデータを取り込
み(S3),話速レジスタ値に準じた話速変換を行う
(S4)。その変換した音声フレームデータを出力バッ
ファ(図示省略)へ書き出し(S5),リングバッファ
2の出力ポインタをインクリメントする(S6)。
インタに追いついたかどうかをチェックし(S7),追
いついていない場合,ステップS3へ戻って,同様に目
標話速度の速い速度による音声再生出力を繰り返す。入
力ポインタが出力ポインタに追いついた場合には,話速
レジスタに等速度を設定して(S8),ステップS3へ
戻り,入力音声の速度と同じ速度で音声を再生する。以
上の処理を音声区間が終了するまで繰り返す。
度を変化させる場合の制御は,図4に示すように行われ
る。この方法では,あらかじめ音素に対する最小継続時
間が格納されたテーブル10を用意しておく。
て音素認識を行い,その認識結果によって音声区間を検
出する(S10)。このとき音声パワーも考慮し,音声
パワーによる音声区間の検出を併用してもよい。リング
バッファ2には,リングバッファ制御部3によって,常
時入力音声が蓄積され,入力ポインタがその都度更新さ
れる。また,音声検出部1による音素認識の結果も併せ
てリングバッファ2に蓄積される。
2から音声フレームデータを取り込み(S11),それ
に対応する音素認識結果を話速制御部4に取り込む。話
速制御部4は,先に処理していた音声フレームデータの
音素と今から処理しようとしている音声フレームデータ
の音素は同じかどうかを判定する(S12)。同じ場合
には,ステップS14へ進む。違う音素であれば,ステ
ップS13へ進み,音素の継続時間を調べ,音素に対す
る最小継続時間テーブル10から最小継続時間を読み出
し,所定の最高話速度を越えないように求められた話速
度を話速レジスタに設定する(S13)。その後,ステ
ップS14へ進む。
り込まれた音声フレームデータについて,話速レジスタ
値に準じた話速変換を行う(S14)。その変換した音
声フレームデータを出力バッファ(図示省略)へ書き出
し(S15),リングバッファ2の出力ポインタをイン
クリメントする(S16)。
インタに追いついたかどうかをチェックし(S17),
追いついていない場合,ステップS11へ戻って,同様
に可変速度による音声再生出力を繰り返す。入力ポイン
タが出力ポインタに追いついた場合には,話速レジスタ
に等速度を設定して(S18),リングバッファ2から
次の音声フレームデータを取り込み,ステップS14へ
戻って,入力音声の速度と同じ速度で音声を再生する。
以上の処理を音声区間が終了するまで繰り返す。
ッチを実現するときの問題となる話頭切断を防止し,な
おかつ音声遅延を生じさせず,自然な通話を実現するこ
とができるようになる。
合の制御フローを示す図である。
制御フローを示す図である。
動作の関係を説明する図である。
Claims (4)
- 【請求項1】 音声を入力する過程と,入力された音声
が音声区間かどうかを判別する過程と,入力された音声
を蓄積する過程と,音声区間が検出されたとき,ある時
間さかのぼった時点の蓄積された音声から再生を開始
し,蓄積された音声のうち話頭部分を速く再生し,入力
音声に追いついたところで等速度再生する過程とを有す
ることを特徴とする音声蓄積再生方法。 - 【請求項2】 音声を入力し,入力音声が音声区間かど
うかを判別する音声検出手段と,入力された音声を蓄積
する音声蓄積手段と,前記音声蓄積手段への入力音声の
蓄積を制御する音声蓄積制御手段と,前記音声検出手段
において音声が検出されたときに,ある時間さかのぼっ
た時点の蓄積された音声から再生を開始し,前記音声蓄
積手段に蓄積された音声のうち話頭部分を速く再生し,
入力音声に追いついたところで,等速度再生する制御を
行う話速変換制御手段と,前記話速変換制御手段の制御
のもとに前記音声蓄積手段に蓄積された音声の話速を変
換する話速変換手段とを備えることを特徴とする音声蓄
積再生装置。 - 【請求項3】 前記音声区間の検出を音声パワーに基づ
いて行い,蓄積された音声のうち話頭部分の再生を,入
力音声の速度より速い一定の速度で行うことを特徴とす
る請求項1記載の音声蓄積再生方法。 - 【請求項4】 入力された音声の音素認識を行い,蓄積
された音声のうち話頭部分の再生を,前記音素認識結果
に基づいて決められた速度で行うことを特徴とする請求
項1記載の音声蓄積再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23097299A JP3553828B2 (ja) | 1999-08-18 | 1999-08-18 | 音声蓄積再生方法および音声蓄積再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23097299A JP3553828B2 (ja) | 1999-08-18 | 1999-08-18 | 音声蓄積再生方法および音声蓄積再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001056696A true JP2001056696A (ja) | 2001-02-27 |
JP3553828B2 JP3553828B2 (ja) | 2004-08-11 |
Family
ID=16916219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23097299A Expired - Fee Related JP3553828B2 (ja) | 1999-08-18 | 1999-08-18 | 音声蓄積再生方法および音声蓄積再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3553828B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006077626A1 (ja) * | 2005-01-18 | 2006-07-27 | Fujitsu Limited | 話速変換方法及び話速変換装置 |
JP2007534225A (ja) * | 2003-11-24 | 2007-11-22 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Ptt及び他のリアルタイム対話型通信交換処理に関連する遅延を減少又は補償する方法 |
JP2009021923A (ja) * | 2007-07-13 | 2009-01-29 | Yamaha Corp | 音声通信装置 |
US7509255B2 (en) | 2003-10-03 | 2009-03-24 | Victor Company Of Japan, Limited | Apparatuses for adaptively controlling processing of speech signal and adaptively communicating speech in accordance with conditions of transmitting apparatus side and radio wave and methods thereof |
JP2009122598A (ja) * | 2007-11-19 | 2009-06-04 | Pioneer Electronic Corp | 電子機器、電子機器の制御方法、音声認識装置、音声認識方法及び音声認識プログラム |
JP2016092679A (ja) * | 2014-11-07 | 2016-05-23 | 沖電気工業株式会社 | 音声処理装置、プログラム及び方法 |
WO2019111810A1 (ja) | 2017-12-05 | 2019-06-13 | Necプラットフォームズ株式会社 | 通信装置、通信データ記録システム、通信方法、およびプログラム |
JP2021039652A (ja) * | 2019-09-05 | 2021-03-11 | ヤマハ株式会社 | 会話支援装置、及び会話支援システム |
JP2021525903A (ja) * | 2018-05-31 | 2021-09-27 | シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. | 自動ミキシング用のインテリジェント音声起動のためのシステムおよび方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5176391B2 (ja) * | 2007-05-24 | 2013-04-03 | ヤマハ株式会社 | 音声送信装置 |
-
1999
- 1999-08-18 JP JP23097299A patent/JP3553828B2/ja not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509255B2 (en) | 2003-10-03 | 2009-03-24 | Victor Company Of Japan, Limited | Apparatuses for adaptively controlling processing of speech signal and adaptively communicating speech in accordance with conditions of transmitting apparatus side and radio wave and methods thereof |
JP4728251B2 (ja) * | 2003-11-24 | 2011-07-20 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Ptt及び他のリアルタイム対話型通信交換処理に関連する遅延を減少又は補償する方法 |
JP2007534225A (ja) * | 2003-11-24 | 2007-11-22 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Ptt及び他のリアルタイム対話型通信交換処理に関連する遅延を減少又は補償する方法 |
WO2006077626A1 (ja) * | 2005-01-18 | 2006-07-27 | Fujitsu Limited | 話速変換方法及び話速変換装置 |
JP4630876B2 (ja) * | 2005-01-18 | 2011-02-09 | 富士通株式会社 | 話速変換方法及び話速変換装置 |
JPWO2006077626A1 (ja) * | 2005-01-18 | 2008-06-12 | 富士通株式会社 | 話速変換方法及び話速変換装置 |
US7912710B2 (en) | 2005-01-18 | 2011-03-22 | Fujitsu Limited | Apparatus and method for changing reproduction speed of speech sound |
JP2009021923A (ja) * | 2007-07-13 | 2009-01-29 | Yamaha Corp | 音声通信装置 |
JP2009122598A (ja) * | 2007-11-19 | 2009-06-04 | Pioneer Electronic Corp | 電子機器、電子機器の制御方法、音声認識装置、音声認識方法及び音声認識プログラム |
JP2016092679A (ja) * | 2014-11-07 | 2016-05-23 | 沖電気工業株式会社 | 音声処理装置、プログラム及び方法 |
WO2019111810A1 (ja) | 2017-12-05 | 2019-06-13 | Necプラットフォームズ株式会社 | 通信装置、通信データ記録システム、通信方法、およびプログラム |
US11064069B2 (en) | 2017-12-05 | 2021-07-13 | Nec Platforms, Ltd. | Communication apparatus, communication data recording system, communication method, and program |
JP2021525903A (ja) * | 2018-05-31 | 2021-09-27 | シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. | 自動ミキシング用のインテリジェント音声起動のためのシステムおよび方法 |
US11798575B2 (en) | 2018-05-31 | 2023-10-24 | Shure Acquisition Holdings, Inc. | Systems and methods for intelligent voice activation for auto-mixing |
JP7422685B2 (ja) | 2018-05-31 | 2024-01-26 | シュアー アクイジッション ホールディングス インコーポレイテッド | 自動ミキシング用のインテリジェント音声起動のためのシステムおよび方法 |
JP2021039652A (ja) * | 2019-09-05 | 2021-03-11 | ヤマハ株式会社 | 会話支援装置、及び会話支援システム |
JP7379965B2 (ja) | 2019-09-05 | 2023-11-15 | ヤマハ株式会社 | 会話支援装置、及び会話支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP3553828B2 (ja) | 2004-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
NL2021308B1 (en) | Methods for a voice processing system | |
US11232808B2 (en) | Adjusting speed of human speech playback | |
JP4630876B2 (ja) | 話速変換方法及び話速変換装置 | |
EP0910065B1 (en) | Speaking speed changing method and device | |
US7469207B1 (en) | Method and system for providing automated audible backchannel responses | |
WO2013182118A1 (zh) | 一种语音数据的传输方法及装置 | |
JP4523257B2 (ja) | 音声データ処理方法、プログラム及び音声信号処理システム | |
WO2016063879A1 (ja) | 音声合成装置および方法 | |
JP6408020B2 (ja) | 遠隔会議における知覚的に連続的な混合 | |
WO1998049673A1 (fr) | Procede et dispositif destines a detecter des parties vocales, procede de conversion du debit de parole et dispositif utilisant ce procede et ce dispositif | |
JP3553828B2 (ja) | 音声蓄積再生方法および音声蓄積再生装置 | |
CN116420188A (zh) | 从呼叫和音频消息中对其他说话者进行语音过滤 | |
JP2006507530A (ja) | 音声認識装置及び方法 | |
JPH08106296A (ja) | 単語認識システム | |
JP2007187799A (ja) | 音声対話装置および音声対話方法 | |
JPH05257490A (ja) | 話速変換方法および装置 | |
JP3219892B2 (ja) | リアルタイム話速変換装置 | |
JP3378672B2 (ja) | 話速変換装置 | |
JP3081469B2 (ja) | 話速変換装置 | |
JP3803302B2 (ja) | 映像要約装置 | |
US7092884B2 (en) | Method of nonvisual enrollment for speech recognition | |
WO2011027437A1 (ja) | 音声再生装置および音声再生方法 | |
JPH0772896A (ja) | 音声の圧縮伸長装置 | |
KR20200141126A (ko) | 호출어에 대한 오인식 방지를 위한 장치 및 방법 | |
JP2001154684A (ja) | 話速変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |