JP2005092021A - 話速変換方法及び話速変換装置 - Google Patents

Abstract

【課題】音声ステレオ信号入力時の時間ズレのない話速変換処理を行う。
【解決手段】入力されたＬチャンネル、Ｒチャンネルの音声ステレオ信号を加算する加算器と、前記加算器でモノラル信号になった音声信号を入力とし、所定の話速変換を行う話速変換処理部と、前記話速変換処理部で話速変換処理され、出力された信号を、音声ＬＲチャンネルにそれぞれ分配する分配器を具備し、話速変換、分配された音声ＬＲ信号をスピーカで再生する構成とし、モノラル信号で話速変換処理することで、入力された音声ステレオ信号の相互時間管理処理のアルゴリズムの追加と、余分なメモリの追加なしで、音声ステレオ信号入力時の時間ズレのない話速変換の実現を図る。
【選択図】図１

Description

本発明は、話す速度を制御する話速変換に関するものである。

昨今のテレビ放送は放送局の増加、また衛星デジタル放送の開局などで、さまざまなジャンルのプログラムを放送できるようになり、視聴者を楽しませている。しかしながらこれらのプログラムの中には、早口でしゃべるアナウンサーやタレントがおり、高齢者には聞き取れない場合がある。この課題を解決する技術として、デジタル技術の進歩により、音程を変えずに、速度のみをゆっくりとするデジタル方式の話速変換装置が提案されている（例えば特許文献１参照）。

以下図４を参照しながら、デジタル方式の話速変換装置における第１の従来技術の一例について説明する。図４において、符号１０は入力された音声信号をアナログ音声信号からデジタル音声信号に変換するＡ／Ｄコンバータ、１１はデジタル音声信号を話速変換する話速変換部、１２は話速変換されたデジタル音声信号をアナログ音声信号に戻すＤ／Ａコンバータ、１３は入力され、デジタル変換された音声デジタル信号を一時格納するリングメモリに構成されたメモリである。

以上のように構成された話速変換装置について、その動作を説明する。入力された音声信号はＡ／Ｄコンバータ１０でアナログ信号からデジタル信号に変換され、話速変換する話速変換部１１に入力され、また同時にリングメモリ構成されたメモリ１３に格納される。話速変換部１１は入力された音声デジタル信号の無音区間の切り出し、話速変換する発音の母音切り出しなどの処理を行い、図５（ａ）に示す会話例「それは わたしのです」を図５（ｂ）に示すごとく、単純に２倍の時間に話速を伸ばすとすると「そーれーはーわーたーしーのーでーすー」という具合に母音を追加して時間を延ばす処理を行う。時間を伸ばされた音声デジタル信号はＤ／Ａコンバータ１２でデジタル音声信号からアナログ音声信号に戻され、一連の話速変換処理を終了する。一方、話速変換され時間が伸ばされていくと、有限なメモリ容量であるメモリ１３は、書き込みアドレスを読み出しアドレスが追い越す、いわゆるオーバーフローする可能性が出てくる。メモリ１３の残量を照会しながら話速変換処理の話速変換率を決定しようとするのが従来の方式であり、逆に無音区間では保存の必要がなく、つぎの音声信号の立ち上がりで、話速変換の頭合わせを行い、オーバーフローの削減を図る。

しかしながら前記従来の構成では、音声がモノラル信号なら、話速変換することで、聞き易くなるが、昨今のテレビ放送の音声はステレオ信号が通常であり、音声ステレオ信号を話速変換する場合は従来構成のステレオ化として図６に示す２チャンネル並列を想定した場合、同期ずれの問題が考えられる。すなわち、図６の話速変換装置に、図５（ｃ）に示す音声ステレオ信号が入力された場合の話速変換を考えると、Ｌチャンネル音声が時間ｔ１で言い終わってからＲチャンネル音声が時間ｔ２で言い始める場合、話速変換すると、図５（ｄ）に示すごとくＬチャンネル音声が時間ｔ３まで遅れたにもかかわらず、無音区間で待機していたＲチャンネル音声が時間ｔ２で話速変換を開始し、時間ｔ２と時間ｔ３の区間に時間オーバーラップが発生するなど同期ずれの問題があった。

この課題を解決する技術として音声ステレオ信号を加算し、加算された音声信号で無音区間を検出して、それぞれＬチャンネル音声と、Ｒチャンネル音声の無音区間削除を行い、ＬチャンネルとＲチャンネルの同期をとった話速変換装置が提案されている（例えば特許文献２参照）。

以下図７を参照しながら、話速変換装置における第２の従来技術の一例について説明する。図７において、符号２０は映像、音声信号の記録媒体としてのハードディスクドライブ、２１はハードディスクドライブ２０から読み出された映像、音声データをフレーム毎に記憶するフレームメモリ、２２は映像、音声信号を分離する信号分離部、２３は分離された音声ステレオ信号を加算する信号加算部、２４は話速変換するために、ピッチ周期を検出するピッチ周期算出部、２５は１フレーム分の加算音声信号が有音区間か無音区間かを判定する区間判定部、２６は区間判定部２５で無音区間と判定された区間のＬチャンネル音声と、Ｒチャンネル音声を共に削除する無音区間削除部、２７はピッチ周期単位で時間軸圧縮伸張処理する時間軸圧縮伸張部、２８は時間軸圧縮伸張された音声データを記憶する音声メモリ、２９は音声メモリ２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部、３０は音声メモリ２８から順次読み出される音声ＬＲデータを分離するＬ／Ｒ分離部、３１はＬＲ分離された音声信号のうち、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ、３２はＬＲ分離された音声信号のうち、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータである。

以上のように構成された第２の従来の話速変換装置について、その動作を説明する。デジタルテレビ放送などで送られた映像信号、音声信号は復調され、ハードディスクドライブ２０に記録される。記録された映像信号、音声信号はフレームメモリ２１にフレーム単位で読み出され、信号分配部２２で映像信号、音声信号に分離する。分離された音声ＬＲ信号は信号加算部２３で順次加算され、両チャンネルの１フレーム分の音声信号が加算された時点で加算信号を出力する。区間判定部２５は、加算出力された１フレーム分の信号の信号レベルを検出し、有音区間か、無音区間かを判定し、無音区間削除部２６を制御し、無音区間であれば、その１フレーム分のＬチャンネル音声と、Ｒチャンネル音声を共に削除する。このようにして、フレーム単位の同期を維持する。但し、Ｌチャンネル音声と、Ｒチャンネル音声はそれぞれ独立である。次にピッチ周期算出部２４でピッチ周期を算出し、同一のピッチ周期を用いて時間軸圧縮伸張することにより、時間軸圧縮伸張後の、音声Ｌチャンネル、Ｒチャンネルの同期が維持されつつ、品質の良い時間圧縮伸張処理が可能となる。時間軸圧縮伸張された音声データは音声メモリ２８に記録され、順次読み出され、音声ＬＲデータを分離するＬ／Ｒ分離部３０、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ３１、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ３２を通してアナログ２チャンネルで再生される。また音声メモリ２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部２９は、蓄積率が少ないと無音区間を削除しないとか、逆に蓄積率が多いと、圧縮率を高くするとかの制御を行う、つまり、速聞き時の話速変換方法である。
特開平７−１９２３９２号公報 特開２００２−２９７２００号公報

しかしながら音声ステレオ信号を話速変換する場合は、前記第１の従来技術の構成のように単純に２チャンネル並列処理すると、Ｌチャンネル音声とＲチャンネル音声に時間同期がとれず、オーバーラップ区間が発生するなど問題があり、このオーバーラップを防ぐには前記第２の従来技術の構成のように、Ｌチャンネル、Ｒチャンネルの相互時間管理処理のアルゴリズムの追加と、ＬＲ独立の音声メモリの追加が必要になる。

前記課題を解決するために、本発明の話速変換方法は、入力された複数チャンネル、例えばＬチャンネル及びＲチャンネルの音声ステレオ信号を加算して、モノラル信号で話速変換することを特徴としたものである。

また話速変換装置として、入力されたＬチャンネル及びＲチャンネルの音声ステレオ信号を加算する加算器と、前記加算器でモノラル信号になった音声信号を入力とし所定の話速変換を行う話速変換処理部と、前記話速変換処理部の出力信号をＬチャンネルとＲチャンネルにそれぞれ分配し音声ＬＲ信号として出力する分配器を具備し、話速変換及び分配された音声ＬＲ信号をスピーカあるいはイヤホンで再生するように構成したものである。

上記構成を備えることにより、本発明は、音声ステレオ信号の話速変換処理の場合において、時間同期がとれないことで発生するＬチャンネル音声とＲチャンネル音声のオーバーラップを防止できるとともに、Ｌチャンネル、Ｒチャンネルの相互時間管理処理アルゴリズムの追加及び、それに伴うメモリの追加をすることなく簡単な回路構成で話速変換が行えるものである。

（実施の形態１）
以下に、本発明の第１の実施の形態について、図１、図２を用いて説明する。

図１は、本発明の第１の実施の形態における話速変換装置の構成を示すブロック図である。図１において、符号１は、入力されたＬチャンネル、Ｒチャンネルの音声ステレオ信号を加算する加算器、２は加算器１でモノラル信号になった音声信号を入力とし、所定の話速変換を行う話速変換処理部、３は話速変換処理部２で話速変換処理され、出力された信号を、ＬチャンネルとＲチャンネルにそれぞれ分配し音声ＬＲ信号として出力する分配器であり、分配器３で分配された音声ＬＲ信号をＬチャンネルとＲチャンネルのスピーカで再生するように構成している。なお音声ＬＲ信号は、話速変換されたモノラル信号をＬチャンネルとＲチャンネルに同一情報を有する信号として分配したものである。

以上のように構成された話速変換装置について、その動作と各部の詳細を説明する。例えばテレビ受信機の音声再生において、Ｌチャンネル、Ｒチャンネルの音声ステレオ信号に検波された音声信号は加算器１で加算され、モノラル信号に変換される。加算器１は、例えばデジタル信号を扱うのであれば、アダーと両チャンネルのタイミングを取るラッチとで容易に構成できるし、アナログ信号を扱うのであれば、抵抗ネットワーク等を用いて容易に構成でき、複数チャンネルの音声情報を加算してモノラル信号に変換するものであればその構成は限定されない。

次に加算器１から出力されたモノラル信号を入力とし、話速変換処理部２は所定の話速変換処理をする。以下、図２を用いて話速変換処理の詳細を説明する。

今、図２（ａ）に示すごとく、Ｌチャンネル、Ｒチャンネルにそれぞれ、「それは わたしのです」、「いいえ かれのです」という会話があったとすると、加算器１の出力はモノラル信号に変換されることにより、図２（ｂ）に示すごとく、「それは わたしのです いいえ かれのです」という具合に、ＬチャンネルとＲチャンネル間での会話における時間的対応を保持したモノラル信号に変換される。

話速変換処理部２における話速変換処理は、例えばその一例を示すと、まず入力されたモノラル信号の無音区間の切り出し、話速変換する発音の母音切り出しなどの処理を行う。例えば変換比率を２倍の時間に話速変換すると仮定すると、無音区間を除いた会話の区間に母音を追加して２倍の時間に延ばす処理を行う。その処理結果を図２（ｃ）に示す。

図２（ｃ）の処理結果に示されるごとく、Ｌチャンネルの会話部分の終了時刻はｔ１からｔ３になり時間が延びている。そしてＲチャンネルの会話部分の開始時刻もｔ２からｔ３にシフトされている。その結果Ｌチャンネルの会話部分に対してＲチャンネルの会話部分がオーバーラップすることがなく、かつ会話における時間的対応も保持しつつ加速変換されたことが分かる。

次に、話速変換部１より出力された信号は、分配器３でＬチャンネルとＲチャンネルに音声ＬＲ信号としてそれぞれ分配される。分配器３は、デジタル信号を扱うのであれば、両チャンネルに同一音声情報を流せばよく、アナログ信号を扱うのであれば、抵抗分割等で両チャンネルに同一信号を流すように構成すればよく、当該機能を満たすものであればその構成は限定されない。

さらに、話速変換され分配された音声ＬＲ信号はスピーカ再生のための回路、例えばアンプ回路などに供給され、テレビ受信機内蔵のスピーカで再生されてテレビ視聴が可能となる。

以上のように、本発明の話速変換装置によれば、Ｌチャンネル、Ｒチャンネルの音声ステレオ信号を、単純に加算するだけの簡単な回路構成で、音声ステレオ信号入力時の時間ズレのない話速変換が実現でき聞き易いテレビ視聴が可能となる。

また、従来技術の構成のようにステレオ信号のまま話速変換を行った場合、Ｌチャンネル、Ｒチャンネルの相互時間管理処理を行う必要があるのと、余分なメモリが必要となることが予想され、話速変換処理システムが大きくなる欠点があるのに対し、本願発明のように分配されたモノラル信号である音声ＬＲ信号を再生することで、音の定位情報は損なわれるが、上記の従来技術の構成で予想されるような欠点もなく、簡単な構成で両チャンネル間での会話における時間的対応を保持した聞き易い話速変換が実現でき、例えば高齢者など早い会話を聞き取ることが困難な視聴者に対しそのメリットは大きい。

特にＬＲ独立の話速変換処理だと、Ｌチャンネルの話速変換が終わった事を検出してからＲチャンネルの話速変換する。そのため余分な同期取りのアルゴリズム処理時間の追加があり、それまでＲチャンネルの話速変換を待たせておくというように、Ｌチャンネルの会話終了時とＲチャンネルの会話開始時とのタイムラグが生じ、話速変換による画像とのズレが拡大してしまう。

しかし本発明の話速変換装置によれば、話速変換による両チャンネル間の無音処理は同時に行われ、例えば図２（ｃ）に示すように、Ｌチャンネルの会話終了時ｔ３に対し、Ｒチャンネルの会話開始時もｔ３となり、タイムラグがなく、よって話速変換による画像とのズレは最小に抑えることができる。すなわち、本発明の話速変換装置は、テレビジョン受像機、ＶＴＲ、ＤＶＤなどの画像を伴うＡＶ機器の話速変換において格別の効果を奏する。

なお、本実施の形態では話速変換の変換比率が２倍の場合を説明したが、変換比率はこの値に限定されることはなく、必要に応じてその値を設定すればよい。その場合、図２で示した時刻ｔ３に相当するタイミングが変わるだけで、本願発明の作用効果は同様に奏し得るものである。

また音声ステレオ信号の２チャンネルの場合を例に説明したが、ＭＰＥＧ−２ＡＡＣ、ドルビーデジタルなどの５．１チャンネルや、マルチチャンネルの音声信号に対しても、全音声チャンネルを加算してモノラル信号で話速変換すれば、簡単な回路構成で、時間ズレのない話速変換が実現できることは言うまでもない。

（実施の形態２）
つぎに、本発明の第２の実施の形態について、図３を用いて説明する。図３は、本発明の第２の実施の形態における話速変換装置の構成を示すブロック図である。なお、第１の実施形態と同一の構成要素に対しては同一の符合を付すこととし、説明が重複する部分は適宜省略するものとする。

図３において、符号１は、入力されたＬチャンネル、Ｒチャンネルの音声ステレオ信号を加算する加算器、２は加算器１でモノラル信号になった音声信号を入力とし、所定の話速変換を行う話速変換処理部、３は話速変換処理部２で話速変換処理され、出力された信号を、ＬチャンネルとＲチャンネルにそれぞれ分配し音声ＬＲ信号として出力する分配器であり、分配器３で分配された音声ＬＲ信号をＬチャンネルとＲチャンネルのイヤホン出力とし、スピーカでは、入力された通常のＬチャンネルとＲチャンネルの音声ステレオ信号を再生する構成である。

以上のように構成された話速変換装置について、その動作を説明する。テレビ受信機の音声再生において、Ｌチャンネル、Ｒチャンネルの音声ステレオ信号に検波された音声信号はそのままテレビ受像機内臓のスピーカで再生される。他方、この音声ステレオ信号は加算器１で加算され、モノラル信号に変換され、さらに話速変換処理部２で所定の話速変換がなされ、分配器３で音声ＬＲチャンネルにそれぞれ分配され、話速変換及び分配された音声ＬＲ信号としてテレビ受信機に追加されたイヤホン端子で再生される。なお、話速変換の動作や各構成要素の詳細な説明は前述の実施の形態１で説明したのと同じなので、ここでは割愛する。

以上のような構成により、通常のＬチャンネル、Ｒチャンネルの音声ステレオ信号は、テレビ受信機内蔵のスピーカで再生することで、通常の話速で理解できる視聴者はスピーカ再生で聞き、通常の話速についていけない高齢者などはイヤホン端子から、イヤホンで話速変換された音声信号を聞くことにより、同じテレビ受信機でのテレビ視聴が可能となり、家族団欒が楽しめる。高齢者にとっては、モノラル信号になり音の定位情報は損なわれるが、話速変換による聞き易さのメリットの方が大きい。

またイヤホン端子から話速変換信号を出力することにより、この信号を入力に利用し、赤外線などの音飛ばし機能などと併用することにより、高齢者にとって、更に快適な聞き取り易いテレビ視聴環境が整う。

またイヤホン端子出力は、スピーカ再生側とは独立の音量調整を可能とするように音量調整部を設ける構成とすることが望ましい。さらに所定の話速を保ち音程を可変する音程調整部を設けることもできる。一般に高齢者は早い話速に追従困難なだけではなく、聴取感度も低下し、かつ聴取可能な音域も狭くなっているので、イヤホン端子出力に上記のような構成を追加すれば、他の視聴者に影響を与えることなく、自ら最も聞き取りやすい設定でテレビ視聴が可能になる。

本発明に係る話速変換方法及び話速変換装置によれば、簡単な回路構成で時間ズレのない話速変換が実現でき、とりわけ、画像が映し出される場合には、画像と音声のズレを極力小さくできるので、画像を伴う話速変換に効果があり、テレビのみならずＶＴＲ、ＤＶＤなどのＡＶ機器の話速変換においてとりわけ有用である。

本発明の第１の実施の形態における話速変換装置のブロック構成図 本発明の話速変換のタイミング説明図 本発明の第２の実施の形態における話速変換装置のブロック構成図 従来の実施例の話速変換装置のブロック構成図 従来の話速変換のタイミング説明図 本発明を使用しない従来の第１の話速変換装置のブロック構成図 本発明を使用しない従来の第２の話速変換装置のブロック構成図

符号の説明

１ 加算器
２ 話速変換処理部
３ 分配器

Claims (3)

1. 入力された複数チャンネルの音声信号を加算してモノラル信号に変換し、前記モノラル信号を話速変換することを特徴とする話速変換方法。
2. 入力されたＬチャンネル及びＲチャンネルの音声ステレオ信号を加算する加算器と、前記加算器でモノラル信号になった音声信号を入力とし所定の話速変換を行う話速変換処理部と、前記話速変換処理部の出力信号をＬチャンネルとＲチャンネルにそれぞれ分配し音声ＬＲ信号として出力する分配器を具備し、前記音声ＬＲ信号をスピーカで再生する構成としたことを特徴とする話速変換装置。
3. 入力されたＬチャンネル及びＲチャンネルの音声ステレオ信号を加算する加算器と、前記加算器でモノラル信号になった音声信号を入力とし所定の話速変換を行う話速変換処理部と、前記話速変換処理部の出力信号をＬチャンネルとＲチャンネルにそれぞれ分配し音声ＬＲ信号として出力する分配器を具備し、スピーカでは前記音声ステレオ信号を再生し、イヤホン端子では前記音声ＬＲ信号を再生する構成としたことを特徴とする話速変換装置。

Images