JP2005352330A - 音声分割記録装置 - Google Patents

Abstract

【課題】
アナログ音声信号をディジタル音声データに変換して入力、またはディジタル音声ファイルから直接入力し、該ディジタル音声データから無音領域を削除し、有音領域ごとに分割して記録媒体に記録する際に、該分割した音声データの再生開始時刻情報、再生音源方向指示情報、ファイルの内容を表すキーワードインデックスを個々の音声ファイルに付加して記録を行う。
【解決手段】入力音声の無音・有音のいずれかを判別し、有音領域ごとに分割して保存する際に、分割したデータの先頭時刻を算出し、再生開始時刻情報としてファイルに付加して記録する。また、分割データごとに入力した再生音源方向指示情報や、音声認識によって抽出した分割データのキーワードインデックスを付加して記録する。
【選択図】
図７

Description

本発明は、アナログ音声信号を入力する手段と、該音声信号をディジタル音声データに変換する手段と、ディジタル音声データを直接入力する手段と、該ディジタル音声データの無音領域と有音領域を判別して無音領域を削除し、有音領域ごとに分割して記録を行う音声分割記録装置に関し、より詳細には、該分割した音声データの再生開始時刻情報、再生音源方向指示情報、ファイルの内容を表すキーワードインデックスを個々の音声ファイルに付加して記録を行う音声分割記録装置に関する。

映画の上映に関して、視覚障害者や高齢者を対象とした日本語音声ガイド(副音声)や日本語吹き替え、外国語映画の字幕など、映画に新たな情報を副情報として付加して提供する場合がある。
この際、映画フィルム上に更に副情報データを追加する面積がないこと、映画フィルムに化学的加工を施して副情報データを追加するとコストと時間がかかるなどの問題があった。そこで、上記に説明した副情報を映写機とは別の方法で提供する試みがある。本特許出願人は、これら副情報のうち副音声の再生方法として、別途ビデオテープの音声チャンネルに副音声を録音しておき、映画の上映開始とともにビデオデッキなどの再生装置によって再生し、微弱ＦＭ放送などでＦＭ受信機に送信する方法を試みていた。この方法によると、フィルムに化学的加工を施す必要がないため安価であり、また一般に広く使われているビデオデッキさえあれば再生が可能であるという手軽さもあり一応の評価を得ていた。

しかし、本特許出願人が試みた再生方法では、映写機と副音声を再生する再生装置との再生速度の違いにより、2時間の映画を上映すると数分の誤差を生じるという現象があった。そこで、たとえばビデオデッキで副音声を再生する場合、上映画像に対して副音声のずれが生じるごとにビデオデッキの一時停止、早送りなどの操作を行うことにより、ずれが小さくなるように調整する必要があった。これには2時間の映画を上映した場合に数百回もの調整操作が必要となることもあり、上映画像に合わせて違和感なく調整操作するには習熟した高度な技術が必要であった。

そこで、このような現象を解決するために本特許出願人が試みた方法は、ＣＤなどに録音された副音声から無音領域を削除し、あらかじめ短時間の音声ファイルに分割して再生開始時刻とともに記録しておき、映写機から得た時刻情報をもとに、該音声ファイルを順次再生していくことで、映写機との再生時刻の誤差を無くそうというものである。この方法では、あらかじめ連続した副音声データから無音領域を削除し、有音領域ごとに分割して記録するための装置が必要であった。

連続した音声データから無音領域を削除し、有音領域のみを記録することは、記録容量を節約するなどの目的のために有効な手段である。有音領域ごとに分割して記録を行う音声分割記録装置としては、たとえば特許文献１に示されるように、無音領域から有音領域の開始と終了を検出し、トラックナンバーを与えて記録媒体に記録する装置が一般的であった。しかし、この方法では、分割された音声データには単純にトラックナンバーが与えられるのみで、元の音声データにおける再生時刻は不明であった。
特開２００３−２８１８５７号公報

映画上映の際に使用される付加情報として、日本語音声ガイド(副音声)や、ドルビーデジタルなどに代表される、再生音源方向指示情報などがある。近年の映画には、このような情報が並列的若しくは択一的に付加されている場合が多い。しかし、既存の映画に再生音源方向指示情報を追加したい場合や、副音声に再生音源方向指示情報を付加したい場合などには、映画フィルムに更に情報を追加する余地が少ないほか、コストや加工時間がかかるなどの問題点がある。

そこで、映画フィルムを加工するのではなく、映写機とは別の再生装置に付加情報を供給し、該再生装置で指定した音源方向から音声を再生するシステムを創案する。

そして、映画の副情報を修正等する時、すなわち日本語音声ガイド(副音声)を製作する際、若しくは吹き替えや字幕を製作する際に、一部分の修正や追加、削除を行う必要が生じた場合には、音声全体から必要な箇所を見つけ出し、編集する必要があった。しかし、映画の場合、2時間もの音声データの中から該当箇所を探し出し、編集するにはかなりの時間を要するという問題があった。

映写機とは別の再生装置で副音声を再生する場合、該再生装置の副音声と映写機で上映される画像との再生速度のずれが問題となる。そこで今回、本特許出願人が試みている新規な方法は、あらかじめ副音声データから無音領域を削除し、短時間の音声データに分割して記録したものを、映写機から得た時刻情報をもとにそれぞれの再生開始時刻ごとに順次再生していくというものである。この方法では、連続した音声データから無音領域でデータを区切り、別々のファイルに記録していく際に、各分割音声データの再生開始時刻 (入力音声データにおける絶対時間)を付加情報としてファイルに付けて記録するための装置が必要である。また、再生開始時刻情報の他に、複数のスピーカー（音声出力装置）で再生するための再生音源方向指示情報を付加することができれば、映画フィルムを加工することなく、安価に立体的な音場を再現することができる。更に、副音声、吹き替え、字幕の修正、追加、削除などの編集作業の効率化のためには、分割後の個々の音声データの内容が、ファイルを一つずつ開かなくても確認できるようになることが課題である。よって、本発明の課題は、音声データの無音領域を削除して有音領域ごとに分割し、該分割音声データを記録する際に、もとのデータにおける再生開始時刻情報、複数の音声出力装置で再生するための再生音源方向指示情報、分割音声データの内容がわかるキーワードインデックスの３つの情報を付加情報としてファイルに付けて記録することが可能な音声分割記録装置を提供することである。

本発明は、前記課題を解決達成するため、以下の構成を有する。
請求項１記載の発明にかかる音声分割記録装置は、アナログ音声信号をディジタル音声データに変換して入力する手段もしくは直接的にディジタル音声データを入力する音声データ入力手段と、該音声データの無音領域、有音領域を判別する音領域判別検知手段と、該音領域判別検知手段の判別結果に基づいて所定時間以上の無音領域は取り除いて有音領域ごとに分割して記録媒体に記録する音領域分割記録手段とを具え、且つ、有音領域ごとに分割して記録する際の音声ファイルに前記入力音声データにおける個々の再生開始時刻情報を個別的に付加する再生開始時刻情報付加手段を具備していることを特徴とする。

請求項２記載の発明にかかる音声分割記録装置は、請求項１に記載の音声分割記録装置に加え、分割後の音声データの再生音源方向を指示するための入力手段を具え、該指示された方向を示す情報をファイルに付加するもので、請求項１により記録する際のファイルに、再生開始時刻情報に加え、空間的に離れた位置に配置された複数の音声出力装置による音源方向を指定するための再生音源方向指示情報を付加する再生音源方向指示手段を具備していることを特徴とする。

請求項３記載の発明にかかる音声分割記録装置は、請求項１に記載の音声分割記録装置に加え、分割後の音声データに対し、音声認識処理を行う手段と、認識結果をもとにキーワードを生成する手段を具え、該キーワードをインデックス情報としてファイルに付加するもので、請求項１により有音領域ごとに分割された個々の音声ファイルに対し音声認識処理を行い、音声認識により自動抽出したキーワードをインデックスとしてファイルに付加するキーワード付加手段を具備していることを特徴とする。

本発明によれば、以下の効果を得ることができる。即ち、請求項１に記載の発明によれば、連続した音声データから無音領域を削除し、有音領域の短時間音声データに分割することができ、更にもとの音声データにおける再生開始時刻情報が付加されているため、映写機から得た時刻情報をもとに再生開始時刻ごとに順次再生していけば、映写機で上映される画像に対して再生装置からの音声出力を一致できて映画とのずれがなくなる。また、映画の副音声に限らず、再生時に使用する時刻情報(クロック信号)として、コンピュータのクロック、ＤＶＤプレイヤなど様々な外部装置からの外部同期信号、ソフトウェア割り込み信号などを利用することも可能であり、広い分野での応用が可能である。請求項１により、記録の際の記憶容量の削減が可能となり、また付加された再生開始時刻情報によりもとの再生時刻での再生も可能である。

請求項２に記載の発明によれば、映画フィルムに新たな情報を記録する加工を行うことなく、請求項２により分割記録された音声データに付加された再生音源方向指示情報をもとに空間的に離れた位置にある複数の音声出力装置(スピーカー)で再生すれば、臨場感のある音場を安価に再現することが可能となる。また、再生音源方向指示情報は出力チャンネル指示情報としても使用することができ、同時に複数言語の音声をチャンネルごとに分けて再生するなど、多チャンネル化することもできる。

請求項３に記載の発明によれば、請求項１により分割して記録された副音声データを編集したい場合、ファイルに付加されたキーワードインデックスで検索することにより、何百個もの音声ファイルの中から該当のファイルを見つけるのに要する時間の短縮が可能となる。
これらにより、編集時に監督や録音指示者の意図に反して何らかのミスによりオペレーターの付加情報設定が上映画像とずれ副音声、吹き替え、字幕の再生時刻が適切でなかった場合に、該不適切な再生時刻を画像に合わせた適切な再生時刻に変更することが簡単にできる。そのため、従来に比して編集の効率があがる利点があり、修正することも簡単に変更できる。例えば、差別表現や個別的な実事件を連想される表現などの批判を受けた映画は上映できなくなる場合もあるが、これらについてもソフト的に修正が容易に出来、せっかくの映画をお蔵入りにすることも未然に防げるものである。

以下、本発明の実施形態を実施例図面に基づいて詳細に説明する。
図１は本発明の音声分割記録装置における一実施例の構成図である。まず、入力手段（音声データ入力手段）１０によって、アナログ音声信号をディジタル音声データに変換して入力、若しくは直接的にディジタル音声データを入力する。該音声データについて、無音領域であるか、有音領域であるかを、無音領域、有音領域判別手段２０によって検知し、音声データの振幅値から無音領域、有音領域の判別を行う。更に付加情報記録手段３０によって、分割した音声データを記録する際に音声データごとに付加する付加情報を生成し、音声データ記録手段４０によってファイルに記録する。

上記の付加情報には、再生開始時刻情報、再生音源方向指示情報、キーワードインデックスの３つの情報があり、それらの記録手段の詳細を図２〜４に示す。まず図２に示す再生開始時刻情報の場合、再生開始時刻検出手段３０１によって各分割ファイルの再生開始時刻を検出し、再生開始時刻情報記録手段３０２によって記録する。次に図３に示す再生音源方向指示情報の場合、再生音源方向入力手段３０３によって再生音源方向の情報を生成し、再生音源方向指示情報記録手段３０４によって記録する。更に図４に示すキーワードインデックスの場合、音声認識手段３０５によって分割後の音声データの音声認識処理を行い、キーワードインデックス生成手段３０６によって認識結果からキーワードインデックスを自動生成し、キーワードインデックス記録手段３０７によって記録する。

図５、６は、音声を分割記録する際の付加情報のうち、再生開始時刻情報を付加する音声分割記録装置の一実施例と表示画面の一例である。入力手段としては、マイク入力などのアナログ入力を始め様々な方法が考えられるが、図５、６ではその一例として、あらかじめ保存されている音声ファイルを選択し、該ファイルから入力音声データを読み込む手段を用いている。

まず、図６においてディレクトリ選択ボタン５０３により分割後のデータを保存する保存先ディレクトリを選択し、無音判定時間設定エディットボックス５０２により無音判定時間の設定値(秒)、ファイル識別子エディットボックス５０４により識別子を入力する。ここでは、設定値を2秒、識別子を「ab」としている。無音判定時間設定エディットボックス５０２に入力した時間(秒)が音声データを分割するかしないかを判別するための基準時間(無音判定時間)となる。また、ディレクトリ選択ボタン５０３により保存先ディレクトリを選択すると、ディレクトリ選択ボタン５０３の左側にディレクトリ名が表示される。次に、入力音声ファイル選択ボタン５０６により入力音声ファイルを選択する。選択後、入力音声ファイル選択ボタン５０６の左側に選択したファイル名が表示される。更に、音声データ入力ボタン５１１により、選択した音声ファイルから入力音声データを読み込み、バッファに記録する。音声データの入力が終わると、記録開始ボタン５１０により、図５の構成に従って無音・有音領域判別および再生開始時刻検出、分割データの記録を開始する。記録処理の中断の際には中断ボタン５０８、終了する場合は終了ボタン５０９により終了する。

図５における無音・有音領域判別および再生開始時刻検出、分割データの記録手段について、図７に示す音声データのイメージ図を例に挙げて説明する。図7は入力音声データの時間および振幅を表す波形(約22秒)と、該入力音声データを前記分割データの記録手段によって分割し、再生開始時刻情報を付加してファイルに記録した分割後の音声波形の一例である。ただし、無音判定時間を2秒、ファイル識別子を「ab」と仮定している。入力音声データのうちaの部分は、振幅が設定されたしきい値より小さいデータ(無音データ)、bの部分は振幅がしきい値より大きいデータ(有音データ)を示している。このように入力音声データの先頭から振幅を調べていき、予め設定されたしきい値と比較し、各入力データが無音データaか有音データbかを判別する。なお、しきい値は実行時ごとに変更することも可能である。さらに、無音データの継続時間を図６の５０２で設定された無音判定時間(ここでは2秒)と比較し、無音データ継続時間が無音判定時間を超えれば無音領域と判定する。無音領域と判定されると、該直前の有音領域の音声データをファイルに記録する。

図7の例では、まず、a1〜a5が無音データ、b1〜b5が有音データと判別されるが、a2〜a5の無音データ継続時間は無音判定時間の2秒より短いため、[b1，a2，b2，a3，b3，a4，b4，a5，b5]が有音領域と判別され、a6が無音判定時間を超えたため、[b1，a2，b2，a3，b3，a4，b4，a5，b5]のデータが有音領域としてファイルに記録される(図7-A)。ただし、a1のように先頭にある無音は無音判定時間より短い場合もカットされるように設定される。また、各データの無音、有音を調べる際に、有音の始まる時刻(再生開始時刻)を保存しておき、該保存しておいた再生開始時刻(図7-Aでは0.5秒)をたとえばファイル名に付けて記録することで、分割したデータをファイルに記録する際に該データの再生時刻情報も付加する。図7-Aでは、有音データの先頭時刻が0.5秒であるため、有音領域をファイルに記録する際に、ファイル名に含まれる再生時刻情報n1に再生開始時刻を表す「005」を付けて保存している。

同様に、a7が無音判定時間を超える無音領域であるため、該前の有音領域[b6]の先頭時刻13.1秒を再生開始時刻情報n2とし、ファイル識別子と合わせてab_131.wavというファイル名で有音領域b6をファイルに記録する(図7-B)。入力音声データの最後の部分a9では、無音データ継続時間が無音判定時間以内であっても無音データa9を削除し、[b7，b8]を有音領域として再生時刻情報18.8秒とともにファイルに記録する(図7-C)。

図7の例では、ファイル名に再生開始時刻情報を含む名前を付けることで、分割した音声データに情報を付加しているが、再生開始時刻情報、再生音源方向指示情報、キーワードインデックスなどの付加情報の記録方法としては、ファイル名に含める方法の他に、ファイルのデータ内にヘッダー情報として記録する、別のファイルに記録するなど、様々な方法が考えられる。

図８は本発明による再生音源方向指示情報を付加した分割音声ファイルを再生する場合のイメージ図である。この例では音声出力装置(S1〜S4)を空間的に離れた位置にして観客のまわりに4つ配置し、正面にスクリーンを配置している。たとえば、再生音源方向指示情報により観客のまわりに配置された音声出力装置のどの出力装置(S1〜S4)から出力するかを指定すれば、音声ファイルごとに異なる音源方向を指示することができ、観客はどの方向にいる人が話しているかを識別できる。また、各音声ファイルごとに1つの固定した音源方向を指示するだけでなく、時間とともに音源方向を移動させたりすることも可能であり、また、音声を多チャンネル化して個別に音源方向を指示することで、臨場感あふれる音場を再現することも可能である。たとえば、ある音声ファイルについて、S1からS4まで徐々に音源方向が移動するよう設定すれば、観客は音が自分のまわりを回っているような臨場感を味わうことができる。

音声出力装置としては、図８のようにスピーカーに限定するものではなく、例えば多言語による再生を行うために再生音源方向指示情報を出力チャンネル指示情報として扱った場合には、出力チャンネルごとに受信可能な通信手段、出力装置を使うことによって、多言語による上映が可能となる。

再生音源方向指示情報を付加する再生音源方向指示手段の再生音源方向の入力手段としては、音声を分割記録する際に個別に設定することも、分割後に再設定することも可能である。再生音源方向情報は、再生開始時刻情報と同様にファイル名、ファイル内ヘッダー部分、別のファイルなど、さまざまな記録方法が考えられる。

図９は分割後の音声ファイルのファイル名(a)と、該音声ファイルに付加されたキーワードインデックス(b)の一覧を表示したイメージ図である。図９の例では、分割された音声ファイルab_005.wavに対し、音声認識処理を行って生成されたキーワード「おはよう」がキーワードインデックスとしてファイルに付加されており、ファイル名とともに表示されている。同様に、ab_131.wav、ab_188.wavはそれぞれ「やぁ」、「元気？」がキーワードインデックスとして付加されていることを表している。このように、有音領域ごとに分割された個々の音声ファイルに対し音声認識処理を行い、音声認識により自動抽出したキーワードをインデックスとしてファイルに付加するキーワード付加手段を具備する音声分割記録装置を構成することで、キーワードインデックスをファイル名とともに表示することで、1つ1つのファイルを再生することなくファイルの内容を知ることができ、特定のファイルを検索するのに便利である。キーワードインデックスも、他の付加情報と同様に、ファイル名、ファイル内ヘッダー、別のファイルなど、記録方法には様々な方法が考えられる。

本発明における音声分割記録装置の実施例の構成図である。 図１の一実施例における付加情報記録手段の詳細な一構成図である。 図１の一実施例における付加情報記録手段の詳細な一構成図である。 図１の一実施例における付加情報記録手段の詳細な一構成図である。 図１の一実施例における請求項１の詳細な一構成図である。 図１の一実施例による表示画面の一例である。 本発明における音声分割手段のイメージ図である。 再生音源方向指示情報による再生イメージ図である。 キーワードインデックスを付加した場合のイメージ図である。

符号の説明

１０ 入力手段
２０ 無音・有音領域判別手段
３０ 付加情報記録手段
４０ 音声データ記録手段
３０１ 再生開始時刻検出手段
３０２ 再生開始時刻情報記録手段
３０３ 再生音源方向入力手段
３０４ 再生音源方向指示情報記録手段
３０５ 音声認識手段
３０６ キーワードインデックス生成手段
３０７ キーワードインデックス記録手段

Claims (3)

1. アナログ音声信号をディジタル音声データに変換して入力する手段もしくは直接的にディジタル音声データを入力する音声データ入力手段と、該音声データの無音領域、有音領域を判別する音領域判別検知手段と、該音領域判別検知手段の判別結果に基づいて所定時間以上の無音領域は取り除いて有音領域ごとに分割して記録媒体に記録する音領域分割記録手段とを具え、且つ、有音領域ごとに分割して記録する際の音声ファイルに前記入力音声データにおける個々の再生開始時刻情報を個別的に付加する再生開始時刻情報付加手段を具備していることを特徴とする音声分割記録装置。
2. 請求項１により記録する際のファイルに、再生開始時刻情報に加え、空間的に離れた位置に配置された複数の音声出力装置による音源方向を指定するための再生音源方向指示情報を付加する再生音源方向指示手段を具備していることを特徴とする音声分割記録装置。
3. 請求項１により有音領域ごとに分割された個々の音声ファイルに対し音声認識処理を行い、音声認識により自動抽出したキーワードをインデックスとしてファイルに付加するキーワード付加手段を具備していることを特徴とする音声分割記録装置。
   
   

Images