JP2003223176A - スピーチ近似データによる字幕用データ作成・編集支援システム - Google Patents

Abstract

(57)【要約】 【課題】 スピーチ近似データを用いることにより、ス
ピーチ区間指定の指針とすることで、字幕用データ作成
・編集作業を支援するシステムをを提供する。 【解決手段】 音声power値の特定周波数範囲（例えば
５〜７Ｈｚ）成分を適当なレベルでスライスし、２値化
したデータを作成する。ここで、高レベル範囲はスピー
チ、低レベル範囲は非スピーチ（ポーズ）の区間を表す
ので、このデータから音声中のスピーチの開始・終了タ
イミングをある程度正確に把握することができる。この
ように、音声データを特殊処理したスピーチ近似データ
を、スピーチ区間指定の指針として活用することによ
り、書き起こし及び編集作業における、スピーチ内容の
理解・テキスト化への専念を可能とし、これらの作業を
効果的に支援することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人手による字幕制
作工程と、自動による字幕制作工程とを効果的に組み合
わせた半自動型字幕番組制作システムにおいて、スピー
チ近似データを用いることにより、スピーチ区間指定の
指針とすることで、字幕用データ作成・編集作業を支援
する技術に関する。

【０００２】〔発明の概要〕本発明は、音声データを特
殊処理したスピーチ近似データをタイムライン上に表示
することにより、スピーチ区間指定の指針となるように
したものである。

【０００３】スピーチ区間の指定を容易化することによ
り、書き起こし作業におけるスピーチ内容の理解・テキ
スト化への専念を可能とするもので、字幕用データ作成
・編集を効果的に支援することが可能となる。

【０００４】したがって、電子化原稿のない番組や背景
音レベルの大きい番組など多様な番組に対しても、より
簡単かつ効率的に字幕用データの作成・編集が可能とな
り、字幕番組制作の効率化に大きく寄与することが出来
る。

【０００５】

【従来の技術】オフラインで字幕番組を自動制作する技
術としては、ニュース番組やナレーション主体のドキュ
メンタリー番組を対象とし、電子化原稿が存在する場合
に、「自動要約」、「自動同期」、及び「自動字幕画面
作成技術」などの研究成果を集約し、「自動字幕番組制
作システム」として構築された技術が存在する。

【０００６】これらの技術は、すでに特願平１１−７２
６７１号等で特許出願されているが、かかる技術を適用
できる番組範囲は限られており、電子化原稿が存在しな
い番組、ドラマやバラエティーなど背景音レベルの大き
い番組などに対しては、自動機能として限界があるた
め、限界以上の部分は、手動による字幕制作や試写・修
正の範囲でカバーせざるを得ない。

【０００７】

【発明が解決しようとする課題】実際の字幕制作現場で
は、高度な専門技術、知識を持った多くの専門家が携わ
っており、字幕制作はこのような人間の能力に負ってい
る部分が多い。一方、今日のように、字幕番組の急速な
拡充が要請されている状況の下において、字幕制作は、
専門家でなくても、ワープロ作業が一応できるパートタ
イマーでも作業の一端を分担できるようなシステムとす
ることが望ましい。したがって、自動処理を前提とした
字幕制作システムのみならず、手作業を含む字幕用電子
化テキストの作成や、字幕画面の試写・編集などの作業
も含めたトータルシステムとして、字幕制作効率を考え
る必要がある。

【０００８】そこで、本件発明の発明者らは、これまで
に行った自動字幕制作システムのシステム評価などから
得た知見を基に、各自動化要素技術を高性能化した新し
い自動字幕システムを中核に、新たに開発した効率的な
手動字幕制作サブシステムを適用することで、広い番組
範囲に対応可能な実用性のより高い半自動型字幕番組制
作システムを開発した。

【０００９】この半自動型字幕番組制作システムは別途
出願しているが、かかる半自動型字幕番組制作システム
では、字幕用テキスト作成機能及び字幕番組データ編集
・試写機能については、手動作業で行うこととしてい
る。

【００１０】すなわち、音声の、簡易・確実なテキスト
化は極めて重要なテーマであるが、現状の音声認識技術
では誤りが生じるため、半自動型字幕番組制作システム
において字幕用テキスト作成機能は、人間による「書き
起こし作業」で行うこととしている。

【００１１】この「書き起こし作業」は、人間の高度な
音声認識能力、言語判断能力に頼るため、高い能力や多
くの時間を必要とする。また、スピーチの開始・終了タ
イミングを調べて記録することとしており、その分作業
者の負担は大きくなる。

【００１２】ここで、この手動作業を支援するシステム
があれば、作業者に要求される能力や作業時間、緊張の
程度を低減することができ、より効率的な「書き起こし
作業」が可能となる。

【００１３】また、半自動型字幕番組制作システムにお
いて、字幕番組データ編集・試写機能での作業は、一応
出来上がった字幕番組データを専門知識を有する作業者
が試写し、必要なら修正するものである。この作業にお
いて、作業者が字幕内容・タイミングなどに関する修正
がしやすいように支援するシステムがあれば、作業者に
要求される能力や、作業時間、緊張の程度を軽減するこ
とができ、より効率的な編集作業が可能となる。

【００１４】本発明は、このような課題に鑑みてなされ
たもので、半自動型字幕番組制作システムにおいて、ス
ピーチの開始・終了タイミングの把握を支援し、書き起
こし作業や字幕番組データ編集作業を行う者に必要とさ
れる能力や、緊張の程度を低減することを目的とする。

【００１５】

【課題を解決するための手段】本発明によるスピーチ近
似データによる字幕用データ作成・編集支援システム
は、字幕用テキスト書き起こし機能、自動字幕番組制作
機能、及び字幕番組編集・試写機能からなり、人手によ
る字幕制作機能と自動による字幕制作機能とを組み合わ
せた半自動型字幕番組制作システムに適用する字幕用デ
ータ作成・編集支援システムであって、字幕番組制作対
象となる番組用として録音された音声データ中のスピー
チ成分を強調するスピーチ近似データ作成手段と、前記
スピーチ近似データを、前記字幕番組制作対象となる番
組の時間経過を時間軸として示したタイムライン上に表
示する手段とを有すること特徴とする。

【００１６】音声データを特殊処理することにより、ス
ピーチ成分を強調したデータがタイムライン上に表示さ
れるので音声中のスピーチの開始・終了のタイミング把
握の確度を上げることができる。

【００１７】また、本発明においては、スピーチ近似デ
ータ作成手段は、音声のcflx解析値、音声Power値の特
定周波数範囲（例えば５〜７Ｈｚ）成分抽出値、又はこ
れらを組み合わせたものを用いることを特徴としてい
る。

【００１８】音声のcflx解析値を用いる方法とは、音声
のスピーチ区間の検出に、音声レベルの特徴を利用する
ブロック・ケプストラム・フラックス法（cflx法）を用
いるもので、ブロック・ケプストラム・フラックス法
は、音響データ内の複数のＬＰＣケプストラムベクトル
を基準フレームから相互に比較することで、音響データ
内容の切り替わり点をより安定に検出する方法である。

【００１９】また、音声Power値の特定周波数範囲成分
抽出値による方法とは、番組音声パワーの時間軸方向の
変動特性に注目して行う手法である。すなわち、スピー
チに関する時間軸方向の変動特性を、スピーチの発音記
号列と比較すると、母音の発音記号に対応する音声パワ
ーが他より大きくなる傾向があり、そして、通常速度の
スピーチにおけるこの変動特性は、ほぼ４〜７Ｈｚ程度
の周波数範囲になっている。本手法は基本的にはこの周
波数成分を抽出し、その成分が所定の閾値以上の範囲を
スピーチ区間として検出するものである。

【００２０】これらの値を用いることにより、スピーチ
成分を強調したデータを得ることができる。

【００２１】

【発明の実施の形態】まず、本発明を適用する半自動字
幕番組制作システムについて図４を参照して説明する。

【００２２】半自動型字幕番組制作システムの主要な機
能は、図４に示すように、字幕テキスト書起し機能１
と、自動字幕番組データ制作機能２と、字幕番組データ
編集・試写機能３と、全体を統括制御する基本ＧＵＩシ
ステム４とからなっている。

【００２３】ここで、字幕テキスト書き起こし機能１と
は、素材番組の音声を聞き取って、字幕用テキストの書
き起こしや開始・終了タイミングなどの付加データを入
力する機能であり、素材番組の映像・音声を、パソコン
のディスクに圧縮記録するとともに、記録された映像音
声の再生および特殊再生操作のための操作キーを備え、
対応する動作を行う「ディスク記録再生制御機能」、書
き起こしおよび付加情報データの入力の手動作業を支援
するため、素材番組の映像・音声、書き起こしテキスト
などに関する各種の情報を、タイムライン上にビジュア
ルに表示する「情報表示機能」、書き起こしたテキスト
やスピーチポーズの時間データ入力操作のための操作キ
ーを備え、対応する動作をする「データ作成制御機
能」、及びデータ作成画面や主映像表示画面とからな
る。

【００２４】また、自動字幕番組データ制作機能２と
は、提示時間順に配列された字幕用テキストの中から、
適切な改行・改頁によって表示単位字幕文を形成し、音
声認識処理を含む同期検出技術などを適用することによ
り、この表示単位字幕文毎に始点及び終点を同期点とし
て検出して、始点／終点タイミング情報を表示単位字幕
文毎に付与する一連の動作を自動的に行う機能であり、
必要な場合は字幕用テキストを要約する「テキスト自動
要約機能」と「表示単位字幕作成機能」と「タイミング
検出・付与機能」とからなる。

【００２５】また、字幕番組データ編集・試写機能３と
は、書き起こしした字幕用テキスト及び付加情報データ
を基に、自動字幕番組データ制作部で自動制作された字
幕番組データを人手で編集・試写するためのものであ
り、始点及び終点時間、字幕の改ページ、改行などに関
し編集・試写作業支援用特殊表示操作のための専用操作
キーを備え、対応する動作をする「ディスク記録再生お
よび字幕データ制御機能」、各種の情報を、タイムライ
ン上にビジュアル表示し、特に字幕番組データについて
は、タイミング変更支援画面を表示し対応する動作をす
る「情報表示・字幕タイミング制御機能」、字幕データ
のページ単位編集のための専用操作キーを備え、対応す
る動作をする「字幕データページ編集操作キーと機
能」、映像に重畳した指定字幕データ表示のための、操
作キーを備え、対応する動作をする「字幕データ・映像
表示機能」、及び部分試写、通し試写など、試写形式の
選択に必要な操作キーを備え、対応する動作をする「試
写用キーとその機能」とからなる。

【００２６】本発明にかかるスピーチ近似データによる
字幕用データ作成・編集支援システムは、前記半自動字
幕番組制作システムにおいて、字幕テキスト書き起こし
機能１及び字幕番組編集・試写機能３に適用し、これら
の機能を支援するためのシステムである。

【００２７】まず、本発明にかかるスピーチ近似データ
による字幕用データ作成・編集支援システムについて、
基本原理を図５及び図６を参照して説明し、次いでこの
システムを半自動字幕番組制作システムの字幕テキスト
書き起こし機能１に適用した実施の形態を図１乃至図３
により説明し、続いてこのシステムを半自動字幕番組制
作システムの字幕番組編集・試写機能に適用した実施の
形態を図７及び図８により説明する。

【００２８】本発明にかかるスピーチ近似データによる
字幕用データ作成・編集支援システムは、字幕用テキス
トの書き起こし作業及び編集作業において、スピーチの
開始・終了タイミングを把握することが重要であること
から、スピーチ近似データを作成して、それを活用し、
スピーチ区間を容易に把握できるようにすることで、ス
ピーチの開始・終了タイミングの把握を支援するもので
ある。

【００２９】一般に、テープに録音したスピーチの書き
起こしでは、テープの再生速度を遅くして、聴きやすく
する方法が行われており、その効果が知られている。

【００３０】しかし、ドキュメンタリーテレビ番組など
では、スピーチが連続している場合よりも比較的長い非
スピーチ（ポーズ）区間が介在している場合が多い。こ
のような場合は、テープの再生速度を遅くしてスピーチ
区間の書き起こしを行い、次いで、ポーズ区間を送った
後次のスピーチ区間テープを低速再生して書き起こしを
行う、といったテープの操作と書き起こしの作業を行う
こととなり、個々のスピーチ区間では音声を聞きながら
行う頭出し操作も必要となる場合もあるので煩雑な作業
が強いられる。

【００３１】ここで、書き起こしのための頭出しも含
め、スピーチ近似データの作成・活用によってスピーチ
区間の把握が容易となれば、書き起こし作業を効果的に
支援することができる。

【００３２】同様に、字幕番組の編集作業においても、
スピーチ近似データの作成・活用によってスピーチ区間
の把握が容易となれば字幕番組制作において、編集作業
を支援することができる。

【００３３】図５は、スピーチ近似データとして音声デ
ータ波形５１を表示した例である。

【００３４】横軸は、番組の時間経過を示したタイムラ
インであり、音声を再生するとこの経過時間に応じた位
置にカーソルが表示され、かつ時間経過とともに移動す
るようにしてある。したがって、カーソルの各位置にお
ける再生音声と音声波形の対応付けができる。

【００３５】音声における背景音が充分小さい場合とか
波形に関する経験状況によっては、この音声波形データ
からスピーチタイミングをある程度把握することができ
るが、通常の番組音声では、種々の背景音がありそのレ
ベルも様々であることから、一般的には、この音声波形
データからスピーチの開始・終了タイミングを正確に把
握することは難しい。

【００３６】ここで、スピーチ成分を強調したスピーチ
近似データを利用するとタンミング把握の確度を高める
ことが可能となる。

【００３７】図６は、音声データを特殊処理したスピー
チ近似データを用いた例である。図６において、波形６
１は音声のcflx解析値、波形６２は音声power値の特定
周波数範囲（例えば５〜７Hz）成分抽出値、波形６３は
波形６２を適当なレベルでスライスし、２値化したデー
タである。

【００３８】波形６３において、高レベル範囲はスピー
チ、低レベル範囲は非スピーチ（ポーズ）の区間を表し
ており、この例ではほとんど実測したタイミングと合致
している。したがって、波形６３から音声中のスピーチ
の開始・終了タイミングをある程度正確に把握すること
ができる。

【００３９】このように、音声データを特殊処理したス
ピーチ近似データを、スピーチ区間指定の指針として活
用することにより、書き起こし及び編集作業における、
スピーチ内容の理解・テキスト化への専念を可能とし、
これらの作業を効果的に支援することができる。

【００４０】次いで、本発明にかかるスピーチ近似デー
タによる字幕用データ作成・編集支援システムを半自動
字幕番組制作システムの字幕テキスト書き起こし機能に
適用した実施の形態を図１ないし図３を参照して説明す
る。

【００４１】字幕用テキスト書き起こし機能とは、素材
番組の音声を聞き取って、字幕用テキストの書き起こし
や付加データを入力する機能であり、前述の通り「ディ
スク記録再生制御機能」、「情報表示機能」、「データ
作成制御機能」、及びデータ作成画面や主映像表示画面
とからなる。

【００４２】本発明にかかるスピーチ近似データによる
字幕用データ作成・編集支援システムは、字幕用テキス
ト書き起こし機能の一部である「情報表示機能」におい
て、タイムライン上に、音声データを特殊処理したスピ
ーチ近似データを表示することによって、書き起こしお
よび付加情報データの入力の手動作業を支援するもので
ある。

【００４３】図１は、本発明にかかるスピーチ近似デー
タによる字幕用データ作成・編集支援システムを適用し
た、書き起こし・編集のメイン画面を示す。

【００４４】メイン画面は各機能の呼び出しを行うメニ
ュー領域１１、ＭＰＥＧ／ＡＶＩ映像の表示制御領域１
２、字幕テキストの編集領域１３、及び画像と字幕テキ
ストなどの一覧領域１４から成り立っている。

【００４５】図２に一覧領域１４部のみを取り出した画
面を示す。一覧領域１４において、上段から画像２１、
字幕本文２２、及び波形２３が表示される。一覧領域１
４の波形２３欄に音声データを特殊処理したスピーチ近
似データを表示する。なお、波形２３欄には横軸として
時間経過を示すタイムライン１６が表示される。本実施
の形態においては、音声power値の特定周波数範囲（例
えば５〜７Hz）成分を適当なレベルでスライスし、２値
化したデータをスピーチ近似データとして表示してい
る。カーソル１５は画像、字幕本文、波形領域にまたが
って、時間とともに移動して表示され、現状の相互関係
を把握することが出来る。

【００４６】次に、字幕テキスト書起しと付加情報デー
タ入力の、具体的処理手順例を図３に示す。

【００４７】図３に示す通り、まず、［ＰＬＡＹ］を押
し、映像再生開始。発話タイミングを探す（ステップＳ
１）。次いで、発話の確認点で、「書起開始」を押す
（ステップＳ２）。この点がスピーチ区間の開始点とな
る。続いて、一定時間巻き戻し、スロー再生開始する
（ステップＳ３）。次に、再生音を聴きながら書き起こ
し作業を行う（ステップＳ４）。次いで、スピーチ終了
と認識したら、適宜巻き戻して発話終了点を探し（ステ
ップＳ５）、発話終了点で「書起終了」を押す（ステッ
プＳ６）。番組が終了するまでステップＳ２からＳ６ま
での動作を繰り返す。一連の書き起こし作業が終了した
後、用字、用語をチェック、要約支援を実行し（ステッ
プＳ７）、続いて背景音情報を登録する（ステップＳ
８）。テキスト作成が終了したら、自動字幕番組データ
制作工程へすすむ（ステップＳ９）。

【００４８】これらの操作は、図１に示す書き起こし・
編集のメイン画面を見ながら行う。メイン画面下部の一
覧領域１４において、図２に示すように、書き起こそう
とする字幕本文を表示すべき欄の下の波形２３欄に、映
像ファイルに記録されている音声power値の特定周波数
範囲（例えば５〜７Hz）成分を適当なレベルでスライス
し、２値化したデータが表示されるので、発話の確認及
びスピーチ終了点を見つけ出すことが容易となる。

【００４９】続いて、本発明にかかるスピーチ近似デー
タによる字幕用データ作成・編集支援システムを半自動
字幕番組制作システムの字幕番組編集・試写機能に適用
した実施の形態を図７及び図８を参照して説明する。

【００５０】字幕番組データ編集・試写機能３とは、前
述の通り、作成した字幕テキスト及び付加情報データを
基に、自動字幕番組データ制作部で自動制作された字幕
番組データを人手で編集・試写するためのものであり、
「ディスク記録再生および字幕データ制御機能」、「情
報表示・字幕タイミング制御機能」、「字幕データペー
ジ編集操作キーと機能」、「字幕データ・映像表示機
能」、及び「試写用キーとその機能」とからなる。

【００５１】本発明にかかるスピーチ近似データによる
字幕用データ作成・編集支援システムは、字幕番組デー
タ編集・試写機能の一部である「字幕データ・映像表示
機能」において。タイムライン上に、音声データを特殊
処理したスピーチ近似データをビジュアルに表示するこ
とによって、字幕番組データ編集作業を支援するもので
ある。

【００５２】図７は、本発明にかかるスピーチ近似デー
タによる字幕用データ作成・編集支援システムを適用し
た、字幕素材編集のメイン画面である。メイン画面は、
各種機能の呼び出しを行うメニュー領域７１、字幕本文
の入力を行う編集領域７２、及びＭＰＥＧ／ＡＶＩ画像
と字幕本文の一覧領域７３に分けられる。

【００５３】字幕本文一覧領域７３には、図８に示すよ
うに、画像８１と字幕本文８２と波形８３が表示され
る。ここで、波形として、映像ファイルに記録されてい
る音声power値の特定周波数範囲（例えば５〜７Hz）成
分を適当なレベルでスライスし、２値化したデータがス
ピーチ近似データとして、時間経過を示すタイムライン
７５上に表示されるので、スピーチやポーズの位置を視
覚的に判断することができる。

【００５４】すなわち、字幕本文一覧領域において、字
幕本文は、話者と本文の内容が枠に囲われて表示される
ので、カーソル７４を参考にして波形として２値化され
て表示されたデータと見比べ、スピーチやポーズの位置
を確認しつつ、字幕表示の時間幅や表示タイミングの変
更を行うことが出来る。

【００５５】このように、視覚的にスピーチやポーズの
位置を判断することができるので、編集作業において、
字幕の表示タイミングの編集が容易となる。

【００５６】

【発明の効果】以上のように、本発明によれば、音声中
のスピーチの開始・終了タイミングをある程度正確に把
握することができるので、半自動型字幕番組制作システ
ムに、本発明を適用することによって、字幕テキスト書
き起こし作業及び編集作業を支援することができる。ま
た、スピーチの開始・終了タイミングを視覚的に把握す
ることができるので、書き起こし作業や字幕番組データ
編集作業を行う者に必要とされる能力や、緊張の程度を
低減することができる。

【図面の簡単な説明】

【図１】本発明にかかるスピーチ近似データによる字幕
用データ作成・編集支援システムを適用した、書き起こ
し・編集のメイン画面である。

【図２】図１から一覧領域部のみを取り出した画面であ
る。

【図３】字幕テキスト書起しと付加情報データ入力の処
理手順を示す図である。

【図４】本発明を適用する半自動型字幕番組制作システ
ムの機能構成図である。

【図５】スピーチ近似データとして音声データ波形５１
を表示した図である。

【図６】音声データを特殊処理したスピーチ近似データ
を表示した図である。

【図７】本発明を適用した、字幕素材編集のメイン画面
である。

【図８】図７から一覧領域部のみを取り出した画面であ
る。

【符号の説明】

１ 字幕テキスト書き起こし機能 ２ 自動字幕番組データ制作機能 ３ 字幕番組編集・試写機能 １１ メニュー領域 １２ 制御領域 １３ 編集領域 １４ 一覧領域 ５１ 音声データ波形 ６１ 音声のcflx解析値 ６２ 音声power値の特定周波数範囲成分抽出値 ６３ 音声power値の特定周波数範囲成分抽出値の２値
化データ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/278 Ｈ０４Ｎ 7/08 Ａ // Ｈ０４Ｎ 7/025 7/03 7/035 (71)出願人 000004352 日本放送協会 東京都渋谷区神南２丁目２番１号 (72)発明者 沢村 英治 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 門馬 隆雄 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 浦谷 則好 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 白井 克彦 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 5C023 AA18 BA01 BA11 CA03 CA04 CA05 5C063 AA01 AB05 AC01 AC05 AC10 CA29 DA03 DA07 DB10 5D015 DD03 KK02 5D045 AB30

Claims (2)

【特許請求の範囲】
1. 【請求項１】 字幕用テキスト書き起こし機能、自動字
   幕番組制作機能、及び字幕番組編集・試写機能からな
   り、人手による字幕制作機能と自動による字幕制作機能
   とを組み合わせた半自動型字幕番組制作システムに適用
   する字幕用データ作成・編集支援システムであって、 字幕番組制作対象となる番組用として録音された音声デ
   ータ中のスピーチ成分を強調するスピーチ近似データ作
   成手段と、 前記スピーチ近似データを、前記字幕番組制作対象とな
   る番組の時間経過を時間軸として示したタイムライン上
   に表示する表示手段とを有すること特徴とするスピーチ
   近似データによる字幕用データ作成・編集支援システ
   ム。
2. 【請求項２】 前記スピーチ近似データ作成手段は、音
   声のcflx解析値、音声Power値の特定周波数範囲成分抽
   出値、又はこれらを組み合わせたものを用いることを特
   徴とする請求項１に記載のスピーチ近似データによる字
   幕用データ作成・編集支援システム。