JP4210724B2 - 字幕番組受信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、現行字幕放送下であっても、視聴者側でその字幕提示形式を好みに応じて選択可能な字幕番組受信システムに係り、特に、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報の検出、及び映像との合成処理を自動設定し、選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムに関する。
【０００２】
【従来の技術】
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。
【０００３】
すなわち、例えば、情報メディアとして広く普及しているＴＶ放送番組を例示して、日本国内の全ＴＶ放送番組に対する字幕番組の割合に言及すると、欧米では３３〜７０％に達しているのに対し、わずか１０％程ときわめて低いのが現状である。
【０００４】
【発明が解決しようとする課題】
上述した現状を打破して映像及び／又は音声に対して字幕を合成した字幕番組を広く一般に普及させることを目的として、本発明者らは、あらゆる観点から字幕番組関連技術について鋭意研究を進めているところである。
【０００５】
さて、こうした字幕番組を広く一般に普及させるにあたり、字幕が読みやすく、かつ理解しやすいものであることがきわめて重要である。
【０００６】
そこで、本発明者らは、視聴者にとっての字幕番組の理想像を探るべく、種々の字幕提示形式に従う字幕番組について、字幕の読みやすさ、理解しやすさなどを評価項目として評価実験を行った。
【０００７】
この評価結果として、表示行数、文字サイズ、文字修飾、字幕転換法など基本的な字幕提示形式にもその好みの個人差が大きくあらわれ、評価者によっては特定の字幕提示形式を強く推挙する傾向もみられた。
【０００８】
これは、字幕提示形式を視聴者側で選択可能な字幕番組受信システムについての潜在ニーズがきわめて大きいことを暗示しており、換言すれば、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを開発して提供すれば、広範な視聴者の多様なニーズに応えることが可能となる結果として、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができることを意味している。
【０００９】
本発明は、上述した実情に鑑みてなされたものであり、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報の検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを提供することを課題とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明は、映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、
種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、
前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能、複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する字幕抽出・蓄積・読出手段と、
当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示形式変換手段と、
前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、
を備えて構成され、
前記タイミング演算機能は、前記字幕文テキスト一行毎の文字種、文字数、又は平均的な文字読み速度から前記字幕文テキスト一行毎の表示に要する時間を演算し、前記文頭タイミング情報に加えることにより、前記字幕文テキスト各行の文頭タイミング情報を取得することを要旨とする。
【００１１】
請求項１の発明によれば、まず、受信手段は、映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す。
【００１２】
次に、字幕抽出・蓄積・抽出手段は、受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能と、複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する。
【００１３】
さらに、提示形式変換手段は、字幕抽出・蓄積・読出手段で読み出された字幕文を、この字幕文及び提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する。
【００１４】
そして、字幕合成手段は、提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、受信手段で分離して取り出した映像とを合成する。
【００１５】
このように、請求項１の発明によれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。
【００１６】
また、請求項２の発明は、請求項１に記載の字幕番組受信システムであって、前記字幕合成手段は、前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを、タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり、前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文の提示タイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させることを要旨とする。
【００１７】
請求項２の発明によれば、字幕合成手段は、提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、受信手段で分離して取り出した映像とを、タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり、前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文が提示可能となるタイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させるので、したがって、前記両提示タイミングが同期した望ましい字幕番組を提示可能な字幕番組受信システムを実現することができる。
【００１８】
さらに、請求項３の発明は、映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、
種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、
前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す字幕抽出・蓄積・読出手段と、
当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示形式変換手段と、
前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、
を備えて構成され、
前記提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、前記字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、
当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を所望の字幕提示形式に合うように最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換し、
前記区切り可能箇所情報は、前記字幕文に対する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、当該改行・改頁データで定義される改行・改頁推奨箇所は、第１に、直前の改行・改頁点から（Ｎ（提示する字幕一行の最大文字数）−７）文字とＮ文字の範囲にある句点、第２に、直前の改行・改頁点から（Ｎ−４）文字とＮ文字の範囲にある読点、第３に、「・」を挟む漢字もしくはカナ文字が混在したものがＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点から（Ｎ−Ｍ）文字以上で、「・」位置がＮ文字以下の時は「・」の後ろ、第４に、漢字もしくはカナ文字あるいはアラビア数字が混在したものがＭ個連続する箇所の先頭が、直前の改行・改頁点から（Ｎ−Ｍ）文字以上の時は先頭の前、第５に、直前の改行・改頁点から（Ｎ−３）文字後、のうちいずれか１又は複数の組み合わせを含んでおり、前記記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換することを要旨とする。
【００１９】
請求項３の発明によれば、提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換するので、したがって、字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい最適な提示形式変換を実現することができ、さらに区切り可能箇所情報は、前記字幕文に対する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、しかも、当該改行・改頁データで定義される改行・改頁推奨箇所は、第１に、直前の改行・改頁点からＮ（提示する字幕一行の最大文字数）−７とＮ文字の範囲にある句点、第２に、直前の改行・改頁点からＮ−４とＮ文字の範囲にある読点、第３に、「・」を挟む漢字・カナ文字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上で、「・」位置がＮ以下の時は「・」の後ろ、第４に、漢字・カナ文字・アラビア数字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上の時は先頭の前、第５に、直前の改行・改頁点からＮ−３文字後、のうちいずれか１又は複数の組み合わせを含んでおり、前記記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換するので、実情に即して高精度に最適化された提示形式変換を実現可能な字幕番組受信システムを得ることができる。
【００２０】
さらにまた、請求項４の発明は、 請求項３に記載の字幕番組受信システムであって、前記字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられることを要旨とする。
【００２１】
請求項４の発明によれば、字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられるので、したがって、例えば、そのまま提示したのでは冗長若しくは文字数が多過ぎる字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。
【００２２】
しかも、請求項５の発明は、請求項３又は４のうちいずれか一項に記載の字幕番組受信システムであって、前記作成された提示単位字幕配列案を最適化するにあたり、前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超えるポーズが有る場合には、ポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成することを要旨とする。
【００２３】
請求項５の発明によれば、前記作成された提示単位字幕配列案を最適化するにあたり、前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超える比較的長いポーズが有る場合には、このポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成するので、したがって、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。
【００２６】
【発明の実施の形態】
既述したように、映像及び／又は音声に対して字幕を付与した字幕番組を広く一般に普及させることを目的として、本発明者らは、あらゆる観点から字幕番組関連技術について鋭意研究を進めているところである。
【００２７】
こうした字幕番組を広く一般に普及させるにあたり、字幕が読みやすく、かつ理解しやすいものであることがきわめて重要である。
【００２８】
そこで、本発明者らは、視聴者にとっての字幕番組の理想像を探るべく、種々の字幕提示形式に従う字幕番組について、字幕の読みやすさ、理解しやすさなどを評価項目として評価実験を行った。
【００２９】
この評価結果として、表示行数、文字サイズ、文字修飾、字幕転換法など基本的な字幕提示形式にもその好みの個人差が大きくあらわれ、評価者によっては特定の字幕提示形式を強く推挙する傾向もみられた。
【００３０】
これは、字幕提示形式を視聴者側で選択可能な字幕番組受信システムについての潜在ニーズがきわめて大きいことを暗示しており、換言すれば、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを開発して提供すれば、広範な視聴者の多様なニーズに応えることが可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができることを意味している。
【００３１】
そこで、本発明では、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が放送局から送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを提供することを課題としている。
【００３２】
以下に、本発明に係る字幕番組受信システムの一実施形態について、図に基づいて詳細に説明する。
【００３３】
図１は、本発明に係る字幕番組受信システムの機能ブロック構成図、図２は、第１の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図、図３は、第２の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。
【００３４】
本実施形態の説明に先立って、以下の説明で使用する用語の定義付けを行うと、本実施形態の説明において、提示対象となる字幕の全体集合を「字幕文テキスト」と言い、字幕文テキストのうち、句点で区切られた文章単位の部分集合を「単位字幕文」と言い、ディスプレイの表示画面上における提示単位字幕の全体集合を「提示単位字幕群」と言い、提示単位字幕群のうち、個々の字幕を「提示単位字幕」と言い、提示単位字幕のうちの任意の文字を表現するとき、これを「字幕文字」と言うことにする。
【００３５】
さて、好ましい字幕提示形式に関する基礎的な評価実験の結果、有用と考えられる字幕提示パラメータとして、一行・二行・三行等の字幕行数、標準・横２／３・縦２／３等の字幕文字サイズ、表示画面上における字幕の表示位置、字幕文字のフォント・色・厚み等の字幕文字修飾、一括入れ換え・縦スクロール・横スクロール等の字幕転換形式、字幕専用領域の有無、などを挙げることができる。これらの字幕提示パラメータのうち、所望の組み合せに係る字幕提示形式を、視聴者側で選択可能な字幕番組受信システムを実現できれば、広範な視聴者の多様なニーズに応えることができる。
【００３６】
上述した字幕転換形式について詳しく述べると、字幕転換形式は、アナウンス音声や番組の進行に伴って字幕を転換する際に用いられるものであり、提示単位字幕群を提示単位毎に一括して総入れ換えする一括総入れ換え形式、横書きの提示単位字幕群のうち、最古の提示単位字幕文を消去する一方、最新の提示単位字幕文を追加するようにして提示単位字幕文を行単位で縦方向に送る縦スクロール形式、横書きの提示単位字幕文のうち、最古の字幕文字を消去する一方、最新の字幕文字を追加するようにして提示単位字幕文を文字単位で横方向に送る横スクロール形式、などを例示することができる。
【００３７】
なお、アナウンス音声や番組映像の進行に同期して字幕を転換するにあたり、一括総入れ換え形式では、通常提示単位字幕文毎にその始点／終点タイミングを定め、そのタイミングに応じて提示単位毎の字幕転換を実行する。一方、縦スクロール又は横スクロール形式では、この形式で用いる提示単位字幕文毎の始点及び終点のタイミング、又は始点とスクロール速度を求めておき、所定タイミングで行単位又は文字単位毎の字幕転換を実行する。
【００３８】
上述した種々の字幕提示形式のうち、本発明では、例えば、三行の提示単位字幕文を提示単位とした提示単位字幕群を一括して総入れ換えする三行一括総入れ換え形式を内容とした第１の字幕提示形式と、横書き三行の提示単位字幕文を提示単位とした提示単位字幕群のうち、最古の提示単位字幕文を消去する一方、最新の提示単位字幕文を追加するようにして提示単位字幕文を行単位で縦方向に入れ換える三行縦スクロール形式を内容とした第２の字幕提示形式と、を例示して以下の説明を行うことにする。
【００３９】
ところで、現行の字幕放送では、一行当たり１５文字を限度として、横二行の提示単位字幕文を提示単位とした字幕提示形式を受信側が採択することを前提としており、放送局からは横二行分の提示単位字幕がその開始タイミングで送られてくる。そこで、二行提示単位を前提として送られてきた字幕文テキストを、三行提示単位とした字幕提示形式に変換する際には、番組映像や音声との間で同期をとりながら、字幕提示形式に従う提示単位字幕文を提示する必要がある。本発明では、後述するタイミング演算処理や映像時間遅延手法を用いてこの問題を解決している。
【００４０】
次に、本発明に係る字幕番組受信システムの構成及び動作について、図面に従って詳細に説明していく。
【００４１】
まず、本発明に係る字幕番組受信システム１１の概略構成について、図１を参照して説明する。
【００４２】
同図に示すように、字幕番組受信システム１１は、受信アンテナ１３が接続された受信手段として機能する字幕番組受信チューナ１５と、字幕抽出・蓄積・読出手段として機能する字幕抽出・蓄積・読出部１７と、必要に応じて適宜追加される要約手段として機能する要約部１９と、提示形式指示入力手段として機能する提示形式指示入力部２１と、提示形式変換手段として機能する提示形式変換部２３と、ＮＴＳＣ変換器２５と、映像遅延部２６と、映像処理部２７と、字幕合成手段として機能する字幕合成処理部２９と、を含んで構成されている。
【００４３】
字幕番組受信チューナ１５は、放送局から送られてきた映像及び音声、並びに提示すべき字幕の基となる字幕文テキストを含む放送電波を、受信アンテナ１３を介して受信するとともに、受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す機能を有している。
【００４４】
字幕抽出・蓄積・読出部１７は、字幕番組受信チューナ１５で分離して取り出される字幕文テキストのうち、所要範囲内の字幕文、つまり、横二行分の提示単位字幕文を単位として、少なくとも２単位分の字幕文を抽出する抽出機能と、抽出した字幕文を一旦蓄積する蓄積機能と、この蓄積の際、字幕文の各単位の文頭タイミングを図示しないタイマを利用して付加する文頭タイミング情報付加機能と、抽出・蓄積機能を発揮することで抽出・蓄積した字幕文を、その文頭タイミング情報に伴って読み出す読出機能と、後に詳述するタイミング演算機能と、等を有している。
【００４５】
要約部１９は、必要に応じて追加される付加的な機能ブロックであり、字幕抽出・蓄積・読出部１７で読み出された字幕文からその要約文を作成する要約機能を有し、さらに必要ならば、要約機能を発揮することで作成された要約文、すなわち字幕文に対し、字幕文を区切る際に適切と考えられる区切り可能箇所に関する区切り可能箇所情報を付加する情報付加機能も有している。上述した要約機能は、字幕文字数を減らして字幕を読みやすくしたい場合等に適用し、字幕文の文末を対象とした簡略化や、字幕文中に含まれる特定の単語を出現したとき、これを簡略化するものである。特定の単語の簡略化例としては、例えば、「小渕内閣総理大臣は、…」との字幕文が出現したとき、これを、「小渕総理は、…」に簡略化する等を挙げることができる。ここで、本要約部１９の要約機能は、本字幕番組受信システムにとって必ずしも必須の機能ではなく、例えば、放送局から送られてきた字幕文テキストをそのまま字幕として使用するのが適当な番組においては、これを省略可能であることを付言しておく。なお、区切り可能箇所情報としては、受信した横二行分の提示単位字幕文の一行目と二行目との間にある改行記号を利用することができるほか、例えば、必要に応じて文節データ付き形態素解析データや、次述する改行・改頁データ（分割ルール）を利用することもできる。
【００４６】
字幕文に対する改行・改頁推奨箇所に係る改行・改頁データ（分割ルール）で定義される改行・改頁推奨箇所としては、例えば、第１に、直前の改行・改頁点からＮ（提示する字幕一行の最大文字数）−７とＮ文字の範囲にある句点、第２に、直前の改行・改頁点からＮ−４とＮ文字の範囲にある読点、第３に、「・」を挟む漢字・カナ文字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上で、「・」位置がＮ以下の時は「・」の後ろ、第４に、漢字・カナ文字・アラビア数字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上の時は先頭の前、第５に、直前の改行・改頁点からＮ−３文字後、などを挙げることができる。なお、要約部１９を使用する場合には、文節データを活用してより適切な改行・改頁を行うことが可能である。
【００４７】
提示形式指示入力部２１は、例えば、ディスプレイのＧＵＩ（グラフィカル・ユーザー・インターフェース）画面をみながら、複数の字幕提示パラメータの組み合わせに係る種々の字幕提示形式のなかから、視聴者が所望の字幕提示形式を選択的に指示入力操作する際に用いられる。ここで選択された字幕提示形式は、字幕抽出・蓄積・読出部１７、要約部１９、提示形式変換部２３、映像遅延部２６、映像処理部２７、及び字幕合成処理部２９の各々で参照される。なお、ここで選択可能な字幕提示形式としては、前述した複数の字幕提示パラメータに加えて、映像時間遅延や映像圧縮等の映像処理、又は字幕合成処理における処理パラメータや、要約を使用する場合には要約手法やその程度の指定を含むものとする。
【００４８】
提示形式変換部２３は、字幕抽出・蓄積・読出部１７で読み出された字幕文若しくは必要に応じて要約部１９で要約された要約文を、この字幕文若しくは要約文、これらに付加されている区切り可能箇所情報、及び提示形式指示入力部２１を介して指示入力された字幕提示形式に基づいて、字幕提示形式に従う提示単位字幕文に変換する提示形式変換機能を有している。
【００４９】
ＮＴＳＣ変換器２５は、提示形式変換部２３で提示形式変換後の提示単位字幕文に該当する字幕信号に対してＮＴＳＣ変換処理を施すことで字幕ＴＶ信号を出力する機能を有している。
【００５０】
映像遅延部２６は、字幕番組受信チューナ１５で分離して取り出された番組映像に対し、提示形式指示入力部２１からの提示形式指示に従って、時間遅延処理を行う映像遅延機能を有しており、最終的に生成された提示単位字幕と映像間のタイミングを合わせるようにする。
【００５１】
映像処理部２７は、映像遅延部２６で時間遅延処理が施された番組映像に対し、提示形式指示入力部２１からの提示形式指示に従って、映像圧縮、又は字幕が表示される映像領域のレベル制御等の映像処理を行う機能を有している。
【００５２】
字幕合成処理部２９は、提示形式指示入力部２１からの提示形式指示に従って、ＮＴＳＣ変換器２５でＮＴＳＣ変換処理後の字幕ＴＶ信号と、映像処理部２７で映像処理後の映像信号とを対象として、字幕キー合成処理や混合処理を行うことで、番組映像に対して字幕が合成された字幕番組を出力する機能を有している。なお、字幕キー合成処理は、字幕ＴＶ信号をキーとして、字幕部分では字幕ＴＶ信号を、その他の部分では映像信号を出力する合成法である。
【００５３】
次に、三行一括総入れ換え形式を内容とする第１の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順について、図２に示すフローチャート図を参照して説明する。
【００５４】
ステップＳ１において、提示形式指示入力部２１は、種々の字幕提示形式のなかから、視聴者の操作指示入力に従う所望の字幕提示形式を選択的に入力する。
本実施形態の例では、三行一括総入れ換え形式を内容とする第１の字幕提示形式を選択的に入力する。
【００５５】
ステップＳ２乃至Ｓ４において、字幕抽出・蓄積・読出部１７は、字幕番組受信チューナ１５で分離して取り出された字幕文テキストのなかから、少なくとも前記２単位分に相当する所定時間後までの範囲内の字幕文を抽出し、抽出した字幕文を一旦蓄積するとともに、この蓄積の際に、各単位の字幕文の文頭タイミング情報をタイマを利用して付加しておき、抽出・蓄積機能を発揮することで抽出・蓄積した字幕文を、その文頭タイミング情報に伴って読み出す。
【００５６】
ステップＳ５において、字幕抽出・蓄積・読出部１７は、読み出した字幕文とその文頭タイミング情報とを入力として、タイミング演算機能を発揮することで、次の単位の字幕文との間のポーズの有無を検出する。実際には、対応するアナウンス音声中における例えば２秒以上等の所定時間を超える無音区間すなわちポーズの有無を検出する。ポーズの有無を検出するにあたっては、当該字幕文の文字種、文字数、又は平均的な文字読み速度などから、当該単位の字幕文相互間の文末タイミングを求め、次単位の字幕文の文頭タイミングと比較することでポーズの有無を検出する。ここで、ポーズの有無を検出する趣旨は、このポーズの前後では、時間的にも内容的にも相異なる字幕文となるのが通常であるため、したがって、ポーズの前と後の各字幕文を別の提示単位字幕文として字幕文テキストの分割処理等を行うのに使用する趣旨である。さて、字幕抽出・蓄積・読出部１７は、タイミング演算機能を発揮することで、さらに、現行字幕放送下での二行目に相当する提示単位字幕文の文頭タイミングも、必要に応じて演算で求めている。その理由は、現行字幕放送の字幕文の１頁と、２頁の一行目とから、新たな１頁目の三行提示字幕を生成したとすると、新たな２頁目の字幕は、現行２頁目の二行目と、３頁目の一及び二行目とで構成することとなり、この新たな２頁目の開始タイミングは、内容的には現行２頁の二行目の開始タイミングでなければならないためである。その求め方は、当該字幕文の一行目の文字種、文字数、又は平均的な文字読み速度などから、一行目の所要時間を演算し、文頭タイミング時間に加えるようにする。
【００５７】
ステップＳ６において、要約部１９は、字幕抽出・蓄積・読出部１７で読み出された字幕文を対象とした要約を行う。これは、字幕文字数を減らして字幕を読みやすくしたい場合等に適用し、例えば字幕文の文末を対象とした簡略化や、字幕文中に含まれる特定の単語を出現したとき、これを簡略化するなどの手法による。したがって、例えば、そのまま提示したのでは文字数が多過ぎて読取りが困難又は冗長な字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。しかし、本ステップＳ６は、本字幕番組受信システムにとって必ずしも必須の処理要素ではなく、例えば、放送局から送られてきた字幕文テキストをそのまま字幕として使用するのが適当な番組等においては、提示形式指示による視聴者の提示でこれを省略可能である。本例では、要約が省略された形態を例示して以下の説明を行う。
【００５８】
ステップＳ７乃至Ｓ１０において、提示形式変換部２３は、字幕抽出・蓄積・読出部１７で読み出された字幕文を、この字幕文、これに付加されている区切り可能箇所情報、及び提示形式指示入力部２１を介して指示入力された字幕提示形式に基づいて、字幕提示形式に従う提示単位字幕文に変換する。
【００５９】
詳しく述べると、提示形式変換部２３は、字幕抽出・蓄積・読出部１７で読み出された、区切り可能箇所情報が付加されている字幕文を、ステップＳ１で指示入力された第１の字幕提示形式に従う提示単位字幕文に変換するにあたり、字幕文を適宜分割することで提示単位字幕配列案を作成し（ステップＳ７）、ステップＳ８で示す改行・改頁データ（分割ルール）を含む区切り可能箇所情報を参照して、ステップＳ７で作成された提示単位字幕配列案の改行・改頁点を最適化することで提示単位字幕配列を確定（ステップＳ９乃至Ｓ１０）することにより、字幕文を最適箇所で三行の各提示単位字幕文に分割するようにして、字幕文を、字幕提示形式に従う提示単位字幕文に変換する。
【００６０】
したがって、字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を参照することで、見やすく読みやすい最適な提示形式変換を実現することができる。
【００６１】
具体的には、受信した字幕文に含まれる改行記号を利用するとともに、文節データがあればこれも利用する。そのほか、区切り可能箇所情報を参照して、ステップＳ７で作成された提示単位字幕配列案を最適化するにあたり、ステップＳ８で示す改行・改頁データ（分割ルール）で定義される改行・改頁推奨箇所は、第１に、直前の改行・改頁点からＮ（提示する字幕一行の最大文字数）−７とＮ文字の範囲にある句点、第２に、直前の改行・改頁点からＮ−４とＮ文字の範囲にある読点、第３に、「・」を挟む漢字・カナ文字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上で、「・」位置がＮ以下の時は「・」の後ろ、第４に、漢字・カナ文字・アラビア数字がＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点からＮ−Ｍ以上の時は先頭の前、第５に、直前の改行・改頁点からＮ−３文字後、のうちいずれか１又は複数の組み合わせを含んでおり、この改行・改頁データ（分割ルール）を適用するにあたっては、前記記述順の先頭から優先的に適用するようにする。
【００６２】
このようにすれば、さらに実情に即して高精度に最適化された提示形式変換を実現することができる。
【００６３】
なお、ステップＳ１０における提示単位字幕配列確定処理において、提示単位字幕配列案に対応する音声アナウンス中におけるポーズの有無を、ステップＳ５におけるタイミング演算処理からの情報をもとに調査し、この調査の結果、ポーズが有る場合にはポーズ以前の字幕文から新たに提示単位字幕配列を再変換するようにする。
【００６４】
ここで、ステップＳ１０において提示単位字幕配列、すなわち提示単位字幕文に対応する音声アナウンス中におけるポーズの有無を調査する趣旨は、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるからである。これにより、ステップＳ１０で一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。
【００６５】
ステップＳ１１乃至Ｓ１５において、ステップＳ１０における提示単位字幕配列が確定すると、確定した配列の先頭・最後の字幕文字が判るので、前記の文頭に付加したタイミング情報や、ステップＳ５及びＳ１２におけるタイミング演算結果を利用することによって、番組映像若しくは音声との間の相対時間同期を考慮した提示開始・提示終了を行うことが可能となる。絶対時間同期は、後述の時間遅延部２６の設定で行う。なお、ステップＳ１２の終点タイム算出処理は、ステップＳ５のタイミング演算処理に含めることも可能である。
【００６６】
具体的には、字幕番組受信チューナ１５から分離して取り出された映像信号は、映像遅延部２６における映像の遅延処理や、映像処理部２７における映像の圧縮処理又は字幕が表示される映像領域のレベル制御などの処理を施した後、字幕合成処理部２９において、ＮＴＳＣ変換器２５から送出されるＮＴＳＣ信号化字幕信号との字幕キー合成や混合処理を施すことにより字幕番組となる。２頁目以降の提示単位字幕についても、上述と同様に行われる。このとき、映像処理や字幕合成処理の処理内容も、当然提示形式指示に従って実行される。
【００６７】
次に、三行縦スクロール形式を内容とする第２の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順について、図３に示すフローチャート図を参照して、上述した第１の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順との相違点を中心に説明すると、その相違点は、図３におけるステップＳ１１乃至Ｓ１５に示すように、所定時間以上のポーズを切れ目としたスクロール提示単位字幕文を作成し、この提示単位字幕文について、ステップＳ５におけるタイミング演算からのタイミングに応じて表示開始、スクロール開始、スクロール終了、表示終了を行う点である。なお、スクロール終了タイミングは、固定若しくはステップＳ５におけるタイミング演算からのスクロール速度で代替可能である。また、提示単位として選択した提示単位字幕群を三行縦スクロールさせる手法は、周知の手法を適用すればよい。
【００６８】
ここで、映像遅延部２６における映像の時間遅延処理を設けた趣旨を説明すると、例えば二行字幕提示を前提にこの二行の開始点が映像・音声とタイミングが合った状態で送信されてきた字幕信号を、上述した第１乃至第２の字幕提示形式に従う本実施形態のように三行字幕提示に変換する場合には、二行目の字幕文を受信してから、三行目の字幕文を受信するまでの間に時間差を生じるので、少なくともこの時間差分だけ三行字幕の提示は待たされることになる。したがって、この三行字幕の一行目と二行目の字幕文は、映像・音声に対して少なくともこの待ち時間分だけ遅れることになる。そこで、字幕処理に伴う映像・音声信号との間のタイミングのずれは、映像遅延部２６における映像信号の遅延時間処理で解消するようにしている。このときの遅延時間は、例えば３〜５秒程度である。
【００６９】
なお、字幕提示形式として一行字幕提示又は二行字幕提示を選択した場合には、総入換え形式、又は縦・横スクロール形式のいずれの場合であっても、構成や処理は三行の場合と比較してはるかに簡単になる。それは、提示すべき字幕文の開始タイミングが映像・音声のタイミングと同一又はそれ以前であるので、本質的に映像の遅延処理は不要であり、また、この場合、ステップＳ５におけるタイミング演算での所定時間を越えるポーズの検出、及び分割最適化は不要となるので、その構成を簡易化することができる。しかし、一行字幕提示では、受信した字幕文テキストの二行目タイミング演算は必須である。
【００７０】
以上述べたように、本発明に係る字幕番組受信システムによれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が放送局から送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。
【００７１】
なお、本発明は、上述した実施形態の例に限定されることなく、請求の範囲内において適宜の変更を加えることにより、その他の態様で実施可能であることは言うまでもない。
【００７２】
【発明の効果】
以上詳細に説明したように、請求項１の発明によれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。
【００７３】
また、請求項２の発明によれば、提示単位字幕文に対応する映像の提示タイミングと、この提示単位字幕文の提示タイミングとが同期した望ましい字幕番組を提示可能な字幕番組受信システムを実現することができるというきわめて優れた効果を奏する。
【００７４】
さらに、請求項３の発明によれば、字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい高精度に最適化された提示形式変換を実現可能な字幕番組受信システムを得ることができる。
【００７５】
さらにまた、請求項４の発明によれば、例えば、そのまま提示したのでは文字数が多過ぎて読取りが困難又は冗長な字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。
【００７６】
しかも、請求項５の発明によれば、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。
【図面の簡単な説明】
【図１】図１は、本発明に係る字幕番組受信システムの機能ブロック構成図である。
【図２】図２は、第１の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。
【図３】図３は、第２の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。
【符号の説明】
１１ 字幕番組受信システム
１３ 受信アンテナ
１５ 字幕番組受信チューナ（受信手段）
１７ 字幕抽出・蓄積・読出部（字幕抽出・蓄積・読出手段）
１９ 要約部（要約手段）
２１ 提示形式指示入力部（提示形式指示入力手段）
２３ 提示形式変換部（提示形式変換手段）
２５ ＮＴＳＣ変換器
２６ 映像遅延部
２７ 映像処理部
２９ 字幕合成処理部（字幕合成手段）

Claims (5)

1. 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、
   種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、
   前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能、複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する字幕抽出・蓄積・読出手段と、
   当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示形式変換手段と、
   前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、
   を備えて構成され、
   前記タイミング演算機能は、前記字幕文テキスト一行毎の文字種、文字数、又は平均的な文字読み速度から前記字幕文テキスト一行毎の表示に要する時間を演算し、前記文頭タイミング情報に加えることにより、前記字幕文テキスト各行の文頭タイミング情報を取得することを特徴とする字幕番組受信システム。
2. 請求項１に記載の字幕番組受信システムであって、
   前記字幕合成手段は、
   前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを、前記タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり、
   前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文の提示タイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させることを特徴とする字幕番組受信システム。
3. 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、
   種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、
   前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す字幕抽出・蓄積・読出手段と、
   当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示形式変換手段と、
   前記提示形式変換手段で提示形式変換後の少なくとも１以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、
   を備えて構成され、
   前記提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、前記字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、
   当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を所望の字幕提示形式に合うように最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換し、
   前記区切り可能箇所情報は、前記字幕文に対する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、当該改行・改頁データで定義される改行・改頁推奨箇所は、第１に、直前の改行・改頁点から（Ｎ（提示する字幕一行の最大文字数）−７）文字とＮ文字の範囲にある句点、第２に、直前の改行・改頁点から（Ｎ−４）文字とＮ文字の範囲にある読点、第３に、「・」を挟む漢字もしくはカナ文字が混在したものがＭ個（Ｎ以下、Ｎ／４以上）連続する箇所の先頭が、直前の改行・改頁点から（Ｎ−Ｍ）文字以上で、「・」位置がＮ文字以下の時は「・」の後ろ、第４に、漢字もしくはカナ文字あるいはアラビア数字が混在したものがＭ個連続する箇所の先頭が、直前の改行・改頁点から（Ｎ−Ｍ）文字以上の時は先頭の前、第５に、直前の改行・改頁点から（Ｎ−３）文字後、のうちいずれか１又は複数の組み合わせを含んでおり、前記記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換することを特徴とする字幕番組受信システム。
4. 請求項３に記載の字幕番組受信システムであって、
   前記字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられることを特徴とする字幕番組受信システム。
5. 請求項３又は４のうちいずれか一項に記載の字幕番組受信システムであって、
   前記作成された提示単位字幕配列案を最適化するにあたり、
   前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超えるポーズが有る場合には、ポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成することを特徴とする字幕番組受信システム。

Images