JP2004194131A

JP2004194131A - 字幕表示方法、再生装置、記録装置、記録媒体及び出力装置

Info

Publication number: JP2004194131A
Application number: JP2002361603A
Authority: JP
Inventors: Naozumi Sugimura; 直純杉村; Masuo Oku; 万寿男奥
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08

Abstract

【課題】ハイビジョン画像をダウンコンバートして表示する際に、従来は、画像とともに表示されている字幕も同時に縮小されてしまい、非常に見にくくなっていた。ダウンコンバートしてレターボックス表示する際には、画面の上下に画像が表示されない領域が生じている。ダウンコンバート時には、この画像が表示されない領域に字幕が表示されるように制御する。そのための字幕表示方法とデータ構造を提供する。
【解決手段】記録媒体上に複数の表示形式情報を記録しておき、出力形式に応じて、表示形式情報を選択する。ハイビジョン表示の時には、ハイビジョン用の文字サイズと位置で表示し、ダウンコンバート時には、ＮＴＳＣ用の文字サイズと位置に字幕を表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、情報の記録再生技術に関し、特に、テレビジョン信号に字幕を合成する技術に関するものである。
【０００２】
【従来の技術】
ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）に代表される記録媒体を用いて、映画などの映像コンテンツが幅広く流通している。これら記録媒体の高密度化や、放送のデジタル化、ブロードバンドに代表される通信速度の高速化などにより、高密度な画像を用いて映像を楽しむことが可能となった。
【０００３】
高画質な映像を表示する装置として、ハイビジョンテレビがある。ハイビジョンテレビでは、従来のＮＴＳＣ方式のテレビと比べ、高解像度で鮮明な画像を表示することができる。また、ハイビジョンテレビは、アスペクト比が１６：９と横長で、より迫力のある映像を楽しむことができる。
【０００４】
一方で、従来からのＮＴＳＣ方式のテレビが未だ広く用いられている。一般的に、ＮＴＳＣ方式のテレビは、アスペクト比が４：３であり、ハイビジョンテレビと比較して横幅が短い。
【０００５】
従来のＮＴＳＣ方式のテレビを所有しているユーザーが、ハイビジョン映像の記録されたディスクを再生したり、ハイビジョン放送を視聴する場合においては、ダウンコンバートと呼ばれる機能を用いて、画像を縮小し、解像度を落としてテレビで表示している。この時、ハイビジョンテレビとＮＴＳＣ方式のテレビでは、アスペクト比が異なるため、ＮＴＳＣ方式のテレビ上では、レターボックスと呼ばれる横長画像で表示される。レターボックス表示では、ＮＴＳＣ方式のテレビの上下に帯状の画像の表示されない領域が生じる。
【０００６】
【特許文献１】
特開平８−３１７３０６号公報
【０００７】
【発明が解決しようとする課題】
外国映画などでは、多くの場合、字幕が表示される。しかしながら、従来のテレビにレターボックス表示を行う場合、そこに表示される字幕も、映像とともに縮小されて表示されるため、非常に見にくいものとなってしまう。
【０００８】
本発明の目的は、ダウンコンバートを行って画面を縮小した場合にも、字幕を見やすく表示することのできる装置を提供することにある。
【０００９】
【課題を解決するための手段】
ハイビジョンテレビ用の画像とともに、複数の表示形式に対応した表示形式情報を同時に伝送ないし記録しておく。映像を表示する際には、上記の複数の表示形式情報から表示形式情報を選択し、表示形式情報に応じた字幕を生成し、映像に合成する。
【００１０】
【発明の実施の形態】
図１に、本発明における字幕情報の記録形式を示す。
図１中、１００は字幕情報ファイル、１０１は字幕情報サイズ、１０２は表示開始時刻、１０３は表示終了時刻、１０４は第１の表示形式情報、１０５は第２の表示形式情報、１０６は文字情報である。
【００１１】
字幕情報ファイル１００には、１プログラム（番組・映画）分の字幕情報が含まれる。もちろん、１プログラム分の字幕情報を、必要に応じて、複数のファイルに分割して記録してもよい。逆に、複数のプログラムの字幕情報をまとめて、一つの字幕情報ファイルとしてもよい。各々の字幕情報には、１つの字幕を表示するために必要な情報が含まれている。
【００１２】
字幕情報サイズ１０１は、個々の字幕情報のデータサイズを示す。これを使用することにより、次の字幕情報の開始位置を容易に求めることができる。
【００１３】
表示開始時刻１０２および表示終了時刻１０３は、各々、５バイトのデータ領域を持ち、そのうち３３ビットが有効なデータである。ここで、表示開始時刻１０２は、字幕の表示開始時刻を示す。また、表示終了時刻１０３は、字幕の表示終了時刻を示す。これら時刻情報は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）ストリーム中の映像および音声の表示開始時刻（ＰＴＳ）に対応しており、９０ｋＨｚのクロックにより計測された３３ビットの値である。
【００１４】
映像信号および音声信号は、ＭＰＥＧ方式で画像圧縮処理されており、これを元の映像・音声に戻す処理が、デコーダによって行われる。画像および音声のデコードの基準となる時刻が、ＭＰＥＧ−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）中のＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）パケットと呼ばれるパケット中に書かれている。デコーダは、ＰＣＲパケット中の時刻情報を元に、いわゆるＰＬＬ制御により基準クロックを生成する。このクロックを使用して、音声と映像のデコード動作が行われる。
【００１５】
映像の表示制御には、上記クロックを９０ｋＨｚに分周したクロックが用いられ、このクロックで３３ビットカウンターを計数させることによりタイムスタンプ値を得る。映像信号中の各画像には、表示時刻を指定するＰＴＳが付加されており、この時刻とタイムスタンプによる時刻が一致した時点で、画像の表示が行われる。
【００１６】
字幕情報においても、映像との同期を行うために、上記のタイムスタンプ値を使用する。具体的には、後述するシステム制御部が、タイムスタンプ値を参照し、字幕情報中の表示開始時刻との比較を行う。クロックカウンターの値が、表示開始時刻と一致したら、字幕表示処理を行う。同様に、字幕表示終了時は、クロックカウンターの値と、表示終了時刻との比較を行い、両者が一致した時点で、表示を終了する。
以上のような処理により、字幕と画像・音声の同期を取ることができる。
【００１７】
第１の字幕表示形式情報１０４と第２の字幕表示形式情報１０５は、それぞれ字幕表示形式情報として、表示座標，文字サイズ，文字飾り等の情報を持つ。
【００１８】
表示座標は、字幕の表示開始位置を表し、Ｘ軸座標、Ｙ軸座標の順にそれぞれ２バイトの値で表す。
【００１９】
文字サイズは、一つの文字の大きさをピクセル数で表す。ピクセル数は、１ビットあればよい。もちろん、文字の大きさを縦横それぞれ設定できるように、縦横のピクセル数をそれぞれ１バイトずつ記録してもよい。
【００２０】
文字飾り情報は、斜体、太字、縁取り、影付きなどの文字修飾の条件を指定する。１バイトの領域を使用し、各ビットに斜体、太字などの意味付けを行う。
【００２１】
ここで、第１の字幕表示形式情報１０４は、ハイビジョン用の字幕表示形式とし、第２の字幕表示形式情報１０５は、ダウンコンバート時の字幕表示形式として説明する。
【００２２】
文字情報１０６は、文字数（バイト数）を表す情報と、実際の文字列データからなる。文字数は、１バイトで表される。文字列データは、日本語を用いる場合、ＵＴＦ−１６形式のような１６ビットの文字コードを持ちいる。英語など、アルファベットを使用する言語の文字データは、ＡＳＣＩＩやＵＴＦ−８のような８ビットの文字コードを用いればよい。
【００２３】
以上のデータの組み合わせにより、１つの字幕情報が構成される。字幕情報は、ひとつのプログラム分まとめて字幕情報ファイル１００として、ディスク上に記録しておく。
【００２４】
図２に、ハイビジョンおよびダウンコンバート時の字幕表示例を示す。
図２中、２０１はハイビジョンの字幕表示例、２０２はダウンコンバート時の字幕表示例である。
【００２５】
ハイビジョンでは、縦１０８０ピクセル、横１９２０ピクセルの画素数がある。表示画像は、全てのピクセルを使用して表示される。この時、字幕は、２０１に示したように、画面下方に、画像の上にインポーズして表示される。
【００２６】
一方、ダウンコンバート時の画像は、従来のＮＴＳＣ形式の画像であり、縦４８０ピクセル、横７２０ピクセルを使用して画像表示が行われる。
【００２７】
この時、ハイビジョンと従来のテレビでは、アスペクト比が異なっており、ハイビジョン用の画像全体を表示するためには、レターボックスと呼ばれる表示形式が取られる。レターボックス形式では、上下に画像が表示されない領域が生じる。
【００２８】
ダウンコンバートした画像に、字幕を表示する場合、２０２に示したように、画像が表示されない領域に字幕を表示すれば、画像を遮ることなく字幕が表示でき、視認性がよい。
【００２９】
第１の表示形式情報１０４は、ハイビジョン用の字幕情報であるから、ハイビジョンテレビ上に、２０１の如く字幕が表示されるように、ハイビジョン画像の字幕表示領域に合わせて文字サイズ・表示座標などの情報を設定する。
【００３０】
一方、第２の表示形式情報１０５は、ダウンコンバート用の字幕情報であるから、ＮＴＳＣ方式のテレビ画面上に２０２の如く字幕が表示されるように、ダウンコンバート時の字幕表示領域に合わせて文字サイズ・表示座標などの情報を設定する。
【００３１】
図３に、図２の字幕表示に対応した字幕情報の記録例を示す。図３中の記号は、図１と同等である。
字幕情報サイズ１０１は、この字幕情報のバイト数を表す。表示開始時刻１０２および表示終了時刻１０３は、５バイトのデータ領域を使用する。第１の表示形式情報１０４は、２バイトの表示Ｘ座標、２バイトの表示Ｙ座標、１バイトの文字サイズからなる。同様に、第２の表示形式情報１０５は、２バイトの表示Ｘ座標、２バイトの表示Ｙ座標、１バイトの文字サイズである。文字情報１０６は、文字数を表す１バイトのデータと、文字列データからなる。
【００３２】
図３に示した例では、字幕情報をバイナリーデータ形式で記録しているが、これは限定されるものではなく、例えば、テキスト形式のようなデータ形式で記録してももちろん構わない。
【００３３】
図４に、テキスト形式で記録する場合の例を示す。
１行目は、字幕情報データの開始を表すタグである。７行目の字幕情報終了タグまでで、一つの字幕情報データを表している。２行目は表示開始時刻１０２（ＰＴＳ）、３行目は表示終了時刻１０３（ＥＴＳ）の値を示している。ここで、ＰＴＳおよびＥＴＳは、時、分、秒およびフレーム番号の表示形式とした。ハイビジョン形式およびＮＴＳＣ形式の映像は、毎秒３０フレームの画像で構成されるので、フレーム番号は、０から２９までの値を取る。４行目は、ハイビジョン用の表示形式情報１０４を表している。ここで、ＬＯＣＡＴＩＯＮは表示位置座標を表しており、ＳＩＺＥは文字サイズを表している。５行目は、ダウンコンバート時に用いる表示形式情報１０５である。６行目は、字幕として表示される文字列１０６を表す。これら字幕情報を用いて、各々の字幕画像を生成し、表示を行う。
【００３４】
図５に、本発明にかかる光ディスク上のファイル構造を示す。
光ディスク上に記録されるデータは、それぞれがファイルとして取り扱われる。これにより、ファイル管理情報から、それぞれのファイルの名称や記録位置などの情報を容易に得ることができ、データ管理が容易になる。各ファイルは、必要に応じてディレクトリ形式で、まとめて管理する。
【００３５】
「ＲＯＯＴ」ディレクトリ５０１には、「ＭＥＮＵ」，「ＳＵＢＴＩＴＬＥ」，「ＳＴＲＥＡＭ」の各ディレクトリがある。
【００３６】
「ＭＥＮＵ」ディレクトリには、再生開始時のメニュー画面に関する情報が記録されている。これは、例えば、再生開始時にユーザーに提示するタイトル画面の表示や、音声や字幕で使用される言語を選択、再生を行う章（チャプター）の選択などの要素に関する情報が含まれる。
【００３７】
「ＳＵＢＴＩＴＬＥ」ディレクトリには、字幕情報が記録されている。字幕情報は、複数用意することができ、例えば、言語に応じて切り換えて使用することができる。例として、日本語の字幕情報を「ＪＡＰＡＮＥＳＥ．ＳＴＬ」，英語の字幕情報を「ＥＮＧＬＩＳＨ．ＳＴＬ」，西語の字幕情報を「ＳＰＡＮＩＳＨ．ＳＴＬ」のごとく異なったファイル名で記録しておけば、容易に切り換えて処理を行うことができる。
【００３８】
「ＳＴＲＥＡＭ」ディレクトリには、映像および音声データを含んだＭＰＥＧストリームが記録されている。ここで、ＭＰＥＧストリームは、一つだけ記してあるが、これは限定されるものではない。プログラム（番組・映画）毎にストリームを作成し、複数のストリームを光ディスク上に記録しても何ら問題はない。また、プログラム別に、複数のディレクトリを用意すれば、複数の番組を一つの光ディスク上に記録することができる。例えば、「００１」「００２」・・・というディレクトリを作成し、それぞれに、図５のデータを記録してもよい。
【００３９】
あるいは、ストリームデータに「ＳＴＲＥＡＭ００１．ＭＰＧ」「ＳＴＲＡＭ００２．ＭＰＧ」の如く、異なったファイル名を付加すれば、容易にデータの識別が可能である。この場合、メニューおよび字幕に関しても、同様に「ＭＥＮＵ００１．ＤＡＴ」「ＪＡＰＡＮＥＳＥ００１．ＳＴＬ」のように、ファイル名を区別すれば、容易に識別し、選択することができる。もちろん、複数の言語の情報を一つのデータ中に存在させてもよい。
【００４０】
図６に、本発明にかかる再生装置のブロック図を示す。
図６中、６０１は光ディスク、６０２は光ピックアップ、６０３は再生信号処理部、６０４は出力タイミング制御部、６０５はサーボ、６０６はドライブ制御部、６０７は音声デコーダ、６０８は音声出力端子、６０９は映像デコーダ、６１０は字幕合成部、６１１は映像出力端子、６１２はタイムスタンプ生成部、６１３はＣＰＵで構成されているシステム制御部、６１４はリモコン受信部である。
【００４１】
再生信号処理部６０３、出力タイミング制御部６０４、音声デコーダ６０７、映像デコーダ６０９、字幕合成部６１０は、タイムスタンプ生成部６１２をそれぞれ回路で構成し、後述する処理をハードウエア的に処理するものであってもいいし、システム制御部６１３内にプログラムとして記憶されている構成として、後述する処理をソフトウエア的に処理するようにしてもよい。
【００４２】
光ディスク６０１の再生を開始する場合、ユーザーは、リモコン（図示せず）などにより、再生装置に再生開始指令を入力する。リモコンからの信号は、リモコン受信部６１４により取り込まれ、システム制御部６１３に入力される。システム制御部６１３は、リモコンからの再生開始指令を受け、ドライブ制御部６０６に対し、光ディスクからのデータ読み出しを指示する。
【００４３】
具体的には、まず、ディスク上に記録されているデータファイルの名称を得るため、ファイル管理情報領域の読み出しを指示する。ドライブ制御部６０６は、システム制御部６１３からの指示を受け、サーボ６０５を制御する。サーボ６０５は、光ディスク６０１の回転速度および回転位相を制御し、かつ、光ピックアップの位置を制御する。これによりディスクの回転が制御され、光ピックアップ６０２により所定のファイル管理情報領域のデータが読み出される。
【００４４】
光ディスク上から読み出されたデータは、再生信号処理部６０３に送られ、所定の復調処理、誤り訂正処理、データの並び替えなどが行われ、セクターデータの形に変換される。上記処理により、システム制御部から再生が指示された領域のセクターデータが読み出され、ドライブ制御部６０６からシステム制御部６１３に送り返される。システム制御部６１３は、読み出されたファイル管理情報領域のセクターデータを解析し、光ディスク上に記録されているファイルの情報を得る。
【００４５】
次に、システム制御部６１３は、光ディスク上に記録されているファイルから、メニュー画面に関するファイルの読み出しを行い、このファイルの情報にしたがって、メニュー画面を表示する。ファイルの読み出しは、先に述べたような制御により行われる。ユーザーは、メニュー画面の指示にしたがい、再生するプログラムの選択や言語の選択などを行う。ユーザーにより、再生するプログラムが選択されると、システム制御部は、ストリームの再生を開始する。
【００４６】
ストリームの再生開始に先立ち、システム制御部６１３は、ユーザーから指示された言語に対応した字幕情報の読み出しを行っておく。字幕情報は、例えば、「ＪＡＰＡＮＥＳＥ．ＳＴＬ」の如く、ファイルとして記録されているので、所望のファイルを予めメモリー上に読み出しておく。もちろん、ストリームの読み出しに平行して、少しずつ字幕情報を読み出してもよい。これにより、制御は複雑になるが、データを記憶するメモリーの容量を削減することができる。ここでは、予めデータを読み出しておくものとして説明する。
【００４７】
前述のように、ユーザーは、光ディスクを再生する際に、字幕に用いられる言語を選択することができる。これは、ディスク挿入時に、メニュー画面より選択するようにユーザーに促してもよいし、あらかじめ、ユーザーの優先する言語を再生装置側で記憶しておいてもよい。
【００４８】
字幕データの読み出し完了後、システム制御部６１３は、ドライブ制御部６０６に対し、ＭＰＥＧストリームの読み出しを指示する。ＭＰＥＧストリームも、ファイルとして管理されているので、ＭＰＥＧストリームが記録されているファイルのファイル管理情報から、ファイルの記録位置を求めることができる。指定されたＭＰＥＧストリームの記録位置からデータが再生できるように、ドライブ制御部６０６によりサーボ６０５が制御され、光ピックアップ６０２により光ディスク上からデータが読み出される。読み出されたデータは、再生信号処理部６０３により所定の復調処理、誤り訂正処理、データの並び替えなどが行われ、セクターデータの形に変換される。読み出されたＭＰＥＧストリームのデータは、出力タイミング制御部６０４に入力され、所定のタイミングで出力される。ここで、ＭＰＥＧストリームの各パケットには、出力タイミングを制御するためのタイムスタンプが付加されている。以下、ＭＰＥＧストリームの記録形式について説明する。
【００４９】
図７に、本発明にかかるＭＰＥＧ−ＴＳの記録形式を示す。
ＭＰＥＧ−ＴＳは、１８８バイトのＭＰＥＧパケット（図中のＭＰＥＧＰＡＣＫＥＴ）のデータ列である。ＭＰＥＧパケットは、連続して送られる訳ではなく、間隔を持って伝送される。またこの間隔は一定とは限らない。そこで、光ディスクからの再生時にも、伝送時と同じパケット間隔でパケットを出力できるように、各パケットには、パケット伝送時刻を付加して記録する必要がある。そこで、本発明にかかる光ディスクでは、各パケットに、３０ビットの伝送時刻を示すタイムスタンプ（図中のＴｉｍｅＳｔａｍｐ）を付加する。ここで、タイムスタンプは、２７ＭＨｚのクロックで計数した値である。記録装置には、２７ＭＨｚのクロックで自走する３０ビットのカウンターを装備する。記録装置に、ＭＰＥＧパケットが入力されたとき、そのパケットの先頭データが到着した時刻における前記カウンターのカウント値をＭＰＥＧパケットの先頭にタイムスタンプとして付加すれば、図７に示したようなＭＰＥＧパケットの記録を行うことができる。
【００５０】
ここで、タイムスタンプは３０ビットなので、４バイト中２ビットの領域が空いているが、これは各パケットへの付加情報（図中のＡＵＸ）の領域として使用することができる。例えば、パケットの著作権管理情報などへ応用が可能である。
【００５１】
上記のように、４バイトのヘッダーを付加して１９２バイトとしたパケットデータは、光ディスク上のセクターに記録される。パケットデータを記録した領域に関する情報は、ファイル管理領域に記録され、ファイルとして扱われる。
【００５２】
再生時には、ＭＰＥＧパケットが４バイトのヘッダー（図中のＨｅａｄｅｒ）とともに再生され、ヘッダー中のタイムスタンプの値に応じてパケットの出力タイミングが制御される。
【００５３】
出力タイミング制御部６０４は、前述のパケットヘッダーに含まれるタイムスタンプを用いて、パケットの出力タイミングを制御する。
【００５４】
再生装置中の出力タイミング制御部６０４は、記録装置と同様に、２７ＭＨｚで自走する３０ビットのタイムスタンプカウンターを有する。
【００５５】
再生信号処理回路６０３から出力タイミング制御部６０４に供給されるデータは、４バイトのヘッダーを含んだ１９２バイトのパケットデータ形式である。出力タイミング制御部６０４は、供給されたパケットデータを一旦バッファメモリに蓄え、ヘッダー中のタイムスタンプの値と、前述のタイムスタンプカウンターの値とを比較する。ヘッダー中のタイムスタンプの値と、前述のタイムスタンプカウンターの値が一致すると、パケットの出力タイミングになったと判断し、パケットを出力する。この際、４ビットのパケットヘッダーは取り除き、１８８バイトのＭＰＥＧパケットのみを出力する。これにより、記録時と同じパケットの間隔でＭＰＥＧストリームのパケットが出力される。
【００５６】
出力タイミング制御部６０４から出力されたＭＰＥＧストリームパケットは、音声デコーダ６０７、映像デコーダ６０９、タイムスタンプ生成部６１２にそれぞれ入力される。
【００５７】
音声デコーダ６０７は、ＭＰＥＧストリームを用いて、音声情報のデコードを行い、音声出力端子６０８に音声信号を出力する。
【００５８】
映像デコーダ６０９は、ＭＰＥＧストリームを用いて、映像情報のデコードを行い、映像信号を出力する。ここで、映像デコーダは、ハイビジョン用のデコーダであり、出力される映像信号もハイビジョン信号である。映像デコーダから出力された映像信号は、字幕合成部６１０で、後述の字幕画像をインポーズした後、映像信号出力端子６１１に出力される。
【００５９】
ここで、字幕画像の生成について説明する。
システム制御部６１３には、予め、字幕情報ファイル１００の内容が読み込まれている。字幕情報は、図１に示した情報である。
【００６０】
システム制御部６１３は、ＭＰＥＧストリームの再生と平行して、字幕画像の生成を行う。まず、先頭の字幕情報を読み出し、表示開始時刻１０２、表示終了時刻１０３、表示形式１０４および１０５、文字情報１０６を得る。ここで、表示形式として、第１の表示形式情報１０４か、第２の表示形式情報１０５か、どちらの表示形式を用いるかは、ハイビジョン用のテレビに接続するか、ＮＴＳＣ用にダウンコンバートした信号を出力するかによる。これは、予めユーザーに選択させればよい。もちろん、ハイビジョン出力と、ダウンコンバート出力の２つを設け、それぞれに別々の字幕を合成して出力してもよい。ここでは、ハイビジョン用の字幕を生成するものとして説明する。
【００６１】
ハイビジョン用の字幕を生成するためには、第１の表示形式情報１０４を用いる。表示形式情報中の文字サイズ、文字飾りなどの情報にしたがって、文字情報１０６からビットマップ形式の画像を生成する。
【００６２】
文字情報からビットマップ形式の画像への変換においては、各文字の形をデータ化したフォントデータが必要である。フォントデータには、ビットマップ形式やストロークデータ形式、アウトラインデータ形式などのデータ形式がある。これらフォントデータは、あらかじめ再生装置側にＲＯＭとして持っていても良いし、ディスク上にデータファイルとして記録しておき、再生開始時に字幕情報とともに読み出して使用するように制御しても良い。
【００６３】
これらフォントデータと、文字情報と文字サイズ、文字飾りなどの情報を用いて、必要なビットマップ形式の画像が生成される。
【００６４】
次に、システム制御部６１３は、タイムスタンプ生成部６１２によって生成されたタイムスタンプと、字幕情報中の表示開始時刻１０２・表示終了時刻１０３を用いて、字幕画像の表示タイミング制御を行う。
【００６５】
ここで、タイムスタンプ生成部の動作を説明する。
【００６６】
図８に、タイムスタンプ生成部の構成図を示す。
【００６７】
図８中、８０１は入力端子、８０２はＰＣＲ抽出部、８０３は比較器、８０４はＰＣＲカウンタ、８０５は電圧制御発振器（ＶｏｌｔａｇｅＣｏｎｔｒｏｌｌｅｄＯｓｃｉｌｌａｔｏｒ）、８０６は除算器、８０７は出力端子である。
【００６８】
入力端子８０１には、光ディスク上から再生されたＭＰＥＧストリームパケットが、所定のタイミングで入力される。ＰＣＲ値抽出部８０２は、ＭＰＥＧストリーム中からＰＣＲを含んだパケットのみを選択し、そのパケットに含まれるＰＣＲの値を抽出する。抽出されたパケット値は、比較器８０３に入力される。
【００６９】
一方、ＰＣＲカウンタ８０４は、電圧制御発振器８０５で生成されたクロックの数をカウントしている。
【００７０】
比較器８０３は、ＰＣＲ値抽出部８０２で抽出されるＰＣＲ値と、ＰＣＲカウンタ８０４でカウントされるカウント値の大小を比較する。ここで、ＰＣＲ値抽出部８０２で抽出されるＰＣＲ値と、ＰＣＲカウンタ８０４でカウントされるカウント値は、ともに３３ビットの値である。
【００７１】
比較器８０３は、大小の比較結果に応じて、電圧制御発振器８０５の制御電圧を変化させる。具体的には、ＰＣＲカウンタ８０４でカウントされるカウント値が、ＰＣＲ値抽出部８０２によって抽出されたＰＣＲ値よりも小さい場合、時刻が遅れていると判断し、電圧制御発振器８０５の制御電圧を上昇させる。
【００７２】
電圧制御発振器８０５は、制御電圧の高低に応じて、発振周波数を変化させる。電圧制御発振器８０５は、入力が０Ｖの場合、２７ＭＨｚで発振する。入力電圧が、０Ｖよりも高くなると、発振周波数を上昇させる。逆に、入力電圧が、０Ｖよりも低くなると、発振周波数を低下させる。
【００７３】
ＰＣＲカウンタ８０４でカウントされるカウント値が、ＰＣＲ値抽出部８０２によって抽出されたＰＣＲ値よりも小さい場合、比較器８０３から出力される制御電圧は、上昇するので、電圧制御発振器８０５の発振周波数が上昇する。これにより、ＰＣＲカウンタ８０４でカウントされる時刻の進みが早くなり、ＭＰＥＧストリーム中のＰＣＲ値に近づく。
【００７４】
逆に、ＰＣＲカウンタ８０４でカウントされるカウント値が、ＰＣＲ値抽出部８０２によって抽出されたＰＣＲ値よりも大きい場合、比較器８０３から出力される制御電圧は下降する。これは、ＰＣＲカウンタの値が、ＭＰＥＧストリーム中のＰＣＲ値よりも進んでいることを意味する。この時、電圧制御発振器８０５の発振周波数が低下し、ＰＣＲカウンタ８０４でカウントされる時刻の進みが遅くなる。すなわち、ＭＰＥＧストリーム中のＰＣＲ値に近づく。
【００７５】
上記のような処理により、ＰＣＲカウンタ８０４でカウントされるカウント値と、ＰＣＲ値抽出部８０２によって抽出されたＰＣＲ値とが一致するように制御される。
【００７６】
ＰＣＲカウンタ８０４は、ＭＰＥＧストリーム中のＰＣＲとほぼ一致した周期でカウントしており、ＭＰＥＧストリーム中の時間情報を表しているとしてよい。字幕情報の表示は、このＰＣＲカウンタ８０４のカウント値と同期して行う。ただし、ＰＣＲカウンタ８０４は、２７ＭＨｚでカウントいるが、字幕情報中のＰＴＳ，ＥＴＳは、９０ｋＨｚでカウントしたものなので、ＰＣＲカウント値を除算器８０６にて３００分の１として、出力端子８０７を介して、システム制御部６１３に出力する。
【００７７】
システム制御部６１３では、タイムスタンプ生成部６１２から読み出したタイムスタンプ値を、字幕情報中の表示開始時刻１０２と比較する。タイムスタンプ生成部６１２のタイムスタンプ値が、字幕情報中の表示開始時刻１０２よりも小さい場合、字幕表示開始時刻に達していないので、字幕表示を行わず、待機する。タイムスタンプ生成部６１２のタイムスタンプ値が、字幕情報中の表示開始時刻１０２と一致した時点で、字幕画像を字幕合成部６１０のメモリーに書き込む。この際、書き込むメモリーのアドレスは、表示形式情報中の表示座標にしたがう。これにより、所定の位置に、映像・音声と同期して、字幕が合成される。
【００７８】
字幕表示後、システム制御部６１３は、再度、タイムスタンプ生成部６１２からタイムスタンプを読み出し、字幕情報中の表示終了時刻１０３と比較する。タイムスタンプ生成部６１２から読み出したタイムスタンプが、字幕情報中の表示終了時刻１０３よりも小さい場合、字幕表示終了時刻に達していないので、字幕消去を行わず、待機する。タイムスタンプ生成部６１２のタイムスタンプ値が、字幕情報中の表示終了時刻１０３と一致した時点で、字幕合成部６１０のメモリーをクリアする。これにより、字幕の表示が終了する。
【００７９】
字幕合成部６１０は、システム制御部６１３から与えられた字幕画像を、映像デコーダ６０９によりデコードされた映像にインポーズし、映像出力端子６１１に出力する。本再生装置の外部には、ハイビジョン用のモニターテレビが接続されており、映像出力端子６１１から出力された映像信号は、モニターテレビに映し出される。
【００８０】
以上のようにして、光ディスク上に記録されている字幕情報が、ハイビジョンの映像および音声と同期して表示される。
【００８１】
次に、映像出力を、ダウンコンバート出力とする場合について説明する。
ダウンコンバート出力を選択した場合、映像デコーダ６０９は、デコードされたハイビジョンの映像信号ではなく、この映像信号をＮＴＳＣ形式にダウンコンバートして出力する。すなわち、字幕合成部６１０に入力される信号は、ＮＴＳＣ形式である。
【００８２】
システム制御部６１３は、ダウンコンバート出力に対応し、字幕の生成を行う。具体的には、字幕情報中の第２の表示形式１０５と文字情報１０６を用いて、字幕画像の生成を行う。
【００８３】
第２の表示形式情報１０５は、ダウンコンバート時のＮＴＳＣ形式に対応した表示形式情報であり、図２に示したように、ダウンコンバートされた画像のレターボックス表示の外側に、字幕が表示されるように指定される。字幕の表示開始および表示終了タイミングの制御については、前述の動作と同じである。
【００８４】
字幕合成部６１０は、映像デコーダ６０９によりデコードされ、ダウンコンバートされたＮＴＳＣ映像信号に、システム制御部６１３から入力されたＮＴＳＣ用の字幕画像を合成し、映像信号出力端子６１１から出力する。映像信号は、外部に接続されたＮＴＳＣ形式のテレビモニターに表示される。
【００８５】
以上のように、ダウンコンバート時には、ハイビジョン出力時とは異なった、ダウンコンバート用の字幕を合成して出力することにより、表示画像の上に字幕が重ならないので、字幕の視認性が向上される。
【００８６】
上記のような構成により、ハイビジョン形式、ダウンコンバート形式のそれぞれにおいて、指定された表示形式で、字幕を表示する再生装置を実現することができる。
【００８７】
なお、上記の再生装置では、ユーザーによりハイビジョン映像とダウンコンバートによるＮＴＳＣ映像とを切り換えて出力するように構成したが、これは限定されるものではない。例えば、ハイビジョン映像出力と、ダウンコンバート出力の２系統の出力を持った再生装置を構成することもできる。この２系統の出力を持った再生装置の例を以下に示す。
【００８８】
図９に、ハイビジョン出力と、ダウンコンバート出力の２つを設けた再生装置の例を示す。
図９中、９０１はダウンコンバータ、９０２はＮＴＳＣ用字幕合成部、９０３はＮＴＳＣ映像出力端子である。他の記号は、図６の６０１から６１４と同等である。
【００８９】
再生時、光ディスクからの字幕データ読み出し、および、ＭＰＥＧストリームの再生動作に関しては、図６に示した再生装置と同様である。
【００９０】
図９に示した再生装置では、ハイビジョン用の字幕生成と、ダウンコンバート時に使用するＮＴＳＣ用の字幕生成を並列して行う。ここで、これら字幕生成に用いる字幕情報ファイルは、図１に示したものとして説明する。
【００９１】
ＭＰＥＧストリーム再生に平行して、システム制御部６１３は、字幕情報から字幕画像の生成を行う。システム制御部は、字幕情報中から、第１の表示形式情報１０４と文字情報１０６を用いて、ハイビジョン用の第１の字幕画像を生成する。また、第２の表示形式情報１０５と文字情報１０６を用いて、ＮＴＳＣ用の第２の字幕画像を生成する。
【００９２】
次に、システム制御部６１３は、タイムスタンプ生成部６１２から入力されるタイムスタンプをモニターし、表示開始時刻１０２と比較する。タイムスタンプ生成部から入力されるタイムスタンプが、表示開始時刻と一致すると、生成した字幕画像を字幕合成部に出力する。具体的には、表示開始時刻において、ハイビジョン用の第１の字幕画像を、ハイビジョン用の字幕合成部６１０内のメモリーに書き込む。また、ＮＴＳＣ用の第２の字幕情報を、ＮＴＳＣ用の字幕合成部９０２内のメモリーに書き込む。
【００９３】
ここで、ハイビジョン用の映像デコーダ６０９からは、表示時刻に同期したハイビジョン画像が出力されており、このハイビジョン画像は、ハイビジョン用の字幕合成部６１０とダウンコンバータ９０１に入力される。
【００９４】
ハイビジョン用の字幕合成部６１０は、システム制御部６１３により書き込まれた字幕画像と、ハイビジョン用映像デコーダ６０９から入力されたハイビジョン画像とを合成し、ハイビジョン用映像出力端子６１１にハイビジョン画像を出力する。
【００９５】
一方、ダウンコンバータ９０１は、ハイビジョン用映像デコーダ６０９から入力されたハイビジョン映像をＮＴＳＣ形式にダウンコンバートする。ダウンコンバートにより生成されたＮＴＳＣ映像は、ＮＴＳＣ用字幕合成部９０２に入力される。
【００９６】
ＮＴＳＣ用字幕合成部９０２は、システム制御部６１３から入力されたＮＴＳＣ用字幕画像と、ダウンコンバートにより生成されたＮＴＳＣ映像とを合成し、ＮＴＳＣ映像出力端子９０３にＮＴＳＣ映像信号を出力する。
【００９７】
上記のようにして、ハイビジョン映像信号と、ＮＴＳＣ映像信号のそれぞれに、字幕画像が合成される。この時、それぞれの字幕は、それぞれの映像信号に適した形式の字幕画像となっており、ハイビジョンで映像を見る場合にも、ＮＴＳＣ形式のモニターで映像を見る場合にも、見やすい字幕となっている。
【００９８】
なお、ダウンコンバート処理に時間がかかることにより、ハイビジョン映像とＮＴＳＣ画像で表示が数フレームずれる恐れがある。この場合、予めフレームずれを見込んで、ＮＴＳＣ用字幕合成部へのデータ書き込みタイミングをずらせば、ＮＴＳＣ映像への字幕合成での、映像と字幕のずれを防止することができる。
【００９９】
なお、上記例では、字幕情報を一つの字幕情報ファイル１００として光ディスク上に記録しておく例をあげたが、これは限定されるものではなく、例えば、ＭＰＥＧ−ＴＳ上に重畳して記録しておくこともできる。ＭＰＥＧストリームに、字幕情報を重畳して伝送する場合の例を図１２に示す。
【０１００】
まず、図１に示した個々の字幕情報を、ＭＰＥＧパケットに配置可能な大きさに分割する。分割された字幕情報には、ＭＰＥＧパケットヘッダーを付加してＭＰＥＧパケットの形式に変換する。ここで、ＭＰＥＧパケットヘッダーには、パケットの種類を判別するためのＰＩＤ（パケットＩＤ）が含まれている。字幕情報パケットは、映像情報パケットや音声情報パケットと区別ができるように、固有のＰＩＤを付加する。
【０１０１】
各ＰＩＤがどの情報パケットに対応するかの情報は、ＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）と呼ばれるパケットに記録され、所定のタイミングでＭＰＥＧストリーム中に重畳される。
【０１０２】
固有のＰＩＤが付加された字幕情報パケット（Ｓ）は、映像パケット（Ｖ），音声パケット（Ａ）などとともにＭＰＥＧストリームに重畳され、伝送、記録される。
【０１０３】
再生時には、ＭＰＥＧストリームから、ＰＩＤを元に各パケットが分別される。字幕情報パケットは、字幕情報パケットのＰＩＤにより、他の情報パケットと区別され、字幕情報パケットのみが取り出される。取り出された字幕情報パケットからは、ヘッダーが取り除かれ、字幕情報データのみが抽出される。これにより、独立にファイルに記録した場合と同様に、字幕情報を取り出すことができる。
【０１０４】
このように、ＭＰＥＧストリームに字幕情報を重畳することで、デジタル放送などにおいても、複数の表示形式に応じた字幕情報を伝送することができる。したがって、本発明は、記録装置だけでなく、放送局の放送装置やネットワークを利用した伝送装置にも適用することができる。
【０１０５】
なお、上記の装置の例では、一つの字幕情報中に、２つの表示形式情報（１０４および１０５）を含めて記録しているが、これは限定されるものではない。例えば、図１０に示すように、ハイビジョン用の第１の表示形式情報１０４と文字情報１０６で一つの字幕情報ファイルを構成し、第１の字幕情報ファイル１１０とする。同様に、ダウンコンバート用の第２の表示形式情報１０５と文字情報１０６で一つの字幕情報ファイルを構成し、第２の字幕情報ファイル１１１とする。これら２つをそれぞれファイルとして光ディスク上に記録しておき、使用する字幕情報に応じて、選択して使用することもできる。
【０１０６】
この時、第１の字幕情報ファイル１１０と第２の字幕情報ファイル１１１をそれぞれ「ＪＡＰＡＮＥＳＥ．ＨＳＴ」、「ＪＡＰＡＮＥＳＥ．ＳＳＴ」の如く、ファイル名を変えて記録することで、容易に区別して使用することができる。この時のファイル構造は、図１１にようになる。
【０１０７】
また、ＭＰＥＧ−ＴＳに重畳して記録する場合には、ハイビジョン用の字幕情報と、ダウンコンバート時に使用する字幕情報をそれぞれ異なったＰＩＤを持つパケットとして記録すれば、容易に区別することができる。
【０１０８】
あるいは、ハイビジョン用の字幕情報か、ダウンコンバート時に使用する字幕情報かを判別する識別フラグをデータ中に含めることにより判別を行ってもよい。
【０１０９】
ところで、上記のように、ハイビジョン用の字幕情報１１０と、ダウンコンバート用の字幕情報１１１とを完全に分離して、２つのファイルとして記録すると、文字情報１０６をそれぞれの字幕情報に記録する必要があり、記録領域を無駄に使用してしまうことになる。これを防ぐためには、表示形式情報（１０４および１０５）と文字情報１０６を分離して、別々のファイルとして記録すればよい。
【０１１０】
具体的には、表示開始時刻１０２・表示終了時刻１０３・文字情報１０４を一つのファイルとし、字幕情報ファイル１２０として記録する。一方、第１の表示形式情報１０４のみを集めて、第１の表示形式情報ファイル１２１として記録する。同様に、第２の表示形式情報１０５のみを集めて、第２の表示形式情報ファイル１２２として記録する。これを図示すると、図１３のようになる。
【０１１１】
この時、第１の表示形式情報ファイル１２１を「ＪＡＰＡＮＥＳＥ．ＨＤＳ」のようなファイル名とし、第２の表示形式情報ファイル１２２を「ＪＡＰＡＮＥＳＥ．ＳＤＳ」、字幕情報ファイル１２０を「ＪＡＰＡＮＥＳＥ．ＳＴＸ」の如くファイル名を付ければ、それぞれのデータファイルを識別することができる。このようなファイル名を付加したファイル構造を示すと、図１４のようになる。
【０１１２】
これにより、文字情報の重複記録をなくし、字幕情報の記録容量を削減することができる。この時、ハイビジョン用の字幕情報を表示する場合には、図１３の第１の表示形式情報ファイル１２１と、字幕情報ファイル１２０を読み込んで使用すればよい。同様に、ダウンコンバート時には、第２の表示形式情報ファイル１２２と、字幕情報ファイル１２０を読み込んで使用することにより、ＮＴＳＣ信号における字幕表示が実現される。
【０１１３】
ところで、上記の再生装置では、記録されている字幕情報は、文字情報と表示形式情報であり、これらからビットマップ形式の字幕画像を生成して表示を行っていた。しかしながら、予め、ビットマップ形式の字幕画像として、データを記録しておいてももちろん構わない。この場合において、ハイビジョン用の字幕画像と、ダウンコンバート用の字幕画像をそれぞれ別々に作成しておき、出力形式に応じて切り換えて出力すれば、実現が可能である。あるいは、字幕画像は一つだけ記録しておき、ハイビジョン出力時と、ダウンコンバート出力時で、画像サイズなどを変化させるなどにより、異なった字幕画像の如く表示を行うこともできる。この時は、表示形式情報として、表示位置、表示開始時刻、表示終了時刻、拡大率などの情報を記録しておけばよい。字幕情報をビットマップ形式で記録する場合の字幕情報ファイルの構成は、図１５のようになる。
【０１１４】
【発明の効果】
本発明によれば、ダウンコンバートを行って画面を縮小した場合にも、字幕を見やすく表示することのできる。
【図面の簡単な説明】
【図１】字幕情報ファイルの記録方法を示す図である。
【図２】字幕の表示例を示す図である。
【図３】字幕情報ファイルの具体例を示す図である。
【図４】字幕情報ファイルの第２の具体例を示す図である。
【図５】ファイル構造を示す図である。
【図６】再生装置のブロック図を示す図である。
【図７】ＭＰＥＧパケットの記録構造を示す図である。
【図８】タイムスタンプ生成部のブロック図を示す図である。
【図９】再生装置の第２のブロック図を示す図である。
【図１０】字幕情報ファイルの第２の記録方法を示す図である。
【図１１】第２のファイル構造を示す図である。
【図１２】字幕情報のＭＰＥＧパケットへの重畳方法を示す図である。
【図１３】字幕情報ファイルの第３の記録方法を示す図である。
【図１４】第３のファイル構造を示す図である。
【図１５】字幕情報ファイルの第４の記録方法を示す図である。
【符号の説明】
１００…字幕情報ファイル、１０１…字幕情報サイズ、１０２…表示開始時刻、１０３…表示終了時刻、１０４…第１の表示形式情報、１０５…第２の表示形式情報、１０６…文字情報、１１０…第１の字幕情報ファイル、１１１…第２の字幕情報ファイル、１２０…字幕情報ファイル、１２１…第１の表示形式情報ファイル、１２２…第２の表示形式情報ファイル、６０１…光ディスク、６０２…光ピックアップ、６０３…再生信号処理部、６０４…出力タイミング制御部、６０５…サーボ部、６０６…ドライブ制御部、６０７…音声デコーダ、６０８…音声出力端子、６０９…映像デコーダ、６１０…字幕合成部、６１１…映像出力端子、６１２…タイムスタンプ生成部、６１３…システム制御部、６１４…リモコン受信部、８０１…入力端子、８０２…ＰＣＲ値抽出部、８０３…比較器、８０４…ＰＣＲカウンタ、８０５…電圧制御発振器、８０６…除算器、８０７…出力端子、９０１…ダウンコンバータ、９０２…ＮＴＳＣ用字幕合成部、９０３…ＮＴＳＣ映像出力端子。

Claims

映像に同期した字幕表示を行う字幕表示方法であって、
字幕情報として、複数の表示形式情報が含まれており、
映像を表示する際には、上記の複数の表示形式情報から表示形式情報を選択し、表示形式情報に応じた字幕を生成し、映像に合成することを特徴とする字幕表示方法。
請求項１に記載の字幕表示方法であって、
複数の表示形式情報から表示形式情報を選択する際には、接続する機器の種類に応じて表示形式情報を選択することを特徴とする字幕表示方法。
請求項１に記載の字幕表示方法に使用する字幕情報であって、
表示形式情報は、字幕の表示位置情報を含むことを特徴とする字幕表示方法。
記録媒体から映像および字幕情報を再生し、映像に字幕を合成して出力する再生装置であって、
記録媒体に記録されている字幕情報は、複数の表示形式に対応した表示形式情報を含んでおり、
上記の複数の表示形式情報から表示形式情報を選択し、選択した表示形式情報に応じた字幕を生成し、映像に合成して出力することを特徴とする再生装置。
請求項４に記載の再生装置であって、
表示形式情報は、字幕の表示位置情報を有することを特徴とする再生装置。
請求項４に記載の再生装置であって、
表示形式情報は、字幕の文字サイズ情報を有することを特徴とする再生装置。
請求項４に記載の再生装置であって、
字幕情報には、字幕に表示する文字コード情報が含まれ、上記の文字コード情報は、表示形式情報によらず、共通に使用することを特徴とする再生装置。
請求項７に記載の再生装置であって、
文字コードに対応した文字形状を意味するフォントデータが、記録媒体上に記録されており、このフォントデータを読み出して使用することを特徴とする再生装置。
記録媒体に、映像情報とともに字幕情報を記録する記録装置であって、
字幕情報に、複数の表示形式情報を記録することを特徴とする記録装置。
映像情報とともに字幕情報を記録した記録媒体であって、
字幕情報に、複数の表示形式情報を記録したことを特徴とする記録媒体。
入力された映像と字幕情報を用いて、映像に同期した字幕表示を行う字幕表示装置であって、
入力される字幕情報は、複数の表示形式に対応した表示形式情報を含んでおり、上記の複数の表示形式情報から表示形式情報を選択し、選択した表示形式情報に応じた字幕を生成し、映像に合成して出力することを特徴とする再生装置。
映像とともに字幕情報を出力する出力装置であって、
出力する字幕情報は、複数の表示形式に対応した表示形式情報を含むことを特徴とする出力装置。