JP5229373B2 - Playback device - Google Patents
Playback device Download PDFInfo
- Publication number
- JP5229373B2 JP5229373B2 JP2011226346A JP2011226346A JP5229373B2 JP 5229373 B2 JP5229373 B2 JP 5229373B2 JP 2011226346 A JP2011226346 A JP 2011226346A JP 2011226346 A JP2011226346 A JP 2011226346A JP 5229373 B2 JP5229373 B2 JP 5229373B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- sub
- character string
- font information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 description 45
- 239000000872 buffer Substances 0.000 description 37
- 230000015654 memory Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、映像表示に同期して文字や図形などの副画像情報を表示することのできる再生技術に関するものである。 The present invention relates to a reproduction technique capable of displaying sub-image information such as characters and figures in synchronization with video display.
文字情報である副画像情報を映像等の主画像とは別に符号化しておき、主画像の再生時に副画像を重畳して実時間で再生する技術が従来より知られている。(例えば、特許文献1参照)
また、字幕やカラオケの歌詞などの副画像データの復号処理と画像データや音声データ等の主画像への重畳処理が実時間で実行できない場合には、副画像データの重畳処理を適当に間引いて(コマ落とし)同期を補正する技術が従来より知られている。(例えば、特許文献2参照)
Conventionally known is a technique in which sub-image information, which is character information, is encoded separately from a main image such as a video, and the sub-image is superimposed and reproduced in real time when the main image is reproduced. (For example, see Patent Document 1)
In addition, if the decoding process of sub-image data such as subtitles and karaoke lyrics and the superimposition process on the main image such as image data and audio data cannot be performed in real time, the sub-image data superimposition process is appropriately thinned out. A technique for correcting (frame drop) synchronization has been known. (For example, see Patent Document 2)
特許文献1は、字幕等の副画像の主画像への重畳を実時間で処理できることが前提の技術について開示されており、何等かの理由で字幕等の副画像の主画像への重畳を実時間で処理できない場合の対処方法については何ら開示されていない。
一方、特許文献2では、副画像データの重畳処理を適当に間引いて(コマ落とし)同期を補正することにより字幕等の副画像の主画像への重畳の実時間での処理を保証しようとしている。しかしながら、このような処理では、副画像の表示が所々で抜け落ちるため、主画像の視聴において見苦しくなる場合がある。
On the other hand, in
本発明の目的は、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる再生技術を提供することにある。 An object of the present invention is to provide a reproduction technique capable of displaying a sub-image display such as subtitles in real time over the entire display period of a main image.
上記問題を解決するために、本発明は、図形情報および上記図形情報を表示する図形情報表示時刻を記憶する図形情報バッファと、表示画像を記憶する画像メモリーと、時刻情報を入力する時刻情報入力端子と、上記時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、図形情報バッファから画像メモリーへ情報の複写を行う図形情報複写手段とを有することを特徴とする副画像表示装置を提供する。 In order to solve the above problems, the present invention provides a graphic information buffer for storing graphic information and graphic information display time for displaying the graphic information, an image memory for storing a display image, and time information input for inputting time information. And a graphic information copying means for copying information from the graphic information buffer to the image memory when the time information input from the time information input terminal matches the graphic information display time. A sub-image display device is provided.
本発明によれば、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる。 According to the present invention, sub-image display such as subtitles can be displayed in real time over the entire display period of the main image.
以下、本発明を適用した実施例について説明する。 Examples to which the present invention is applied will be described below.
図4は、本発明を適用した実施例である再生装置のブロック図である。 光ピックアップ402は、光ディスク401から信号を読み出す。再生信号処理回路403は、光ピックアップ402が読み出した信号に所定の復調処理を行い、データを再生する。出力制御部404は、再生信号処理回路403が再生したデータを所定のタイミングで出力する。サーボ部405は、光ディスク401の回転速度や光ピックアップ402の位置制御を行う。ドライブ制御部406は、サーボ部405および再生信号処理回路403を制御する。PCR検出部407は、再生されたデータ中からPCRの値を検出する。
FIG. 4 is a block diagram of a playback apparatus which is an embodiment to which the present invention is applied. The
また、音声デコーダ408は、再生されたデータのうち音声データをデコードし、音声信号を音声出力端子409に出力する。映像デコーダ410は、再生されたデータのうち映像データをデコードして主画像の映像信号を字幕信号合成回路411に出力する。字幕信号合成部411は、映像デコーダ410でデコードされた主画像の映像信号に副画像生成部413で生成された副画像の映像信号を重畳して映像信号を生成し、映像出力端子に出力する。副画像生成部413は、副画像を映像信号として字幕信号合成部411に出力する。詳細については後述する。
Further, the
なお、この再生装置は、CPU等で構成されるシステム制御部414によって装置全体が制御される。リモコン受信部415はリモコン(図示せず)からの信号を受信し、ネットワーク制御部416は外部のネットワーク417との接続を制御するものである。メモリー418は、ネットワーク417を介してダウンロードしたデータや光ディスク401から再生したデータを保存するものであり、また、字幕の表示位置、表示サイズ、表示色などの表現方法も必要に応じてあらかじめ保存しておくことができる。
Note that the entire playback apparatus is controlled by a
出力制御部404、サーボ部405、ドライブ制御部406、PCR検出部407、副画像生成部413及びネットワーク制御部416は、ハードウェアとして電子回路等で構成して上述の機能を実行させることとしてもよいし、ソフトウェアとしてシステム制御部414がプログラムを実行することで上述の機能を実行させることとしてもよい。
The output control unit 404, the
次に、再生装置が光ディスク401からのデータを再生する際の動作を以下に説明する。
Next, the operation when the reproducing apparatus reproduces data from the
光ディスク401が再生装置に装着されると、システム制御部414はこれを検知し、光ディスク401上のファイル管理情報の読み出しを開始する。具体的には、システム制御部414は、ドライブ制御部406に対してファイル管理情報が記録されている光ディスク401上のセクターのデータ読み出しを指示する。ドライブ制御部406は、光ディスク401上の指定されたセクターのデータを読み出すために、サーボ部405を制御し、光ディスクの回転速度および光ピックアップ402の位置を制御する。光ピックアップ402により読み出された信号は、再生信号処理回路403によって所定の復調処理および誤り訂正処理などが施され、セクター単位のデータ列として信号処理回路403上のメモリー(図示せず)に蓄えられる。ドライブ制御部406は、指定されたセクターのデータが用意されると、再生信号処理回路403上のメモリーから読み出しを行い、システム制御部414へデータを出力する。システム制御部414は、読み出されたデータの解析を行い、ファイル管理情報を取得する。
When the
ここで、ファイル管理情報は、例えばUDF(Universal Disk Format)に代表されるファイル管理システムに準拠して、光ディスク401上の所定の位置に記録されている。ファイル管理情報は、光ディスク上に記録されている各情報をファイルとして管理する。具体的には、各ファイルのファイル識別子(ファイル名)、記録開始セクター番号、ファイル長、付加情報などが記録されている。
Here, the file management information is recorded at a predetermined position on the
ファイル管理情報が読み出された後、システム制御部414は、光ディスク401の再生に必要なファイルを読み出しをドライブ制御部406に指示することで、ドライブ制御部406は上述の制御を行って所望のセクターからデータを読み出し、再生する。そして、再生されたデータをシステム制御部414で順次解析する。
After the file management information is read, the
図1に、図4の再生装置が持つ副画像生成部413のブロック図を示す。 システム制御部414からの字幕文字列情報は端子101から入力される。PCR検出部407からのPCR値は端子102から入力される。図形情報バッファ103は字幕文字列情報を蓄える図形情報バッファである。タイミング制御部104は図形バッファ103から変換部105へ字幕文字列情報を出力するタイミングを制御する。変換部105は字幕文字列情報に基づいてピクセルごとの図形情報に変換する。変換された図形情報は、画像メモリー106内に展開される。カラーパレットバッファ107は、カラーパレット情報を蓄える。タイミング制御部108は、カラーパレットバッファ107からカラーパレット109にカラーパレット情報を出力するタイミングを制御する。カラーパレット109は、画像メモリー105から出力されるピクセルごとの図形情報に色情報を付加し、副画像出力端子110に出力する。
FIG. 1 is a block diagram of the
上述の通り、副画像生成部413はシステム制御部414が実行するプログラムに置き換えてもよいが、その際、図形情報バッファ103、画像メモリー106及びカラーパレットバッファ107は、システム制御部414が使用するメモリー(図示せず)を利用すればよい。
As described above, the
副画像生成部413では、システム制御部414が生成した字幕文字列情報を主画像に重ねて表示できる図形情報に変換し、色情報が付加される。以下、その手順について説明する。
The sub
まず、字幕文字列情報について説明する。 図2は、図形情報バッファ103に入力される字幕文字列情報のデータの構造を示す。 表示時刻情報201は、33ビットのビット長であり、90kHzの分解能を持つ。表示位置情報202は、図形情報の画面上の表示開始座標を示す。また、表示サイズ情報203は、図形情報の縦横のサイズを示している。ピクセルデータ204は、各ピクセルの表示形態の集合体であり、1ピクセルあたり1バイト(8ビット)で表される。
First, caption character string information will be described. FIG. 2 shows the data structure of subtitle character string information input to the graphic information buffer 103. The display time information 201 has a bit length of 33 bits and a resolution of 90 kHz. The
例えば、各ピクセルの表示形態をピクセルデータ204として持つことにより、図7のように、透明色で示されるピクセル701、半透明の黒色のピクセル702、黒色のピクセル703といったピクセルの集合で主画像上に文字を表示することができる。
For example, by having the display form of each pixel as
図7の例では、「C」の文字を黒色で小さく表示している。透明なピクセルの上に、「C」の文字が黒色で示されるとともに、文字の輪郭は半透明の黒色に変換される。文字の輪郭を半透明にすることにより、映像と重ね合わせた際に、文字が不自然になることを防ぐことができる。また、輪郭を白色にすることにより、文字を目立たせるなどの処理も可能である。 In the example of FIG. 7, the letter “C” is displayed in black and small. On top of the transparent pixels, the letter “C” is shown in black and the outline of the letter is converted to translucent black. By making the outline of the character translucent, it is possible to prevent the character from becoming unnatural when superimposed on the video. Further, by making the outline white, it is possible to make the characters stand out.
字幕文字列情報は、光ディスク401上に記録されている字幕情報ファイル507あるいはネットワーク417を介して取得した字幕情報ファイルに基づいてシステム制御部414が作成する。
The subtitle character string information is created by the
次に、字幕情報ファイル507について説明する。 図6に字幕情報ファイル507の一例を示す。 字幕情報ファイル507には、コンテンツのタイトル601や言語名602、フォント名603などの基本情報と、実際に表示を行うための字幕文字列606が含まれている。また、各字幕文字列には、その文字列の表示を行う表示開始時刻604と表示を継続する表示期間605が記述されている。
Next, the caption information file 507 will be described. FIG. 6 shows an example of the
なお、図6には図示していないが、各字幕文字列の表示を規定するための、表示位置、表示サイズ、表示色などの情報も字幕情報ファイル507に含めることも出来る。表示位置、表示サイズ、表示色などの情報が字幕情報ファイル507に含まれていない場合には、メモリー418内に予め記憶されている表示方法でシステム制御部114が表示位置、表示サイズ、表示色などを設定する。
Although not shown in FIG. 6, information such as a display position, a display size, and a display color for defining display of each subtitle character string can also be included in the
また、必要に応じて、章や段落の切れ目が分かるような情報を字幕情報ファイル507に含めてもよい。これにより、再生時に早送り動作やスキップ動作を行った場合にも、容易に字幕情報ファイル507中の字幕データの位置を求めることが出来る。 Further, if necessary, the subtitle information file 507 may include information so that chapters and paragraph breaks can be understood. As a result, the position of the caption data in the caption information file 507 can be easily obtained even when a fast forward operation or a skip operation is performed during reproduction.
字幕情報ファイル507中の字幕文字列606は、システム制御部114によって字幕文字列情報に変換される。この際、システム制御部114は、メモリー418に予め記憶されている各文字の形状を記憶したフォント情報を参照する。
The
本実施例では、フォント情報はシステム制御部414からアクセスされるメモリー418に予め記憶されているものとして説明するが、このような手順に限定されるものではなく、例えば、光ディスク401上にファイルとして記録しておき、これを再生してメモリー418上に記憶させておくことによって実現することとしてもよい。光ディスク401に記録されているフォント情報を利用することとすれば、各光ディスク毎にフォント形状を切り替えることが出来る。
In the present embodiment, the font information is described as being stored in advance in the
また、フォント情報を、ネットワーク417を介してダウンロードし、メモリー418に記憶させておくこととしてもよい。こうすることにより、所望のフォント形状を選択することができる。
Further, the font information may be downloaded via the
フォント情報取得方法にかかわらず、フォント情報をシステム制御部414が利用できる構成であれば、文字列情報から図形情報への変換が可能になる。
Regardless of the font information acquisition method, if the
次に、字幕情報ファイル507について説明する。 図5は、光ディスク401に記録されているファイル構造を示す図である。DVRディレクトリ中のプレイリストの数やファイル名などの情報が書かれたinfo.dvrファイル501、メニュー表示を行うプログラムを記録したmenu.java(登録商標)ファイル502、映像の再生位置や順序およびマーク位置などの情報が記録されたプレイリストファイル503、ストリームファイル上の再生開始点とそのパケット位置などの情報を記録したクリップ情報504、映像や音声などの情報パケットが記録されたストリームファイル505及び副画像情報のデコード処理を行うプログラムを記録したsubtitle.javaファイル506とともに字幕情報ファイル507が光ディスク401に記録されている。なお、字幕情報ファイル507は、ネットワーク417を介してダウンロードして取得することとしてもよい。
Next, the caption information file 507 will be described. FIG. 5 is a diagram showing a file structure recorded on the
次に、カラーパレットバッファ106に入力される色情報としてのカラーパレット情報について説明する。 図3は、カラーパレット情報の構造を示す図である。表示時刻情報301は、図形情報バッファ103に入力される表示時刻情報201と同等のものである。カラーパレット数302は、カラーパレット情報中に含まれるカラーパレットの数を示している。カラーパレット303には、256種類のカラーパレットのうち、変更するカラーパレットのみを指定する。これにより、使用しないカラーパレットや変更を行わないカラーパレットの情報を指定する必要がない。
Next, color palette information as color information input to the
ここで、カラーパレットは、前述の図形情報がピクセルごとに何色に対応するかの変換テーブルであり、システム制御部114が生成する。カラーパレットも、上述のフォント情報と同様に、予め再生装置が記憶しておいてもよいし、光ディスク401から取得してもよいし、ネットワーク417を介してダウンロードして取得してもよい。
Here, the color palette is a conversion table indicating how many colors the above-described graphic information corresponds to each pixel, and is generated by the system control unit 114. Similarly to the font information described above, the color palette may be stored in advance by the playback device, may be acquired from the
なお、図形情報は、1ピクセルあたり1バイト(8ビット)が割り当てられており、256種類の値を取り得る。従って、カラーパレット情報には、最大256種類のカラーパレットを指定することができ、各カラーパレットにはRGB各8ビットの色情報と、透明度を示す8ビットのアルファ値を指定する。なお、1ピクセル当たり32ビット割り当てれば、1677万色のいわゆるフルカラーとすることもできる。 The graphic information is assigned 1 byte (8 bits) per pixel, and can take 256 types of values. Therefore, a maximum of 256 types of color palettes can be specified in the color palette information, and 8-bit color information for each of RGB and an 8-bit alpha value indicating transparency are specified for each color palette. If 32 bits are assigned per pixel, a so-called full color of 16.77 million colors can be obtained.
次に、字幕情報ファイル507に基づいてシステム制御部414が字幕文字列情報を生成し、生成された字幕文字列情報を副画像生成部413で図形情報に変換する手順について説明する。
Next, a procedure in which the
字幕情報ファイル507から図形情報を生成する際には、まず、システム制御部414が光ディスク401上から字幕情報ファイル507を読み出し、字幕情報ファイル507の解析を行う。
When generating graphic information from the caption information file 507, first, the
字幕情報ファイル507の解析では、字幕情報ファイル507内に記載されている情報、あるいはメモリー418に記憶されている表現方法にしたがい、フォントの選択やフォントサイズの指定、表示色の選択などを行い、図2に示した字幕文字列情報を生成する。
In the analysis of the caption information file 507, according to the information described in the caption information file 507 or the expression method stored in the
字幕文字列情報は、図6の文字列606ごとに生成される。図2の表示時刻201は、図6の開始時間604および表示期間605に従って生成される。図6の文字列606は、図2のピクセルデータに変換される。また、図2の表示座標202と表示位置203は、システム制御部414がメモリー418から取得した表示位置および表示サイズなどの情報から算出する。
The caption character string information is generated for each
以上のようにして生成された字幕文字列情報は図形情報バッファ103に蓄積される。そして、蓄積された字幕文字列情報に基づき変換部105でピクセルごとの図形情報に変換される、
なお、上記実施例では、図形情報は字幕情報ファイル507中の文字列606及びフォント603に基づいて生成しているが、例えば、図形情報自体を字幕情報ファイルとして光ディスク401に記録しておくこともできる。この場合、ランレングス圧縮などによりデータ量の削減を行うこともできる。また、グラフィックデータを生成するようなプログラムをファイルとして光ディスク401に記録しておき、システム制御部414でこのプログラムを実行することにより図形情報を生成してもよい。いずれの場合にも、図形情報として表示時刻、表示位置、表示サイズの情報とともに図形情報バッファ103に入力する。
The subtitle character string information generated as described above is accumulated in the graphic information buffer 103. Then, based on the accumulated subtitle character string information, the
In the above embodiment, the graphic information is generated based on the
一方、字幕文字列情報の入力に平行して、カラーパレットバッファ106には、図3のカラーパレット情報が入力される。基本的に、各字幕文字列情報に対応してカラーパレット情報が必要となるが、字幕の色の変更がない場合には、カラーパレット情報の更新は不要である。逆に、カラーパレット情報のみを変更することにより、表示されている字幕文字列に様々な効果を与えることも可能である。例えば、カラーパレット情報中の透明度(α値)を徐々に変化させることにより、文字のフェードイン・フェードアウトの処理が可能である。また、いわゆるカラオケの字幕のように、文字の色を徐々に変化させることも可能である。このような処理では、例えば、カラーパレット情報を0.1秒毎に変化させればよく、少しずつ変化させたカラーパレット情報を表示時刻情報を0.1秒ずつ変化させてカラーパレットバッファ106に入力すればよい。
On the other hand, in parallel with the input of the subtitle character string information, the color palette information of FIG. Basically, color palette information is required corresponding to each piece of subtitle character string information, but if there is no change in the color of the subtitles, it is not necessary to update the color palette information. Conversely, by changing only the color palette information, various effects can be given to the displayed subtitle character string. For example, by gradually changing the transparency (α value) in the color palette information, it is possible to perform a fade-in / fade-out process of characters. Moreover, it is also possible to gradually change the color of the character like a so-called karaoke subtitle. In such processing, for example, the color palette information only needs to be changed every 0.1 seconds, and the color palette information that has been changed little by little is displayed in the
また、一旦画像メモリー106に図形情報が展開されると、ずっとその図形情報が出力されつづけることになるので、字幕文字列の表示期間が終了した時点で、図形情報を削除する必要がある。本実施例では、字幕文字列の表示期間の終了がタイミング制御部104で分かるので、表示期間の終了に伴って、表示した文字列のピクセルデータと同じ位置で同じサイズの無色透明なデータを画像メモリー106に上書きすることとする。詳細については後述する。
Further, once the graphic information is developed in the
ここで、光ディスク401に記録されているファイルについて説明する。 図5は、光ディスク401に記録されているファイルの構造を示す図である。
Here, a file recorded on the
まず、ストリームファイル505について説明する。 映像情報は、画像情報圧縮技術の一つであるMPEG2方式でデータ量が削減され、トランスポートストリーム形式に変換されて、ストリームファイル505として光ディスク401に記録される。MPEG2は、NTSC形式の画像やハイビジョンに代表される高画質のHD画像に対しても優れたデータ量削減を行うことが出来、原画像に対して1/10〜1/50程度にデータ量を削減することが出来る。例えば、NTSC形式の画像では6Mbps程度、HD画像でも20Mbps程度のデータ量で十分な画質を得ることが出来る。MPEG2による画像圧縮は、DVDをはじめとする画像蓄積や、ディジタル放送などにも広く用いられている。
First, the
ここでは、MPEG2形式を例にとって説明するが、もちろん他の画像圧縮方法を用いてデータを符号化しても差し支えない。 Here, the MPEG2 format will be described as an example, but it goes without saying that data may be encoded using another image compression method.
映像と同様に、音声情報に関しても、音声圧縮技術を用いてデータ量圧縮を行なう。音声圧縮技術には、MPEG1オーディオやBSデジタル放送で用いられるAAC形式など様々な圧縮技術がある。また、音声情報は映像情報に比べてデータ量が少ないため、圧縮を行わないリニアPCM形式でデータを記録することも可能である。 As with video, audio information is also compressed using an audio compression technique. There are various compression techniques such as MPEG1 audio and AAC format used in BS digital broadcasting. Also, since audio information has a smaller data amount than video information, it is possible to record data in a linear PCM format without compression.
上記のように符号化された映像情報および音声情報は、伝送や蓄積が容易なように、トランスポートストリームとして多重化し、一つのストリームファイル505として記録する。具体的には、ストリームファイル505は188バイトのパケットの集合体である。各パケットにはパケット識別のためのPID(パケットID)が付加されている。このPIDにより、音声デコーダ408や映像デコーダ410は、再生時に容易に映像パケット、音声パケット等の分別を行うことが出来る。
The video information and audio information encoded as described above are multiplexed as a transport stream and recorded as one
さらに、各PIDの関係を表したPMT(Program Map Table)やPAT(Program Allocation Table)、時刻情報を表すPCR(Program Clock Reference)などのパケットも多重化する。このようにして情報の多重化を行ったトランスポートストリームは、ストリームファイル505として光ディスク上に記録しておく。
Furthermore, packets such as PMT (Program Map Table) and PAT (Program Allocation Table) representing the relationship between each PID, and PCR (Program Clock Reference) representing time information are multiplexed. The transport stream on which information is multiplexed in this manner is recorded on the optical disc as a
なお、ストリームファイル505に、映像・音声のほか、字幕情報や図形情報、制御コマンドなどの各種情報パケットを多重化することとしてもよい。
In addition to video / audio, various information packets such as caption information, graphic information, and control commands may be multiplexed in the
次に、クリップ情報ファイル504について説明する。 前述のように、映像情報はMPEG2形式の画像圧縮を行った上で記録をしている。MPEG2形式では、連続した画像の相関性を用いてデータ量削減を行っている。具体的には、連続した画像間で変化のない部分の情報は再送せずに、直前の画像のデータをそのまま使用するような処理を行っている。そのため、変化分のみが符号化された画像データでは、そのデータから全画素の情報を復号できないという欠点がある。したがって、早送りやスキップ操作などで再生を開始できる画像は、全画素が符号化された画像のみである。 Next, the clip information file 504 will be described. As described above, video information is recorded after MPEG2 format image compression. In the MPEG2 format, the data amount is reduced by using the correlation between successive images. Specifically, processing is performed in which the data of the immediately preceding image is used as it is without retransmitting the information of a portion that does not change between consecutive images. For this reason, image data in which only changes are encoded has a drawback that information on all pixels cannot be decoded from the data. Therefore, the only images that can be played back by fast-forwarding, skipping operation, or the like are images in which all pixels are encoded.
一般的に、MPEG2形式での画像圧縮は、15枚程度の画像を組にして圧縮を行うことが多い。この画像の組をGOP(Group Of Pictures)と呼ぶ。このGOPの先頭から再生を行えば、即座に画像の再生を行うことが出来る。 In general, image compression in the MPEG2 format is often performed by combining about 15 images. This set of images is called GOP (Group Of Pictures). If playback is performed from the beginning of this GOP, the image can be played back immediately.
クリップ情報ファイル504には、このGOP先端のパケット位置を、その画像の符号化時刻(Presentation Time Stampの値に対応)とともに記録しておく。これにより、サーチやスキップで再生を開始する位置が容易に検索できる。 In the clip information file 504, the packet position at the tip of the GOP is recorded together with the encoding time of the image (corresponding to the value of Presentation Time Stamp). Thereby, it is possible to easily search for a position where reproduction is started by searching or skipping.
クリップ情報ファイル504は、トランスポートストリームファイルと一対一に対応している。例えば、01000.m2tsというトランスポートストリームファイルに対応して、01000.clpiというクリップ情報ファイルを記録しておけば、ファイル間の対応が容易に識別できる。 The clip information file 504 has a one-to-one correspondence with the transport stream file. For example, 01000. Corresponding to a transport stream file called m2ts, 01000. If a clip information file called clpi is recorded, correspondence between files can be easily identified.
次に、プレイリストファイル503について説明する。 プレイリストファイル503は、トランスポートストリームファイルの再生順序を規定する情報が記録されたファイルである。プレイリストファイルには、再生を行うストリームファイルのファイル識別子、再生開始時刻、再生終了時刻などの情報の組がプレイアイテム情報として一組ないし複数組記録されている。再生時には、指定されたプレイリストファイル中のプレイアイテム情報にしたがい、ストリームファイルが順次再生される。
Next, the
以下、光ディスク401を再生する際の動作を説明する。 再生開始時には、まず、メニュー表示プログラム502が読み出され実行が行われる。メニュー表示プログラム502は、光ディスク401に記録されているコンテンツの選択や各種設定を行うことが出来るようなメニューを表示するようにプログラムされている。ユーザーは、表示されたメニュー画面より、コンテンツの選択を行ない、再生を指示する。
Hereinafter, an operation when reproducing the
ユーザーによって所定のコンテンツの再生が指示されると、システム制御部414の制御の下、指定されたコンテンツに対応した字幕情報ファイル507およびそれをデコード処理するプログラムのファイル506を予め読み出し、メモリー418に記憶する。
When reproduction of predetermined content is instructed by the user, under the control of the
次いで、システム制御部414では、ダウンロードした字幕デコードプログラムの実行を行う。具体的には、システム制御部414が持つメモリー(図示せず)に記憶されているフォント情報を用いて、同時にダウンロードされている字幕文字ファイルに基づいて字幕文字列情報を生成する。字幕文字列情報の生成方法は、上述の通りである。生成された字幕文字列情報は、副情報表示部413内の図形情報バッファ103に入力される。
Next, the
また、システム制御部414は、字幕文字列の表示開始時刻と表示期間から、字幕文字列の消去時刻を計算し、文字列を消去するためのピクセルデータと消去を行う時刻情報を持つ字幕文字列情報を生成し、副情報表示部413内の図形情報バッファ103に入力する。
Further, the
さらには、グラフィックデータを表示するために必要なカラーパレット情報も生成し、副情報表示部のカラーパレットバッファ106に入力する。
Furthermore, color palette information necessary for displaying graphic data is also generated and input to the
なお、字幕デコードプログラムは、光ディスク401からダウンロードされ、システム制御部414で実行されるとして説明したが、これは限定されるものではない。例えば、予めシステム制御部414内のROMに字幕デコードプログラムを記憶しておき実行を行ってもよいし、ネットワーク417を介してダウンロードを行い、実行するように構成してもよい。
The caption decoding program has been described as being downloaded from the
同様に、字幕文字列情報も、光ディスク401に記録されている字幕情報ファイル507に基づいて生成するのではなく、ネットワーク417を介してダウンロードした字幕情報に基づいて生成するように構成してもよい。また、字幕情報ファイル507が光ディスク401上に個別のファイルとして記録されている例を示したが、字幕情報を、映像ストリームや音声ストリームとともに多重化し、出力制御部404からの出力をシステム制御部414で取得するような構成にしてもよい。
Similarly, the subtitle character string information may be generated based on the subtitle information downloaded via the
字幕文字列情報、カラーパレット情報が副画像生成部413に入力された、指示されたコンテンツの再生を開始する。コンテンツの再生のために、指定されたコンテンツに対応したプレイリストファイル503がシステム制御部414の制御の下、光ディスク401上から読み出す。プレイリストファイル503中には、一つないし複数のプレイアイテム情報が記録されており、プレイアイテム情報に対応したストリームファイル505の読み出しが行われ、プレイアイテム情報に指定されたパケット番号のパケットから読み出しが行われる。具体的には、読み出しを行うパケットの記録されているセクターの情報を読み出すよう、システム制御部414がドライブ制御部406に指示を行う。ドライブ制御部406は、指示されたセクターの読み出しが行えるように、サーボ部405を制御し、ディスク回転速度および光ピックアップの位置を制御する。光ピックアップ402により、光ディスク401から信号が読み出されると、再生信号処理部403により、誤り訂正処理、データの並び替えなどの信号処理が行われ、セクターデータとして出力制御部404に入力される。出力制御部404は、システム制御部414により指定されたパケット番号のパケットから順番に、各パケットに付加されたタイムスタンプに応じた時刻にパケットを出力する。
The subtitle character string information and color palette information are input to the
出力制御部404から出力されたMPEGパケットは、PCR検出部407、音声デコーダ408、映像デコーダ410に入力される。各パケットにはパケット種別を判別する13ビットのPID(Packet ID)が含まれており、これによりPCRパケット、音声データパケット、映像データパケットなどの種類が判別される。これにより、各デコーダは、所望のパケットのみをデコード(復調)することが出来る。
The MPEG packet output from the output control unit 404 is input to the PCR detection unit 407, the
また、再生するストリームファイル505内のストリームデータには、PCR(Program Clock Reference)と呼ばれる時刻情報が含まれており、この時刻情報に同期して映像および音声の出力が行われる。PCR検出部407には、このPCRパケットが入力され、ストリーム中の時刻情報が取得される。映像デコーダ410および音声デコーダ408には、このPCR値(時刻情報)が入力され、このPCR値を基準として映像および音声のデコード処理を行う。また、PCR値は、副画像生成部413にも入力され、字幕の表示タイミングの制御にも使用される。
The stream data in the
映像デコーダ410では、入力された映像ストリームをデコードする。映像ストリームには、毎秒30枚のフレーム画像が含まれており、各画像には、画像の表示時刻を示すPTS(Presentation Time Stamp)の情報が含まれている。映像デコーダ内では、PCR検出部から入力されたPCR時刻と、デコードしたフレーム画像のPTSとが比較され、一致した時点で画像データが映像合成回路411に入力される。音声データも同様に音声デコーダ408によりデコードされ、デコードした音声フレームデータのPTSが、PCR時刻に一致した時点で、音声出力端子409に出力される。
The
映像デコーダ410による映像信号の出力に平行して、副画像生成部413から副画像情報の出力が行われる。
In parallel with the output of the video signal by the
ここで、副画像生成部413におけるデータの表示について説明する。
Here, display of data in the
副画像生成部413では、システム制御部414から入力された字幕文字列情報の表示時刻(PTS)に変換部105で図形情報に変換し、出力されるように制御される。具体的には、入力されたピクセルデータの表示時刻201と、PCR検出部407から入力されたPCR値とがタイミング制御部104にて比較され、一致した時点で、ピクセルデータ204が変換部105へ転送され、図形情報に変換して画像メモリー106へ出力される。このとき、図形情報の画像メモリー106上のアドレスは、字幕文字列情報の表示座標情報202およびサイズ情報203から計算される。同様に、カラーパレットバッファ106へ入力されたカラーパレット情報も表示時刻がPCR値と一致した時点でカラーパレット109へコピーされる。これにより、図形情報バッファ103およびカラーパレットバッファ106へ入力されたデータが、所定のタイミングで画像メモリー106およびカラーパレット109へ反映される。
The
画像メモリー106上のデータは、ピクセル毎に順次読み出され、カラーパレット109によりRBGの各色の輝度およびアルファ値の示す透明度のデータに変換され、副画像の映像信号として出力端子109から出力される。
Data on the
副画像生成部413の出力端子109から出力された副画像の映像信号と、前述の映像デコーダ410から出力される主画像の映像信号は、映像合成回路411に入力され、合成された映像信号として、再生装置の映像出力端子412から外部のディスプレイに出力され、表示される。
The video signal of the sub image output from the
以上の処理により、字幕が、映像および音声と同期して出力される。 Through the above processing, subtitles are output in synchronization with video and audio.
ここで、図形情報バッファ103およびカラーパレットバッファ106へのデータ入力自体は、それぞれの表示時刻とは無関係に行うことが出来る。例えば、字幕情報の生成処理をコンテンツの再生前に全て行っておき、図形情報バッファ103およびカラーパレットバッファ106へ入力しておくことも可能である。図形情報バッファおよびカラーパレットバッファには、それぞれタイミング制御部104および108が設けられており、バッファへ入力されたデータをPTSおよびPCRにしたがい、所定のタイミングで出力することが可能である。これにより、字幕情報の生成処理を、光ディスク401の再生と同期して行う必要はなくなるので、字幕の生成処理を実時間で行う必要はなくなる。一般に、字幕の表示処理で実時間処理が要求されるのは表示タイミングの調整であり、字幕の生成処理自体は実時間処理が要求されない。
Here, the data input itself to the graphic information buffer 103 and the
なお、図1に示した副画像生成部413では、図形情報バッファ103とカラーパレットバッファ107を独立したメモリーとして構成し、それぞれのデータを別々のタイミング制御部104および108)により画像メモリー106とカラーパレット109へコピーしていたが、これは限定されるものではない。例えば、図8に示したように、バッファメモリー801を共用し、タイミング制御部802により変換部105にピクセルデータを振り分け、カラーパレット情報をカラーパレット109に振り分けてデータを転送するように構成してもよい。この場合、図9に示したようなデータ構造で字幕文字列情報を生成し、バッファメモリー801へこの字幕文字列情報を書き込めばよい。
In the
以上説明したように、本実施例では、字幕の生成処理を実時間で行う必要がなくなるため、高速な処理を行うための専用ソフトウェアが不要となる。これにより、例えば、javaに代表される汎用のソフトウェアで字幕でコード処理のプログラムを作成し、光ディスク401上に記録しておくことが出来る。したがって、システム制御部414内にjava等の汎用プログラム実行環境さえ準備しておけば、光ディスク401上のコンテンツに応じて字幕生成処理のプログラムを変更することもでき、高度な字幕処理を行うことも可能となる。もちろん、字幕以外の表示を行うことも可能である。
As described above, in the present embodiment, it is not necessary to perform the caption generation process in real time, so that dedicated software for performing high-speed processing is not necessary. Thereby, for example, a code processing program can be created with subtitles using general-purpose software represented by Java, and can be recorded on the
また本実施例では、時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、字幕を出力するので、所定の時刻に字幕の表示を行うことが可能である。したがって、再生中のストリームの時刻とは独立して図形情報を予め生成することができるため、字幕の生成を実時間で行う必要がなく、システム制御部414の負担を軽減することが出来る。そのため、字幕生成の処理を低速のCPUを使用した環境や、汎用のソフトウェア実行環境を用いて行うことが出来る。さらには、字幕処理の実行時間に制限が少ないので、字幕処理プログラムの開発が容易であり、かつ、字幕の表示に問題を来すことが少なくなる。
In the present embodiment, since the caption is output when the time information input from the time information input terminal matches the graphic information display time, it is possible to display the caption at a predetermined time. . Therefore, since the graphic information can be generated in advance independently of the time of the stream being played back, subtitles need not be generated in real time, and the burden on the
101 データ入力端子
102 時刻情報入力端子
103 図形情報バッファ
104、107 タイミング制御部
105 変換部
106 画像メモリー
107 カラーパレットバッファ
108 カラーパレット
109 副画像出力端子
401 光ディスク
402 光ピックアップ
403 再生信号処理回路
404 出力制御部
405 サーボ部
406 ドライブ制御部
407 PCR検出部
408 音声デコーダ
409 音声出力端子
410 映像デコーダ
411 映像合成回路
412 映像出力端子
413 副画像生成部
414 システム制御部
415 リモコン受信部
416 ネットワーク制御部
417 ネットワーク
418 メモリー
DESCRIPTION OF
Claims (2)
記録媒体から読み出される前記主画像のPCR(Program Clock Reference)を取得する取得手段と、
前記副画像のPTS(Presentation Time Stamp)と字幕文字列情報とフォント情報から、前記字幕文字列情報と前記フォント情報を蓄え、前記字幕文字列情報を図形情報に変換し、変換された前記図形情報を保持し、前記副画像の映像信号を生成する副画像生成手段と、
前記記録媒体から所定のプログラムを読み出し、前記プログラムを実行するプログラム実行手段と、を備え、
前記プログラムの実行に応じて、ネットワークを介して前記字幕文字列情報に関する第2のフォント情報が前記再生装置が有する記憶手段にダウンロードされ、前記記録媒体に予め記録されている第1のフォント情報が選択された場合、前記第1のフォント情報を用いた前記副画像を生成し、前記第2のフォント情報が選択された場合、前記記録媒体に予め記録されている前記第1のフォント情報から前記第2のフォント情報に切り替えを行い、前記第2のフォント情報を用いた前記副画像を生成し、
前記PCRを基準とする時刻情報と前記PTSが一致した場合に、前記副画像生成手段が前記副画像の映像信号を出力して、該出力された副画像の映像信号を前記主画像の映像信号に重畳して出力することを特徴とする再生装置。 In a playback device that superimposes and outputs a sub-image on a main image,
Acquisition means for acquiring PCR (Program Clock Reference) of the main image read from the recording medium;
From the PTS (Presentation Time Stamp) and subtitle character string information and font information of the sub-image, the subtitle character string information and the font information are stored, the subtitle character string information is converted into graphic information, and the converted graphic information Sub image generating means for generating a video signal of the sub image,
Program execution means for reading a predetermined program from the recording medium and executing the program,
In response to the execution of the program, the second font information related to the subtitle character string information is downloaded to the storage unit of the playback device via the network, and the first font information recorded in advance on the recording medium is When selected, the sub-image using the first font information is generated, and when the second font information is selected, the first font information recorded in advance on the recording medium is used to generate the sub-image. Switching to second font information, generating the sub-image using the second font information,
When the time information based on the PCR matches the PTS, the sub-image generating means outputs the video signal of the sub-image, and the video signal of the sub-image is output as the video signal of the main image. A playback device characterized by being superimposed and output.
記録媒体から読み出される前記主画像のPCR(Program Clock Reference)を取得する取得ステップと、
前記副画像のPTS(Presentation Time Stamp)と字幕文字列情報とフォント情報から、前記字幕文字列情報と前記フォント情報を蓄え、前記字幕文字列情報を図形情報に変換し、変換された前記図形情報を保持し、前記副画像の映像信号を生成して記憶する副画像生成
ステップと、
前記記録媒体から所定のプログラムを読み出し、前記プログラムを実行するプログラム実行ステップと、を備え、
前記プログラムの実行に応じて、ネットワークを介して前記字幕文字列情報に関する第2のフォント情報が前記再生装置が有する記憶手段にダウンロードされ、前記記録媒体に予め記録されている第1のフォント情報が選択された場合、前記第1のフォント情報を用いた前記副画像を生成し、前記第2のフォント情報が選択された場合、前記記録媒体に予め記録されている前記第1のフォント情報から前記第2のフォント情報に切り替えを行い、前記第2のフォント情報を用いた前記副画像を生成し、
前記PCRを基準とする時刻情報と前記PTSが一致した場合に、前記副画像の映像信号を出力して、該出力された副画像の映像信号を前記主画像の映像信号に重畳して出力することを特徴とする再生方法。 In a playback method in a playback apparatus that superimposes and outputs a sub-image on a main image,
An acquisition step of acquiring PCR (Program Clock Reference) of the main image read from the recording medium;
From the PTS (Presentation Time Stamp) and subtitle character string information and font information of the sub-image, the subtitle character string information and the font information are stored, the subtitle character string information is converted into graphic information, and the converted graphic information A sub-image generating step for generating and storing a video signal of the sub-image, and
A program execution step of reading a predetermined program from the recording medium and executing the program,
In response to the execution of the program, the second font information related to the subtitle character string information is downloaded to the storage unit of the playback device via the network, and the first font information recorded in advance on the recording medium is When selected, the sub-image using the first font information is generated, and when the second font information is selected, the first font information recorded in advance on the recording medium is used to generate the sub-image. Switching to second font information, generating the sub-image using the second font information,
When the time information based on the PCR matches the PTS, the video signal of the sub-image is output, and the output video signal of the sub-image is superimposed on the video signal of the main image and output. A reproduction method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011226346A JP5229373B2 (en) | 2011-10-14 | 2011-10-14 | Playback device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011226346A JP5229373B2 (en) | 2011-10-14 | 2011-10-14 | Playback device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009211244A Division JP4941528B2 (en) | 2009-09-14 | 2009-09-14 | Playback device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012075116A JP2012075116A (en) | 2012-04-12 |
JP5229373B2 true JP5229373B2 (en) | 2013-07-03 |
Family
ID=46170795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011226346A Expired - Lifetime JP5229373B2 (en) | 2011-10-14 | 2011-10-14 | Playback device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5229373B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1188861A (en) * | 1997-09-04 | 1999-03-30 | Hitachi Ltd | Program link information processor |
JP3714880B2 (en) * | 2001-03-07 | 2005-11-09 | シャープ株式会社 | Subtitle display device |
-
2011
- 2011-10-14 JP JP2011226346A patent/JP5229373B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2012075116A (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8145035B2 (en) | Reproduction device, recording medium, program, and reproduction method | |
KR100970735B1 (en) | Reproducing method for information storage medium recording audio-visual data and recording apparatus therefor | |
US8532461B2 (en) | Recording medium having data structure for managing reproduction of still pictures recorded thereon and recording and reproducing methods and apparatuses | |
JP4611285B2 (en) | RECORDING MEDIUM HAVING DATA STRUCTURE FOR MANAGING GRAPHIC DATA REPRODUCTION, RECORDING AND REPRODUCING METHOD AND APPARATUS THEREFOR | |
KR101024922B1 (en) | Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing | |
JP4830535B2 (en) | Playback apparatus, playback method, and playback program | |
JP4534501B2 (en) | Video reproducing apparatus and recording medium | |
US8041179B2 (en) | Methods and apparatuses for reproducing and recording still picture and audio data and recording medium having data structure for managing reproduction of still picture and audio data | |
JP5214730B2 (en) | Synthesizer and synthesis method | |
JP4539122B2 (en) | Playback device, playback method, and recording method | |
JP5229373B2 (en) | Playback device | |
JP4941528B2 (en) | Playback device | |
EP3712891B1 (en) | Reproduction device, reproduction method, and program | |
JP5240326B2 (en) | Video reproducing apparatus and recording medium | |
JP4941567B2 (en) | Video reproducing apparatus and recording medium | |
JP5018976B2 (en) | Data recording method, recording medium, and reproducing apparatus | |
JP2006079712A (en) | Recording medium, reproducing device, and recording device | |
JP2021166363A (en) | Video reproduction device and video reproduction method | |
JP4770910B2 (en) | Data recording method, recording medium, and reproducing apparatus | |
JP2006024297A (en) | Language selection method, reproducing device and recording medium | |
JP5158225B2 (en) | Playback apparatus, playback method, and playback program | |
JP2005222627A (en) | Data recording method, recording medium, and reproducing apparatus | |
JP2006054629A (en) | Data recording/reproducing method and recording/reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |