JP2010074559A - Video processing apparatus and video processing method - Google Patents

Video processing apparatus and video processing method Download PDF

Info

Publication number
JP2010074559A
JP2010074559A JP2008239978A JP2008239978A JP2010074559A JP 2010074559 A JP2010074559 A JP 2010074559A JP 2008239978 A JP2008239978 A JP 2008239978A JP 2008239978 A JP2008239978 A JP 2008239978A JP 2010074559 A JP2010074559 A JP 2010074559A
Authority
JP
Japan
Prior art keywords
video
character
main
stream
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008239978A
Other languages
Japanese (ja)
Inventor
Nobuyuki Suzuki
信幸 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008239978A priority Critical patent/JP2010074559A/en
Publication of JP2010074559A publication Critical patent/JP2010074559A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To superimpose and display character information of an HD (High Definition) size on/in an HD method video. <P>SOLUTION: The video processing apparatus is equipped with: a means (16) to separate main and sub images from a multiplexed video signal including main and sub video signals of standard resolution size; a means (38) to convert the main image of standard resolution size output from the separation means (16) into a main image of high resolution size; means (46, 48, 50) to create a character image of high resolution size on the basis of a character data included in the main video signal of the multiplexed video signal; and a means (40) to superimpose the character image of high resolution size formed by the creation means on the main image of high resolution size output by the conversion means (38). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は標準解像度のＳＤ（Standard Definition）方式による映像信号を高解像度のＨＤ（High Definition）方式の表示装置へ出力する映像処理装置に関する。   The present invention relates to a video processing apparatus that outputs a standard definition SD (Standard Definition) video signal to a high resolution HD (High Definition) display device.

近年、ＨＤ方式の解像度の映像を表示できる表示装置が広く普及している。しかし、現行のＮＴＳＣやＰＡＬ方式のテレビジョン放送は水平走査線数は５２５〜６２５本程度であり、水平方向の画素数も７２０画素程度であり、ＨＤ方式に対応していない。また、現行の映像記録媒体であるＤＶＤ（Digital Versatile Disk）もＨＤ方式に対応していない。そのため、ＳＤサイズ（ＳＤ方式の画素数）の映像信号をＨＤサイズ（ＨＤ方式の画素数）の映像信号に変換するＳＤ−ＨＤ変換技術が開発されている（例えば、特許文献１参照）。   In recent years, display devices capable of displaying HD resolution images have become widespread. However, the current NTSC and PAL television broadcasting has about 525 to 625 horizontal scanning lines and about 720 pixels in the horizontal direction, and is not compatible with the HD system. Also, DVD (Digital Versatile Disk), which is a current video recording medium, does not support the HD system. Therefore, an SD-HD conversion technology has been developed that converts an SD size (number of SD pixels) video signal into an HD size (HD format pixels) video signal (see, for example, Patent Document 1).

特許文献１記載の高解像度化装置は、画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段と、前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備する。これにより、少ないメモリ量を使用するだけで鮮鋭な高解像度画像を得ることができる。   The high resolution device described in Patent Document 1 includes an acquisition unit that arranges a plurality of pixels in a screen and acquires an image representing the luminance of each pixel as a pixel value from an image source, and one frame included in the image For each reference pixel, first setting means for sequentially setting a plurality of pixels in one or more frames included in the image as target pixels one by one, and A third setting unit for setting a target image area including the target pixel; and a plurality of corresponding points corresponding to a plurality of target image areas closest to a change pattern of a pixel value included in the target image area. Selection means for selecting from, a fourth setting means for setting the luminance sample value at the corresponding point to the pixel value of the pixel of interest corresponding to the corresponding point, the size of the plurality of sample values, The plurality of corresponding points And a calculation means for calculating a plurality of pixel values included in the high-resolution image corresponding to the reference frame, the high-resolution image having a larger number of pixels than the number of pixels included in the reference frame. It has. Thereby, a sharp high-resolution image can be obtained only by using a small amount of memory.

特許文献１の原理は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。そのため、動きのある映像については、比較的ボケが目立たずに、画像サイズを大きくすることができる。   The principle of Patent Document 1 focuses on the fact that the subject shown in the reference frame is also shown in another frame, and detects the movement of the subject with high accuracy below the pixel interval, so that the same local portion of the subject can be detected. In contrast, a plurality of sample values whose positions are slightly shifted are obtained to increase the resolution. For this reason, the image size can be increased with respect to a moving image without relatively noticeable blurring.

しかし、映画等のように映像に字幕が重畳されている場合や、ニュース番組等のように映像にテロップに重畳されている場合がある。このように文字情報は特許文献１の高解像化装置ではサイズが大きくなると、解像度が低下しボケてしまい、文字が判別しずらくなるという欠点がある。   However, there are cases where subtitles are superimposed on video such as movies, and cases where subtitles are superimposed on video such as news programs. As described above, when the size of the character information is increased in the high resolution device of Patent Document 1, there is a drawback that the resolution is lowered and blurred, and it is difficult to distinguish the characters.

なお、ＨＤ方式による文字情報の表示の一例として、クローズドキャプション方式がある（例えば、特許文献２参照）。ＤＶＤ−Ｖｉｄｅｏなどのパッケージメディアにおいても、クローズドキャプション信号が映像信号に多重化されているタイトルが存在する。ＤＶＤプレーヤ等の再生装置のコンポジットビデオ出力においては、ストリームから抜き出したクローズドキャプションデータがビデオ信号の垂直ブラキング期間（ＶＢＩ）のライン２１のフィールドに多重化されており、クローズドキャプションのデコードに対応したＴＶや専用デコーダ等で字幕に変換される。しかし、ＨＤ方式のＴＶ放送やビデオ信号伝送が可能になり、ＴＶや再生装置にもＨＤＭＩ方式といった新しい接続方式が採用されている。しかし、クローズドキャプション方式はＳＤ方式のコンポジットビデオ出力におけるライン２１を前提としていたので、ＨＤＭＩ方式等のＶＢＩがない接続ではそのまま利用できない。   An example of displaying character information by the HD method is a closed caption method (see, for example, Patent Document 2). Even in package media such as DVD-Video, there is a title in which a closed caption signal is multiplexed with a video signal. In the composite video output of a playback device such as a DVD player, closed caption data extracted from the stream is multiplexed in the field of the line 21 in the vertical blackening period (VBI) of the video signal, and the TV corresponding to the decoding of the closed caption is performed. Or converted into subtitles by a dedicated decoder. However, HD TV broadcasting and video signal transmission are possible, and a new connection method such as the HDMI method is adopted for TVs and playback devices. However, since the closed caption method is based on the line 21 in the composite video output of the SD method, it cannot be used as it is in a connection without VBI, such as the HDMI method.

特許文献２の装置はこれを解決するために、ＤＶＤプレーヤ等の再生装置側からＨＤ方式のビデオ信号とＶＢＩに文字情報が多重化されたＳＤ方式のビデオ信号との両方を、ＴＶ等の映像表示装置に出力する。映像表示装置は、ＳＤ方式のビデオ信号に多重化された文字情報を分離し、ＨＤ方式のビデオ信号に同期させて映像を合成した上で、字幕のある映像として表示する。これにより、高解像度のＨＤ方式のビデオ信号と、ＳＤ方式のビデオ信号のＶＢＩに多重化された文字情報を同時に視聴することができる。   In order to solve this problem, the device of Patent Document 2 receives both an HD video signal and an SD video signal in which character information is multiplexed in VBI from a playback device such as a DVD player, and a video image such as a TV. Output to the display device. The video display device separates the character information multiplexed in the SD video signal, synthesizes the video in synchronization with the HD video signal, and displays it as a video with subtitles. As a result, it is possible to simultaneously view the character information multiplexed on the VBI of the high-resolution HD video signal and the SD video signal.

しかし、特許文献２では高解像度のＨＤサイズの文字情報を表示することが出来ず、映像に比較して小さい文字しか表示できない。
特開２００７−３１０８３７号公報（段落０００３、０００８、００１０） 特開２００７−１１０３１０号公報（段落０００４〜００１２） However, Patent Document 2 cannot display high-resolution HD-size character information, and can display only small characters compared to video.
JP 2007-310837 A (paragraphs 0003, 0008, 0010) JP 2007-110310 A (paragraphs 0004 to 0012)

このように従来の映像処理装置は、ＨＤ方式の映像にＨＤサイズの文字情報を重畳して表示することができなかった。   As described above, the conventional video processing apparatus cannot display the HD size character information superimposed on the HD video.

本発明の目的はＨＤ方式の映像にＨＤサイズの文字情報を重畳して表示することができる映像処理装置及び映像処理方法を提供することにある。   An object of the present invention is to provide a video processing apparatus and a video processing method capable of superimposing and displaying HD size character information on an HD video.

本発明の一態様による映像処理装置は、標準解像度サイズの主映像信号、副映像信号を含む多重化映像信号を入力し、標準解像度サイズの主映像、副映像を分離して出力する分離手段と、前記分離手段から出力された標準解像度サイズの主映像を高解像度サイズの主映像に変換する手段と、前記分離手段に入力された多重化映像信号の主映像信号に含まれる文字データに基づいて高解像度サイズの文字映像を生成する手段と、前記変換手段から出力された高解像度サイズの主映像に前記生成手段で生成された高解像度サイズの文字映像を重畳する手段とを具備するものである。   A video processing apparatus according to an aspect of the present invention receives a multiplexed video signal including a standard resolution size main video signal and sub video signal, and separates and outputs a standard resolution size main video and sub video. , Based on character data included in the main video signal of the multiplexed video signal input to the separation means, and means for converting the main video of the standard resolution size output from the separation means to a high resolution size main video. Means for generating a character image of high resolution size, and means for superimposing the character image of the high resolution size generated by the generation means on the main image of high resolution size output from the conversion means. .

本発明の一態様による映像処理方法は、標準解像度サイズの主映像信号、副映像信号を含む多重化映像信号を入力し、標準解像度サイズの主映像、副映像を分離するステップと、前記分離ステップで分離された標準解像度サイズの主映像を高解像度サイズの主映像に変換するステップと、前記多重化映像信号の主映像信号に含まれる文字データに基づいて高解像度サイズの文字映像を生成するステップと、前記変換ステップで変換された高解像度サイズの主映像に前記生成ステップで生成された高解像度サイズの文字映像を重畳するステップとを具備するものである。   According to an aspect of the present invention, there is provided a video processing method for inputting a multiplexed video signal including a main video signal and a sub video signal having a standard resolution size, and separating the main video and sub video having a standard resolution size; Converting the main video of the standard resolution size separated into the main video of the high resolution size, and generating the high resolution size character video based on the character data included in the main video signal of the multiplexed video signal And superimposing the high-resolution size character image generated in the generation step on the high-resolution size main image converted in the conversion step.

以上説明したように本発明によれば、標準解像度サイズの主映像を高解像度サイズの主映像に変換した主映像に、主映像信号に含まれる文字データに基づいて生成した高解像度サイズの文字映像を重畳することにより、高解像度サイズの文字情報を高解像サイズの主映像に重ねて表示することができる。   As described above, according to the present invention, a high resolution size character image generated based on character data included in the main image signal is converted into a main image obtained by converting a standard resolution size main image into a high resolution size main image. By superimposing, character information of a high resolution size can be displayed superimposed on a main image of a high resolution size.

以下、図面を参照して本発明による映像処理装置の実施の形態を説明する。   Embodiments of a video processing apparatus according to the present invention will be described below with reference to the drawings.

第１の実施の形態
図１は本発明の第１の実施の形態に係る映像処理装置の一例としてのＤＶＤ再生装置の構成を示す図である。 First Embodiment FIG. 1 is a diagram showing a configuration of a DVD playback apparatus as an example of a video processing apparatus according to a first embodiment of the present invention.

ディスク制御部１４はＤＶＤ１２から読出した多重化ストリームをストリーム分離部１６に送る。   The disk control unit 14 sends the multiplexed stream read from the DVD 12 to the stream separation unit 16.

図２は、ＤＶＤビデオ規格のデータフォーマットを示す。ＤＶＤビデオのボリューム空間はボリューム・ファイル構造データゾーンと、ＤＶＤビデオゾーンと、その他のデータゾーンとから構成される。ＤＶＤビデオゾーンはビデオマネージャＶＭＧと、その後に続く複数個（最大９９個）のビデオタイトルセットＶＴＳを格納する。   FIG. 2 shows a data format of the DVD video standard. The volume space of the DVD video is composed of a volume / file structure data zone, a DVD video zone, and other data zones. The DVD video zone stores a video manager VMG and a plurality (up to 99) of video title sets VTS following the video manager VMG.

ビデオタイトルセットＶＴＳはビデオタイトルセット情報と、メニュー用ビデオオブジェクトセットＶＯＢと、タイトル用ビデオオブジェクトセットＶＯＢと、ビデオタイトルセット情報のバックアップとからなる。タイトル用ビデオオブジェクトセットＶＯＢは複数のセルＣｅｌｌからなる。   The video title set VTS includes video title set information, a menu video object set VOB, a title video object set VOB, and a backup of the video title set information. The title video object set VOB includes a plurality of cells Cell.

セルＣｅｌｌは最小のアクセス単位であるビデオオブジェクトトユニットＶＯＢＵが連続することによって構成される。ビデオオブジェクトトユニットＶＯＢＵは、ＭＰＥＧ２プログラムストリームに準拠し、必ずナビゲーションパックＮＶ＿ＰＣＫで始まり、その後に１つまたは複数の主映像パックＶ＿ＰＣＫと副映像パックＳＰ＿ＰＣＫと音声パックＡ＿ＰＣＫとが適宜の位置に配置されて構成される。   The cell Cell is configured by a series of video object units VOBU which are the minimum access units. The video object unit VOBU conforms to the MPEG2 program stream and always starts with the navigation pack NV_PCK, and then one or more main video packs V_PCK, sub-video packs SP_PCK, and audio packs A_PCK are arranged at appropriate positions. Composed.

図３は主映像データのデータフォーマットを示す。主映像パックＶ＿ＰＣＫは１つ以上のパケットを含むことができ、パックヘッダＰＣＨと１つ以上のパケット（ＰＥＳパケット）からなる。パックヘッダＰＣＨには各エレメンタリー復号部の入力バッファにパックが到着する時刻情報ＳＣＲ（System Clock Reference）が記述されている。パケットはＰＥＳパケットヘッダＰＰＨと、ＰＥＳパケットデータＰＰＤとからなる。主映像パケットのペイロード（主映像パケットからパケットヘッダを除いた部分、ＰＥＳパケットデータＰＰＤ）を送られた順番で並べると主映像エレメンタリーストリームとなる。   FIG. 3 shows the data format of the main video data. The main video pack V_PCK can include one or more packets, and includes a pack header PCH and one or more packets (PES packets). The pack header PCH describes time information SCR (System Clock Reference) when the pack arrives at the input buffer of each elementary decoding unit. The packet includes a PES packet header PPH and PES packet data PPD. When the payload of the main video packet (the part obtained by removing the packet header from the main video packet, PES packet data PPD) is arranged in the order of transmission, a main video elementary stream is obtained.

各パケットヘッダＰＰＨには、ストリームＩＤ（ｓｔｒｅａｍ＿ｉｄ）が記述され、ストリームＩＤがプライベートストリーム１（ｐｒｉｖａｔｅ＿ｓｔｒｅａｍ＿１（＝ＢＤｈ））とプライベートストリーム２（ｐｒｉｖａｔｅ＿ｓｔｒｅａｍ＿２（＝ＢＦｈ））を持つパケットに対しては、パケットのペイロードの１バイト目にｓｕｂ＿ｓｔｒｅａｍ＿ｉｄが記述される。   Each packet header PPH describes a stream ID (stream_id). For packets having stream IDs private stream 1 (private_stream_1 (= BDh)) and private stream 2 (private_stream_2 (= BFh)) Sub_stream_id is described in the first byte of the payload.

主映像パケットのパケットヘッダには、パケット内にピクチャデータの先頭が含まれるとき、最初に出現したピクチャに対してこのピクチャデータを復号する時刻ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）または表示する時刻ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を記述することができる。   When the head of picture data is included in the packet in the packet header of the main video packet, the time DTS (Decoding Time Stamp) or the display time PTS (Presentation Time) of decoding this picture data for the first picture that appears (Stamp) can be described.

前述のピクチャがＩピクチャまたはＰピクチャである場合には、パケットヘッダにはＤＴＳとＰＴＳを記述し、Ｂピクチャである場合にはＰＴＳのみを記述することができる。   If the picture is an I picture or a P picture, DTS and PTS can be described in the packet header, and if the picture is a B picture, only PTS can be described.

音声パケットのパケットヘッダには、パケット内に音声フレームの先頭が含まれるとき、最初に出現した音声フレームに対してこの音声データを復号し、表示する時刻ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を記述することができる。   In the packet header of the voice packet, when the head of the voice frame is included in the packet, a time PTS (Presentation Time Stamp) for decoding and displaying the voice data for the voice frame that appears first is described. it can.

副映像パケットのパケットヘッダには、パケット内に副映像ユニットＳＰＵの先頭が含まれるとき、最初に出現した副映像ユニットに対してこの副映像ユニットの先頭のＳＰ＿ＤＣＳＱ（Ｓｕｂ−Ｐｉｃｔｕｒｅ Ｄｉｓｐｌａｙ Ｃｏｎｔｒｏｌ Ｓｅｑｕｅｎｃｅ：副映像表示制御シーケンス）を実行するする時刻ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を記述することができる。   When the packet header of the sub-picture packet includes the head of the sub-picture unit SPU in the packet, the first SP_DCSQ (Sub-Picture Display Control Sequence: sub-picture display sequence) of the sub-picture unit with respect to the first appearing sub-picture unit. A time PTS (Presentation Time Stamp) for executing a video display control sequence can be described.

ＰＥＳパケットのペイロード（パケットヘッダ（ＰＰＨ）を除いた部分）は単一のエレメンタリーデータしか持つことできない。例えば、１つのパケットのペイロードとして主映像データと音声データを混在することはできない。   The payload of the PES packet (the part excluding the packet header (PPH)) can have only single elementary data. For example, main video data and audio data cannot be mixed as a payload of one packet.

主映像エレメンタリーストリームは、ＭＰＥＧ２ビデオ規格に従って圧縮され、シーケンス層、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）層、ピクチャ層、マクロブロック層、ブロック層で構成される。主映像エレメンタリーストリームはシーケンスヘッダＳＨとその後に続く１つまたは複数のＧＯＰデータ領域のセットからなる。シーケンスヘッダＳＨとＧＯＰデータ領域のセットは複数であってもよい。主映像エレメンタリーストリームの最後はシーケンスエンドコードＳＥが配置される。ＧＯＰデータ領域はＧＯＰヘッダＧＨと、ユーザデータ領域ＵＤと、ピクチャデータ領域ＰＩＣとからなる。ピクチャデータ領域ＰＩＣはピクチャヘッダＰＨと、マクロブロックＭＢとからなる。   The main video elementary stream is compressed according to the MPEG2 video standard, and includes a sequence layer, a GOP (Group Of Pictures) layer, a picture layer, a macroblock layer, and a block layer. The main video elementary stream is composed of a sequence header SH followed by a set of one or more GOP data areas. There may be a plurality of sets of sequence headers SH and GOP data areas. A sequence end code SE is arranged at the end of the main video elementary stream. The GOP data area includes a GOP header GH, a user data area UD, and a picture data area PIC. The picture data area PIC consists of a picture header PH and a macro block MB.

ＤＶＤビデオ規格では、ＧＯＰ層のユーザデータ領域ＵＤにクローズドキャプションデータが挿入されるライン２１データが記述される。ユーザデータ領域ＵＤは、３２ビットのユーザデータスタートコードＵＳと、１６ビットのライン２１インジケータｌ２１ｉと、１６ビットのリザーブ領域ｒと、１ビットのＧＯＰのトップフィールドフラグｔｆｆと、６ビットの表示フィールドＧＯＰ数ｎｄｆと、７ビットのメーカビットｍと、１ビットのライン２１スイッチｓと、１６ビットのライン２１データＬ２１とからなる。メーカビットｍと、ライン２１スイッチｓと、ライン２１データＬ２１は複数配置される。   In the DVD video standard, line 21 data in which closed caption data is inserted into the user data area UD of the GOP layer is described. The user data area UD includes a 32-bit user data start code US, a 16-bit line 21 indicator l21i, a 16-bit reserve area r, a 1-bit GOP top field flag tff, and a 6-bit display field GOP. It consists of a number ndf, a 7-bit manufacturer bit m, a 1-bit line 21 switch s, and a 16-bit line 21 data L21. A plurality of manufacturer bits m, line 21 switches s, and line 21 data L21 are arranged.

ライン２１データＬ２１は８ビットのライン２１データ１（ｄ１）と８ビットのライン２１データ２（ｄ２）とからなる。ライン２１データ１（ｄ１）はキャラクタ１を示し、ライン２１データ２（ｄ２）はキャラクタ２を示す。各キャラクタはｂ０〜ｂ６の７ビットのキャラクタデータと、パリティＰ１またはＰ２からなる。ライン２１データ１（ｄ１）とライン２１データ２（ｄ２）とで１文字を表す。なお、文字の表示位置等の制御情報もライン２１データ１（ｄ１）、ライン２１データ２（ｄ２）に含まれている。   The line 21 data L21 includes 8-bit line 21 data 1 (d1) and 8-bit line 21 data 2 (d2). Line 21 data 1 (d1) indicates character 1 and line 21 data 2 (d2) indicates character 2. Each character is composed of 7-bit character data of b0 to b6 and parity P1 or P2. Line 21 data 1 (d1) and line 21 data 2 (d2) represent one character. Note that control information such as a character display position is also included in the line 21 data 1 (d1) and the line 21 data 2 (d2).

図１に戻り、ストリーム分離部１６はディスク制御部１４から供給された多重化ストリームを主映像、副映像、音声の３つのストリームに分離し、主映像ストリーム、副映像ストリーム、音声ストリームをそれぞれ主映像バッファ１８、副映像バッファ２０、音声バッファ２２に送る。
音声バッファ２２に書き込まれた音声ストリームは、パケットヘッダに記述されたＰＴＳを基準とした時刻に音声復号部２８によって読み出され、音声復号部２８により復号されてＤ／Ａ変換部４４に送られ、音声出力端６２から出力される。 Returning to FIG. 1, the stream separation unit 16 separates the multiplexed stream supplied from the disk control unit 14 into three streams of main video, sub-video, and audio, and the main video stream, sub-video stream, and audio stream respectively. The data is sent to the video buffer 18, sub-video buffer 20, and audio buffer 22.
The audio stream written in the audio buffer 22 is read by the audio decoding unit 28 at a time based on the PTS described in the packet header, decoded by the audio decoding unit 28, and sent to the D / A conversion unit 44. And output from the audio output terminal 62.

副映像バッファ２０に書き込まれた副映像ストリームは、副映像復号部２６によって読み出され、復号された後、副映像フレームバッファ３２に書き込まれる。副映像はメニュー用や字幕等の文字情報を含む。   The sub-picture stream written in the sub-picture buffer 20 is read by the sub-picture decoding unit 26, decoded, and then written in the sub-picture frame buffer 32. The sub-picture includes text information for menus and subtitles.

主映像バッファ１８に書き込まれた主映像ストリームは、主映像復号部２４によって読み出され、復号された後、主映像フレームバッファ３０に書き込まれる。主映像復号部２４は主映像バッファ１８から読み出した主映像ストリームから図３に示したＧＯＰ層のユーザデータ領域ＵＤに挿入されたライン２１データを抽出する。ライン２１データは、クローズドキャプションデータ（ＣＣデータ）である。主映像復号部２４は、抽出したライン２１データをクローズドキャプションバッファ（ＣＣバッファ）４６へ書き込む。   The main video stream written in the main video buffer 18 is read and decoded by the main video decoding unit 24 and then written in the main video frame buffer 30. The main video decoding unit 24 extracts the line 21 data inserted in the user data area UD of the GOP layer shown in FIG. 3 from the main video stream read from the main video buffer 18. The line 21 data is closed caption data (CC data). The main video decoding unit 24 writes the extracted line 21 data to the closed caption buffer (CC buffer) 46.

ＣＣバッファ４６に書き込まれたライン２１データはクローズドキャプション復号部（ＣＣ復号部）４８によって読み出される。ＣＣ復号部４８は、読み出したライン２１データをそのままＮＴＳＣ／ＰＡＬ信号発生部３６に供給するとともに、読み出したライン２１データを復号し、文字を表すデータコードをＨＤフォント生成部５０に送る。ＨＤフォント生成部５０は、送られた文字データコードからＨＤサイズの文字フォントを示す文字映像を生成し、ＨＤミキサ４０に供給する。   The line 21 data written in the CC buffer 46 is read out by a closed caption decoding unit (CC decoding unit) 48. The CC decoding unit 48 supplies the read line 21 data to the NTSC / PAL signal generation unit 36 as it is, decodes the read line 21 data, and sends a data code representing characters to the HD font generation unit 50. The HD font generation unit 50 generates a character image indicating an HD size character font from the transmitted character data code, and supplies it to the HD mixer 40.

主映像フレームバッファ３０に書き込まれた主映像フレームと、副映像フレームバッファ３２に書き込まれた副映像フレームは、パケットヘッダに記述されたＰＴＳを基準とした時刻に読み出されＳＤミキサ（ＳＤ ＭＩＸ）３４でミキシングされる。ＤＶＤビデオ規格では、復号された、すなわちフレームバッファ３０、３２に書き込まれた主映像フレームおよび副映像フレームはＳＤサイズである。   The main video frame written in the main video frame buffer 30 and the sub video frame written in the sub video frame buffer 32 are read at a time based on the PTS described in the packet header, and an SD mixer (SD MIX). 34 is mixed. In the DVD video standard, the main video frame and the sub video frame that have been decoded, that is, written in the frame buffers 30 and 32, have an SD size.

ＳＤミキサ３４でミキシングされたＳＤサイズのフレームデータ（主映像＋副映像フレーム）はそのままＮＴＳＣ／ＰＡＬ信号発生部３６に送られ、ＳＤサイズのフレームデータがＮＴＳＣまたはＰＡＬ方式のアナログのテレビジョン信号に変換され、ＳＤ対応の映像表示機に出力される。ＮＴＳＣ／ＰＡＬ信号発生部３６にはＣＣ復号部４８からのライン２１データも供給されており、ＮＴＳＣあるいはＰＡＬ方式のテレビジョン信号にライン２１データも重畳されて、ＳＤ映像出力端６４を介してＳＤ対応の映像表示機に出力される。ＳＤ対応の映像表示機にＣＣデコーダが備えられていれば、映像表示機側でライン２１データを復号することによりクローズドキャプション方式の文字情報を表示可能である。   The SD size frame data (main video + sub video frame) mixed by the SD mixer 34 is sent to the NTSC / PAL signal generator 36 as it is, and the SD size frame data is converted to an NTSC or PAL analog television signal. It is converted and output to an SD compatible video display. The line 21 data from the CC decoding unit 48 is also supplied to the NTSC / PAL signal generation unit 36, and the line 21 data is also superimposed on the NTSC or PAL television signal, and the SD 21 is output via the SD video output terminal 64. Output to a compatible video display. If the SD video display device is provided with a CC decoder, the closed caption system character information can be displayed by decoding the line 21 data on the video display side.

図４はＮＴＳＣ／ＰＡＬ信号発生部３６によるアナログＴＶ信号の垂直ブランキング期間ＶＢＩ（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ）のライン２１にＣＣデータを重畳する様子を示す。ライン２１のカラーバーストの後のクロックランインの次にスタートビットＳ１、Ｓ２、Ｓ３が配置され、その後に、ライン２１データ１（ｄ１）とライン２１データ２（ｄ２）が配置される。   FIG. 4 shows how the NTSC / PAL signal generator 36 superimposes CC data on the line 21 of the vertical blanking interval VBI (Vertical Blanking Interval) of the analog TV signal. After the clock run-in after the color burst of the line 21, start bits S1, S2, and S3 are arranged, and thereafter, the line 21 data 1 (d1) and the line 21 data 2 (d2) are arranged.

ＳＤ信号受像機は、アナログＴＶ信号を受信すると、ライン２１からＣＣデータを分離し復号した後、このＣＣデータをＴＶ信号に重畳してモニター上に表示する。こうして、ＣＣ字幕付きの映像がＳＤ信号受像機で提供される。   When receiving the analog TV signal, the SD signal receiver separates and decodes the CC data from the line 21, and then superimposes the CC data on the TV signal and displays it on the monitor. Thus, video with CC subtitles is provided by the SD signal receiver.

なお、副映像にも字幕情報が含まれている場合は、副映像文字情報とＣＣ文字情報が重複して表示されてしまうので、ＳＤミキサ３４は、ＳＤ−ＨＤ変換部３８に対して、副映像フレームを供給しない。   Note that when subtitle information is also included in the sub-picture, the sub-picture character information and the CC character information are displayed in an overlapping manner, so the SD mixer 34 sends the sub-picture information to the SD-HD conversion section 38. Do not supply video frames.

ＳＤミキサ３４は主映像フレームのみをＳＤ−ＨＤ変換部３８へ供給する。ＳＤーＨＤ変換部３８はＳＤサイズの主映像をＨＤサイズの主映像に変換する。具体的には、ＳＤサイズの主映像をアップサンプリングして画素数を増やし、サイズを大きくする。アップサンプリングの手法は種々あるが、例えば特許文献１に記載のように、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化する手法がある。これにより、動きのある映像については、比較的ボケが目立たずに、画像サイズを大きくすることができる。   The SD mixer 34 supplies only the main video frame to the SD-HD conversion unit 38. The SD-HD conversion unit 38 converts an SD size main image into an HD size main image. Specifically, an SD-sized main video is upsampled to increase the number of pixels and increase the size. There are various upsampling methods. However, for example, as described in Patent Document 1, it is noted that the subject shown in the reference frame is also shown in another frame. There is a technique for obtaining a plurality of sample values whose positions are slightly shifted with respect to the same local portion of the subject and increasing the resolution. As a result, the image size of a moving image can be increased without being noticeably blurred.

ＳＤ―ＨＤ変換部３８の出力がＨＤミキサ４０に供給され、ＨＤフォント生成部５０から供給されたＨＤサイズの文字フォントを示す文字映像と合成される。これにより、ＨＤサイズの主映像にＨＤサイズの文字映像が重畳される。ＨＤミキサ４０の出力がＨＤ信号発生部４２、ＨＤ映像出力端６４を介してＨＤ対応の表示機器へ供給される。   The output of the SD-HD conversion unit 38 is supplied to the HD mixer 40, and is synthesized with the character image indicating the HD size character font supplied from the HD font generation unit 50. Thereby, the HD size character image is superimposed on the HD size main image. The output of the HD mixer 40 is supplied to an HD compatible display device via the HD signal generator 42 and the HD video output terminal 64.

以上説明したように、第１の実施の形態によれば、ＳＤサイズの主映像と副映像からなる多重化映像信号から主映像と副映像を分離し、さらに主映像から文字情報を抽出し、主映像のみをＳＤ−ＨＤ変換部に供給し、文字情報に基づいてＨＤサイズの文字フォントを表す文字映像を生成し、ＳＤーＨＤ変換部の出力であるＨＤサイズの主映像にＨＤサイズの文字映像を重畳した映像をＨＤ対応の表示機器へ出力することにより、ＨＤサイズの文字情報をＨＤサイズの主映像に重ねて表示することができる。ＳＤ対応の表示機器へは分離したＳＤサイズの主映像と副映像とを合成したミキシングした映像を出力する。文字映像はＳＤ−ＨＤ変換しないで、ＨＤフォント生成部５０によりＨＤサイズの映像として生成されるので、従来のように文字の解像度が低下しボケてしまい、文字が判別しずらくなることが防止される。   As described above, according to the first embodiment, the main video and the sub video are separated from the multiplexed video signal composed of the SD size main video and the sub video, and character information is extracted from the main video, Only the main video is supplied to the SD-HD conversion unit, a character video representing an HD size font is generated based on the character information, and the HD size main video output from the SD-HD conversion unit is added to the HD size text. By outputting the superimposed video to an HD compatible display device, it is possible to display the HD size character information superimposed on the HD size main video. A mixed video obtained by synthesizing the separated SD-size main video and sub-video is output to an SD compatible display device. Since the character video is generated as HD size video by the HD font generation unit 50 without SD-HD conversion, the character resolution is reduced and blurring is prevented as in the prior art. Is done.

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上述の説明はＤＶＤの再生装置について行ったが、ハードディスクレコーダ、ＨＤＤＳＤサイズの映像を入力してＨＤ対応の表示機器へ出力するセットトップボックス等にも応用できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Although the above description has been given for a DVD playback device, the present invention can also be applied to a hard disk recorder, a set-top box for inputting HDDSD size video and outputting it to an HD compatible display device. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.

本発明の第１の実施の形態に係る映像処理装置の一例としてのＤＶＤ再生装置の構成を示す図。1 is a diagram showing a configuration of a DVD playback apparatus as an example of a video processing apparatus according to a first embodiment of the present invention. ＤＶＤビデオのデータフォーマットを示す図。The figure which shows the data format of DVD video. 主映像データのデータフォーマットを示す図。The figure which shows the data format of main video data. ＮＴＳＣ／ＰＡＬ方式のテレビジョン信号にクローズドキャプションデータを重畳する様子を示す図。The figure which shows a mode that a closed caption data is superimposed on the television signal of a NTSC / PAL system.

符号の説明Explanation of symbols

１４…ディスク制御部、１６…ストリーム分離部、１８…主映像バッファ、２０…副映像バッファ、２４…主映像復号部、２６…副映像復号部、３４…ＳＤミキサ、３６…ＮＴＳＣ／ＰＡＬ信号発生部、３８…ＳＤ−ＨＤ変換部、４０…ＨＤミキサ、４２…ＨＤ映像信号発生部、４８…ＣＣ復号部、５０…ＨＤフォント生成部。   DESCRIPTION OF SYMBOLS 14 ... Disk control part, 16 ... Stream separation part, 18 ... Main video buffer, 20 ... Sub video buffer, 24 ... Main video decoding part, 26 ... Sub video decoding part, 34 ... SD mixer, 36 ... NTSC / PAL signal generation 38: SD-HD conversion unit, 40 ... HD mixer, 42 ... HD video signal generation unit, 48 ... CC decoding unit, 50 ... HD font generation unit.

Claims (12)

標準解像度サイズの主映像信号、副映像信号を含む多重化映像信号を入力し、標準解像度サイズの主映像、副映像を分離して出力する分離手段と、
前記分離手段から出力された標準解像度サイズの主映像を高解像度サイズの主映像に変換する手段と、
前記分離手段に入力された多重化映像信号の主映像信号に含まれる文字データに基づいて高解像度サイズの文字映像を生成する手段と、
前記変換手段から出力された高解像度サイズの主映像に前記生成手段で生成された高解像度サイズの文字映像を重畳する手段と、
を具備する映像処理装置。 Separating means for inputting a multiplexed video signal including a main video signal and a sub video signal of a standard resolution size, and separating and outputting a main video and a sub video of a standard resolution size;
Means for converting the main video of the standard resolution size output from the separating means into the main video of a high resolution size;
Means for generating a character image of a high resolution size based on character data included in the main video signal of the multiplexed video signal input to the separating means;
Means for superimposing the character image of the high resolution size generated by the generation means on the main image of the high resolution size output from the conversion means;
A video processing apparatus comprising: 前記分離手段は標準解像度サイズの多重化映像ストリームを入力し、主映像ストリームと副映像ストリームとを分離するストリーム分離部と、該ストリーム分離部から出力された主映像ストリームと副映像ストリームとを復号し、主映像と副映像を出力するストリーム復号部とを具備し、
前記ストリーム復号部から出力された主映像が前記変換手段に供給されることを特徴とする請求項１記載の映像処理装置。 The separation means receives a multiplexed video stream of standard resolution size, separates the main video stream and the sub video stream, and decodes the main video stream and the sub video stream output from the stream separation unit. And a stream decoding unit for outputting the main video and the sub-video,
The video processing apparatus according to claim 1, wherein the main video output from the stream decoding unit is supplied to the conversion unit. 前記生成手段は前記ストリーム復号部から出力された主映像の垂直ブランキング期間のライン２１に含まれている文字コードデータから文字コードを出力する文字コード復号部と、該文字コード復号部の出力に基づいて文字フォントを示す文字映像を生成するフォント生成部とを具備することを特徴とする請求項２記載の映像処理装置。   The generating means outputs a character code from the character code data included in the line 21 of the vertical blanking period of the main video output from the stream decoding unit, and outputs the character code to the character code decoding unit. The video processing apparatus according to claim 2, further comprising a font generation unit configured to generate a character video indicating a character font based on the font generation unit. 前記ストリーム復号部から出力された主映像と副映像を重畳するミキサと、該ミキサの出力と前記文字コード復号部の出力とを重畳して標準解像度の表示機器へ出力する手段とをさらに具備することを特徴とする請求項３記載の映像処理装置。   A mixer that superimposes the main video and sub-video output from the stream decoding unit, and a unit that superimposes the output of the mixer and the output of the character code decoding unit and outputs them to a standard-resolution display device. The video processing apparatus according to claim 3. 前記ミキサは前記文字コード復号部の出力が存在する場合は、副映像の重畳を行わないことを特徴とする請求項４記載の映像処理装置。   5. The video processing apparatus according to claim 4, wherein the mixer does not superimpose sub-pictures when the output of the character code decoding unit is present. 前記分離手段に入力された多重化映像信号の主映像信号に含まれる文字データは文字の表示位置についての情報も含むことを特徴とする請求項１記載の映像処理装置。   2. The video processing apparatus according to claim 1, wherein the character data included in the main video signal of the multiplexed video signal input to the separating means also includes information about a character display position. 標準解像度サイズの主映像信号、副映像信号を含む多重化映像信号を入力し、標準解像度サイズの主映像、副映像を分離するステップと、
前記分離ステップで分離された標準解像度サイズの主映像を高解像度サイズの主映像に変換するステップと、
前記多重化映像信号の主映像信号に含まれる文字データに基づいて高解像度サイズの文字映像を生成するステップと、
前記変換ステップで変換された高解像度サイズの主映像に前記生成ステップで生成された高解像度サイズの文字映像を重畳するステップと、
を具備する映像処理方法。 Inputting a multiplexed video signal including a standard resolution main video signal and sub video signal, and separating a standard resolution size main video and sub video;
Converting the main video of the standard resolution size separated in the separation step into a main video of a high resolution size;
Generating a character image of a high resolution size based on character data included in the main video signal of the multiplexed video signal;
Superimposing the high-resolution size character image generated in the generation step on the high-resolution size main image converted in the conversion step;
A video processing method comprising: 前記分離ステップは標準解像度サイズの多重化映像ストリームを入力し、主映像ストリームと副映像ストリームとを分離するストリーム分離ステップと、該ストリーム分離ステップで分離された主映像ストリームと副映像ストリームとを復号し、主映像と副映像を出力するストリーム復号ステップとを具備し、
前記ストリーム復号ステップで復号された主映像が前記変換ステップに供給されることを特徴とする請求項７記載の映像処理方法。 The separation step receives a multiplexed video stream of standard resolution size, separates the main video stream and the sub video stream, and decodes the main video stream and the sub video stream separated in the stream separation step. And a stream decoding step for outputting a main video and a sub-video,
8. The video processing method according to claim 7, wherein the main video decoded in the stream decoding step is supplied to the conversion step. 前記生成ステップは前記ストリーム復号ステップから出力された主映像の垂直ブランキング期間のライン２１に含まれている文字コードデータから文字コードを出力する文字コード復号ステップと、該文字コード復号ステップで出力された文字コードに基づいて文字フォントを示す文字映像を生成するフォント生成ステップとを具備することを特徴とする請求項８記載の映像処理方法。   The generating step outputs the character code from the character code data included in the line 21 of the vertical blanking period of the main video output from the stream decoding step, and the character code decoding step outputs the character code. 9. A video processing method according to claim 8, further comprising a font generation step of generating a character video indicating a character font based on the character code. 前記ストリーム復号ステップで復号された主映像と副映像を重畳するミキシングステップと、該ミキシングステップの出力と前記文字コード復号ステップの出力とを重畳して標準解像度の表示機器へ出力するステップとをさらに具備することを特徴とする請求項９記載の映像処理方法。   A mixing step of superimposing the main video and the sub-video decoded in the stream decoding step, and a step of superimposing the output of the mixing step and the output of the character code decoding step to output to a standard resolution display device. The video processing method according to claim 9, further comprising: 前記ミキシングステップは前記文字コード復号ステップで文字コードが出力される場合は、副映像の重畳を行わないことを特徴とする請求項１０記載の映像処理方法。   The video processing method according to claim 10, wherein the mixing step does not superimpose sub-pictures when a character code is output in the character code decoding step. 前記多重化映像信号の主映像信号に含まれる文字データは文字の表示位置についての情報も含むことを特徴とする請求項７記載の映像処理方法。   8. The video processing method according to claim 7, wherein the character data included in the main video signal of the multiplexed video signal also includes information about a character display position.
JP2008239978A 2008-09-18 2008-09-18 Video processing apparatus and video processing method Pending JP2010074559A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008239978A JP2010074559A (en) 2008-09-18 2008-09-18 Video processing apparatus and video processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008239978A JP2010074559A (en) 2008-09-18 2008-09-18 Video processing apparatus and video processing method

Publications (1)

Publication Number Publication Date
JP2010074559A true JP2010074559A (en) 2010-04-02

Family

ID=42205924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008239978A Pending JP2010074559A (en) 2008-09-18 2008-09-18 Video processing apparatus and video processing method

Country Status (1)

Country Link
JP (1) JP2010074559A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9148621B2 (en) 2012-09-14 2015-09-29 Kabushiki Kaisha Toshiba Multi-format output device, control method for multi-format output device
CN110855905A (en) * 2019-11-29 2020-02-28 联想(北京)有限公司 Video processing method and device and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275084A (en) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd Video recording device
JP2002247498A (en) * 2001-02-16 2002-08-30 Toshiba Corp Information reproducing device
JP2004266390A (en) * 2003-02-28 2004-09-24 Toshiba Corp Information recorder
JP2007142955A (en) * 2005-11-21 2007-06-07 Sharp Corp Image compositing apparatus and method of operating the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275084A (en) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd Video recording device
JP2002247498A (en) * 2001-02-16 2002-08-30 Toshiba Corp Information reproducing device
JP2004266390A (en) * 2003-02-28 2004-09-24 Toshiba Corp Information recorder
JP2007142955A (en) * 2005-11-21 2007-06-07 Sharp Corp Image compositing apparatus and method of operating the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9148621B2 (en) 2012-09-14 2015-09-29 Kabushiki Kaisha Toshiba Multi-format output device, control method for multi-format output device
CN110855905A (en) * 2019-11-29 2020-02-28 联想(北京)有限公司 Video processing method and device and electronic equipment

Similar Documents

Publication Publication Date Title
KR100999777B1 (en) Osd-synthesized image decoding device, osd-synthesized image decoding method, and recording medium
EP2406950B1 (en) Information processing device, information processing method, playback device, playback method, program and recording medium
JP5147438B2 (en) Output device, method and program
JP4737991B2 (en) Playback device
JP5262546B2 (en) Video signal processing system, playback device and display device, and video signal processing method
US20060164437A1 (en) Reproducing apparatus capable of reproducing picture data
JP2009094846A (en) Video/audio recording and reproducing device
JP2001231016A (en) Video signal reproducing device
JPH10215409A (en) Sub-picture display device
JP5194343B2 (en) Information reproducing apparatus and information reproducing method
JP4417854B2 (en) Playback device
KR20020007179A (en) Video-signal recording and playback apparatus, video-signal recording and playback method, and recording medium
JP2010074559A (en) Video processing apparatus and video processing method
JP5091502B2 (en) Subtitled video display system, server device, and terminal device
KR100308298B1 (en) Apparatus and method for displaying title data of wide digital television
JP2008053965A (en) Image reproduction system, image reproduction device, and image display device
JP3910149B2 (en) Program recording apparatus, program reproducing apparatus, and program recording method
JP2006319397A (en) Digital recording and reproducing apparatus
JP2008252752A (en) Video image information reproducing unit and method, and video image information reproducing system and control method thereof
WO2007114023A1 (en) Information recording device and information recording method
JP2000036940A (en) Computer system and decoder
JP2004221751A (en) Image signal processing device
JP2007243706A (en) Apparatus and method for data format conversion
JP2006135942A (en) Transmitting device, reconstruction device, transmitting method and reconstruction method for broadcasts with hidden subtitles
US20070279524A1 (en) Information Multiplexing Device And Method, And Computer Program

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100427