JP5164716B2 - Video processing device and video display device - Google Patents
Video processing device and video display device Download PDFInfo
- Publication number
- JP5164716B2 JP5164716B2 JP2008193006A JP2008193006A JP5164716B2 JP 5164716 B2 JP5164716 B2 JP 5164716B2 JP 2008193006 A JP2008193006 A JP 2008193006A JP 2008193006 A JP2008193006 A JP 2008193006A JP 5164716 B2 JP5164716 B2 JP 5164716B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- character
- signal
- value
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、映像処理装置に関し、特に文字テロップを含む映像信号に補間フレームを加えて当該映像信号のフレームレートを変換するためのフレームレート変換処理における高画質化に好適な技術に関する。 The present invention relates to a video processing apparatus, and more particularly to a technique suitable for improving image quality in a frame rate conversion process for converting a frame rate of a video signal by adding an interpolation frame to a video signal including a character telop.
入力された映像信号のフレーム列に、映像の動きベクトルを用いた補間処理により作成された補間フレームを加えることにより、入力映像信号のフレームレート（フレーム周波数）を変換するフレームレート変換処理が知られている。 A frame rate conversion process for converting the frame rate (frame frequency) of an input video signal by adding an interpolation frame created by an interpolation process using a video motion vector to the frame sequence of the input video signal is known. ing.
かかるフレームレート変換処理を文字テロップやテキストを含む映像信号に対して施す場合は、当該文字テロップやテキスト（以下、これらを纏めて文字テロップと呼ぶこととする）が所定方向において周期構造（同一もしくは類似する形状が所定方向に繰り返し出現するパターン）を有していることから、上記動きベクトルが良好に検出できない場合がある。このような場合、誤った補間処理が為され、フレームレート変換後の映像、特に文字テロップの領域において映像が乱れ画質劣化が生じる。 When such frame rate conversion processing is performed on a video signal including character telop and text, the character telop and text (hereinafter collectively referred to as character telop) have a periodic structure (identical or identical). In some cases, the motion vector cannot be detected satisfactorily because it has a pattern in which a similar shape repeatedly appears in a predetermined direction. In such a case, erroneous interpolation processing is performed, and the image after frame rate conversion, particularly the image in the character telop area, is disturbed and image quality deterioration occurs.
文字テロップを含む映像に対して良好に補間処理を行うための従来技術としては、例えば特許文献１、２に記載のものが知られている。
For example, those disclosed in
ところで、文字テロップには、所定方向に移動する（すなわちスクロールする）ものと静止するものが存在する。動きのある背景映像に静止する文字テロップが重畳されている映像においては、当該静止文字テロップが重畳される領域において上記動きベクトルの誤検出が生じやすく、従って当該領域においては誤った補間処理が行われる場合が多い。 By the way, there are character telops that move in a predetermined direction (that is, scroll) and those that stop. In a video in which a stationary text telop is superimposed on a moving background video, erroneous detection of the motion vector is likely to occur in the area where the stationary text telop is superimposed, and therefore erroneous interpolation processing is performed in that area. Often.
上記特許文献１及び２には、上記静止文字テロップが存在する場合でも良好に補間処理を行うことについての考慮は為されていない。
In
本発明は、文字テロップが静止文字テロップを含む場合でも良好に補間処理を行うことで画質劣化を低減するのに好適な技術を提供する。また、文字テロップ部分とそれ以外の部分とを良好に区分して補間処理が可能な技術を提供する。 The present invention provides a technique suitable for reducing image quality deterioration by performing good interpolation processing even when a character telop includes a stationary character telop. In addition, a technique is provided in which interpolation processing can be performed by satisfactorily dividing a character telop portion and other portions.
本発明は、映像の動きベクトルを検出する動きベクトル検出部とは別に文字テロップの動きを検出するテロップ検出部を備え、この文字テロップ検出部は、ライン単位の文字テロップの動き量とフレーム単位の文字テロップの動き量とを検出し、これらのいずれか文字テロップの動き量を用いて当該文字テロップの領域について補間処理を行うことを特徴とする。例えば、静止文字テロップの領域に対しては、フレーム単位の動き量を優先的に用いて補間処理ようにし、スクロールする文字テロップ領域に対しては、ライン単位の動き量を優先的に用いるようにする。 The present invention includes a telop detection unit that detects the motion of a character telop separately from the motion vector detection unit that detects a motion vector of a video. The character telop detection unit includes a motion amount of a character telop in line units and a frame unit. A character telop motion amount is detected, and any one of these character telop motion amounts is used to perform interpolation processing on the character telop region. For example, for static character telop areas, the frame-unit motion amount is preferentially used for interpolation processing, and for scrolling character telop regions, the line-unit motion amount is preferentially used. To do.
また本発明は、文字テロップの部分を他の部分と区分して処理する際に用いられるイネーブル信号をフィルタ処理することを特徴とする。このイネーブル信号は各画素に対応して与えられ、文字テロップ領域に対応する画素を第１の値（例えば「１」）、その以外の領域を第２の値（例えば「０」）としたとき、上記フィルタ処理は、まず、ある画素が第２の値を持つ場合は、当該ある画素の周辺画素の値を第２の値に置き換えることにより当該第２の値を持つ画素の範囲を拡張し、続いて、第１の値を持つ画素の周辺画素の値を第１の値に置き換えることにより前記第１の値を持つ画素の範囲を拡張する処理を含む。 Further, the present invention is characterized by filtering an enable signal used when processing a character telop part separately from other parts. This enable signal is given to each pixel, and when the pixel corresponding to the character telop area is set to the first value (for example, “1”) and the other area is set to the second value (for example, “0”). First, when a certain pixel has a second value, the filtering process extends the range of the pixel having the second value by replacing the value of the peripheral pixel of the certain pixel with the second value. Subsequently, the processing includes expanding the range of the pixel having the first value by replacing the value of the peripheral pixel of the pixel having the first value with the first value.
上記本発明の構成によれば、文字テロップが静止文字テロップを含む場合でも良好に補間処理を行うことで可能となり、フレームレート変換後の映像の画質劣化を低減することが可能となる。また、文字テロップ部分とそれ以外の部分とを良好に区分して補間処理をすることが可能となる。 According to the configuration of the present invention described above, even when the character telop includes a static character telop, it is possible to perform the interpolation process satisfactorily, and it is possible to reduce the image quality deterioration of the video after the frame rate conversion. In addition, it is possible to perform the interpolation processing by properly dividing the character telop portion and the other portions.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、各図において同一の符号が付された要素は同一の構成、機能を持つものとし、その重複した説明は省略するものとする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the element to which the same code | symbol was attached | subjected in each figure shall have the same structure and function, and the duplicate description shall be abbreviate | omitted.
図１は、本発明の一実施形態に係る映像処理装置の一例を示す構成図である。 FIG. 1 is a configuration diagram showing an example of a video processing apparatus according to an embodiment of the present invention.
図１において、信号処理部１には、例えば受信した符号化デジタルテレビジョン放送信号が入力され、これを復号及び復調してデジタル形式の映像信号２を出力する。この映像信号２は、分岐されて１Ｖ遅延処理部３に入力され、ここで映像信号２の１垂直期間（１フレームもしくは１フィールド分）遅延される。これにより、映像信号２と、これに対し１垂直期間遅延された１Ｖ遅延信号４とを得ることができる。以下では、映像信号２と１Ｖ遅延信号４との時間的な前後関係から、映像信号２を「後フレーム信号」、１Ｖ遅延信号４「前フレーム信号」と呼ぶこととする。
In FIG. 1, for example, a received encoded digital television broadcast signal is input to the
後フレーム信号２と前フレーム信号４は、それぞれ、本実施例の特徴的要素であるテロップ検出部２、及び動きベクトル検出部６とフレーム補間部１２に供給される。テロップ検出部２では、入力映像信号に文字テロップが含まれる場合には、後フレーム信号２と前フレーム信号４との差分に基づき文字テロップの領域及び当該文字テロップの動き量を検出し、上記文字テロップ領域に対応するマスク信号７と文字テロップの動き量８（以下、文字動き量と呼ぶ場合もある）とを生成してベクトル合成部１０へ出力する。ここで、マスク信号７は、１フレームを構成する映像の各画素に対してそれぞれ与えられるものであり、文字テロップを含む領域に対応する画素については「１」、すなわち有効とし、それ以外の領域に対応する画素については「０」、すなわち無効とされる。テロップ検出部２の詳細については後述するものとする。
The
一方、動きベクトル検出部６では、後フレーム信号２と前フレーム信号４との差分に基づき文字テロップを含む映像（例えば人物や車等の物体）の動きベクトル９を検出してベクトル合成部１０へ出力する。ここで、動きベクトル検出部６は、例えば映像信号の輝度信号を用いて文字テロップを含んだ映像全体の動きベクトル８の検出を行う。この動きベクトル８は、例えば時間的に連続する２つのフレーム、すなわち後フレーム２と前フレーム４との中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素（補間画素）を通る直線を複数設定する。その直線は、補間フレームの前後にある２フレーム（後フレーム及び前フレーム）のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記２フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素（補間画素）に対応する動きベクトルとして設定する。そのような演算処理を１フレームの全が疎に渡って行うことにより、１フレームの各画素について動きベクトルを設定する。ここでは、動きベクトル検出部６における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。
On the other hand, the motion
動き情報切換部１０は、テロップ検出部２から出力されたマスク信号７及び文字動き量８と、動きベクトル検出部６から出力された動きベクトル９が入力され、これらに基づき映像の領域に応じた補間処理用動き情報７を切り換えて出力する。すなわち、マスク信号７が「０」を示す画素は文字テロップ以外の映像が存在する領域なので、動きベクトル９を補間処理用動き情報７として出力し、マスク信号７が「０」を示す画素は文字テロップを含む領域なので、文字動き量８を補間処理用動き情報７として出力する。
The motion
フレーム補間部１２は、後フレーム信号２と前フレーム信号４、及び動き情報切換部１０からの補間処理用動き情報１１を用いて文字テロップの領域とそれ以外との領域を夫々個別に補間処理を行い、補間フレームを作成する。すなわち、文字テロップの領域については補間処理用動き情報７としての文字動き量８を用い、それ以外の領域については補間処理用動き情報７としての動きベクトル９を用いて補間処理を行う。
The frame interpolating unit 12 individually interpolates the character telop region and the other region using the
上記補間処理は、例えば時間的に連続する後フレーム２と前フレーム４との中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記２フレームの画素同士の平均値（もしくは補間フレームと後フレームまたは前フレームとの時間的距離に応じた加重平均）を求める補間画素を生成する処理である。この補間画素の生成を、１フレームにおけるすべての画素について行うことで、１枚の補間フレームが生成される。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。
For example, when the interpolation frame is inserted between the
上記のようにして作成された補間フレームは、フレーム補間部１２において、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート（フレーム周波数）が６０Ｈｚであり、それを２倍の１２０Ｈｚにフレームレート変換する場合は、入力映像信号中の１つフレームおきに１つの補間フレームが挿入される。例えば、後フレーム２と前フレーム４との間に１枚の補間フレームが挿入される。このようにして、フレーム補間部１２によって入力映像信号のフレームレートが変換される。
The interpolation frame created as described above is inserted into the frame sequence in the input video signal by the frame interpolation unit 12. For example, when the frame rate (frame frequency) of the input video signal is 60 Hz and the frame rate is converted to 120 Hz, which is twice as high, one interpolation frame is inserted every other frame in the input video signal. For example, one interpolation frame is inserted between the
上記変換処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。当然、映像信号のフレームレートを６０Ｈｚから１８０や２４０Ｈｚに変換する場合も同様な処理が行われ、この場合は、２フレーム間に２枚または３枚の補間フレームが挿入される。また、フレームレートをフィルム信号の２４Ｈｚから６０Ｈｚにする場合も同様な処理が行われる。 Details of the conversion processing are also described in the above Japanese Patent Laid-Open Nos. 2006-165602 and 2007-082030, and are omitted here. Of course, the same processing is performed when the frame rate of the video signal is converted from 60 Hz to 180 or 240 Hz. In this case, two or three interpolation frames are inserted between the two frames. Similar processing is performed when the frame rate is changed from 24 Hz to 60 Hz of the film signal.
フレーム補間部１２でフレームレート変換された映像信号１３は、タイミング制御部１４に入力される。タイミング制御部１４は、映像信号１３に基づき表示パネル１５に映像を表示させるのに最適なタイミング信号（水平、垂直同期信号及びドットクロック信号）
を生成して、映像信号１３とともに表示パネル１５に供給する。
The
Is supplied to the display panel 15 together with the
表示パネルは、例えば液晶パネルやＰＤＰパネルなどで構成されており、タイミング制御部１４からのタイミング信号とフレームレート変換された映像信号とを用いて、映像の表示を行う。 The display panel is composed of, for example, a liquid crystal panel or a PDP panel, and displays video using the timing signal from the timing control unit 14 and the video signal subjected to frame rate conversion.
次に、図２を参照して本実施例に係るテロップ検出部５の一具体例について説明する。図２において、後フレーム２と前フレーム４の信号が領域判定部１０４に入力され、領域判定部１０４は、後フレーム２と前フレーム４の信号が所定の領域内の信号か否かを判定し、所定領域内の信号のみを選択的に出力する。ここで所定領域とは、文字テロップが表示され得る領域である。文字テロップは、ほとんどの場合、映像の下部や上部または左部または右部において所定幅の範囲内に表示される。領域判定部１０４は、例えば入力映像信号が１９２０×１０８０の精細度を持つ場合、前記所定幅を垂直方向３００ライン、水平方向３００ドットとして、映像の最上端または最下端のラインから３００ライン分の幅及び／または最右端または最左端の画素から３００ドット分の幅を上記所定領域として設定する。そして、後フレーム２及び前フレーム４の各画素の位置と設定された所定領域の範囲情報とを比較し、後フレーム２及び前フレーム４が所定領域の範囲内にあればそれを出力し、範囲外であれば例えば「０」の信号を出力する。このようにすれば、文字テロップが実質的に表示されない領域の信号については、後段の要素において処理する必要が無く、また文字テロップの位置や動き量の検出における誤りを低減することができる。
Next, a specific example of the
領域判定部１０４からの信号は文字検出部１０５に入力され、ここで、文字テロップの領域とその動き量が検出される。この文字テロップ領域と文字動き量の検出について、図３及び図４を用いて説明する。
A signal from the
図３は、文字検出部１０５の動作の概念を示す図である。同図において、前フレーム４（ｋ−１番目のフレーム）の画素１９１が、後フレーム２（ｋ番目のフレーム）において画素１９２の位置に移動するものとする。文字検出部１０５は、この画素１９１から画素１９２への動き量を求めるために、前フレーム４の画面において探索範囲１９４を設定する。この探索範囲１９４は、前フレーム４の画面において、後フレーム２の画素１９２（ｘ、ｙ）と空間的に同一位置にある画素１９５を基準にして、例えば左右１０ピクセルずつ、つまり水平方向に２１ピクセルの幅を有している。この探索範囲１９４を定めるピクセル数は、文字テロップのスクロール速度、すなわち文字が１フレーム当たり何ピクセル動くか（pixel/frame：p/f）に応じて設定される。通常の文字テロップの速度は１０p/f未満なので、探索範囲１９４は基準画素から左右１０ピクセルずつ設ければよい。もちろん、これよりも多くしてもよい。
FIG. 3 is a diagram illustrating a concept of operation of the
上記探索範囲１９４を設定した後、その探索範囲１９４に属する画素群を後フレーム２に対して、基準画素を基準にして水平方向（左及び右方向）に１ピクセルずつずらしていく（シフトさせる）。そして、１ピクセルシフトする度に、後フレーム２の画素１９２（ｘ，ｙ）と空間的に同一位置にある画素（以下、「対応画素」と呼ぶ）との例えば輝度値の差分を演算する。ここで、図３に示されるように、前フレーム４の画素１９１が、後フレーム２において左の方向に７ピクセル移動する場合、探索範囲１９４の画素群を左方向に７ピクセルシフトすると、画素１９１が画素１９２と空間的に同一の位置となる。よって、探索範囲１９４の画素群を左方向に７ピクセルシフトしたとき、画素１９２と対応画素とが同一の値となり、その両者の差分は０もしくは所定値以下となる。つまり、後フレーム２の画素１９２と対応画素との差分が所定値以下のときのシフト量が、図中の矢印１９６で示される画素１９１の動き量となる。本例では、探索範囲１９４に属する画素群を左方向に７ピクセルシフトしたときに画素１９２と対応画素との差分が所定値以下になるので画素１９１が左方向に７ピクセルの動き量で移動したと検出される。以下、後フレーム２の画素１９２との差分が所定値以下の対応画素を一致画素と呼び、その一致画素については、「１」不一致の画素については「０」の判定信号を与えるようにする。
After the
上記の処理を、領域判定部１９４により抽出された所定領域内の全画素について行うことで、文字テロップの動き量を検出することができる。このとき、所定領域における文字テロップの信号についてのみ上記処理を行うことで、文字テロップ以外の映像による誤検出を防止できる。通常、文字は、その表示色が白色で輝度が非常に高く、他の映像との境界である輪郭がくっきり、すなわち文字の境界部とその他の部分との輝度差が大きいという特徴がある。そこで本実施例では、所定領域内の画素のうち、文字の特徴である所定値以上の輪郭成分を持ちかつ所定輝度以上の画素について上記処理を行うようにしている。
By performing the above processing for all the pixels in the predetermined area extracted by the
上記の処理を数式により表すと次にようになる。図３において、今、ｉ番フレームの位置（ｘ，ｙ）での階調（または輝度）をＳｉ（ｘ，ｙ）する。ｋ−１番フレームで（ｘ，ｙ）にあった画素１９１が、ｋ番フレームで画素１９２（ｘ＋ｄｘ、ｙ＋ｄｙ）へ動いたとすると、これらの二つの階調差は、下記数１で表すことができる。
（数１）ｄＳ＝Ｓk(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｓk-1(ｘ，ｙ)
ここで、ｄＳを最小にする変位ベクトル（ｄｘ，ｄｙ）が求める動きベクトルである。本実施例では、次式に示すように、所定の輝度範囲［Ｓ0,Ｓ1］の画素と、その近傍の閾値Ｅ0以上の輪郭成分を持つ画素とが、それぞれ後フレーム２（ｋ）と前フレーム４（ｋ−１）間で一致するか否かを判定して動き量を求める。
（数２）ｄＥ＝Ｅk(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｅk-1(ｘ，ｙ)
（数３）Ｅi(ｘ，ｙ)＝Ｐi(ｘ，ｙ) grad Ｓi(ｘ，ｙ)
（数４）Ｐi(ｘ，ｙ)＝
Ｈ(Ｓi(ｘ，ｙ)−Ｓ0) Ｈ(Ｓ1−Ｓi(ｘ，ｙ)) Ｈ(grad ｜Ｓi(ｘ，ｙ)｜−Ｅ0)
上記数４において、Ｐiは位置(ｘ，ｙ)の画素に対する判定信号を示し、Ｈはヘヴィサイド関数で、Ｈ(ｘ)がｘ≧０（ここで、ｘは差表ではなく変数としてのｘを示すものとする）の範囲にある場合は１、その他は０である。すなわち、Ｐiは数４の左辺に示された条件を満たす場合、すなわち一致画素については「１」の値となり、それ以外の不一致画素は「０」の値となる。またＥiは所定領域の輪郭を現す関数（これ以降、この関数を輪郭関数と呼ぶ）で、ｄＥを最小にする変位ベクトル（ｄｘ，ｄｙ）が、所定領域の輪郭を構成する画素の動きベクトルである。このようにして、文字動き量が検出される。
The above processing is expressed by mathematical formulas as follows. In FIG. 3, the gradation (or luminance) at the position (x, y) of the i-th frame is now Si (x, y). If the
(Expression 1) dS = S k (x + dx, y + dy) −S k−1 (x, y)
Here, a displacement vector (dx, dy) that minimizes dS is a motion vector to be obtained. In this embodiment, as shown in the following equation, a pixel in a predetermined luminance range [S 0 , S 1 ] and a pixel having a contour component equal to or greater than the threshold value E 0 in the vicinity thereof are each a rear frame 2 (k). And the previous frame 4 (k−1) are determined to be coincident with each other to determine the amount of motion.
(Equation 2) dE = E k (x + dx, y + dy) −E k−1 (x, y)
(Equation 3) E i (x, y) = P i (x, y) grad S i (x, y)
(Expression 4) P i (x, y) =
H (S i (x, y) −S 0 ) H (S 1 −S i (x, y)) H (grad | S i (x, y) | −E 0 )
In Equation 4, P i represents a determination signal for the pixel at the position (x, y), H is a heavy side function, and H (x) is x ≧ 0 (where x is not a difference table but a variable) 1 in the range of x), and 0 otherwise. That is, if P i satisfies the conditions shown in the left side of Equation 4, namely, the value set in "1" for matching pixels, the other mismatched pixels is a value of "0". E i is a function that represents the contour of the predetermined region (hereinafter, this function is referred to as a contour function), and a displacement vector (dx, dy) that minimizes dE is a motion vector of a pixel that forms the contour of the predetermined region. It is. In this way, the amount of character movement is detected.
上記の処理を実現するため一構成例を図４に示す。領域判定部１０４からの所定領域に属する前フレーム４の信号は、複数のピクセル遅延部３０１に入力される。この複数のピクセル遅延部３０１は、それぞれ、上述したように探索範囲１９４内の画素群を１ピクセルずつシフトさせる動作を行うものであり、探索範囲１９４の幅に対応した数が設けられている。例えば、探索範囲１９４が上述したように対応画素を基準にして±１０ピクセルの幅を持つ場合には、図示されるように、−１０ピクセル遅延部、−９ピクセル遅延部…１０ピクセル遅延部の計２１個のピクセル遅延部３０１が設けられる。尚、図４では図示の簡単化のために−１０ピクセル遅延部、−９ピクセル遅延部、１０ピクセル遅延部のみを図示している。これらのピクセル遅延部３０１は、それぞれ、それ自身が有するピクセルの遅延量に従い前フレーム４を遅延する。例えば、−１０ピクセル遅延部は前フレーム４を−１０ピクセル遅延し、−９ピクセル遅延部は前フレーム４を−９ピクセル遅延する。ここで、−の遅延部は前フレーム４の信号を左方向に、＋の遅延部は前フレーム４の信号を右方向にシフトすることを意味している。
One configuration example for realizing the above processing is shown in FIG. The signal of the previous frame 4 belonging to the predetermined area from the
各ピクセル遅延部３０１には、それそれ輪郭差分検出部３０３と輝度差分検出部３０４が対応して設けられており、各輪郭差分検出部３０３と輝度差分検出部３０４には、それぞれ、各ピクセル遅延部３０１により遅延された信号３０２と後フレーム２とが入力される。輪郭差分検出部３０３は、遅延信号３０２と後フレーム２の信号の夫々について例えばハイパスフィルタ処理や微分処理、または隣接する画素間の差分検出等、周知の手段によって輪郭成分を抽出し、更に閾値（Ｅ0）以上の輪郭成分を求める。そして、遅延信号３０２から得られた閾値（Ｅ0）以上の輪郭成分と、後フレーム２の信号のから得られた閾値（Ｅ0）以上の輪郭成分との差分を演算し、輪郭差分信号３０５を出力する。輝度差分検出部３０４は、所定輝度範囲、すなわち輝度Ｓ0以上で輝度Ｓ1以下の遅延信号３０２と後フレーム２の信号との差分を演算し、輝度差分信号３０６を出力する。
Each
更に、各ピクセル遅延部３０１のそれぞれに対応して一致判定部３０７が設けられており、一致判定部３０７には、上記輪郭差分検出部３０３からの輪郭差分信号３０５と輝度差分検出部３０４からの輝度差分信号３０６が入力される。−１０ピクセル遅延部に対応して設けられた一致判定部は、−１０ピクセル分遅延された遅延信号３０２と後フレーム信号２との輪郭の差分を示す輪郭差分信号３０５と輝度の差分を示す輝度差分検出部３０４のレベルが、それぞれ所定値以上であるか否かを判定する。輪郭差分信号３０５と輝度差分検出部３０４のレベルがいずれも所定値以下であれば「有効」を示す「１」、両方またはいずれかが所定値よりも大きいならば「無効」を示す「０」となる１ビットの一致判定信号３０８を出力する。本例では、ピクセル遅延部３０１が２１個設けられるので、これらからの一致判定信号３０８が集められて２１ビットの判定信号１０６として出力される。上記の処理は、１フレームにおける全画素について行われるようにする。
Further, a
尚、本例では、輪郭差分検出部３０３、輝度差分検出部３０４、及び一致判定部３０７について、実装を単純にするために、（数１）の変位ｄＥをｘ成分のみとし、更に輪郭関数（数２）をＥi(ｘ，ｙ)＝Ｐi(ｘ，ｙ)とし、Ｈ(Ｓi(ｘ，ｙ)−Ｓi) Ｈ(｜Ｓi(ｘ＋１)−Ｓi(ｘ)｜−Ｅ0)とする。
In this example, in order to simplify the implementation of the contour difference detection unit 303, the luminance
再び図２に戻り、文字検出部１０５から出力された判定信号１０６は、第１ヒストグラム生成部１０７に出力される。第１ヒストグラム生成部１０７では、映像信号とともに入力される水平同期信号の検出に応答して、１ライン毎に、判定信号１０６の「１」の値をピクセル遅延量（画素ずらし量）毎にカウントし、例えば図５に示されるような水平ヒストグラムを作成する。この水平ヒストグラムは、水平同期信号の検出の度にリセットされるものとする。かかる水平ヒストグラムは、そのラインにおけるピクセル遅延量の出現度数を示すものであり、最も出現度数が大きい遅延がそのラインにおいて支配的な動き量となる。図５に示す例では、＋７ピクセルの遅延量の度数が最も大きいため、当該ラインの映像は７p/fで動く文字が多く占められることとなる。
Returning to FIG. 2 again, the determination signal 106 output from the
第１ヒストグラム生成部１０７で生成された水平ヒストグラムは、各ピクセル遅延量の１Ｈ（水平期間）カウント値１０８として第１最大値検出部１０９に出力される。この第１最大値検出部１０９の処理の内容について、図６を参照しつつ説明する。
The horizontal histogram generated by the first
図６において、上記水平ヒストグラムとしての各ピクセル遅延量の１Ｈカウント値１０８は、水平期間加重平均部４０２に供給される。水平期間加重平均部４０２は、各ピクセル遅延量のカウント値を平均化するものであり、例えばある遅延量（例えば＋７ピクセル）のカウント値と、該ある遅延量と隣接する遅延量（例えば＋６と＋８ピクセル）のカウント値との加重平均を求めて出力する。この加重平均は、例えば、ある遅延量のａ、それに隣接する遅延量をｂ及びｃとしたとき、ｂ：ａ：ｃの比を１：１：１として求めてもよく、また１：２：１としても求めてもよい。また、加重平均をしない（すなわちｂ：ａ：ｃが０：１：０）ようにしてもよい。
In FIG. 6, the
水平期間加重平均部４０２で演算された各ピクセル遅延量のカウント平均値４０３は、０ピクセルのカウント平均値４０７を除き水平期間最大値検出部４０４に供給される。水平期間最大値検出部４０４は、０ピクセルのカウント平均値４０７を除く入力された各ピクセル遅延量のカウント平均値４０３のうち、最大のカウント値を検出し、その値をカウント最大値４０６として切換信号発生部４０８及び有効性判定部４１０に出力する。更に水平期間最大値検出部４０４は、上記カウントの最大値に対応するピクセル遅延量を検出し、これをプリライン動き量４０５として選択器４０９に出力する。
The count average value 403 of each pixel delay amount calculated by the horizontal period weighted
切換信号発生部４０８は、更に０ピクセルのカウント平均値４０７が入力され、０ピクセルのカウント平均値４０７−カウント最大値４０６の演算を行い、その演算結果に応じた切換信号を選択器４１２に出力する。ここで、上記演算の結果、すなわち０ピクセルのカウント平均値４０７からカウント最大値４０６を減算した値が予め定められた閾値より大きい場合は、その文字テロップが静止文字テロップであるとして上記切換信号を「０」、閾値以下の場合は、その文字テロップが動きのある（スクロールする）ものとして上記切換信号を「１」とする。ここで、上記減算値を所定値と比較するのは、上述した一致判定処理において、遅延量が０ピクセル（すなわち遅延量０）のときに一致判定がされる頻度が多いためである。換言すれば、切換信号発生部４０８は、０ピクセルのカウント値に所定値を減算した上で、カウント最大値４０６との減算を行うものである。これにより、文字テロップが動いていても動きが０と誤って判定されることを抑制する。
The switching signal generator 408 further receives the 0-pixel count
選択器４０９は、切換信号発生部４０８からの切換信号に従いプリライン動き量４０５と「０」のいずれかを選択し、最終的なライン単位での動き（静止も含む）を示すライン動き量４１２として制御部４１３に出力する。ここで、選択器４０９は、切換信号が０の場合は「０」を選択し、切換信号が１の場合はプリライン動き信号４０５を選択する。
The selector 409 selects either the
有効性判定部４１０は、カウント最大値４０６の他に０ピクセルのカウント平均値４０７も入力され、カウント最大値４０６及び０ピクセルのカウント平均値４０７を、それぞれ所定の閾値と比較する。いずれの値が閾値以上の場合は「１」を、いずれか一方が閾値よりも小さい場合は「０」を有効性判定信号４１１として出力する。すなわち有効性判定部４１０は、入力されたカウント値が有効であるか否かを判定しており、カウント値が閾値未満の場合は、当該カウント値が文字テロップの動きと無関係な一致判定により得られた値として無効を示す「０」とし、カウント値が閾値以上の場合は、当該カウント値が文字テロップの動きに基づく一致判定により得られた値として有効を示す「１」とする。
The validity determination unit 410 receives a count
制御部４１３は、選択器４１２で選択されたライン単位の動き量を示すライン動き量４１２と、後述するフレーム動き量１１９とが入力され、上述した文字動き量８、スクロール判定信号１１０、及び第１イネーブル信号４１５の３つの信号を出力するように構成されている。文字動き量８は、ライン動き量４１２、フレーム動き量１１９及び０のいずれか選択された値であり、記憶部４１６にて１水平期間格納された後に出力される。またスクロール判定信号１１０及び第１イネーブル信号４１５は、それぞれ「１」または「０」の値を持つ１ビットの信号である。ここで、スクロール判定信号１１０が「１」のときは文字テロップが動きのある（つまりスクロールしている）ことを示し、「０」のときは文字テロップが静止であることを示す。また、第１イネーブル信号４１５は上記マスク信号７の生成のために用いられる。
The
上記３つの出力信号の出力形態としては、例えば次の３通りとすることができる。 For example, the following three output signals can be output.
第１の出力形態は、文字動き量８としてライン動き量４１２を優先的に選択出力し、更に、スクロール切換信号１１０を「１」に、第１イネーブル信号４１５を「１」とする。ここで、スクロール判定信号１１０及び第１イネーブル４１５の値は固定されるものとする。この第１の形態は、１ライン毎に文字動き量を設定する際に用いられ、例えば水平方向へのスクロール速度がそれぞれ異なる２種類以上の文字テロップが、複数の領域に存在する場合に有効である。
The first output form preferentially selects and outputs the line motion amount 412 as the character motion amount 8, further sets the
第２の出力形態は、文字動き量８として「０」（静止）を選択出力し、更に、スクロール切換判定信号１１０を「０」、ライン動き量４１２の絶対値が所定の閾値以下の（例えばライン動き量４１２が０または＋１や−１を示す）場合は第１イネーブル信号４１５を「１」とする。ここで、スクロール判定信号１１０及び第１イネーブル４１５の値は固定されるものとする。この第２の出力形態は、文字動き量を強制的に０にするものであり、静止文字テロップに対する補間処理の精度向上を優先させる場合に有効である。但し、この出力形態はスクロールする文字テロップに対しては補間処理の精度が低下するため、スクロールする文字テロップに対する補間処理の精度向上を優先させる場合はこの出力形態を設定しないほうが好ましい。
In the second output form, “0” (still) is selected and output as the character motion amount 8, the scroll switching
第３の出力形態は、文字動き量８としてフレーム動き量１１９を優先的に選択出力し、更にスクロール切換信号１１０を、フレーム動き量１１９と第２ライン動き量４１２との差分の絶対値が閾値以内の場合は「１」、閾値よりも大きい場合は「０」とする。また第１イネーブル信号４１５は「１」とされる。これにより、１フレーム（１垂直期間）毎に動き量８を変更することができる。この第３の出力形態は、後述するようにフレーム動き量１１９は静止文字テロップの場合は０とされるので、静止文字テロップに対する補間処理の精度向上を優先させる場合に有効である。また、スクロールする文字テロップに対しても適切に文字動き量を与えることができ、第２出力形態に比べ、動く文字テロップに対する補間処理の精度を向上させることができる。
In the third output mode, the frame motion amount 119 is preferentially selected and output as the character motion amount 8, and the
上記３つの出力形態は、いずれかを制御部４１３によって設定することができる。例えば、スクロールする文字テロップに対する補間処理の精度向上を優先させる場合は、第１の出力形態が設定され、静止文字テロップに対する補間処理の精度向上を優先させる場合は、第２または第３の出力形態が設定される。
Any of the above three output modes can be set by the
ＡＮＤ回路４１７は、制御部４１３からの第１イネーブル信号４１５と前述の有効性判定部４１０からの有効性判定信号４１１との論理積を演算して第２イネーブル信号１１１を出力する。有効性判定信号４１１が０、すなわちカウント最大値４０６及び０ピクセルのカウント平均値４０７が無効の場合は、第２イネーブル信号１１１も０となり無効化される。
The AND circuit 417 calculates the logical product of the first enable signal 415 from the
上記水平期間加重平均部４０２からの０ピクセルのカウント平均値４０７を含むカウント平均値１１３は、図２の第２ヒストグラム生成部１１５に供給される。第２ヒストグラム生成部１１５では、映像信号とともに入力される垂直同期信号の検出に応答して、カウント平均値１１３を用いて、ピクセル遅延量毎のカウント平均値を１フレーム（垂直期間）にわたって積算し、図５に示された水平ヒストグラムと同様な垂直ヒストグラムを作成する。例えば映像信号の有効垂直ライン数１０８０本であれば、１０８０個分の水平ヒストグラムにおける各カウント値を積算する。この垂直ヒストグラムは、水平同期信号の検出の度にリセットされるものとする。かかる垂直ヒストグラムにおいて最大のカウント値に対応するピクセル遅延量が、そのフレームにおいて支配的な動き量となる。第２ヒストグラム生成部１１５で生成された垂直ヒストグラムは、各ピクセル遅延量の１Ｖ（水平期間）カウント値１１６として第２最大値検出部１１７に出力される。この第２最大値検出部１１７の動作について図７を参照しつつ説明する。
The count average value 113 including the count
図７において、１Ｖカウント値１１６は、垂直期間加重平均部５０２に供給される。垂直期間加重平均部５０２は、上述した水平期間加重平均部４０２と同様に、各ピクセル遅延量のカウント値について加重平均処理を行い、０ピクセルのカウント平均値５０７を除き垂直期間最大値検出部５０４に供給する。垂直期間最大値検出部５０４は、０ピクセルのフレームカウント平均値５０７を除く入力された各ピクセル遅延量のフレームカウント平均値５０３のうち、最大のカウント値を検出し、その値をカウント最大値５０６として切換信号発生部５０８及び有効性判定部５１０に出力する。更に垂直期間最大値検出部５０４は、上記カウントの最大値に対応するピクセル遅延量を検出し、これをプリフレーム動き量５０５として選択器５０９に出力する。
In FIG. 7, the 1V count value 116 is supplied to the vertical period weighted average unit 502. Similarly to the horizontal period weighted
切換信号発生部５０８には、更に０ピクセルのフレームカウント平均値５０７が入力され、０ピクセルのカウント平均値５０７−カウント最大値５０６の演算を行い、その演算結果に応じた切換信号を選択器５１２に出力する。ここで、上記演算の結果、すなわち０ピクセルのフレームカウント平均値５０７からフレームカウント最大値５０６を減算した値が予め定められた閾値より大きい場合は、その文字テロップが静止文字テロップであるとして上記切換信号を「０」、閾値以下の場合は、その文字テロップが動きのある（スクロールする）ものとして上記切換信号を「１」とする。ここで、上記減算値を所定値と比較するのは、先に説明した図６の切換信号発生部４０８における理由と同様である。
Further, the frame count average value 507 of 0 pixels is further input to the switching signal generation unit 508, the calculation of the average count value 507 of 0 pixels−the maximum count value 506 is performed, and a switching signal corresponding to the calculation result is selected by the
選択器５０９は、切換信号発生部５０８からの切換信号に従いプリフレーム動き信号５０５と「０」のいずれかを選択し、フレーム単位の動き（静止も含む）を示すフレーム動き量１１９として出力する。フレーム動き量１１９は、記憶部５１６にて少なくと１垂直期間格納された後に、前述した制御部４１３に出力される。
The selector 509 selects either the pre-frame motion signal 505 or “0” in accordance with the switching signal from the switching signal generation unit 508, and outputs it as a frame motion amount 119 that indicates frame-by-frame motion (including stillness). The frame motion amount 119 is stored in the
有効性判定部５１０は、フレームカウント最大値５０６の他に０ピクセルのフレームカウント平均値５０７も入力され、カウント最大値５０６及び０ピクセルのカウント平均値５０７を、それぞれ所定の閾値と比較する。いずれの値が閾値以上の場合は「１」を、いずれか一方が閾値よりも小さい場合は「０」を有効性判定信号１１８として出力する。カウント値と閾値を比較する理由は、有効性判定部４１０において説明した理由と同様である。 The validity determination unit 510 receives a frame count average value 507 of 0 pixels in addition to the frame count maximum value 506, and compares the count maximum value 506 and the count average value 507 of 0 pixel with a predetermined threshold value. When any value is greater than or equal to the threshold, “1” is output as the validity determination signal 118, and when either one is smaller than the threshold, “0” is output as the validity determination signal 118. The reason for comparing the count value with the threshold value is the same as the reason described in the validity determination unit 410.
続いて、図２のイネーブル出力部１１２の動作について図８を参照しつつ説明する。図８において、イネーブル信号発生部６０２は、文字検出部１０５からの判定信号１０６と第１最大値検出部１０９からの文字動き量８が入力され、上記第１イネーブル信号４１５及び第２イネーブル信号１１１とは異なる２種類のイネーブル信号を生成する。この２種類のイネーブル信号は、スクロールする文字テロップに適用されるスクロールイネーブル信号６０３と、静止文字テロップに適用される静止イネーブル信号６０４である。
Next, the operation of the enable output unit 112 in FIG. 2 will be described with reference to FIG. In FIG. 8, the enable signal generator 602 receives the determination signal 106 from the
スクロールイネーブル信号６０３は、例えば、文字動き量８が７ピクセルの動き量を示すとき、２１ビットの判定信号１０６のうち７ピクセル遅延量に対応する基準ビット（すなわち１８ビット目）の値と、その基準ビットの前後のビット（すなわち１７ビット目と１９ビット目）の値との論理輪を演算することにより生成される。例えば、判定信号１０６の１８ビット目の値が「１」、１７ビット目の値が「１」、１９ビット目の値が「０」のときは、「１１０」のスクロールイネーブル信号６０３が生成される。 For example, when the character motion amount 8 indicates a motion amount of 7 pixels, the scroll enable signal 603 includes a value of a reference bit (that is, the 18th bit) corresponding to the 7-pixel delay amount in the 21-bit determination signal 106, and its It is generated by calculating a logical ring with the values of the bits before and after the reference bit (that is, the 17th and 19th bits). For example, when the value of the 18th bit of the determination signal 106 is “1”, the value of the 17th bit is “1”, and the value of the 19th bit is “0”, a scroll enable signal 603 of “110” is generated. The
また静止イネーブル信号６０４は、２１ビットの判定信号１０６のうち０ピクセル遅延量に対応する基準ビット（すなわち１１ビット目）の値と、その基準ビットの前後のビット（すなわち１０ビット目と１２ビット目）の値との論理輪を演算することにより生成される。例えば、判定信号１０６の１１ビット目の値が「１」、１０ビット目の値が「１」、１２ビット目の値が「１」のときは、「１１１」のスクロールイネーブル信号６０３が生成される。 The static enable signal 604 includes a value of the reference bit (that is, the 11th bit) corresponding to the 0 pixel delay amount in the 21-bit determination signal 106 and the bits before and after the reference bit (that is, the 10th and 12th bits). ) And a logical ring with the value of). For example, when the value of the 11th bit of the determination signal 106 is “1”, the value of the 10th bit is “1”, and the value of the 12th bit is “1”, the scroll enable signal 603 of “111” is generated. The
このように判定信号１０６の動き量に対応する値とその前後の値の論理和を演算することで、動きの揺らぎを考慮したイネーブル信号を生成することができる。上記の例では、基準ビットの値と、その基準ビットの１ビット前後の値との論理和を演算したが、基準ビットの２ビット前後の値との論理和を演算してもよい。また、上述の論理和演算によるイネーブル信号の生成処理は、必要に応じ行えばよく、本実施例においては必ずしも必要な処理ではない。 In this way, by calculating the logical sum of the value corresponding to the amount of motion of the determination signal 106 and the values before and after the value, an enable signal can be generated in consideration of the fluctuation of motion. In the above example, the logical sum of the value of the reference bit and the value around 1 bit of the reference bit is calculated, but the logical sum of the value around 2 bits of the reference bit may be calculated. In addition, the above-described generation process of the enable signal by the logical sum operation may be performed as necessary, and is not necessarily a necessary process in the present embodiment.
上記の処理は、複数の文字間に生じる特異点のみならず、文字テロップにおける文字群の集まりが占める大きな領域から離れた小さな領域に生じる特異点についても適用することができる。 The above processing can be applied not only to singular points that occur between a plurality of characters but also to singular points that occur in a small region that is separated from a large region occupied by a group of character groups in a character telop.
イネーブル信号発生部６０２によって生成されたスクロールイネーブル信号６０３と静止イネーブル信号６０４は、それぞれ１Ｈ（１水平期間）遅延器６０５によって１水平期間分遅延されて選択器６０６に入力さる。そして、選択器６０６は、図６の制御部４１３からのスクロール判定信号１１０に応答していずれかのイネーブル信号を選択し、第３イネーブル信号１１４として出力する。スクロール判定信号１１０が「１」のときは、前述のように文字テロップがスクロールしているので選択器６０６はスクロールイネーブル信号６０３を選択し、一方「０」のときは、前述のように文字テロップが静止しているので選択器６０６は静止イネーブル信号６０４を選択する。
The scroll enable signal 603 and the static enable signal 604 generated by the enable signal generator 602 are delayed by one horizontal period by a 1H (one horizontal period) delay unit 605 and input to the selector 606. The selector 606 selects one of the enable signals in response to the scroll determination signal 110 from the
再び図２に戻り、ＡＮＤ回路１３０は、第１最大値検出部１０９からの第２イネーブル信号１１１、イネーブル出力部１１２からの第３イネーブル信号１１４、及び第２最大値検出部１１７からの有効性判定信号１１８の論理積演算をし、マスク信号７を出力する。このマスク信号７は、フィルタ処理部１２０によってフィルタリング処理をしてもよい。このフィルタリング処理の概念について図８を参照して説明する。
Returning to FIG. 2 again, the AND
図８（ａ）は、１フレームにおけるある領域のマスク信号７の様子を示しており、斜線部分はマスク信号の値が「１」の画素を、白色の部分はマスク信号の値が「０」の画素を示している。このマスク信号は、例えば誤った一致処理等により、文字テロップ領域に対応しない画素についても「１」の値にされており、ノイズのような特異点を有しているものとする。
FIG. 8A shows the state of the
かかるマスク信号に対し、先ず、マスク信号の値が「０」の画素に隣接する周辺１画素のマスク信号の値を全て「０」に置き換える第１処理を行う。これにより、マスク信号が「０」の領域を拡張する。その第１処理の結果、当該領域のマスク信号は図８（ｂ）に示されるように、２×２ピクセル以下の大きさの特異点が削除される。一方、特異点以外の文字テロップ領域に対応するマスク信号の一部も削除される。 For such a mask signal, first, a first process is performed to replace all mask signal values of one peripheral pixel adjacent to a pixel having a mask signal value of “0” with “0”. Thereby, the region where the mask signal is “0” is expanded. As a result of the first processing, as shown in FIG. 8B, a singular point having a size of 2 × 2 pixels or less is deleted from the mask signal in the region. On the other hand, a part of the mask signal corresponding to the character telop area other than the singular point is also deleted.
続いて、マスク信号の値が「１」の画素に隣接する周辺１画素のマスク信号の値を全て「１」に置き換える第２処理を行い、マスク信号が「１」の領域を拡張する。その第２処理の結果、１部分が削除された文字テロップ領域のマスク信号が、図８（ａ）に示される文字テロップ領域のマスク信号の形状に復元される。 Subsequently, the second process of replacing all the mask signal values of the neighboring pixels adjacent to the pixel having the mask signal value “1” with “1” is performed, and the region having the mask signal “1” is expanded. As a result of the second process, the mask signal of the character telop area from which one portion has been deleted is restored to the shape of the mask signal of the character telop area shown in FIG.
上記のようなフィルタリング処理によれば、文字テロップ領域に対応するマスク信号への影響を防ぎながら、ノイズなどの特異点を除去することができる。よって、文字テロップ部分に対する補間処理の精度をより高めることができる。上記処理では、ある画素の周辺１画素についてマスク信号の拡張処理をしたが、周辺２画素または３画素についてマスク信号の拡張処理をしてもよい。 According to the filtering processing as described above, it is possible to remove singular points such as noise while preventing the influence on the mask signal corresponding to the character telop area. Therefore, the accuracy of the interpolation process for the character telop portion can be further increased. In the above processing, the mask signal expansion process is performed on one peripheral pixel of a certain pixel, but the mask signal expansion process may be performed on two or three peripheral pixels.
次に、本実施の形態の特徴となる文字テロップの動き量生成の流れについて、図１０のフローチャートを参照しつつ説明する。 Next, the flow of character telop motion amount generation, which is a feature of the present embodiment, will be described with reference to the flowchart of FIG.
まずステップ（以下Ｓと略す）１０１で、テロップ検出部５に入力される映像信号に対しテロップ検出処理は適用対象となる所定領域を適用領域判定部１０４により判定する。次にＳ１０２で、文字検出部１０５により所定領域について後フレームと前フレームとの一致判定処理を行う。続いてＳ１０３で、第１ヒストグラム生成部１０７により水平同期信号が検出されたか否かを判定し、検出された場合はＳ１０４で水平ヒストグラムを初期化（リセット）してＳ１０５に進む。検出されなければ直接Ｓ１０５に進み、Ｓ１０５では、第１ヒストグラム生成部１０７によって、上記一致判定処理により生成された判定信号１０６を用いて、ピクセル遅延量毎の一致画素の出現度数を表す水平ヒストグラムを作成する。そしてＳ１０６で、第１最大値検出部１０９により、上記水平ヒストグラムから最大の出現度数と、その最大度数に対応するピクセル遅延量を検出し、ライン単位の動き量とする。
First, in step (hereinafter abbreviated as “S”) 101, the application
次に、Ｓ１０７で第２ヒストグラム生成部１１５により垂直同期信号が検出されたか否かを判定し、検出された場合はＳ１０８で垂直ヒストグラムを初期化（リセット）してＳ１０９に進む。検出されなければ直接Ｓ１０９に進み、Ｓ１０９では、第２ヒストグラム生成部１１５によって、水平ヒストグラムを用いて、ピクセル遅延量毎の一致画素の出現度数を表す垂直ヒストグラムを作成する。そしてＳ１１６で、第２最大値検出部１１７により、上記垂直ヒストグラムから最大の出現度数と、その最大度数に対応するピクセル遅延量を検出し、フレーム単位の動き量とする。最後に、ライン単位の動き量、フレーム単位の動き量、水平ヒストグラムにおける最大の出現度数、及び垂直ヒストグラムにおける最大の出現度数を用いて、文字動き量８を生成する。
Next, in S107, it is determined whether or not a vertical synchronization signal is detected by the second histogram generation unit 115. If detected, the vertical histogram is initialized (reset) in S108, and the process proceeds to S109. If not detected, the process proceeds directly to S109. In S109, the second histogram generation unit 115 creates a vertical histogram representing the frequency of appearance of matching pixels for each pixel delay amount using the horizontal histogram. In S116, the second maximum
また、文字動き量８の生成処理の後、Ｓ１１２で、イネーブル出力部１１２、ＡＮＤ回路１３０、及びフィルタ処理部１２０において、文字テロップ領域に対する補間処理に文字動き量８を敵称するためのマスク信号７の生成処理が行われる。
Further, after the generation process of the character motion amount 8, in S112, the enable output unit 112, the AND
以上のように、本実施例によれば、静止文字テロップに対しても精度良く文字動き量を検出でき、静止文字テロップに対する補間処理の精度を向上することができる。また静止文字テロップとスクロールする文字テロップのいずれに対しても補間処理の精度を向上させることができる。 As described above, according to the present embodiment, it is possible to accurately detect the amount of character movement even for a static character telop, and to improve the accuracy of interpolation processing for a static character telop. In addition, the accuracy of interpolation processing can be improved for both stationary character telops and scrolling character telops.
また、本実施例によって検出された文字動き量を用いて、補間処理のみならず、ＰＤＰの映像表示のために映像信号から生成される複数のサブフィールドを移動させるようにしてもよい。このようにすれば、文字テロップ領域の擬似輪郭の発生を抑制することができる。更にまた、映像の領域に対応させてテロップ検出部５を複数設けてもよい。例えば、映像の上部、下部、左部、右部のそれぞれに対応してテロップ検出部５を設けることで文字テロップの動き量の検出精度を向上させるようにしてもよい。また、複数の文字検出部からの文字動き量やマスク信号を互いに比較し、文字動き量やマスク信号の誤検出や誤生成を判定して、これらの誤りを抑制するようにしてもよい。
Further, by using the character motion amount detected by the present embodiment, a plurality of subfields generated from a video signal may be moved for video display of PDP as well as interpolation processing. In this way, the generation of pseudo contours in the character telop area can be suppressed. Furthermore, a plurality of
また、上記実施例では、文字テロップに対する補間処理の動き情報の設定について説明したが、所定方向に類似する形状が周期的に繰り返されるパターン、すなわち金網や柵、格子状の映像に対しても適用することができることは言うまでもない。 In the above embodiment, the setting of the motion information for the interpolation processing for the character telop has been described. However, the present invention is also applicable to a pattern in which a shape similar to a predetermined direction is periodically repeated, that is, a wire mesh, a fence, or a lattice-like image. It goes without saying that you can do it.
本発明の映像処理技術は、スクロールもしくは静止する文字テロップが含まれる映像に対する補間処理に利用して好適である。また、ＰＤＰ等のサブフィールドを制御する場合にも利用可能である。 The video processing technique of the present invention is suitable for use in interpolation processing for video that includes scrolling or stationary character telops. It can also be used when controlling a subfield such as a PDP.
１…信号処理部、２…後フレーム、３…１Ｖ遅延処理部、４…前フレーム、５…テロップ検出部、６…動きベクトル検出部、７…マスク信号、８…文字動き量、９…動きベクトル信号、１０…動き情報切換部、１１…フレーム補間部、１４…タイミング制御部、１５…表示パネル、１０４…適用領域判定部、１０５…文字検出部、１０７…第１ヒストグラム生成部、１０９…第１最大値検出部、１１２…イネーブル出力部、１１５…第２ヒストグラム生成部、１０７…第２最大値検出部、１２０…フィルタ処理部。
DESCRIPTION OF
Claims (10)
前記入力映像信号において文字テロップの領域か否かを判定し、文字テロップの領域か否かを示すマスク信号を生成し、また文字テロップの動き量を検出するテロップ検出部と、
前記マスク信号が文字テロップの領域を示す部分では前記文字テロップの動き量を用いて補間フレームを生成し、前記マスク信号が文字テロップの領域を示さない部分では前記動きベクトルを用いて補間フレームを生成するフレーム補間部と、を備え、
前記テロップ検出部は、ライン毎に前記動き量の第１ヒストグラムを作成する第１ヒストグラム生成部と、該第１ヒストグラム生成部で作成された第１ヒストグラムに基づいて、１フレーム毎に前記動き量の第２ヒストグラムを作成する第２ヒストグラム生成部と、を含み、前記第１ヒストグラムにおいて度数が最大となる動き量と、前記第２のヒストグラムにおいて度数が最大となる動き量との少なくともいずれかを、前記文字テロップの動き量として算出するものであり、
前記テロップ検出部の前記文字テロップの動き量の算出制御状態には、前記入力映像信号において前記文字テロップが静止している場合に前記第２のヒストグラムにおいて度数が最大となる動き量を前記文字テロップの動き量として用いる状態と、前記入力映像信号において前記文字テロップが所定方向にスクロールしている場合に前記第１ヒストグラムにおいて度数が最大となる動き量を前記文字テロップの動き量として用いる状態とがあることを特徴とする映像処理装置。 A motion vector detector that detects a motion vector of the video from the input video signal;
Said determining whether the character telop area in the input movies image signal, and generates a mask signal indicating whether the character ticker area, also telop detection unit for detecting a movement amount of the character telop,
When the mask signal indicates a character telop area, an interpolation frame is generated using the amount of movement of the character telop, and when the mask signal does not indicate a character telop area, an interpolation frame is generated using the motion vector. A frame interpolation unit that performs
The telop detection unit generates a first histogram of the motion amount for each line, and the motion amount for each frame based on the first histogram created by the first histogram generation unit. A second histogram generation unit that creates a second histogram of at least one of a motion amount having a maximum frequency in the first histogram and a motion amount having a maximum frequency in the second histogram. , Which is calculated as the amount of movement of the character telop ,
In the control state of the amount of movement of the character telop of the telop detection unit, the amount of movement having the maximum frequency in the second histogram when the character telop is stationary in the input video signal is the character telop. A state in which the character telop is scrolled in a predetermined direction in the input video signal, and a state in which the frequency having the highest frequency in the first histogram is used as the motion amount of the character telop. image processing apparatus characterized by some.
前記フィルタ処理部は、前記第２の値を持つ画素の周辺画素の値を前記第２の値に置き換えることにより前記第２の値を持つ画素の範囲を拡張した後に、前記第１の値を持つ画素の周辺画素の値を前記第１の値に置き換えることにより前記第１の値を持つ画素の範囲を拡張するフィルタリング処理を行うことを特徴とする映像処理装置。 The video processing apparatus according to claim 3 , further comprising a filter processing unit that performs filtering processing on the mask signal,
The filtering process unit, after extending the range of the pixel having the second value by replacing the previous SL value of the surrounding pixels of the pixel having the second value to said second value, said first An image processing apparatus, wherein a filtering process for expanding a range of pixels having the first value is performed by replacing a value of a peripheral pixel of the pixel having a value with the first value.
前記第１ヒストグラム生成部は、入力映像信号の時間的に連続する２つのフレームを一画素ずつ相対的にずらしながら前記２つのフレームの時間的に前のフレームと後のフレームとの空間的に同一位置にある画素同士の差分を求め、
該差分が所定値以下の画素の個数を前記度数として、前記画素ずらし量毎に対応してカウントすることにより前記第１ヒストグラムを作成し、
前記第２ヒストグラム生成部は、該第１ヒストグラムを１フレーム分積算することにより前記第２ヒストグラムを作成することを特徴とする映像処理装置。 The video processing apparatus according to claim 1,
The first histogram generation unit spatially identicals a temporally previous frame and a subsequent frame of the two frames while relatively shifting two temporally consecutive frames of the input video signal one pixel at a time. Find the difference between the pixels at the position,
The first histogram is created by counting the number of pixels having the difference equal to or less than a predetermined value as the frequency and correspondingly for each pixel shift amount,
The second histogram generation unit, a video processing apparatus characterized by creating said second histogram by accumulating one frame of the first histogram.
前記テロップ検出部において、
前記マスク信号は、前記度数が最大となる前記画素ずらし量を基準に、前記差分が所定値以下の画素については第１の値となり、前記差分が所定値より大きい画素については第２の値となる判定信号に基づき生成されることを特徴とする映像処理装置。 The video processing apparatus according to claim 5 , wherein
In the telop detection unit ,
Said mask signal, based on the shifting amount of the pixel that the maximal frequency, the first value next for the pixels the difference is less than a predetermined value for a pixel the difference is greater than a predetermined value and a second value A video processing apparatus generated based on the determination signal.
前記マスク信号は、前記度数が最大となる画素ずらし量に対応する前記判定信号と、当該画素ずらし量に隣接する画素ずらし量に対応する前記判定信号との論理和により生成されることを特徴とする映像処理装置。 The video processing apparatus according to claim 6.
The mask signal is generated by a logical sum of the determination signal corresponding to the pixel shift amount that maximizes the frequency and the determination signal corresponding to the pixel shift amount adjacent to the pixel shift amount. Video processing device.
前記入力映像信号において文字テロップの領域か否かを判定し、文字テロップの領域か否かを示すマスク信号を生成し、また文字テロップの動き量を検出するテロップ検出部と、
前記マスク信号が文字テロップの領域を示す部分では前記文字テロップの動き量を用いて補間フレームを生成し、前記マスク信号が文字テロップの領域を示さない部分では前記動きベクトルを用いて補間フレームを生成するフレーム補間部と、を備え、
前記テロップ動き検出部は、ライン単位で前記文字テロップの動き量を検出する検出処理と、フレーム単位で前記文字テロップの動き量を検出する検出処理とを行うものであり、
前記テロップ検出部の前記文字テロップの動き量の算出制御状態には、前記入力映像信号において前記文字テロップが静止している場合に前記フレーム単位の検出処理で検出された動き量を前記文字テロップの動き量として用いる状態と、前記入力映像信号において前記文字テロップが所定方向にスクロールしている場合に前記ライン単位の検出処理で検出された動き量を前記文字テロップの動き量として用いる状態とがあることを特徴とする映像処理装置。 A motion vector detector that detects a motion vector of the video from the input video signal;
Said determining whether the character telop area in the input movies image signal, and generates a mask signal indicating whether the character ticker area, also telop detection unit for detecting a movement amount of the character telop,
When the mask signal indicates a character telop area, an interpolation frame is generated using the amount of movement of the character telop, and when the mask signal does not indicate a character telop area, an interpolation frame is generated using the motion vector. A frame interpolation unit that performs
The telop motion detection unit performs detection processing for detecting the amount of motion of the character telop in units of lines and detection processing for detecting the amount of motion of the character telop in units of frames .
The text telop motion amount calculation control state of the telop detection unit includes the motion amount detected in the frame-by-frame detection process when the character telop is stationary in the input video signal. There are a state used as a motion amount and a state where the motion amount detected by the detection processing in units of lines is used as the motion amount of the character telop when the character telop is scrolled in a predetermined direction in the input video signal. A video processing apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008193006A JP5164716B2 (en) | 2008-07-28 | 2008-07-28 | Video processing device and video display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008193006A JP5164716B2 (en) | 2008-07-28 | 2008-07-28 | Video processing device and video display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010034724A JP2010034724A (en) | 2010-02-12 |
| JP5164716B2 true JP5164716B2 (en) | 2013-03-21 |
Family
ID=41738735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008193006A Active JP5164716B2 (en) | 2008-07-28 | 2008-07-28 | Video processing device and video display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5164716B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101721261B1 (en) * | 2010-08-20 | 2017-03-30 | 엘지디스플레이 주식회사 | Liquid crystal display and data transmission method thereof |
| JP5660573B2 (en) * | 2011-01-18 | 2015-01-28 | 国立大学法人 鹿児島大学 | Display control apparatus, display control method, program, and recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4200681B2 (en) * | 2002-03-14 | 2008-12-24 | ソニー株式会社 | Image signal processing circuit |
| JP2008109628A (en) * | 2006-09-28 | 2008-05-08 | Sharp Corp | Image display apparatus and method, image processor and method |
| JP4940024B2 (en) * | 2007-06-06 | 2012-05-30 | 株式会社東芝 | Information processing apparatus, motion vector generation program, and interpolated image generation program |
-
2008
- 2008-07-28 JP JP2008193006A patent/JP5164716B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010034724A (en) | 2010-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8175121B2 (en) | Image processor and image display apparatus comprising the same | |
| JP4157579B2 (en) | Image display apparatus and method, image processing apparatus and method | |
| JP4122279B2 (en) | Motion estimation apparatus and method capable of detecting scrolled text or graphic data | |
| JP3898606B2 (en) | Motion vector detection method and apparatus, and frame interpolation image creation method and apparatus | |
| JP2004201308A (en) | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion | |
| CN103369208A (en) | Self-adaptive de-interlacing method and device | |
| JP4991360B2 (en) | Frame rate conversion device and video display device | |
| US20070053013A1 (en) | Image signal processing apparatus and interlace-to-progressive conversion method | |
| JP5490236B2 (en) | Image processing apparatus and method, image display apparatus and method | |
| JP5005260B2 (en) | Image display device | |
| JP4951487B2 (en) | Video processing apparatus and video display apparatus using the same | |
| JP5164716B2 (en) | Video processing device and video display device | |
| JP2007195062A (en) | Image still area determining device and interlace-progressive image converting device | |
| JP4355347B2 (en) | Image display apparatus and method, image processing apparatus and method | |
| JP2009181067A (en) | Image display device and method, and image processing device and method | |
| JP2009290828A (en) | Image processor, and image processing method | |
| JP2008193730A (en) | Image display device and method, and image processing device and method | |
| US9008463B2 (en) | Image expansion apparatus for performing interpolation processing on input image data, and image expansion method thereof | |
| JP2009182865A (en) | Image display device and method, image processor, and image processing method | |
| JPWO2011027422A1 (en) | Image processing apparatus and video reproduction apparatus | |
| JP2009296284A (en) | Video processing device and video display device using the video processing device | |
| JP2008109628A (en) | Image display apparatus and method, image processor and method | |
| JP4157587B2 (en) | Image display apparatus and method, image processing apparatus and method | |
| KR101577703B1 (en) | Video picture display method to reduce the effects of blurring and double contours and device implementing this method | |
| JP5018198B2 (en) | Interpolation signal generation circuit, interpolation signal generation method, program, and video signal processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5164716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |