JP6080667B2 - Video signal processing apparatus and method, program, and recording medium - Google Patents
Video signal processing apparatus and method, program, and recording medium Download PDFInfo
- Publication number
- JP6080667B2 JP6080667B2 JP2013087598A JP2013087598A JP6080667B2 JP 6080667 B2 JP6080667 B2 JP 6080667B2 JP 2013087598 A JP2013087598 A JP 2013087598A JP 2013087598 A JP2013087598 A JP 2013087598A JP 6080667 B2 JP6080667 B2 JP 6080667B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- interpolation
- video signal
- time
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像信号処理装置及び方法に関し、特に映像中の不要なテロップ領域を削除する方法に関する。本発明はまた、上記の映像信号処理装置の構成要素の機能、又は映像信号処理方法の各ステップの処理をコンピュータで実現するためのプログラム、及び該プログラムを記録した記録媒体に関する。 The present invention relates to a video signal processing apparatus and method, and more particularly to a method for deleting an unnecessary telop area in a video. The present invention also relates to a program for realizing the functions of the constituent elements of the video signal processing apparatus or the steps of the video signal processing method by a computer, and a recording medium on which the program is recorded.
映像に含まれる緊急速報などのテロップは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合にはテロップの情報が必要でない場合が多い。そこで輝度情報と色差情報から文字領域を検出し、文字画素の近傍の画素を使って作成した補間値で上書きし、表示が点滅、あるいは移動している場合は時間的に近接したフレームから補間値を求め、文字情報に対する上書きを行っていた(例えば、特許文献1)。 A telop such as an emergency bulletin included in a video is meaningful when viewed in real time, but in many cases, telop information is not necessary when viewing a recorded video signal. Therefore, the character area is detected from the luminance information and the color difference information, overwritten with the interpolation value created using the pixels near the character pixel, and if the display is blinking or moving, the interpolation value is calculated from the temporally adjacent frame. The character information is overwritten (for example, Patent Document 1).
従来のように、時間的近接フレームから文字画素の補間値を求めると、当該フレームと時間的に近接したフレームとの間にシーンチェンジがあった場合に補間値が当該フレームとは異なるシーンの映像になり、この補間値で文字画素を上書きした映像は上書きされた領域だけ異なるシーンの映像がはめ込まれ、周囲と調和しない映像になるという問題があった。 When the interpolated value of a character pixel is obtained from a temporally close frame as in the past, if there is a scene change between the frame and the temporally close frame, the video of the scene where the interpolated value is different from the frame Thus, there is a problem that the video in which the character pixel is overwritten with the interpolation value is inserted into the video of a scene that is different only in the overwritten area, and the video does not match the surroundings.
本発明は、緊急速報などのテロップを消去し、シーンチェンジが発生した場合にも、本来の画像(テロップを重ねる前の画像)に、より近い画像を生成することを可能にすることを目的とする。 An object of the present invention is to make it possible to generate an image that is closer to the original image (the image before the telop is overlaid) even when a telop such as an emergency bulletin is deleted and a scene change occurs. To do.
本発明の映像信号処理装置は、
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが1回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出部は、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理部は、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出部は、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする。
The video signal processing apparatus of the present invention is
While detecting pixels constituting the telop character included in the video represented by the video signal, the appearance time and disappearance time of the telop are detected, and the telop is 1 in the period from the appearance time to the disappearance time of the telop. When changed more than once, a telop detection unit that detects the time of the change;
A scene change detector for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area An image processing unit for outputting
The image processing unit performs the interpolation method based on the appearance time, disappearance time, and change time of the telop detected by the telop detection unit, and the occurrence time of the scene change detected by the scene change detection unit. determined,
The telop detection unit detects a telop area including all the pixels constituting the character of the telop,
The image processing unit performs interpolation using the detected telop area as the interpolation target area,
The telop detection unit detects a time at which the position of the telop area detected in each frame of the video changes by a predetermined threshold or more between successive frames as a change time of the telop .
本発明は、映像信号からテロップ出現時刻、テロップ消滅時刻、テロップ変更時刻、及びシーンチェンジ時刻を検出し、これらに基づいて異なる方法でテロップを構成する文字の画素の画素値の置き換えを行っているので、本来の画像により近い画像を表す映像信号を生成することができる。 The present invention detects a telop appearance time, a telop disappearance time, a telop change time, and a scene change time from the video signal, and replaces pixel values of character pixels constituting the telop based on these. Therefore, it is possible to generate a video signal representing an image closer to the original image.
実施の形態1.
図1は、本発明の実施の形態1に係る映像信号処理装置の構成を示す。図示の映像信号処理装置は、制御部1と、ストリーム解析部2と、画像処理部3とを備える。
制御部1は、デマックス(多重分離部)11と、ストリームバッファ12と、デコーダ13と、デコーダ14とを備える。
Embodiment 1 FIG.
FIG. 1 shows a configuration of a video signal processing apparatus according to Embodiment 1 of the present invention. The illustrated video signal processing apparatus includes a control unit 1, a
The control unit 1 includes a demux (demultiplexing unit) 11, a
制御部1には、トランスポートストリーム(TS)が入力される。デマックス11は制御部1に入力されたトランスポートストリームから、映像信号を分離する。ストリームバッファ12は、デマックス11によって分離された映像信号(符号化映像信号)を一旦蓄積する。ストリームバッファ12からストリーム解析用の符号化映像信号が読み出されてデコーダ13に出力され、画像処理用の符号化映像信号が読み出されてデコーダ14に出力される。
A transport stream (TS) is input to the control unit 1. The
デコーダ14は入力された符号化映像信号を復号し、復号後の映像信号D14を画像処理用の映像信号として画像処理部3に出力する。以下では、復号後の映像信号を単に映像信号と呼ぶこともある。
The
デコーダ13は入力された符号化映像信号を復号し、復号後の映像信号D13をストリーム解析用の映像信号としてストリーム解析部2に出力する。デコーダ13からストリーム解析部2に供給される映像信号には、各フレームの時刻(再生時刻、例えばコンテンツの先頭からの再生時間)を示す情報(フレーム時刻情報)FTNが付加されている。このフレーム時刻情報FTNとしては、例えばフレームの番号又はプレゼンテーションタイムスタンプを用いることができる。
The
ストリーム解析部2は、テロップ検出部20と、シーンチェンジ検出部23とを備え、デコーダ13から映像信号D13は、テロップ検出部20とシーンチェンジ検出部23とに入力される。
The
テロップ検出部20は、映像に含まれるテロップの文字を内部に含むテロップ領域を検出し、テロップの出現時刻及び消滅時刻を検出するとともに、テロップの出現時刻から消滅時刻までの期間にテロップが1回以上変更された場合には、該変更の時刻を検出する。
The
テロップ検出部20は、テロップ領域検出部21と、テロップ切替点検出部22とを有する。
テロップ領域検出部21は、映像信号D13で表される映像の各フレームに含まれるテロップ領域の位置を検出する。即ち、テロップ領域検出部21は各フレームの映像信号から映像信号に重畳された文字であるテロップを検出し、テロップで占められる領域の位置を検出し、該領域の、フレーム内における位置を特定する情報(テロップ領域検出位置情報)D21aと、テロップが検出された時刻(テロップが検出されたフレームの時刻)を示す情報D21bをテロップ切替点検出部22に出力する。ここで言う時刻も、例えばコンテンツの先頭を基準とした相対時刻であって、テロップが検出されたフレームを特定する情報(フレーム番号)であっても良く、プレゼンテーションタイムスタンプであっても良い。以下の説明における他の「時刻」についても同様である。
The
The telop
テロップ切替点検出部22は、入力されたテロップに関する情報(D21a、D21b)を内部のメモリ22mに蓄積し、蓄積した情報に基づいてテロップ領域の位置(フレーム内における空間的位置)の時間変化を解析する。そして、テロップ領域の位置が所定の閾値よりも大きく変化した時刻をテロップ変更時刻乃至変更点として検出する。
The telop switching
テロップ切替点検出部22はまた、入力されたテロップに関する情報(D21a、D21b)に基づいて、テロップの出現の検出(出現したとの判定)、及びテロップの消滅の検出(消滅したとの判定)をも行い、これらが検出された時刻を、テロップ出現時刻乃至出現点、テロップ消滅時刻乃至消滅点として検出する。
The telop switching
テロップ切替点検出部22は、検出されたテロップの出現、消滅、変更の時刻を示す情報を、テロップ切替時刻情報D22aとして出力する。
The telop
以下では、テロップの出現時刻(出現点)、消滅時刻(消滅点)及び変更時刻(変更点)を切替時刻(切替点)と総称し、テロップの出現時刻から消滅時刻までの期間のうち、一つの切替時刻から次の切替時刻までの期間を一つのテロップの持続期間と言う。一つの持続期間は一つのテロップが連続して表示される期間である。 Hereinafter, the appearance time (appearance point), disappearance time (disappearance point), and change time (change point) of a telop are collectively referred to as switching time (switching point), and one of the periods from the appearance time of the telop to the disappearance time is one. A period from one switching time to the next switching time is called a duration of one telop. One duration is a period in which one telop is continuously displayed.
テロップ切替点検出部22はまた、テロップ領域検出部21で検出されたテロップの出現時刻から消滅時刻までの期間のうち、1又は2以上のテロップの各々の持続期間について、テロップ領域の代表的位置を検出し、該代表的位置を表す情報D22bを出力する。
The telop switching
例えば、テロップの持続期間の各々におけるテロップ領域の検出位置の平均的位置、又は当該持続期間内のフレームのいずれかにおけるテロップ領域の検出位置が、当該持続期間におけるテロップ領域の代表的位置として用いられる。 For example, the average position of the detected position of the telop area in each of the telop durations, or the detected position of the telop area in any of the frames within the duration is used as the representative position of the telop area in the duration. .
シーンチェンジ検出部23は、映像信号D13で表される映像のシーンチェンジを検出する。シーンチェンジとは、映像のシーンの切り替わりである。シーンチェンジ検出部23は、シーンチェンジが発生した時刻を示す情報(シーンチェンジ時刻情報)D23を出力する。ここでも、時刻とは例えばコンテンツ内における再生時刻(コンテンツの先頭からの経過時間)を意味する。
The scene
ストリーム解析部2は、テロップ切替点検出部22が生成したテロップ切替時刻情報D22aとテロップ領域代表位置情報D22bと、シーンチェンジ検出部23が生成したシーンチェンジ時刻情報D23とを画像処理部3に供給する。
The
画像処理部3は、デコーダ14からの映像信号D14を受け、テロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ時刻情報D23を参照して、テロップ検出部20で検出されたテロップ領域を補間対象領域として、補間対象領域内の画素の画素値を、補間対象領域以外の画素の画素値で補間して、補間後の映像信号を出力する。
The
補間の方法として、画像処理部3は、補間対象領域と同じフレーム内の画素を用いる空間補間、又は補間対象領域とは異なるフレーム内の、補間対象領域と同じ位置の画素を用いる時間補間、又は空間補間と時間補間の組合せのいずれかを選択する。
時間補間と空間補間の組合せを用いる場合には、時間補間を優先的に用いる方が良い。
As an interpolation method, the
When using a combination of temporal interpolation and spatial interpolation, it is better to use temporal interpolation preferentially.
画像処理部3は、テロップの出現時刻から消滅時刻までの期間(テロップの表示期間)内における1又は2以上のテロップの各々の持続期間について、補間方法を決定し、各持続期間におけるテロップの代表的位置(テロップ切替点検出部22で検出される)の領域を補間対象領域として、該補間対象領域内の画素に対して決定された補間方法で補間を行う。
補間方法の決定は以下のように行われる。
The
The interpolation method is determined as follows.
まず、画像処理部3は、テロップ変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、当該テロップ変更時刻を挟んで反対側にあるフレーム内の、補間対象領域と同じ位置が、上記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものであるか否か(テロップの文字で隠されているか否か)に応じて異なる方法で補間を行う。即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う。
First, when interpolating the pixels in the interpolation target area in the frame that is one before or after the telop change time, the
また、画像処理部3は、テロップの出現時刻から消滅時刻までの期間内に、1又は2以上のシーンチェンジが検出された場合、各シーンチェンジの発生時刻の前及び後のうちの一方におけるフレーム内の補間対象領域内の画素の補間に当たり、当該シーンチェンジの発生時刻を挟んで反対側に位置するフレーム内の画素を用いた補間を行わず、当該シーンチェンジの発生時刻に対して同じ側に位置するフレーム内の画素を用いて補間を行う。
In addition, when one or two or more scene changes are detected within the period from the appearance time to the disappearance time of the telop, the
また、画像処理部3は、テロップ出現時刻から消滅時刻までの期間(テロップ表示期間)内に、シーンチェンジが発生したか否かに応じて補間方法を変える。即ち上記テロップ表示期間内にシーンチェンジが発生しなかった場合には、上記テロップ表示期間内のすべてのフレーム内の補間対象領域内の画素の補間を、当該補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行う。
上記テロップ表示期間内に、1又は2以上のシーンチェンジが発生した場合には、シーンチェンジ発生時刻で分割されるそれぞれの区間毎に、以下のように補間方法を決める。
テロップ出現時刻から上記1又は2以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、テロップ出現時刻よりも前のフレーム内の画素を用いた時間補間で行う。
上記1又は2以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻から消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う。
Further, the
When one or more scene changes occur within the telop display period, the interpolation method is determined as follows for each section divided at the scene change occurrence time.
Interpolation of pixels in the interpolation target area in the frame in the period from the telop appearance time to the first scene change occurrence time among the one or more scene changes is performed in the frame before the telop appearance time. Performed by time interpolation using pixels.
Among the one or more scene changes, the interpolation of the pixels in the interpolation target area in the frame in the period from the last scene change occurrence time to the disappearance time is performed in a frame after the telop disappearance time. Performed by time interpolation using pixels.
さらに、画像処理部3は、テロップ出現時刻から消滅時刻までの期間内に発生した1又は2以上のシーンチェンジのうちの1つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間(シーンチェンジ間期間)については、当該シーンチェンジ間期間にテロップ変更点が含まれているか否かに応じて以下のように補間方法を変える。即ち、当該シーンチェンジ間期間にテロップ変更点が含まれている場合には、上記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、上記テロップ変更点の他方の側のフレーム内の、上記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものであるか否か(テロップの文字で隠されているか否か)に応じて異なる方法で補間を行う。
即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、上記補間対象領域と同じフレーム内の画素を用いた空間補間を行う。
Furthermore, the
That is, when not hidden by the telop characters, temporal interpolation is performed using the pixel value of the pixel at the same position. On the other hand, when the text is hidden by the telop character, spatial interpolation is performed using pixels in the same frame as the interpolation target area.
画像処理部3は、補間処理部31と補間制御部32とを有する。
テロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ時刻情報D23は、補間制御部32に入力される。
The
The telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 are input to the
補間制御部32は、テロップ領域代表位置情報D22bから補間対象領域を決定して、補間対象領域を示す情報D32cを生成するとともに、テロップ切替時刻情報D22aとシーンチェンジ時刻情報D23とから、補間対象領域の画素の補間値を求めるための補間方法、及び当該補間方法を適用する期間を決定して、決定した補間方法を示す情報D32aと、その補間方法を適用する期間を示す情報D32bとを生成し、これらの情報D32a、D32b及びD32cを、補間処理部31に出力する。
The
補間制御部32はさらに、補間方法を示す情報D32aとその補間方法を適用する期間を示す情報D32bとから、画像処理用の映像信号(符号化映像信号)を特定する情報(映像信号特定情報)D32dを生成して、制御部1のストリームバッファ12に出力する。ここで画像処理用に映像信号には、補間の対象となる映像信号と、補間に用いられる映像信号(補間のために参照される映像信号)が含まれる。
The
補間処理部31には、情報D32dによって特定されて、ストリームバッファ12から読み出され、デコーダ14でデコードすることで得られた映像信号D14と、補間制御部32からの、補間方法を示す情報D32aと、その補間方法を適用する期間を示す情報D32bと、補間対象領域を示す情報D32cとが入力される。
In the
補間処理部31は、デコーダ14からの映像信号D14のうちの、情報D32cで示される領域(補間対象領域)内の画素に対し、同じく映像信号D14のうちの、補間に用いられる映像信号を用いて、情報D32aが示す補間方法を、情報D32bで示される期間に亘って適用し、補間後の映像信号D3を生成する。補間後の映像信号D3は画像処理部3から出力される。
The
以下、実施の形態1の映像信号処理装置の動作について、より詳しく説明する。
映像信号処理装置の外部から供給されるトランスポートストリームTSがデマックス11に入力される。
Hereinafter, the operation of the video signal processing apparatus according to the first embodiment will be described in more detail.
A transport stream TS supplied from the outside of the video signal processing apparatus is input to the
デマックス11は入力されたトランスポートストリームを分離し、符号化映像信号を抽出する。ここで、トランスポートストリームTSは放送波を復調したものであり、トランスポートストリームTSは、映像信号と音声信号とデータ信号(文字放送用のデータ)と制御信号とを含む。映像信号と音声信号とデータ信号とは符号化されている。
The
デマックス11で抽出された、符号化映像信号は、ストリームバッファ12に送られ、ストリームバッファ12は符号化映像信号を一旦蓄積する。
ストリームバッファ12が蓄積する符号化映像信号の量は、後述する画像処理部3における補間に用いられる映像信号の範囲に依存する。
The encoded video signal extracted by the
The amount of the encoded video signal stored in the
ストリームバッファ12は、蓄積している符号化映像信号のうち、デマックス11から入力されたばかりの(最も新たに入力された)符号化映像信号を、ストリーム解析用の符号化映像信号として、デコーダ13に出力する。
The
また、ストリームバッファ12は、画像処理部3から入力された映像信号特定情報D32dによって特定される映像信号を、画像処理用の符号化映像信号としてデコーダ14に出力する。
The
デコーダ13は、入力された符号化映像信号を復号し、復号された映像信号D13をストリーム解析部2に出力する。ストリーム解析部2に入力された映像信号D13は、テロップ検出部20のテロップ領域検出部21とシーンチェンジ検出部23とに入力される。
The
テロップ領域検出部21は、映像信号D13からテロップの領域を検出する。
図2は、テロップ領域検出部21が検出するテロップの領域の一例を示す。
図中の「ABCDE」が検出対象のテロップであり、テロップを構成する文字を形成するすべての画素を内部に含み、水平方向の辺の長さ及び垂直方向の辺の長さがともに最短の矩形の領域TLaがテロップ領域である。図示のテロップ領域TLaは、画面FSの上部中央に位置している。なお、水平方向の辺の長さ及び垂直方向の辺の長さは、テロップの文字を内部に含むように定められれば良く、最短でなくても、若干の余裕を持つようにしても良い。
The telop
FIG. 2 shows an example of a telop area detected by the telop
“ABCDE” in the figure is a telop to be detected, and includes all the pixels that form the characters constituting the telop, and has the shortest horizontal side length and vertical side length. The area TLa is a telop area. The illustrated telop area TLa is located in the upper center of the screen FS. Note that the length of the horizontal side and the length of the vertical side need only be determined so as to include a telop character inside, and may have a slight margin even if it is not the shortest.
テロップの一例として緊急速報のテロップがある。これは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合には必要でない場合が多く、補間処理を施してテロップを消去すると、不要な情報が表示されず、快適な視聴をユーザーに提供することが可能となる。 An example of a telop is an emergency breaking telop. This is meaningful when viewed in real time, but is often not necessary when viewing recorded video signals. When interpolation processing is performed to delete the telop, unnecessary information is not displayed and it is comfortable. Viewing can be provided to the user.
テロップ領域検出部21は、検出したテロップ領域の、フレーム(画面)内における位置を示すテロップ領域検出位置情報D21aをテロップ切替点検出部22に出力する。テロップ領域検出位置情報D21aとしては、例えば、フレームの縦(垂直方向)と横(水平方向)とをそれぞれ軸とする座標系における、テロップの領域の左上と右下の座標がある。また、テロップ領域の左上の座標と、テロップ領域の縦の長さと横の長さの組合せでもよい。
The telop
テロップ領域検出部21はさらに、テロップが検出された時刻を示す情報D21bをテロップ切替点検出部22に出力する。
The telop
ここで、テロップ領域検出部21が映像信号から緊急速報のテロップの領域を検出する方法について、図3を用いて説明する。緊急速報のテロップは白字に黒い縁がついている。この特徴を利用してテロップの領域を検出する。図中の「AAA」が検出対象のテロップを示す。
Here, a method in which the telop
まず、映像信号を各行に沿って水平方向に、黒色(R=0かつG=0かつB=0)の画素を探索し、黒色の画素が検出されたら白色(R=255かつG=255かつB=255)の画素を探索する。但し、R、G、Bの信号が8ビットの信号であり、0〜255の範囲内の値を持つ場合を想定している。白色の画素が検出されたら、再び黒色の画素を探索する。このような処理によって、各行における黒色の画素と白色の画素とを検出する。上記の処理を複数の行について繰り返す。 First, a black (R = 0 and G = 0 and B = 0) pixel is searched for in the horizontal direction along each row of the video signal, and when a black pixel is detected, white (R = 255 and G = 255 and The pixel of B = 255) is searched. However, it is assumed that the R, G, and B signals are 8-bit signals and have values in the range of 0 to 255. When the white pixel is detected, the black pixel is searched again. Through such processing, black pixels and white pixels in each row are detected. The above processing is repeated for a plurality of rows.
次に、行毎に検出した黒色の画素に挟まれた、互いに連続する白色の画素の数を求め、この数が所定の閾値より小さいか否かを判定する。閾値よりも小さい場合、この行にはテロップがあると判定する。この白色の画素は文字の構成要素(例えばストローク)を示し、黒色の画素は文字の構成要素の縁を示し、白色の画素が連続して存在する数は文字の構成要素の幅、例えば縦方向のストロークの太さを示す。所定の値は、例えば、フレームの短辺の10%にあたる画素数(短辺が1080であれば108画素)とする。また、テロップがあると判定された行において、初めて黒色の画素が検出された位置と最後に黒色の画素が検出された位置を算出する。このようにして、行毎にテロップで占められる帯状の領域Lbiの左端位置LbiLと右端位置LbiRが検出される。 Next, the number of continuous white pixels sandwiched between black pixels detected for each row is obtained, and it is determined whether this number is smaller than a predetermined threshold value. If it is smaller than the threshold, it is determined that there is a telop in this line. This white pixel indicates the character component (for example, stroke), the black pixel indicates the edge of the character component, and the number of consecutive white pixels is the width of the character component, for example, the vertical direction Indicates the thickness of the stroke. The predetermined value is, for example, the number of pixels corresponding to 10% of the short side of the frame (108 pixels if the short side is 1080). Further, in the row where it is determined that there is a telop, the position where the black pixel is first detected and the position where the black pixel is finally detected are calculated. In this way, the left end position LbiL and the right end position LbiR of the band-like region Lbi occupied by the telop for each row are detected.
このようにして検出された複数の行の帯状の領域であって互いに垂直方向に連続するものLb1〜LbIからなる領域TLbを検出する。このとき、複数の帯状の領域Lb1〜LbIの左端位置Lb1L〜LbILを、その中で最も左に位置するものに揃え、複数の帯状の領域Lb1〜LbIの右端位置Lb1R〜LbIRを、その中で最も右に位置するものに揃えることで、矩形の領域を形成する。 A region TLb composed of a plurality of rows of strip-like regions detected in this manner and continuous in the vertical direction is detected. At this time, the left end positions Lb1L to LbIL of the plurality of band-like regions Lb1 to LbI are aligned with the leftmost position among them, and the right end positions Lb1R to LbIR of the plurality of band-like regions Lb1 to LbI are included therein. A rectangular region is formed by aligning with the rightmost one.
このような処理を行う結果、図示の例では符号TLbで示す矩形の領域がテロップ領域として検出される。
テロップ領域の位置を示す情報として、テロップ領域検出部21は、例えば、フレーム内における、テロップ領域TLbの左上隅の頂点PTcと右下隅の頂点PTdの位置を示す情報(座標値)を出力する。
As a result of performing such processing, in the example shown in the figure, a rectangular area indicated by reference numeral TLb is detected as a telop area.
As information indicating the position of the telop area, for example, the telop
なお、検出するのは、真っ黒(R=0かつG=0かつB=0)と真っ白(R=255かつG=255かつB=255)の画素でなくてもよい。これは、映像信号が圧縮されることにより、黒が多少グレーに、白が暗くなっている場合があるためである。このため黒に近い(例えば、R<16かつG<16かつB<16)画素と白に近い(例えば、R>224かつG>224かつB>224)画素を検出する。 Note that it is not necessary to detect pixels that are completely black (R = 0, G = 0, and B = 0) and completely white (R = 255, G = 255, and B = 255). This is because black may be somewhat gray and white may be dark due to the compression of the video signal. Therefore, pixels close to black (for example, R <16 and G <16 and B <16) and pixels close to white (for example, R> 224 and G> 224 and B> 224) are detected.
また、緊急速報以外のテロップとの区別をするには、テロップ領域TLbはテロップ領域を構成する文字の縁の部分にエッジが立っていること、及び/又は複数フレームに亘り上記エッジの位置が変化しないことを利用することとしても良い。
エッジの検出は、隣接する画素の映像信号の差分値により検出することができる。テロップの領域(文字の領域)は文字以外の画像の領域よりもこの差分値が大きい。よって、差分値をある閾値と比較し、閾値よりも大きい場合にエッジがあると判定することができる。
Also, in order to distinguish from telops other than emergency bulletins, the telop area TLb has an edge standing at the edge of the characters constituting the telop area and / or the position of the edge changes over a plurality of frames. It is good to use what you do not.
Edge detection can be performed based on a difference value between video signals of adjacent pixels. The difference value is larger in the telop area (character area) than in the image area other than characters. Therefore, the difference value is compared with a certain threshold value, and if it is larger than the threshold value, it can be determined that there is an edge.
テロップ領域検出部21から、テロップ領域検出位置情報D21aと、テロップが検出された時刻を示す情報D21bとが出力され、テロップ切替点検出部22に入力される。
From the telop
テロップ切替点検出部22は入力されたテロップ領域検出位置情報D21aで示されるテロップ領域の位置が大きく変化したときにテロップが変更されたものとして検出する。テロップが変更されたタイミングをテロップ変更時刻或いはテロップ変更点と言う。テロップ切替点検出部22は、テロップの変更を検出するため、一つ前のフレームのテロップ領域検出位置情報D21aを保持しておく。テロップ切替点検出部22は、入力された各フレーム(n)のテロップ領域検出位置情報D21a(n)と、一フレーム前のテロップ領域検出位置情報D21a(n−1)との差分ΔD21a(n)を算出する。例えば、テロップ領域検出位置情報D21a(n−1)における点PTc、PTdとテロップ領域検出位置情報D21a(n)における点PTc、PTdの座標値の差(差分値)を算出する。
The telop
テロップの位置が大きく変化した場合、この差分値が急に大きくなる。このとき、テロップが変更されたと判定し、テロップ変更点として検出する。差分値が急に大きくなったか否かは、閾値と比較することによって判定される。 When the position of the telop changes greatly, this difference value suddenly increases. At this time, it is determined that the telop has been changed, and is detected as a telop change point. Whether or not the difference value has suddenly increased is determined by comparing with a threshold value.
例えば、テロップ領域検出位置情報D21a(n)における点PTc、PTdの座標値をそれぞれ(xc(n),yc(n))、(xd(n),yd(n))で表し、テロップ領域検出位置情報D21a(n−1)における点PTc、PTdの座標をそれぞれ(xc(n−1),yc(n−1))、(xd(n−1),yd(n−1))で表すとき、
Δxc=xc(n)−xc(n−1)
Δyc=yc(n)−yc(n−1)
Δxd=xd(n)−xd(n−1)
Δyd=yd(n)−yd(n−1)
によって水平方向の位置の差分値、垂直方向の位置の差分値を求め、求めた各点についての各方向の差分値Δxc、Δyc、Δxd、Δydのうちのいずれかが、それぞれに対して予め定められた閾値を超えるときテロップが変更されたとの判断をしても良い。代わりに、上記の差分値に基づいて
Δmc=(Δxc2+Δyc2)1/2
Δmd=(Δxd2+Δyd2)1/2
によって点相互間の距離を求め、該距離Δmc、Δmdのいずれかが、それぞれに対して予め定められた閾値を超えるときにテロップが変更されたとの判断をしても良い。
For example, the coordinate values of the points PTc and PTd in the telop area detection position information D21a (n) are represented by (xc (n), yc (n)) and (xd (n), yd (n)), respectively, The coordinates of the points PTc and PTd in the position information D21a (n-1) are represented by (xc (n-1), yc (n-1)), (xd (n-1), yd (n-1)), respectively. When
Δxc = xc (n) −xc (n−1)
Δyc = yc (n) −yc (n−1)
Δxd = xd (n) −xd (n−1)
Δyd = yd (n) −yd (n−1)
To obtain a horizontal position difference value and a vertical position difference value, and each of the obtained difference values Δxc, Δyc, Δxd, Δyd for each point is determined in advance. It may be determined that the telop has been changed when the threshold value is exceeded. Instead, based on the above difference value, Δmc = (Δxc 2 + Δyc 2 ) 1/2
Δmd = (Δxd 2 + Δyd 2 ) 1/2
The distance between the points may be obtained by the above, and it may be determined that the telop has been changed when either of the distances Δmc and Δmd exceeds a predetermined threshold value.
上記のΔxc、Δyc、Δxd、Δyd、Δmc、Δmdに対する閾値は、例えば、いずれもフレーム(画面)の長辺の長さの10%程度に定められる。 The threshold values for the above Δxc, Δyc, Δxd, Δyd, Δmc, and Δmd are all set to about 10% of the length of the long side of the frame (screen), for example.
テロップ切替点検出部22は、検出したテロップ変更時刻乃至変更点を示す情報を生成する。例えば、テロップ変更の直前又は直後のフレームの時刻を示す情報(フレーム時刻情報)FTNを、テロップ変更時刻乃至変更点を示す情報として出力する。
The telop switching
また、テロップ切替点検出部22は、テロップの出現の検出(出現したとの判定)、及びテロップの消滅の検出(消滅したとの判定)をも行い、これらが検出された時刻、即ち、テロップ出現点及びテロップ消滅点を表す情報を生成する。
テロップ切替点検出部22は、テロップ変更点を示す情報、テロップ出現点を示す情報、及びテロップ消滅点を示す情報を含むテロップ切替時刻情報D22aを、画像処理部3に出力する。
The telop switching
The telop switching
テロップ出現点からテロップ消滅点までの期間内にn個のテロップ変更点が存在する場合、上記テロップの出現点から消滅点までの間に(n+1)個の互いに異なるテロップが表示されているとして扱う。そして、テロップ出現点から最初のテロップ変更点までの時間、最後のテロップ変更点からテロップ消滅点までの時間、相前後するテロップ変更点相互間の時間を、それぞれのテロップの持続期間として扱う。なお、テロップ出現点から消滅点までの期間にテロップ変更点が存在しない場合には、テロップ出現点からテロップ消滅点までの一つのテロップの持続期間である。 If there are n telop change points in the period from the telop appearance point to the telop disappearance point, it is treated that (n + 1) different telops are displayed from the telop appearance point to the disappearance point. . Then, the time from the telop appearance point to the first telop change point, the time from the last telop change point to the telop disappearance point, and the time between successive telop change points are treated as the duration of each telop. When no telop change point exists in the period from the telop appearance point to the disappearance point, it is the duration of one telop from the telop appearance point to the telop disappearance point.
また、テロップ切替点検出部22は、テロップ出現点から消滅点までの期間内の、一つのテロップ切替点(変更点、出現点、又は消滅点)から次のテロップ切替点までの期間、
即ち上記テロップ持続期間の各々において、テロップ領域の代表的位置を示す情報(テロップ領域代表位置情報)D22bを生成する。
Further, the telop switching
That is, in each of the telop durations, information (telop area representative position information) D22b indicating the representative position of the telop area is generated.
例えば、上記の持続期間内の複数のフレームのテロップ領域検出位置情報で示される位置の平均的位置を、テロップ領域代表位置情報としても良く、複数のフレームのうちの一つのフレームのテロップ領域検出位置情報を選択してテロップ領域代表位置情報としても良い。 For example, the average position of the positions indicated by the telop area detection position information of a plurality of frames within the above-described duration may be used as the telop area representative position information, and the telop area detection position of one frame among the plurality of frames Information may be selected and used as telop area representative position information.
こうすることにより、テロップが表示される期間中の全てのフレームのテロップ領域検出位置情報D21aを保存する必要がなくなり、メモリ22mの容量を小さくすることができる。
By doing so, it is not necessary to save the telop area detection position information D21a of all the frames during the telop display period, and the capacity of the
テロップ切替点検出部22は、このようにして生成されたテロップ領域情報D22bを、テロップ切替時刻情報D22aとともに、画像処理部3に出力する。
The telop switching
シーンチェンジ検出部23は、映像信号からシーンチェンジを検出する。シーンチェンジの検出は、公知の方法で行い得る。例えば、映像信号の平均輝度を算出し、平均輝度が相前後するフレーム間で大きく変化した場合、シーンチェンジがあると判定する。シーンチェンジ検出部23は、シーンチェンジの直前又は直後のフレームの時刻を示す情報をシーンチェンジ時刻情報D23として画像処理部3に出力する。例えば、処理対象となっているフレームにおいて、シーンチェンジが検出されたか否か、即ち、一つ前のフレームとの間に大きな差があるか否かの判断が行われ、シーンチェンジが検出された(シーンチェンジが発生したとの判定がされた)場合には、シーンチェンジが検出されたフレームの時刻を示す情報D23が出力される。
The scene
画像処理部3には、ストリーム解析部2からテロップ切替時刻情報D22aとテロップ領域代表位置情報D22bとシーンチェンジ時刻情報D23とが入力される。これらの情報は、補間制御部32に入力される。
The
補間制御部32は、テロップ領域代表位置情報D22bで示されるテロップ領域を補間対象領域とし、テロップ切替時刻情報D22aとシーンチェンジ時刻情報D23とから、補間対象領域の映像信号に施す補間方法を決定する。補間方法の決定方法を説明する前に、補間処理部31で実行可能な補間処理の種類について、説明する。
The
補間処理部31は、テロップ領域代表位置情報D22bで示される領域を補間対象領域として、補間を行う。補間処理部31で実行可能な補間処理には、他のフレームの映像信号を用いて補間する時間補間処理と、同一フレームの映像信号を用いて補間する空間補間処理とがある。
The
図4は、時間補間処理を示す。
図中の符号APが補間対象領域を示す。時間補間処理はあるフレームF(n)内の領域AP内の画像を、別のフレームF(m)において、領域APと同じ位置にある領域AQの画像で置き換える(領域AP内の各画素の画素値を、領域AQ内の対応する画素(同じ位置の画素)の画素値で置き換える)処理である。
但し、上記の別フレームF(m)において、領域AQgが上記別のフレームF(m)内のテロップ領域(フレームF(n)内のテロップ領域とは異なるテロップ領域)に含まれていないことを条件とする。
FIG. 4 shows the time interpolation process.
A symbol AP in the drawing indicates an interpolation target area. In the time interpolation processing, an image in an area AP in a frame F (n) is replaced with an image in an area AQ at the same position as the area AP in another frame F (m) (pixels in each area AP). (Replace the value with the pixel value of the corresponding pixel (pixel at the same position) in the area AQ).
However, in the other frame F (m), the area AQg is not included in the telop area in the other frame F (m) (the telop area different from the telop area in the frame F (n)). Condition.
図5は、空間補間処理を説明する図である。
図5は、補間対象領域とその周辺の画素を示している。破線で囲まれた領域が、補間対象領域APである。補間対象領域AP内の斜線を付した画素Ppを補間する場合、補間対象領域の周辺(補間対象領域APの外部)の画素Pa、Pb、Pc、Pdを補間に用いる画素とし、これ周辺の画素の画素値va、vb、vc、vdと、補間対象画素Ppから上記周辺の画素Pa、Pb、Pc、Pdまでの距離la、lb、lc、ldとから補間値vpを算出し、補間対象画素の画素値を補間値vpで上書きする(算出した補間値vpを補間対象画素Ppの画素値として用いる)。
FIG. 5 is a diagram illustrating the spatial interpolation process.
FIG. 5 shows the interpolation target area and surrounding pixels. A region surrounded by a broken line is an interpolation target region AP. When interpolating the shaded pixel Pp in the interpolation target area AP, the pixels Pa, Pb, Pc, and Pd around the interpolation target area (outside the interpolation target area AP) are pixels used for interpolation, and the surrounding pixels The interpolation value vp is calculated from the pixel values va, vb, vc, vd of the pixel and the distances la, lb, lc, ld from the interpolation target pixel Pp to the surrounding pixels Pa, Pb, Pc, Pd. Is overwritten with the interpolation value vp (the calculated interpolation value vp is used as the pixel value of the interpolation target pixel Pp).
補間値vpの算出は下記の式で表される演算で行われる。 The interpolation value vp is calculated by an operation represented by the following equation.
式(1)〜(1d)に示される演算は、補間に用いる画素の各々に対して、補間対象画素からの距離が短いほどより大きな重みを付けた加重平均を求める処理であると言える。 It can be said that the operations shown in the equations (1) to (1d) are processes for obtaining a weighted average with a larger weight for each pixel used for interpolation, the shorter the distance from the interpolation target pixel.
なお、画素毎に上記の計算を行うのではなく、複数の画素から成る領域毎に上記の計算を行うこととしても良い。その場合、図5に符号Ppで示し、斜線を付した領域を1つの画素ではなく、複数の画素から成る領域とし、同様に符号Pa、Pb、Pc、Pdで示す矩形を複数の画素から成る領域を示すものとし、領域Pa、Pb、Pc、Pdの各々内の画素の画素値の平均値を、式(1)のva、vb、vc、vdとし、式(1)で求められたvpを領域Pp内のすべての画素の画素値として用いることとしても良い。 In addition, it is good also as not performing said calculation for every pixel but performing said calculation for every area | region which consists of a some pixel. In this case, the area indicated by the symbol Pp in FIG. 5 is a hatched area that is composed of a plurality of pixels instead of one pixel, and the rectangles denoted by the symbols Pa, Pb, Pc, and Pd are also composed of a plurality of pixels. Vp obtained by Expression (1), where the average value of the pixel values of the pixels in each of the areas Pa, Pb, Pc, and Pd is defined as va, vb, vc, and vd in Expression (1). May be used as the pixel values of all the pixels in the region Pp.
また、補間値vpは下記の式で表される演算で求めても良い。 Further, the interpolation value vp may be obtained by calculation represented by the following equation.
式(2)に示される演算も、式(1)〜(1d)と同様に、補間に用いる画素のそれぞれに対して、補間対象画素からの距離が短いほどより大きな重みをつけた加重平均を求める処理である。式(2)の方が、距離による重みの差がより大きくなるため、縦に対して横が非常に長いテロップ領域では、算出した補間値はテロップ領域の上下の画素(va、vd)に近い値になり、本来の画像(テロップが重畳されない場合に表示されるはずだった画像)に、より近い画像を生成することができる。 Similarly to the equations (1) to (1d), the calculation shown in the equation (2) is performed by calculating a weighted average with a larger weight as the distance from the interpolation target pixel is shorter. This is the processing that you want In Formula (2), the difference in weight due to distance is larger, so in a telop area that is very long horizontally, the calculated interpolation value is closer to the upper and lower pixels (va, vd) of the telop area. It becomes a value, and an image closer to the original image (image that should have been displayed when the telop is not superimposed) can be generated.
次に、補間方法の決定の方法について図6を用いて説明する。
図6はテロップ表示期間内の各区間における補間方法を示している。
補間制御部32は、テロップ出現点からテロップ消滅点までの期間内の補間方法を決定する。
Next, a method for determining an interpolation method will be described with reference to FIG.
FIG. 6 shows an interpolation method in each section in the telop display period.
The
補間に用いられる画素はシーンチェンジが起きる度に変更される。これは、本来の画像(テロップが重畳されない場合に表示されるはずだった画像)に、より近い画像を生成するための補間に用いられるべき画素が、シーンチェンジの発生の前後で異なるためである。 The pixels used for interpolation are changed each time a scene change occurs. This is because the pixels to be used for interpolation to generate an image closer to the original image (the image that should have been displayed when the telop is not superimposed) are different before and after the occurrence of the scene change. .
一般的に空間補間よりも時間補間の方が、本来の画像(テロップがない場合の画像)に近い画像で置き換えることができるため、可能な限り時間補間を行うのが望ましい。しかしながら、シーンチェンジが起きた場合、シーンチェンジの前後の複数フレームを用いて時間補間をすると、テロップ領域だけ別のシーンの画像がはめ込まれ、本来の画像とは著しく異なるものとなる。そこでシーンチェンジが起きた場合には、シーンチェンジの前及び後のうちの一方では、他方からの時間補間を行わない。 In general, temporal interpolation can be replaced with an image closer to the original image (image without a telop) rather than spatial interpolation, so it is desirable to perform temporal interpolation as much as possible. However, when a scene change occurs, if time interpolation is performed using a plurality of frames before and after the scene change, an image of another scene is inserted only in the telop area, which is significantly different from the original image. Therefore, when a scene change occurs, time interpolation from the other side is not performed either before or after the scene change.
また、相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれない場合には、空間補間のみを行う。
相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれる場合には、テロップ変更点の前及び後のうちの一方で他方からの時間補間を行うことはあり得る。この場合、上記他方に属するフレーム内に、上記一方に属するフレーム内の補間対象領域と同一の位置の画素が、上記他方に属するフレーム内のテロップ領域に含まれない場合には、時間補間が行われる。そうでなければ空間補間が行われる。
即ち、補間方法として空間補間のみとするか空間補間と時間補間を併用するかは、相前後する2つのシーンチェンジに挟まれた期間内にテロップ変更点が存在するか否か、及びテロップ変更点の前後でのテロップ領域が重なっているか否かで変わる。
以下に補間方法の決定のための基準を説明する。
In addition, when it is a period between successive scene changes and no telop change point is included in the period, only spatial interpolation is performed.
It is a period between successive scene changes, and if a telop change point is included in the period, it is possible to perform time interpolation from one of the other before and after the telop change point . In this case, if a pixel at the same position as the interpolation target area in the frame belonging to the other is not included in the telop area in the frame belonging to the other, the temporal interpolation is performed. Is called. Otherwise, spatial interpolation is performed.
That is, whether the interpolation method is only spatial interpolation or the combination of spatial interpolation and temporal interpolation is whether or not there is a telop change point within a period between two adjacent scene changes, and the telop change point. It changes depending on whether the telop areas before and after overlap.
The criteria for determining the interpolation method will be described below.
(Ja) テロップ出現点(t11)から最初のシーンチェンジ(t12)までの期間(例えばTa)と、最後のシーンチェンジ(t16)からテロップ消滅点(t17)までの期間(例えばTf)は、時間補間とする。
但し、期間Taでは、テロップ出現点(t11)よりも前の画像を用いた時間補間を行い、期間Tfでは、テロップ消滅点(t17)よりも後の画像を用いた時間補間を行う。
これは、テロップで隠れた画素から成る画像がテロップ出現前もしくはテロップ消滅後のフレームに存在するためである。この画像で補間することにより、テロップを消去して、本来の画像により近い画像で置き換えることができる。
(Ja) The period from the telop appearance point (t11) to the first scene change (t12) (for example, Ta) and the period from the last scene change (t16) to the telop disappearance point (t17) (for example, Tf) are time Interpolate.
However, in the period Ta, the time interpolation using the image before the telop appearance point (t11) is performed, and in the period Tf, the time interpolation using the image after the telop disappearance point (t17) is performed.
This is because an image composed of pixels hidden by the telop exists in a frame before the telop appears or after the telop disappears. By interpolating with this image, the telop can be erased and replaced with an image closer to the original image.
(Jb) シーンチェンジ点(t12、t13、t16)相互間の期間(Tb、Th)は、その期間中にテロップ変更点があるか否かで補間方法が異なる。
例えば期間Tbのように、テロップ変更点がない場合、補間方法は空間補間のみとする。
例えば期間Thのように、テロップ変更点(t14、t15)がある場合、補間方法は時間補間と空間補間を組み合わせて用いる。
(Jb) Interpolation methods differ between periods (Tb, Th) between scene change points (t12, t13, t16) depending on whether there is a telop change point during that period.
For example, when there is no telop change point as in the period Tb, the interpolation method is only spatial interpolation.
For example, when there is a telop change point (t14, t15) as in the period Th, the interpolation method uses a combination of temporal interpolation and spatial interpolation.
時間補間と空間補間を組み合わせて処理をする(併用する)場合、時間補間を優先する。時間補間できる場合、すなわち、テロップで隠れた画素から成る画像が別のフレームに存在する場合には時間補間を適用する。 When processing is performed by combining temporal interpolation and spatial interpolation (used together), priority is given to temporal interpolation. When temporal interpolation is possible, that is, when an image composed of pixels hidden by a telop exists in another frame, temporal interpolation is applied.
例えば期間Tc内のフレーム内のテロップTL1の領域を補間対象領域とする画素の補間には、テロップ変更点t14以降のフレームにおける、テロップTL1の領域(補間対象領域)内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点t14以降のフレームにおいて、テロップTL1の領域(補間対象領域)内の各画素と同一の位置が、テロップTL2の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 For example, for the interpolation of a pixel having the telop TL1 region in the frame within the period Tc as the interpolation target region, the same position as each pixel in the telop TL1 region (interpolation target region) in the frame after the telop change point t14 is used. Pixels are used. In this case, in the frame after the telop change point t14, when the same position as each pixel in the telop TL1 area (interpolation target area) is included in the telop TL2 area, spatial interpolation is performed for that pixel. Only is used.
期間Td内のフレーム内のテロップTL2の領域を補間対象領域とする画素の補間には、テロップ変更点t14以前又はテロップ変更点t15以降のフレームにおける、テロップTL2の領域(補間対象領域)内の各画素と同一位置の画素が用いられる。 For interpolation of a pixel having the telop TL2 region in the frame within the period Td as an interpolation target region, each of the telop TL2 regions (interpolation target regions) in the frame before the telop change point t14 or after the telop change point t15 is used. A pixel at the same position as the pixel is used.
この場合、テロップ変更点t14以前のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL1の領域内に含まれ、かつテロップ変更点t15以降のフレームにおいて、テロップTL2の領域内(補間対象領域)の各画素と同一の位置が、テロップTL3の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 In this case, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL1 region, and in the frame after the telop change point t15, When the same position as each pixel in the telop TL2 area (interpolation target area) is included in the telop TL3 area, only spatial interpolation is used for that pixel.
テロップ変更点t14以前のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL1の領域内に含まれ、かつテロップ変更点t15以降のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL3の領域内に含まれない場合には、テロップ変更点t15以降のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置の画素が用いられる。 In the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL1 region, and in the frame after the telop change point t15, the telop TL2 When the same position as each pixel in the region (interpolation target region) is not included in the telop TL3 region, each frame in the telop TL2 region (interpolation target region) in the frame after the telop change point t15. A pixel at the same position as the pixel is used.
逆に、テロップ変更点t14以前のフレームにおいて、テロップTL2の領域内(補間対象領域)の各画素と同一の位置が、テロップTL1の領域内に含まれず、かつテロップ変更点t15以降のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL3の領域内に含まれる場合には、テロップ変更点t14以前のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置の画素が用いられる。 Conversely, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is not included in the telop TL1 region, and in the frames after the telop change point t15, When the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL3 region, in the telop TL2 region (interpolation target region) in the frame before the telop change point t14 Pixels at the same position as each of the pixels are used.
さらに、テロップ変更点t14以前のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL1の領域内に含まれず、かつテロップ変更点t15以降のフレームにおいて、テロップTL2の領域(補間対象領域)内の各画素と同一の位置が、テロップTL3の領域内に含まれない場合に、テロップ変更点t14以前のフレームの画素を用いるか、テロップ変更点t15以降のフレームの画素を用いるかは、期間Tdにおける期間Td中の時点によって決めても良い。例えば、期間Tdを前半Td1と後半Td2に分け、前半はテロップ変更点t14以前のフレームを用い、後半Td2はテロップ変更点t15以降のフレームを用いても良い。 Further, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is not included in the telop TL1 region, and the telop in the frame after the telop change point t15 When the same position as each pixel in the TL2 area (interpolation target area) is not included in the telop TL3 area, the pixel of the frame before the telop change point t14 is used, or the frame after the telop change point t15 Whether to use these pixels may be determined according to the time point in the period Td in the period Td. For example, the period Td may be divided into the first half Td1 and the second half Td2, the first half may use frames before the telop change point t14, and the second half Td2 may use frames after the telop change point t15.
期間Te内のフレーム内のテロップTL3の領域を補間対象領域とする画素の補間には、テロップ変更点t15以前のフレームにおける、テロップTL3の領域(補間対象領域)内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点t15以前のフレームにおいて、テロップTL3の領域(補間対象領域)内の各画素と同一の位置が、テロップTL2の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 For interpolation of a pixel having the telop TL3 region in the frame within the period Te as the interpolation target region, pixels in the same position as each pixel in the telop TL3 region (interpolation target region) in the frame before the telop change point t15 Is used. In this case, if the same position as each pixel in the telop TL3 region (interpolation target region) is included in the telop TL2 region in the frame before the telop change point t15, spatial interpolation is performed for that pixel. Only is used.
補間制御部32は、以上のような決定の結果に基づき、時間補間、空間補間又はその両方の組合せを補間方法として示す情報D32aと、その補間方法を適用する期間を示す情報D32bと、画像処理用の映像信号(符号化映像信号)を特定する情報(映像信号特定情報)D32dとを制御部1のストリームバッファ12に出力する。
補間方法が空間補間の場合には、画像処理用の映像信号は、補間処理の対象である映像信号のみを含み、補間方法が時間補間を含む場合には、画像処理用に映像信号には、補間に用いられる映像信号も含まれる。
Based on the determination results as described above, the
When the interpolation method is spatial interpolation, the video signal for image processing includes only the video signal to be interpolated, and when the interpolation method includes temporal interpolation, the video signal for image processing includes Video signals used for interpolation are also included.
補間制御部32は、映像信号特定情報D32dをストリームバッファ12に出力し、補間方法を示す情報D32aと、補間方法を適用する期間を示す情報D32bと、補間処理対象領域を示す情報D32cとを補間処理部31に出力する。
ストリームバッファ12は、補間制御部32より入力された映像信号特定情報D32dで特定された映像信号をデコーダ14に出力する。
The
The
図7を用いて、ストリームバッファ12が蓄積する映像信号および画像処理用の符号化映像信号について説明する。
図は補間処理部31の処理タイミングを示す。
補間制御部32が補間方法を決定するのはシーンチェンジの発生、テロップの変更、又はテロップの消滅が検出された時である。
The video signal stored in the
The figure shows the processing timing of the
The
図7に示す期間TA(テロップ出現点t21から最初のシーンチェンジまたはテロップ変更点t22までの期間)中のフレームに対する補間方法は、テロップ出現点t21の後の最初のシーンチェンジまたはテロップ変更点t22が検出されたときに決定され、矢印DEaで示すようにその時点t22以降に期間TA中のフレームに対する補間の処理が実行される。
よって、ストリームバッファ12は、矢印SDaで示すように、テロップ出現点t21の直前のフレームと、テロップ出現点t21からシーンチェンジまたはテロップ変更点t22までの映像信号を、時点t22まで蓄積し、保持する必要がある。
The interpolation method for the frame in the period TA (period from the telop appearance point t21 to the first scene change or telop change point t22) shown in FIG. 7 is that the first scene change or telop change point t22 after the telop appearance point t21 is It is determined when it is detected, and as shown by the arrow DEa, interpolation processing is performed on frames in the period TA after the time t22.
Therefore, the
同様に、期間TB(最初のシーンチェンジ又はテロップ変更点t22から次のシーンチェンジ又はテロップ変更点t23までの期間)中のフレームに対する補間方法は、シーンチェンジ又はテロップ変更点t23が検出されたときに決定され、矢印DEbで示すようにその時点t23以降に、期間TB中のフレームに対する補間の処理が実行される。よって、ストリームバッファ12は、矢印SDbで示すように、シーンチェンジ又はテロップ変更点t22の直前のフレームと、シーンチェンジ又はテロップ変更点t22からシーンチェンジまたはテロップ変更点t23までの映像信号を、時点t23まで蓄積し、保持する必要がある。
Similarly, the interpolation method for the frame during the period TB (the period from the first scene change or telop change point t22 to the next scene change or telop change point t23) is as follows. As shown by the arrow DEb, after the time t23, interpolation processing for the frame in the period TB is executed. Therefore, as shown by the arrow SDb, the
同様に、期間TC(シーンチェンジ又はテロップ変更点t23からテロップ消滅点t24までの期間)中のフレームに対する補間方法は、テロップ消滅点t24が検出されたときに決定され、矢印DEcで示すようにその時点t24以降に、期間TC中のフレームに対する補間の処理が実行される。よって、ストリームバッファ12は、矢印SDcで示すように、シーンチェンジまたはテロップ変更点t23の直前のフレームと、シーンチェンジ又はテロップ変更点t23からテロップ消滅点t24までの映像信号を時点t24まで蓄積し、保持する必要がある。
Similarly, the interpolation method for the frame during the period TC (the period from the scene change or telop change point t23 to the telop disappearance point t24) is determined when the telop disappearance point t24 is detected, and as shown by the arrow DEc After time t24, interpolation processing for the frame in the period TC is executed. Therefore, the
ストリームバッファ12は、映像信号特定情報D32dに基づいて、これらのフレームのデータを蓄積し、保持する。
The
デコーダ14は、ストリームバッファ12から入力された画像処理用の符号化映像信号を復号して、復号後の映像信号を画像処理部3の補間処理部31に出力する。
映像信号特定情報D32dで特定される画像処理用の映像信号には、画像処理対象である映像信号と補間に使用する映像信号とが含まれる。補間制御部32が決定した補間方法が空間補間処理である場合には、画像処理対象である映像信号と補間に使用する映像信号は同一の映像信号となる。
The
The video signal for image processing specified by the video signal specifying information D32d includes a video signal to be processed and a video signal used for interpolation. When the interpolation method determined by the
補間処理部31には、補間制御部32から補間方法を示す情報D32aと補間期間を示す情報D32bと補間処理対象領域を示す情報D32cとが入力され、制御部1のデコーダ14から画像処理対象である映像信号が入力される。
補間処理部31は、補間に使用する映像信号において、補間処理対象領域と同一の位置の画像からテロップで隠れた画素の映像信号を上述した方法で生成し、補間処理対象である映像信号に上書きして補間映像を生成し、生成した補間映像D3を画像処理部3から出力する。
Information D32a indicating the interpolation method, information D32b indicating the interpolation period, and information D32c indicating the interpolation processing target area are input from the
The
以下、実施の形態1の映像処理方法を図8及び図9のフローチャートを用いて、説明する。
以下では、一つのコンテンツを構成する映像信号に対して順次処理を行うものとして説明する。
まず、デマックス11がトランスポートストリーム(TS)から映像信号を抽出する(ST1)。
Hereinafter, the video processing method according to the first embodiment will be described with reference to the flowcharts of FIGS.
In the following description, it is assumed that processing is sequentially performed on video signals constituting one content.
First, the
次に、ストリームバッファ12が映像信号を蓄積する(ST2)。
次に、デコーダ13がストリーム解析用の映像信号をデコードする(ST3)。
ステップST3でデコードされた映像信号はテロップ領域検出部21とシーンチェンジ検出部23に送られる。
Next, the
Next, the
The video signal decoded in step ST3 is sent to the
次に、テロップ領域検出部21が映像信号からテロップの領域の検出を行う(ST4)。このテロップ領域の検出においては、各フレーム(順次処理対象となるフレームの各々)内にテロップ領域が存在するかどうかの判定、及び存在する場合には、その位置の検出が行われ、テロップ領域検出位置情報D21a及びテロップ領域が検出された時刻を示す情報D21bが出力される。
Next, the telop
次に、ステップST4でのテロップ領域の検出結果(テロップ領域が存在すか否かの判定の結果を示す情報、テロップ領域が存在するとの判定に伴う、テロップ領域の位置を示す情報、及びテロップ領域が存在すると判定されたフレームの時刻を示す情報)に基づいて、処理対象となっているフレームにおいて、テロップ切替点(出現点、変更点、又は消滅点)が発生したか否かの判定を行う(ST5)。
また、テロップ切替点が発生したと判定された場合、それがテロップ出現点であるか否かの判定を行う(ST6)。
この判定は、ステップST4におけるテロップ領域検出の結果に基づいて行われる。
Next, the detection result of the telop area in step ST4 (information indicating the result of determining whether or not the telop area exists, information indicating the position of the telop area and the telop area associated with the determination that the telop area exists) Based on the information indicating the time of the frame determined to exist), it is determined whether or not a telop switching point (appearance point, change point, or disappearance point) has occurred in the frame to be processed ( ST5).
If it is determined that a telop switching point has occurred, it is determined whether or not it is a telop appearance point (ST6).
This determination is made based on the result of the telop area detection in step ST4.
ステップST6でテロップ出現点であれば(ST6でYES)、ステップST7でテロップ出現点が発生したことを補間制御部32内のメモリ32mに記憶し、その後ステップST19に進む。
If it is a telop appearance point in step ST6 (YES in ST6), the fact that a telop appearance point has occurred is stored in the
テロップ出現点以外であれば(ST6でNO)、テロップ領域代表位置情報D22bを生成し(ST8)、その後ステップST10に進む。 If it is not a telop appearance point (NO in ST6), telop area representative position information D22b is generated (ST8), and then the process proceeds to step ST10.
ステップST5〜ST8の処理と並行して、シーンチェンジ検出部23が映像信号からシーンチェンジを検出する(ST9)。ステップST9の次にステップST10に進む。
In parallel with the processing of steps ST5 to ST8, the scene
ステップST10では、テロップ切替点又はシーンチェンジが発生したか否かの判定が行われる。この判定は、ステップST4におけるテロップ領域の検出結果、及びステップST9における検出結果に基づいて行われる。 In step ST10, it is determined whether a telop switching point or a scene change has occurred. This determination is performed based on the detection result of the telop area in step ST4 and the detection result in step ST9.
ステップST10でNOの場合(テロップ切替点及びシーンチェンジのいずれもが発生しなかった場合にはステップST19に進む。)
ステップST10でYESの場合(テロップ切替点又はシーンチェンジが発生した場合)には、ステップST11に進む。
If NO in step ST10 (if neither a telop switching point nor a scene change has occurred, the process proceeds to step ST19)
If YES in step ST10 (when a telop switching point or a scene change occurs), the process proceeds to step ST11.
ステップST11では、ステップST10での判定の結果に基づいて、テロップ切替点又はシーンチェンジがあったとの検出情報、及びテロップ切替点の場合には、テロップ出現点、テロップ変更点及びテロップ消滅点のいずれであるかを示す情報が供給される。
次にステップST12では、補間制御部32内のメモリ32mに記録される。この検出情報は、テロップ出現点、テロップ変更点、テロップ消滅点、及びシーンチェンジのいずれが発生したかを示すものである。
In step ST11, based on the result of determination in step ST10, detection information that a telop switching point or scene change has occurred, and in the case of a telop switching point, any of the telop appearance point, the telop change point, and the telop disappearance point Information indicating whether or not is supplied.
Next, in step ST12, it is recorded in the
メモリ32mは、入力された検出情報のうち、最新のものと一つ前のもののみを保持する。即ちすでに2つの検出情報が記録されている状態で新たな検出情報が入力されると、古い方を検出情報に対して新たに入力された検出情報を上書きする。
The
次に、ステップST13では、メモリ32mを参照して、記録されている検出情報がともにテロップ変更点を示すものであるか否かの判定を行う。
ともにテロップ変更点を示すものであれば(ST13でYES)、ステップST14に進み、現在用いている補間方法をそのまま用いること(補間方法を変更しない)との処理を行う。
Next, in step ST13, with reference to the
If both indicate a telop change point (YES in ST13), the process proceeds to step ST14, and processing is performed in which the interpolation method currently used is used as it is (the interpolation method is not changed).
少なくともいずれか一方がテロップ変更点を示すものではないときは(ST13でNO)、ステップST15に進む。
ステップST15では、最新の検出情報の内容と一つ前の検出情報の内容に基づいて補間方法を決定する。具体的には、以下のように決定する。
When at least one of them does not indicate a telop change point (NO in ST13), the process proceeds to step ST15.
In step ST15, an interpolation method is determined based on the latest detection information content and the previous detection information content. Specifically, it is determined as follows.
(ST15a)一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理とする。
(ST15b)一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理とする。
(ST15c)一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
(ST15d)一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「シーンチェンジ」を示せば、空間補間処理とする。
(ST15e)一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理と空間補間処理の両方とする。
(ST15f)一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
(ST15g)一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理と空間補間処理の両方とする。
(ST15h)一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
(ST15a) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “scene change”, the time interpolation processing is performed.
(ST15b) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “telop change point”, time interpolation processing is performed.
(ST15c) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “telop disappearance point”, the time interpolation processing is performed.
(ST15d) If the previous detection information indicates “scene change” and the latest detection information indicates “scene change”, the spatial interpolation processing is performed.
(ST15e) If the previous detection information indicates “scene change” and the latest detection information indicates “telop change point”, both time interpolation processing and spatial interpolation processing are performed.
(ST15f) If the previous detection information indicates “scene change” and the latest detection information indicates “telop vanishing point”, the time interpolation processing is performed.
(ST15g) If the previous detection information indicates “telop change point” and the latest detection information indicates “scene change”, both temporal interpolation processing and spatial interpolation processing are performed.
(ST15h) If the previous detection information indicates “telop change point” and the latest detection information indicates “telop disappearance point”, the time interpolation processing is performed.
決定基準ST15e及びST15g並びにステップST14の処理で用いられる基準を組み合わせると、以下の如くとなる。即ち、
(ST15i) 一つのシーンチェンジから次のシーンチェンジまでの期間(シーンチェンジ間期間)においては、補間方法は、時間補間と空間補間の組合せを用いる。
Combining the criteria used in the determination criteria ST15e and ST15g and the processing of step ST14 results in the following. That is,
(ST15i) In the period from one scene change to the next scene change (inter-scene change period), the interpolation method uses a combination of temporal interpolation and spatial interpolation.
補間制御部32は、ステップST15で決定した補間方法を示す情報をメモリ32mに保存する。補間制御部32はさらに、補間のための画像処理用の映像信号を示す情報(映像信号特定情報)D32dを生成する。
The
ステップST14又はST15の次にステップST16に進む。
ステップST16で、補間制御部32は、決定した補間方法を示す情報D32a、及び映像信号特定情報D32dを出力する。
After step ST14 or ST15, the process proceeds to step ST16.
In step ST16, the
次に、ステップST17で、映像信号特定情報D32dがストリームバッファ12に伝えられ、情報D32dで特定された映像信号が読み出されて、デコーダ14でデコードされる。
Next, in step ST17, the video signal specifying information D32d is transmitted to the
デコードされた映像信号D14は、補間処理部31に供給され、補間処理部31では、補間制御部32によって補間対象領域の画素に対して、指定される補間方法で補間を行う(ST18)。
The decoded video signal D14 is supplied to the
ステップST18の次にステップST19に進む。
ステップST19では、処理対象となっているコンテンツの最後か否かの判定が行われ、最後であれば、処理を終了する。最後でなければ、ステップST1に戻り、同様の動作を繰り返す。
After step ST18, the process proceeds to step ST19.
In step ST19, it is determined whether or not the content to be processed is the last, and if it is the last, the processing is terminated. If it is not the last, it returns to step ST1 and repeats the same operation.
上記の映像信号処理装置では、ストリーム解析部2でテロップの出現点及び消滅点のほか、テロップ変更点及びシーンチェンジを検出し、これらに基づきテロップ領域(補間対象領域)に施す補間の方法を決定しているため、各期間において最適の方法で補間を行うことができ、本来の画像により近い画像を表す映像信号を生成することができるという効果が得られる。これにより、録画した映像信号を視聴する場合には不要となったテロップがない映像信号をユーザーに提供できる。
In the above video signal processing apparatus, the
また、本実施の形態1の映像信号処理装置では、シーンチェンジの一方の側では他方の側の画素或いは画像を用いた補間を行わないので、異なるシーンの映像を補間に用いることによって周囲と調和しない映像が発生するのを防ぐことができる。 In addition, in the video signal processing apparatus according to the first embodiment, since interpolation using pixels or images on the other side is not performed on one side of the scene change, the video of a different scene is used for interpolation to match the surroundings. It is possible to prevent the occurrence of unintended video.
なお、本実施の形態では、トランスポートストリームが制御部1に入力される構成にしているが、これに限らず、プログラムストリームでも構わない。この場合、DVDまたはBDレコーダー等に記録した映像信号について、テロップを検出し、消去する映像信号処理装置になる。 In the present embodiment, the transport stream is input to the control unit 1. However, the present invention is not limited to this, and a program stream may be used. In this case, the video signal processing apparatus detects a telop and deletes it from a video signal recorded on a DVD or BD recorder or the like.
また、本実施の形態では、補間制御部32が決定する補間方法は、シーンチェンジとシーンチェンジとの間の期間に空間補間または時間補間と空間補間を適用することとしているが、空間補間は補間値を計算して生成しているため処理に時間がかかる。そこで、補間処理を高速化するため、空間補間処理はシーンチェンジ直後の1フレームだけに適用し、その後のフレームについては空間補間で得られたこの1フレームのテロップ領域の画像を用いた時間補間を行うこととしてもよい。
In the present embodiment, the interpolation method determined by the
また、本実施の形態では、補間処理部31の空間補間処理は、テロップ領域内の全画素の補間値を、テロップ領域の周辺画素を用いて算出する構成にしているが、ストリーム解析部2が検出するテロップ領域はテロップの文字を構成する画素を含む矩形であるため、テロップ領域にはテロップの文字を構成している画素(以下、文字画素と表現する)ではない画素も含まれる。そこで、テロップ領域内の文字画素の補間値のみを算出し、テロップ領域内の文字画素以外の画素については、補間値の算出や補間値による置き換えなどの処理をしないようにしてもよい。このとき、文字画素の補間値算出に使用する周辺画素は、当該画素の上下左右の各方向について最も近い文字画素以外の画素を用いると、テロップを消去して本来の画像により近い画像を生成することができる。
In the present embodiment, the spatial interpolation processing of the
また、本実施の形態では、補間制御部32が決定した補間方法が時間補間処理であった場合、補間に使用する映像信号をテロップ切替点ないしシーンチェンジの直前もしくは直後のフレームとしているが、テロップ切替点ないしシーンチェンジの数フレーム前もしくは数フレーム後のフレームとしてもよい。数フレームとは、例えば、2フレームにする。これは、テロップやシーンの切り替わりが、3フレーム以上のフレームに亘り徐々に切り替わることがあるためである。
In the present embodiment, when the interpolation method determined by the
実施の形態2.
図10は、本発明の実施の形態2に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部1、ストリーム解析部2、画像処理部3、受信部4、復調部5、及び表示部6を備える。
FIG. 10 shows a configuration of a video signal processing apparatus according to
実施の形態1に対する相違点は、受信部4と、受信部4で受信した放送波を復調する復調部5を備え、復調部5で復調することで得られたトランスポートストリームが制御部1に入力される点と、画像処理部3が出力した映像信号を表示する表示部6を備える点である。実施の形態1と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that a receiving unit 4 and a demodulating unit 5 that demodulates a broadcast wave received by the receiving unit 4 are provided, and a transport stream obtained by demodulating by the demodulating unit 5 is transmitted to the control unit 1. The point which is input and the point which is provided with the
受信部4は放送波を受信し、復調部5は受信部4が受信した放送波を復調し、トランスポートストリームの形式に変換して制御部1へ出力する。 The receiving unit 4 receives the broadcast wave, and the demodulating unit 5 demodulates the broadcast wave received by the receiving unit 4, converts it into a transport stream format, and outputs it to the control unit 1.
制御部1は、入力されたトランスポートストリームを受け、実施の形態1と同様に、画像処理部3からの情報D32dに基づいて画像処理用の映像信号D14を画像処理部3に出力し、ストリーム解析用の映像信号D13をストリーム解析部2に出力する。ストリーム解析部2は映像信号D13からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ点情報D23を画像処理部3に出力する。
The control unit 1 receives the input transport stream, and outputs a video signal D14 for image processing to the
画像処理部3は、ストリーム解析部2から入力されたテロップ切替時刻情報D22a及びテロップ領域代表位置情報D22b、並びにシーンチェンジ時刻情報D23に基づき、実施の形態1で説明したのと同様に補間処理を行い、補間により生成した映像信号を表示部6に出力する。
表示部6は、入力された補間後の映像信号を表示する。
Based on the telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 input from the
The
実施の形態2の映像信号処理装置は、表示部6を有する構成であるため、テロップを消去した本来の映像により近い映像を視聴することが可能になるという効果がある。
Since the video signal processing apparatus according to the second embodiment has the
また、受信部4と復調部5と表示部を有する構成であるため、放送波を受信し、テロップを消去し本来の映像により近い映像を視聴することができるという効果が得られる。 In addition, since the receiving unit 4, the demodulating unit 5, and the display unit are provided, an effect is obtained in which a broadcast wave is received, a telop is deleted, and a video closer to the original video can be viewed.
なお、本実施の形態は、映像信号の受信機、すなわち、家庭用のテレビや車載用のテレビに適用可能である。 Note that the present embodiment can be applied to a video signal receiver, that is, a home television set or a vehicle-mounted television set.
実施の形態3.
図11は、本発明の実施の形態3に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部1、ストリーム解析部2、画像処理部3、エンコーダ7、及びストリーム蓄積部8を備える。
FIG. 11 shows a configuration of a video signal processing apparatus according to
実施の形態1に対する相違点は、エンコーダ7とストリーム蓄積部8を有し、画像処理部3が出力した映像信号をエンコーダ7で符号化し、ストリーム蓄積部8に蓄積する点である。実施の形態1と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that the
制御部1は、入力されたトランスポートストリームを受け、実施の形態1と同様に、画像処理部3からの情報D32dに基づいて画像処理用の映像信号D14を画像処理部3に出力し、ストリーム解析用の映像信号D13をストリーム解析部2に出力する。ストリーム解析部2は、映像信号D13からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ点情報D23を画像処理部3に出力する。
The control unit 1 receives the input transport stream, and outputs a video signal D14 for image processing to the
画像処理部3は、ストリーム解析部2から入力されたテロップ切替時刻情報D22a及びテロップ領域代表位置情報D22b、並びにシーンチェンジ時刻情報D23に基づき、実施の形態1で説明したのと同様の補間処理を行い、補間により生成した映像信号をエンコーダ7に出力する。
Based on the telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 input from the
エンコーダ7は、入力された映像信号(補間後の映像信号)を、蓄積するために符号化する。この符号化は蓄積に必要なメモリ容量を削減するために行われる。エンコーダ7で符号化された補間後の映像信号は、ストリーム蓄積部8に出力される。ストリーム蓄積部8は入力された符号化された補間後の映像信号を蓄積する。
The
ストリーム蓄積部8に保存された符号化された補間後の映像信号は、例えば再び復号して図示しない表示部に表示される。この場合、ストリーム蓄積部8から符号化された補間後の映像信号が図示しないデコーダに出力され、デコーダが復号を行い、復号後の映像信号が図示しない表示部で表示される。このようにすることで、補間後の映像信号を再生して視聴することが可能である。 The encoded video signal after interpolation stored in the stream storage unit 8 is decoded again and displayed on a display unit (not shown), for example. In this case, the interpolated video signal encoded from the stream storage unit 8 is output to a decoder (not shown), the decoder performs decoding, and the decoded video signal is displayed on a display unit (not shown). In this way, the interpolated video signal can be reproduced and viewed.
実施の形態3の映像信号処理装置は、ストリーム蓄積部8を有する構成であるため、補間処理をした映像信号を保存することができるという効果が得られる。 Since the video signal processing apparatus according to the third embodiment is configured to include the stream storage unit 8, an effect that the video signal subjected to the interpolation process can be stored is obtained.
なお、実施の形態3は、実施の形態1の装置にエンコーダ7とストリーム蓄積部8とを追加した構成にしているが、さらに実施の形態2と同様の受信部と復調部とデコーダと表示部とを追加して録画機能を有するテレビ受信機の構成にしてもよい。
In the third embodiment, the
実施の形態4.
図12は、本発明の実施の形態4に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部1a、ストリーム解析部2、及び画像処理部3aを備える。制御部1aは、デマックス11、デコーダ13、デコーダ14、ストリーム蓄積部15、解析結果蓄積部16、及びテロップ選択部17を備える。
Embodiment 4 FIG.
FIG. 12 shows a configuration of a video signal processing apparatus according to Embodiment 4 of the present invention. The video signal processing apparatus according to the present embodiment includes a
実施の形態1に対する相違点は、制御部1aが実施の形態1のストリームバッファ12の代わりにストリーム蓄積部15を有し、画像処理部3の代わりに画像処理部3bが設けられ、ストリーム解析部2の解析結果を蓄積する解析結果蓄積部16と、補間対象のテロップを選択するテロップ選択部17とが付加されている点である。実施の形態1と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that the
ストリーム蓄積部15は、デマックス11から入力された符号化映像信号を蓄積する。解析結果蓄積部16は、ストリーム解析部2から入力された解析結果としてのテロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ時刻情報D23を蓄積し、テロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ時刻情報D23を、ストリーム蓄積部15とテロップ選択部17とに出力する。
The
解析結果蓄積部16で解析結果を蓄積するのは、ストリームの蓄積、すなわち、映像信号の録画が終了した後に、テロップ消去のための画像処理を行うためである。解析結果蓄積部16はストリームの蓄積が終了してから、蓄積した解析結果をストリーム蓄積部15とテロップ選択部17へと出力する。
The analysis
ストリーム蓄積部15は解析結果蓄積部16から入力されたテロップ切替時刻情報D22aに基づいて、テロップ出現点の画像(出現後の最初のフレーム)、及びテロップ変更点の画像(変更後最初のフレーム)をデコーダ14に出力する。デコーダ14は、ストリーム蓄積部15から入力された映像信号D15を復号し、復号後の映像信号D14bをテロップ選択部17に出力する。
Based on the telop switching time information D22a input from the analysis
テロップ選択部17は、デコーダ14から入力された映像信号D14bで表される映像を表示部6に表示し、外部からテロップ選択情報が入力されるのを待つ。即ち、ユーザーに表示部6に表示された映像の各々についてテロップを消去するか否かの判断を促し、判断結果が入力されるのを待つ。
The
テロップ選択部17は、デコーダ14から供給された映像信号D14bで表される映像(解析結果蓄積部16に蓄積された、コンテンツ中のすべてのテロップ出現点情報、及びテロップ変更点情報で特定されるフレームの画像)を一覧表示する。
The
一覧表示は、例えば複数の子画面にテロップ出現点及びテロップ変更点の画像を表示することで行われる。テロップ出現点及びテロップ変更点の画像のすべてを一度に表示することができないときは、画面を切り替えながら、順に表示する。
テロップ選択情報は、テロップ選択部17が表示させた、テロップを含む画像の一覧のうち、ユーザーが選択した画像(或いは画像に含まれるテロップ)を特定する情報である。ユーザーにより消去対象と判定されたテロップを、以下、「消去する(消去すべき)テロップ」と呼ぶ。
List display is performed, for example, by displaying images of telop appearance points and telop change points on a plurality of sub-screens. When all the images of the telop appearance point and the telop change point cannot be displayed at once, the images are displayed in order while switching the screen.
The telop selection information is information for specifying an image (or a telop included in the image) selected by the user from the list of images including the telop displayed by the
本実施の形態は、「消去するテロップ」のテロップ領域に対する画素補間処理を行う。テロップを選択して補間処理により消去するのは、緊急速報のテロップであっても、選挙速報など個々のユーザーにとっては残しておきたい情報である場合があるためである。 In the present embodiment, pixel interpolation processing is performed on a telop area of “erased telop”. The reason for selecting a telop and erasing it by interpolation processing is that even if it is an urgent bulletin telop, it may be information that individual users want to keep, such as election bulletin.
テロップ選択部17は「消去するテロップ」のテロップ切替時刻情報D22as(ストリーム解析部2から出力されるテロップ切替時刻情報D22aのうち、テロップ選択部17で選択されたもの)を補間制御部32に出力する。これとともに、補間制御部32には、録画したコンテンツのすべてのテロップ切替時刻情報D22a、対応するテロップ領域代表位置情報D22b、シーンチェンジ時刻情報D23が解析結果蓄積部16から供給される。
The
画像処理部3aの補間制御部32aは、解析結果蓄積部16及びテロップ選択部17から供給された情報に基づいて、消去するテロップ領域の各々についての補間方法を決定し、映像信号特定情報D32dをストリーム蓄積部15に出力する。ストリーム蓄積部15は、情報D32dによって特定される映像信号をデコーダ14に出力する。
The
以下、実施の形態4の映像信号処理方法を図13のフローチャートを用いて、説明する。
まず、録画を行う(ST30)。
録画の詳細を図14に示す。
最初に、デマックス11がトランスポートストリームから映像信号を抽出する(ST31)。
Hereinafter, the video signal processing method according to the fourth embodiment will be described with reference to the flowchart of FIG.
First, recording is performed (ST30).
Details of the recording are shown in FIG.
First, the
ストリーム蓄積部15は、抽出された映像信号を蓄積する(ST32)。
一方、デコーダ13は、デマックス11から入力された映像信号を、ストリーム解析用の映像信号としてデコードし(ST33)、ストリーム解析部2がストリーム解析を行って、解析結果としてテロップ切替時刻情報D22a、テロップ領域代表位置情報D22b、及びシーンチェンジ時刻情報D23を生成する(ST34)。解析結果蓄積部16は、ストリーム解析部2による解析結果を蓄積する(ST35)。
The
On the other hand, the
ステップST36で録画が終了したか否かを判定する。録画が終了していなければ、ステップST31に戻る。ステップST31〜ST36の処理は、録画(例えば一つのコンテンツの録画)が終了するまで繰り返される。
図13に戻り、録画(ST30)が終了した後、ステップST41の処理を行う。
In step ST36, it is determined whether the recording is finished. If the recording has not ended, the process returns to step ST31. The processes of steps ST31 to ST36 are repeated until recording (for example, recording of one content) is completed.
Returning to FIG. 13, after the recording (ST30) is completed, the process of step ST41 is performed.
ステップST41では、テロップ選択部17が録画中に検出したテロップを含む画像を表示部6を用いて一覧表示し、外部からユーザーによってテロップを選択する信号が入力されるのを待つ(ST42)。
In step ST41, the
ステップST42で、所定時間内にテロップを選択する信号が入力された場合(ステップST42でYES)、ステップST43に進む。
ステップST42で、所定時間以内にテロップを選択する信号が入力されなければ(ST42でNO)、ステップST44に進む。
If a signal for selecting a telop is input within a predetermined time in step ST42 (YES in step ST42), the process proceeds to step ST43.
If a signal for selecting a telop is not input within a predetermined time in step ST42 (NO in ST42), the process proceeds to step ST44.
ステップST44では、ユーザーから視聴の指示を待つ。ユーザーから視聴の指示があれば(ST44でYES)、ステップST45に進み、テロップの一覧表示を行い、ユーザーによる消去するテロップの選択入力を待つ(ST46)。
ステップST46で、所定時間内に選択入力があれば(ST46でYES)、ステップST43に進む。
ステップST43では、選択されたテロップを消去(補間)すべきものと決定する。
所定時間以内に選択入力がなければ(ステップS43でNO)、ステップS45に進む。
ステップST47では、すべてのテロップを消去(補間)すべきものと決定する。
なお、所定時間以内に選択入力がないときには、すべてのテロップを消去(補間)しないとの決定を行うこととしても良い。
ステップST43又はST47の次にステップST48に進む。
In step ST44, the user waits for a viewing instruction. If there is a viewing instruction from the user (YES in ST44), the process proceeds to step ST45, a list of telops is displayed, and a selection input of telops to be erased by the user is awaited (ST46).
If there is a selection input within a predetermined time in step ST46 (YES in ST46), the process proceeds to step ST43.
In step ST43, it is determined that the selected telop is to be erased (interpolated).
If there is no selection input within the predetermined time (NO in step S43), the process proceeds to step S45.
In step ST47, it is determined that all telops should be erased (interpolated).
If there is no selection input within a predetermined time, it may be determined not to delete (interpolate) all the telops.
After step ST43 or ST47, the process proceeds to step ST48.
ステップST48では、テロップの各々に関し、それぞれの持続期間について補間方法の決定を行う。
ステップST48では、補間制御部32が選択されたテロップ、即ち「消去するテロップ」の各々に関し、それぞれの持続期間について補間方法を決定し、これとともに、映像信号特定情報D32dを生成し、これに応じてストリーム蓄積部15が画像処理用の映像信号をデコーダ14に出力する。
In step ST48, the interpolation method is determined for each duration for each telop.
In step ST48, the
ステップST49において、デコーダ14は、ストリーム蓄積部15から供給された画像処理用の映像信号をデコードする。
In step ST49, the
最後にステップST50で補間処理部31が画素補間処理を実行する。
ステップST50の次の処理を終了する。
Finally, in step ST50, the
The next process of step ST50 is terminated.
実施の形態4の映像信号処理装置は、録画時にテロップの検出を行い、録画後にユーザーにより選択された「消去するテロップ(消去すべきテロップ)」のみを画素補間処理で消去するので、消去するテロップをユーザーが選択することができるという効果が得られる。また、図12の映像信号処理装置を、放送波を復調することで得られた映像信号を処理するために用いる場合、ユーザーはリアルタイムでは放送された映像信号をそのまま、即ちテロップが重畳された映像を視聴し、録画した映像信号を視聴するときは、テロップが消去された映像を視聴することが可能である。 The video signal processing apparatus according to the fourth embodiment detects a telop at the time of video recording, and erases only “the telop to be erased (telop to be erased)” selected by the user after the video recording by the pixel interpolation process. The effect that the user can select is obtained. When the video signal processing apparatus shown in FIG. 12 is used to process a video signal obtained by demodulating a broadcast wave, the user can use the video signal broadcast in real time, that is, a video on which a telop is superimposed. When viewing the recorded video signal, it is possible to view the video from which the telop has been deleted.
なお、本実施の形態では、テロップ選択部17はテロップを含む映像信号を表示する際、フレーム全体を表示する構成にしているが、テロップ領域代表位置情報D22bが示すテロップ領域のみを表示しても良い。
In the present embodiment, the
なおまた、本実施の形態の映像信号処理方法では、録画終了直後にテロップの一覧を表示し、「消去するテロップ」を決定する際、所定時間以内にテロップを選択する信号の入力がなければ、図13のステップST44に進むこととしているが、本発明はこれに限定されない。例えば、所定時間以内にテロップを選択する信号の入力がない時点で全てのテロップを「消去するテロップ」としてもよい。また全てのテロップを「消去するテロップ」ではないとしてもよい。 In addition, in the video signal processing method of the present embodiment, a list of telops is displayed immediately after the end of recording, and when a telop to be deleted is determined, if a signal for selecting a telop is not input within a predetermined time, The process proceeds to step ST44 in FIG. 13, but the present invention is not limited to this. For example, all telops may be “erased telops” when there is no input of a telop selection signal within a predetermined time. Also, not all telops may be “erasing telops”.
また、図13のステップST42でNOの後、ステップST44を介してステップST45に進んで、テロップを一覧表示するタイミングも、ステップST32で蓄積した映像信号をユーザーが視聴するタイミングに限らない。
例えば、ユーザーが別のコンテンツの録画予約や録画再生などレコーダーの操作をしているときに、一覧表示を行って消去すべきコンテンツの選択を行わせても良い。
In addition, after NO in step ST42 of FIG. 13, the process proceeds to step ST45 via step ST44, and the timing for displaying a list of telops is not limited to the timing when the user views the video signal accumulated in step ST32.
For example, when the user is operating the recorder such as recording reservation or recording playback of another content, a list display may be performed to select the content to be deleted.
実施の形態5.
図15は、本発明の実施の形態5に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部1a、ストリーム解析部2、画像処理部3b、表示部6、及び画像合成部9を備える。
Embodiment 5. FIG.
FIG. 15 shows the configuration of a video signal processing apparatus according to Embodiment 5 of the present invention. The video signal processing apparatus according to the present embodiment includes a
実施の形態4に対する相違点は、実施の形態4の画像処理部3aの代わりに画像処理部3bが設けられ、画像処理部3bが、テロップ領域(補間対象領域)の補間映像を表す映像信号D3bを生成して出力する点と、表示部6及び画像合成部9を有する点である。即ち、実施の形態3の画像処理部3は、映像信号D14で表される映像のうちの、テロップ領域を補間対象領域として補間することで得られる映像(画面全体に亘る補間後の映像)を表す映像信号を出力するが、これに対して実施の形態5の画像処理部3bから出力される映像信号D3bは、画面全体に亘る映像のうちの補間対象領域のみの、補間後の映像を表すものであり、これとは別に画面全体に亘る補間前の映像を表す映像信号D14が制御部1aから画像合成部9に供給される。実施の形態4と同じ符号を付した構成要素は同じ動作をする。
The difference from the fourth embodiment is that an
画像合成部9は、制御部1aからの補間前の映像信号D14と、画像処理部3bからの補間映像を表す映像信号D3bとを入力として、デコーダ14からの補間前の映像信号D14で表される映像に、映像信号D3bで表される補間映像を重畳して、合成映像を生成し、該合成映像を表す映像信号を生成する。この合成はオンスクリーン表示機能を用いて行われる。表示部6は画像合成部9が生成した映像信号を受けて、合成映像を表示する。
The image composition unit 9 receives the pre-interpolation video signal D14 from the
この合成映像においては、例えば制御部1aからの映像信号D14で表される映像が表示部6の画面全体を使って通常表示され、画像処理部3bからの補間映像D3bが、画面の一部を占めるオンスクリーン表示領域に表示される。即ち、テロップ領域(補間対象領域)をオンスクリーン表示領域として補間映像を合成することで、映像信号D14で表される映像のうちのテロップ領域を補間映像で置き換えた映像(実施の形態1などで画像処理部3から出力される映像信号に基づいて表示される映像と同じもの)が表示される。
In this synthesized video, for example, the video represented by the video signal D14 from the
実施の形態5の映像信号処理装置は、補間処理を施す前の映像信号D14で表される映像に、補間映像D3bを画像合成部9で重畳して表示する構成にしているため、補間処理を施す前の映像信号とテロップ補間映像を表す映像信号を別々に保存することが可能である。これにより、補間映像を重畳表示するか否かを切り替えることが可能である。 Since the video signal processing apparatus according to the fifth embodiment is configured to display the interpolated video D3b superimposed on the video represented by the video signal D14 before the interpolation processing by the image synthesis unit 9, the interpolation processing is performed. It is possible to store separately the video signal before being applied and the video signal representing the telop interpolation video. Thereby, it is possible to switch whether or not the interpolated video is displayed in a superimposed manner.
以上本発明を映像信号処理装置として説明したが、上記の映像信号処理装置によって実施される映像信号処理方法もまた本発明の一部をなす。また、上記の映像信号処理装置の各部の機能をコンピュータに実行させるためのプログラム、上記の映像信号処理方法の各工程の処理をコンピュータに実行させるためのプログラム、並びに上記のプログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。 Although the present invention has been described as a video signal processing apparatus, the video signal processing method implemented by the video signal processing apparatus described above also forms part of the present invention. In addition, a program for causing a computer to execute the functions of each unit of the video signal processing apparatus, a program for causing a computer to execute the process of each step of the video signal processing method, and a computer recording the above program A readable recording medium also forms part of the present invention.
1、1a 制御部、 2 ストリーム解析部、 3、3a、3b 画像処理部、 4 受信部、 5 復調部、 6 表示部、 7 エンコーダ、 8 ストリーム蓄積部、 9 画像合成部、 11 デマックス、 12 ストリームバッファ、 13 デコーダ、 14 デコーダ、 15 ストリーム蓄積部、 16 解析結果蓄積部、 17 テロップ選択部、 20 テロップ検出部、 21 テロップ領域検出部、 22 テロップ切替点検出部、 23 シーンチェンジ検出部、 31 補間処理部、 32 補間制御部。 1, 1a control unit, 2 stream analysis unit, 3, 3a, 3b image processing unit, 4 reception unit, 5 demodulation unit, 6 display unit, 7 encoder, 8 stream storage unit, 9 image synthesis unit, 11 demax, 12 stream Buffer, 13 decoder, 14 decoder, 15 stream storage unit, 16 analysis result storage unit, 17 telop selection unit, 20 telop detection unit, 21 telop area detection unit, 22 telop switching point detection unit, 23 scene change detection unit, 31 interpolation A processing unit, 32 an interpolation control unit.
Claims (16)
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出部は、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理部は、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出部は、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする映像信号処理装置。 Detects the pixels constituting the character of a telop included in the image represented by the video signal, it detects the appearance time and disappearance time of the telop, the telop the period until disappearance time from the appearance time of the telop once When changed as described above, a telop detection unit that detects the time of the change;
A scene change detector for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area An image processing unit for outputting
The image processing unit performs the interpolation method based on the appearance time, disappearance time, and change time of the telop detected by the telop detection unit, and the occurrence time of the scene change detected by the scene change detection unit. determined,
The telop detection unit detects a telop area including all the pixels constituting the character of the telop,
The image processing unit performs interpolation using the detected telop area as the interpolation target area,
The telop detection unit detects a time at which the position of the telop area detected in each frame of the video changes by a predetermined threshold or more between successive frames as a change time of the telop. Processing equipment.
前記映像の各フレームにおいて、前記テロップ領域の位置を検出するテロップ領域検出部と、
前記テロップの出現時刻から消滅時刻までの期間内における、1又は2以上のテロップの各々が連続して表示される持続期間について、前記テロップ領域の代表的位置を検出するテロップ切替点検出部とを有し、
前記画像処理部は、前記持続期間の各々について前記補間の方法を決定し、前記代表的位置の領域を前記補間対象領域として、該補間対象領域内の画素に対して、前記決定された補間の方法で補間を行う
ことを特徴とする請求項1に記載の映像信号処理装置。 The telop detection unit
A telop area detector for detecting the position of the telop area in each frame of the video;
A telop switching point detection unit that detects a representative position of the telop area for a duration in which each of one or more telops is continuously displayed within a period from the appearance time to the disappearance time of the telop; Have
The image processing unit determines the interpolation method for each of the durations, sets the region at the representative position as the interpolation target region, and performs the determined interpolation on the pixels in the interpolation target region. The video signal processing apparatus according to claim 1, wherein interpolation is performed by a method.
前記補間の方法として、前記補間対象領域と同じフレーム内の画素を用いる空間補間、又は前記テロップ領域とは異なるフレーム内の、前記テロップ領域と同じ位置の画素を用いる時間補間、又は前記空間補間と前記時間補間の組合せのいずれかを選択することを特徴とする請求項1又は2に記載の映像信号処理装置。 The image processing unit
As the interpolation method, spatial interpolation using pixels in the same frame as the interpolation target area, temporal interpolation using pixels at the same position as the telop area in a frame different from the telop area, or spatial interpolation 3. The video signal processing apparatus according to claim 1, wherein one of the combinations of the time interpolation is selected.
前記テロップの変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、
当該テロップの変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
当該テロップの変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う
ことを特徴とする請求項1から4のいずれか1項に記載の映像信号処理装置。 The image processing unit
In the interpolation of the pixels in the interpolation target area in the frame before and after the change time of the telop,
The same position as the interpolation target area in the frame on the opposite side across the change time of the telop is not in the area including the pixels constituting the text of the telop located in the frame on the opposite side In this case, time interpolation using the pixel value of the pixel at the same position is performed,
The same position as the area to be interpolated in the frame on the opposite side across the change time of the telop is in the area including the pixels constituting the text of the telop located in the frame on the opposite side case, the video signal processing apparatus according to any one of claims 1 4, characterized in that performing spatial interpolation using pixel values of pixels in the same frame as the interpolation target area.
前記テロップの出現時刻から消滅時刻までの期間内に、シーンチェンジが発生しなかった場合には前記テロップの出現時刻から消滅時刻までの期間内のすべてのフレーム内の補間対象領域内の画素の補間を、前記補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行い、
前記テロップの出現時刻から消滅時刻までの期間内に、1又は2以上のシーンチェンジが発生した場合に、
前記テロップの出現時刻から前記1又は2以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップの出現時刻よりも前のフレーム内の画素を用いた時間補間で行い、
前記1又は2以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻からテロップ消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う
ことを特徴とする請求項1から6のいずれか1項に記載の映像信号処理装置。 The image processing unit
If no scene change occurs within the period from the appearance time to the disappearance time of the telop, interpolation of pixels in the interpolation target area in all frames within the period from the appearance time to the disappearance time of the telop Is performed by temporal interpolation using pixels in a frame different from the frame including the interpolation target region,
When one or more scene changes occur within the period from the appearance time to the disappearance time of the telop,
Interpolation of pixels in the interpolation target area in the frame within a period from the appearance time of the telop to the first scene change occurrence time among the one or more scene changes is performed before the appearance time of the telop. By time interpolation using pixels in the frame of
Interpolation of pixels in the interpolation target area in the frame within the period from the time when the last scene change among the one or more scene changes occurs to the telop disappearance time is performed within the frame after the telop disappearance time. the video signal processing apparatus according to any one of claims 1 6, characterized in that in the pixel time interpolation using.
前記1又は2以上のシーンチェンジのうちの1つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間であって、かつ、当該期間にテロップ変更点が含まれている場合に、
前記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素を用いた空間補間を行う
ことを特徴とする請求項7に記載の映像信号処理装置。 The image processing unit
When it is a period from the occurrence time of one of the one or more scene changes to the occurrence time of the next scene change, and a telop change point is included in the period,
When interpolating pixels in the interpolation target region in the frame on one side of the telop change point,
When the pixel at the same position as the interpolation target area in the frame on the other side of the telop change point is not in the area including the pixels constituting the telop character in the frame on the other side , Perform time interpolation using the pixel value of the pixel at the same position,
When the pixel at the same position as the interpolation target area in the frame on the other side of the telop change point is in the area including the pixels constituting the text of the telop in the frame on the other side The video signal processing apparatus according to claim 7 , wherein spatial interpolation is performed using pixels in the same frame as the interpolation target area.
前記エンコーダで符号化された映像信号を蓄積するストリーム蓄積部と
をさらに有することを特徴とする請求項1から8のいずれか1項に記載の映像信号処理装置。 An encoder that encodes a video signal output from the image processing unit;
Video signal processing apparatus according to any one of claims 1 to 8, further comprising a stream storage unit for storing the encoded video signal in the encoder.
前記受信部が受信した放送波を復調しトランスポートストリームを出力する復調部と、
制御部と
をさらに有し、
前記制御部は、前記復調部が出力したトランスポートストリームから映像信号を分離し、分離した映像信号を復号して、復号後の映像信号を前記テロップ検出部、前記シーンチェンジ検出部及び前記画像処理部に出力する
ことを特徴とする請求項1から10のいずれか1項に記載の映像信号処理装置。 A receiver for receiving broadcast waves;
A demodulator that demodulates the broadcast wave received by the receiver and outputs a transport stream;
And a control unit ,
The control unit separates a video signal from the transport stream output from the demodulation unit, decodes the separated video signal, and outputs the decoded video signal to the telop detection unit, the scene change detection unit, and the image processing video signal processing apparatus according to any one of claims 1 to 10, characterized in that output section.
前記テロップ検出部で検出されたテロップに関する情報及び前記シーンチェンジ検出部で検出されたシーンチェンジに関する情報を蓄積する解析結果蓄積部と、
前記解析結果蓄積部に蓄積された、前記検出されたテロップに関する情報で示されるテロップのうちで、消去すべきものを指定する外部からの情報に基づいて、前記画像処理部で補間の対象とするテロップを選択するテロップ選択部をさらに有する
ことを特徴とする請求項11に記載の映像信号処理装置。 The controller is
An analysis result storage unit that stores information about the telop detected by the telop detection unit and information about the scene change detected by the scene change detection unit;
Among the telops stored in the analysis result storage unit and indicated by the information about the detected telops, the telops to be interpolated by the image processing unit based on information from the outside that specifies what should be deleted The video signal processing apparatus according to claim 11 , further comprising a telop selection unit that selects the video signal.
前記制御部から出力された映像信号で表される映像に、前記画像処理部から出力された映像信号で表される補間映像を重畳して合成映像信号を出力する合成部と、
前記合成部から出力された合成映像信号に基づいて、前記合成映像信号で表される合成映像を表示する表示部とを
さらに有することを特徴とする請求項11又は12に記載の映像信号処理装置。 The image processing unit generates a video signal representing an interpolated video of the interpolation target area;
A compositing unit that outputs a composite video signal by superimposing an interpolated video represented by the video signal output from the image processing unit on a video represented by the video signal output from the control unit;
The video signal processing apparatus according to claim 11 , further comprising: a display unit configured to display a synthesized video represented by the synthesized video signal based on the synthesized video signal output from the synthesizing unit. .
前記映像のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理ステップとを有し、
前記画像処理ステップは、前記テロップ検出ステップによって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出ステップによって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出ステップは、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理ステップは、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出ステップは、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする映像信号処理方法。 Detects the pixels constituting the character of a telop included in the image represented by the video signal, it detects the appearance time and disappearance time of the telop, the telop the period until disappearance time from the appearance time of the telop once When the change has been made, the telop detection step for detecting the time of the change;
A scene change detection step for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area And an image processing step for outputting
In the image processing step, the interpolation method is performed based on the appearance time, disappearance time, and change time of the telop detected by the telop detection step, and the occurrence time of the scene change detected by the scene change detection step. determined,
The telop detection step detects a telop area that includes all the pixels constituting the character of the telop,
The image processing step performs interpolation using the detected telop area as the interpolation target area,
The telop detection step detects, as a change time of the telop, a time when the position of the telop area detected in each frame of the video changes by a predetermined threshold or more between successive frames. Processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013087598A JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013087598A JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014212434A JP2014212434A (en) | 2014-11-13 |
JP2014212434A5 JP2014212434A5 (en) | 2016-03-10 |
JP6080667B2 true JP6080667B2 (en) | 2017-02-15 |
Family
ID=51931887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013087598A Expired - Fee Related JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6080667B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021039192A1 (en) * | 2019-08-30 | 2021-03-04 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
CN110737386A (en) * | 2019-09-06 | 2020-01-31 | 华为技术有限公司 | screen capturing method and related equipment |
JP7447422B2 (en) | 2019-10-07 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4095336B2 (en) * | 2002-05-13 | 2008-06-04 | 日本放送協会 | Original image restoration apparatus and original image restoration program |
JP2004364234A (en) * | 2003-05-15 | 2004-12-24 | Pioneer Electronic Corp | Broadcast program content menu creation apparatus and method |
JP2006148263A (en) * | 2004-11-16 | 2006-06-08 | Ntt Communications Kk | Telop erasure method, telop erasure apparatus, and telop erasure program |
JP4634894B2 (en) * | 2005-09-05 | 2011-02-16 | パイオニア株式会社 | Telop detection apparatus and method, and recorder |
JP4929819B2 (en) * | 2006-04-27 | 2012-05-09 | 富士通株式会社 | Video signal conversion apparatus and method |
JP2009147749A (en) * | 2007-12-14 | 2009-07-02 | Toshiba Corp | Video playback apparatus and video playback method |
-
2013
- 2013-04-18 JP JP2013087598A patent/JP6080667B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014212434A (en) | 2014-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3773670B2 (en) | Information presenting method, information presenting apparatus, and recording medium | |
EP2131583A1 (en) | Video transmitter, video receiver, video recorder, video reproducer, and video display | |
JP4444354B2 (en) | Image processing apparatus and image processing method | |
US20110286720A1 (en) | Electronic apparatus, video processing method, and program | |
KR100767676B1 (en) | Video apparatus and method for scanning image thereof | |
CN102224545B (en) | The video of similar events and tableaux are based on the merging of the global motion vector of this video | |
JP2010041336A (en) | Image processing unit and image processing method | |
US20100329640A1 (en) | Recording/Reproducing Apparatus | |
JP6080667B2 (en) | Video signal processing apparatus and method, program, and recording medium | |
JP2008299241A (en) | Image processing apparatus and display | |
JP2014077993A (en) | Display device | |
JP5599063B2 (en) | Display control apparatus, display control method, and program | |
JP2012173683A (en) | Display control device, information display apparatus, and display control method | |
US20130155325A1 (en) | Region of interest selection, decoding and rendering of picture-in-picture window | |
KR101648449B1 (en) | Method of processing image in a display apparatus and the display apparatus | |
US20090167960A1 (en) | Picture processing apparatus | |
JP6803463B2 (en) | Display device and its control method | |
JP2013179563A (en) | Video processing device, video display device, video recording device, video processing method, and video processing program | |
JP2007515864A (en) | Video image processing method | |
JP4857297B2 (en) | Video processing device | |
JP2014212434A5 (en) | ||
KR100854824B1 (en) | Method and apparatus for display a record list of image display device | |
EP1848203B2 (en) | Method and system for video image aspect ratio conversion | |
US20070046818A1 (en) | Picture display device and picture display method | |
JP6742515B2 (en) | CODED VIDEO REPRODUCTION DEVICE AND CODED VIDEO REPRODUCTION METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6080667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |