JP2006303910A - Film mode detecting apparatus - Google Patents
Film mode detecting apparatus Download PDFInfo
- Publication number
- JP2006303910A JP2006303910A JP2005122690A JP2005122690A JP2006303910A JP 2006303910 A JP2006303910 A JP 2006303910A JP 2005122690 A JP2005122690 A JP 2005122690A JP 2005122690 A JP2005122690 A JP 2005122690A JP 2006303910 A JP2006303910 A JP 2006303910A
- Authority
- JP
- Japan
- Prior art keywords
- field
- film mode
- motion vector
- image
- mode detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、ビデオ映像信号の中から３：２プルダウン方式によりテレシネ変換された映像信号を検出するフィルムモード検出装置に関し、特に、順次走査型テレビジョン受像機における動き補償型順次走査変換装置を有する場合に適用されるフィルムモード検出装置に関するものである。 The present invention relates to a film mode detection device for detecting a video signal telecine-converted by a 3: 2 pull-down method from a video video signal, and in particular, has a motion-compensated progressive scan conversion device in a progressive scan television receiver. The present invention relates to a film mode detection device applied to the case.
３：２プルダウン方式によるテレシネ変換
映画などの毎秒２４コマで撮影されたフィルムソースを、テレビジョン放送や、ビデオテープやＤＶＤなどのパッケージメディアを介して、ＮＴＳＣ方式のテレビジョン受像機で映像表示するためには、毎秒６０フィールドのビデオ映像信号への変換を行う必要がある。この変換を「テレシネ変換」と呼んでいる。フィルムの各コマの画像はデジタル画像として取り込まれ、前記デジタル画像の各水平ラインを上から１、２、３...と番号付けしたときに、その奇数ラインの画像及び偶数ラインの画像がそれぞれ、飛び越し走査方式であるビデオ映像信号の奇数フィールド、偶数フィールドに展開される。
A film source shot at 24 frames per second, such as a 3: 2 pull-down telecine-converted movie, is displayed on an NTSC television receiver via a television broadcast or a package media such as a videotape or DVD. For this purpose, it is necessary to perform conversion into a video image signal of 60 fields per second. This conversion is called “telecine conversion”. The image of each frame on the film is captured as a digital image, and when each horizontal line of the digital image is numbered 1, 2, 3 ... from the top, the odd line image and the even line image respectively. The video image signal of the interlaced scanning method is developed into odd and even fields.
以下、図６を参照しながら、３：２プルダウン方式によるテレシネ変換を説明する。図６において、１／２４秒の時間間隔で撮影されたフィルムの各コマが、図の上段の左側から右側に向かって並んでいる。３：２プルダウン方式では、左端に位置する最初のコマを２つのフィールドに、その右隣に位置する２番目のコマを３つのフィールドに割り当てる。３番目のコマ以降に対しても、２つのフィールド、３つのフィールドに割り当てることを交互に繰り返すことにより、２４コマ／秒のフィルムを６０フィールド／秒のビデオ映像信号に変換することができる。 Hereinafter, telecine conversion by the 3: 2 pull-down method will be described with reference to FIG. In FIG. 6, the frames of the film taken at a time interval of 1/24 seconds are arranged from the left side to the right side in the upper part of the figure. In the 3: 2 pull-down method, the first frame located at the left end is assigned to two fields, and the second frame located immediately to the right is assigned to three fields. By alternately repeating the assignment to the two fields and the three fields for the third and subsequent frames, a film of 24 frames / second can be converted into a video image signal of 60 fields / second.
このように、３：２プルダウン方式によるテレシネ変換では１つのフィルムのコマから２つ又は３つのフィールド画像が生成されるため、例えば、図６におけるフィールド画像ＡとＢのように同じ時刻における映像情報が隣接するフィールドに存在することがある。これらフィールド画像Ａ、Ｂは、元のフィルムのコマからそれぞれ異なるラインが割り当てられた属性の異なる画像であるため、等しい画像とはならないが、一般のビデオ映像における隣接するフィールド画像同士の場合と比べて、類似度は高いものとなる。また、フィールド画像Ａ、Ｂの場合と同様に、フィールド画像Ｃ、Ｄ及びフィールド画像Ｄ、Ｅもそれぞれ類似度が高いものとなる。一方、テレシネ変換されていないビデオ映像信号は、映像情報が１／６０秒おきにフィールドに記録されたものであるから、物体が動いている映像の場合、隣接するフィールド画像同士の類似度は低いものとなる。 As described above, in the telecine conversion by the 3: 2 pull-down method, two or three field images are generated from one film frame. For example, video information at the same time as the field images A and B in FIG. May exist in adjacent fields. Since these field images A and B are images having different attributes to which different lines are assigned from the original film frames, they are not equal images, but compared to the case of adjacent field images in a general video image. Therefore, the similarity is high. Similarly to the case of the field images A and B, the field images C and D and the field images D and E have high similarities. On the other hand, video information that has not been telecine-converted is video information that is recorded in the field every 1/60 seconds. Therefore, in the case of video in which an object is moving, the similarity between adjacent field images is low. It will be a thing.
フィルムモードの検出方法
上記に述べたテレシネ変換された映像信号と通常のビデオ映像信号の間の特性の違いを利用して、隣接するフィールド同士の画像の類似度を評価することにより、映像信号がフィルムソースからテレシネ変換されたビデオ映像信号であることを検出（フィルムモード検出）する方法が提案されている。
Film Mode Detection Method By utilizing the difference in characteristics between the telecine-converted video signal and the normal video video signal described above, the video signal is obtained by evaluating the similarity of images between adjacent fields. There has been proposed a method for detecting (film mode detection) that a video image signal is telecine converted from a film source.
図７は、従来方式のフィルムモード検出装置の内部構成を概略的に示すブロック図である。このフィルムモード検出装置は、１フィールド遅延部１、隣接フィールド画像間の類似度判定部３、フィルムモード判定部４より構成される。入力されたビデオ映像信号は、隣接フィールド画像間の類似度判定部３と１フィールド遅延部１とに入力される。１フィールド遅延部１では、ビデオ映像信号を１フィールド期間だけ遅延して、隣接フィールド画像間の類似度判定部３に出力する。隣接フィールド画像間の類似度判定部３では、遅延されずに入力されたビデオ映像信号と１フィールド遅延されたビデオ映像信号との類似度を判定し、その判定結果をフィルムモード判定部４に出力する。フィルムモード判定部４では、入力された隣接フィールド画像間の類似度に基づいて、入力された映像信号がテレシネ変換された映像信号であるかどうかの判定を行う。また、特許文献１にも同様のフィルムモード検出に関する技術が提案されている。
FIG. 7 is a block diagram schematically showing an internal configuration of a conventional film mode detection apparatus. The film mode detection apparatus includes a one-
しかしながら、この隣接フィールド画像間の類似度に基づくフィルムモード検出方法では、フィルムに記録された映像が垂直方向に高周波成分を有する場合、同じフィルムのコマから割り当てられた２つの隣接するフィールド同士の類似度は低く評価されてしまうため、結果としてフィルムモード検出の精度が低くなってしまうという問題点があった。 However, in this film mode detection method based on the similarity between adjacent field images, when the video recorded on the film has a high frequency component in the vertical direction, the similarity between two adjacent fields assigned from the same film frame is similar. As a result, the accuracy of the film mode detection is lowered.
一方で、フィルムモード検出において、通常のビデオ映像信号がテレシネ変換された映像信号であると誤って検出されてしまった場合には、フィルムソースが存在しないにも関わらずにフィルムの各コマの画像を復元しようとしてしまうので、図８に示すように、異なる時刻のフィールド画像を組合せてしまうことになり、コーミングと呼ばれる櫛状に１ライン毎に画像がずれた画像が生成されてしまうという問題点があった。 On the other hand, in the film mode detection, if a normal video image signal is erroneously detected as a telecine-converted image signal, an image of each frame on the film is displayed even though there is no film source. As shown in FIG. 8, field images at different times are combined, and a comb-like image called combing is generated in which an image is shifted for each line. was there.
そこで、以上のような問題点を解消するべくフィルムモード検出の精度を向上させるための手段として、２フィールド期間離れた同じ属性の（すなわち、ともに奇数フィールド又は偶数フィールドである）フィールド画像同士の類似度に基づいてフィルムモード検出を行うという方法が提案されている。 Therefore, as a means for improving the accuracy of film mode detection so as to solve the above-described problems, the similarity between field images having the same attribute (that is, both odd fields or even fields) separated by two field periods. A method of performing film mode detection based on the degree has been proposed.
図６におけるフィールド画像Ｃ、Ｅのように、３：２プルダウン方式のテレシネ変換では、２フィールド期間離れた同じ属性の２つのフィールド画像に対して、同じフィルムのコマから画像を割り当てているので、これら２つのフィールド画像は、画像をデジタル化する際のノイズ等の要因を無視すれば同じ画像であるため、類似度は極めて高いものとなる。上記２フィールド期間離れた同じ属性の２つのフィールド画像のうち、後の方のフィールド画像は、前の方と同じフィールド画像が繰り返されたものであるから、以下において、このフィールド画像を「繰り返しフィールド画像」と呼ぶことにする。図６の例では、フィールド画像Ｃに対してフィールド画像Ｅが繰り返しフィールド画像となる。 As in the case of the field images C and E in FIG. 6, in the 3: 2 pull-down telecine conversion, images are assigned from the same film frame to two field images having the same attribute separated by two field periods. Since these two field images are the same image if factors such as noise when the image is digitized are ignored, the degree of similarity is extremely high. Of the two field images having the same attribute separated by the two field periods, the latter field image is a repetition of the same field image as the previous one. It will be called “image”. In the example of FIG. 6, the field image E becomes a field image repeatedly with respect to the field image C.
一方、テレシネ変換されていないビデオ映像信号では映像情報が１／６０秒おきにフィールドに記録されるため、２フィールド期間離れたフィールド画像には１／３０秒離れた映像情報が記録されており、物体が動いている映像の場合、２つのフィールド画像間の類似度は相当低いものとなる。 On the other hand, in the video image signal that has not been telecine converted, the image information is recorded in the field every 1/60 seconds, so the image information separated by 1/30 seconds is recorded in the field image separated by 2 field periods, In the case of an image in which an object is moving, the similarity between two field images is considerably low.
上記に述べたように、テレシネ変換された映像信号に繰り返しフィールド画像が含まれるという特性を利用することにより、フィルムに記録された映像が垂直方向に高周波成分を有する場合であっても、テレシネ変換された映像信号を正確に検出することができる。特許文献２では、隣接するフィールド画像間の類似度、及び繰り返しフィールド画像の検出結果に基づいたフィルムモード検出方法が提案されている。
As described above, by utilizing the characteristic that the video signal subjected to telecine conversion includes a field image repeatedly, even if the video recorded on the film has a high frequency component in the vertical direction, the telecine conversion is performed. The detected video signal can be accurately detected.
フィルム画像の再構成
上記のフィルムモード検出を行う機能を備えたテレビジョン受像機等において、入力されたビデオ映像信号がフィルムソースからテレシネ変換された映像信号であると判定された場合には、図６の下段に示すように、ビデオ映像信号の奇数フィールド画像と偶数フィールド画像とを組み合わせて、元のフィルムの各コマと同じ画像を順次走査方式の画像として再構成することができる。このようにして生成された順次走査方式の画像は、元のフィルムの各コマをデジタル化した画像に相当するものとなるため、画質の劣化を生じることなく元のフィルムの映像を再現することができる。
Reconstruction of film image In a television receiver or the like having a function of detecting the film mode described above, when it is determined that the input video image signal is an image signal telecine-converted from a film source, As shown in the lower part of FIG. 6, an odd field image and an even field image of a video image signal can be combined to reconstruct the same image as each frame of the original film as an image of a sequential scanning method. The progressive scan image generated in this way corresponds to an image obtained by digitizing each frame of the original film, so that the image of the original film can be reproduced without causing deterioration in image quality. it can.
上記のフィルムモード検出方法の別の適用例としては、フィルムソースよりテレシネ変換されたビデオ映像信号をビデオ符号化装置によりＭＰＥＧ−２ビデオなどの圧縮方式で符号化する際に、繰り返しフィールド画像を通常の画像と同様に符号化せず、圧縮方式で定義された繰り返しフィールドを示すビット情報を設定することにより、符号化された画像の画質を損なうことなく符号化ビットレートを低くすることができる。 As another application example of the above film mode detection method, when a video image signal telecine-converted from a film source is encoded with a compression method such as MPEG-2 video by a video encoding device, a repeated field image is usually used. By setting bit information indicating a repetitive field defined by a compression method without encoding as in the case of the above image, the encoding bit rate can be lowered without impairing the image quality of the encoded image.
図９は、上記したテレシネ変換された映像信号に含まれる繰り返しフィールド画像に着目してフィルムモード検出を行うフィルムモード検出装置の内部構成を概略的に示すブロック図である。このフィルムモード検出装置は、１フィールド遅延部１，２、隣接フィールド画像間の類似度判定部３、繰り返しフィールド画像検出部９０１、フィルムモード・ステート判定部４より構成される。入力されたビデオ映像信号は、遅延なしで隣接フィールド画像間の類似度判定部３と繰り返しフィールド画像検出部９０１とに入力されるとともに、１フィールド遅延されたビデオ映像信号が隣接フィールド画像間の類似度判定部３に入力され、２フィールド遅延されたビデオ映像信号が繰り返しフィールド画像検出部９０１に入力される。隣接フィールド画像間の類似度判定部３は、隣接フィールド画像間の類似度を判定し、その判定結果をフィルムモード・ステート判定部４に出力する。繰り返しフィールド画像検出部９０１は、繰り返しフィールド画像を検出し、その検出結果をフィルムモード・ステート判定部９に出力する。フィルムモード・ステート判定部４では両結果に基づき、入力されたビデオ映像信号がテレシネ変換されたビデオ映像信号であるかどうかを総合的に判定する。また、テレシネ変換されたビデオ映像信号については、そのフィルムステート（各フィールド画像が図６に示すＡ〜Ｅのいずれに該当するか）を判定する。
FIG. 9 is a block diagram schematically showing an internal configuration of a film mode detection device that performs film mode detection by paying attention to a repeated field image included in the video signal subjected to telecine conversion. This film mode detection apparatus includes a 1-
しかしながら、図９に示すフィルムモード検出装置では、繰り返しフィールド画像の検出を行うために２フィールド期間の遅延処理が必要となるため、図７に示すフィルムモード検出装置に比べて２倍の記憶容量が必要となる。また、繰り返しフィールド画像検出部９０１において繰り返しフィールド画像を検出する分の処理量が増大することになる。
However, since the film mode detection apparatus shown in FIG. 9 needs a delay process of two field periods in order to repeatedly detect field images, the storage capacity is twice that of the film mode detection apparatus shown in FIG. Necessary. Further, the processing amount for detecting the repeated field image in the repeated field
本発明は、このような実情に鑑みてなされたものであり、記憶容量や処理量を大幅に増大させることなく、フィルムモード検出の精度が向上されたフィルムモード検出装置を提供しようとするものである。 The present invention has been made in view of such circumstances, and intends to provide a film mode detection apparatus with improved accuracy of film mode detection without significantly increasing the storage capacity and processing amount. is there.
上記解決課題に鑑みて、本発明者は、映像信号に含まれる繰り返しフィールド画像の検出にフィルムモード検出装置の外部に設置されている動き補償型順次走査変換装置から信頼度情報を出力し利用することに想到した。 In view of the above problems, the present inventor outputs and uses reliability information from a motion-compensated sequential scanning conversion device installed outside the film mode detection device for detecting a repeated field image included in a video signal. I thought of that.
すなわち、本発明は、３：２プルダウン方式によりテレシネ変換された映像信号の検出を行うフィルムモード検出装置であって、フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置に接続されており、前記動きベクトル検出処理において検出された動きベクトルと信頼度の情報、または動きベクトル検出処理の際に候補となった動きベクトルと信頼度の情報を用いて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とするフィルムモード検出装置を提供するものである。 That is, the present invention is a film mode detection apparatus that detects a video signal telecine-converted by a 3: 2 pull-down method, and divides a field image into a plurality of blocks, and each block has two consecutive identical attributes. It is connected to a motion-compensated progressive scan converter that detects a motion vector with the highest reliability between field images and generates a progressive scan image by performing motion compensation, and is detected in the motion vector detection process. Film mode characterized by detecting repeated field images included in a video signal using motion vector information and reliability information, or motion vector candidates and candidates for motion vector detection processing A detection device is provided.
本発明のフィルムモード検出装置において、前記動きベクトル検出処理の際に候補となった動きベクトルの大きさがゼロのときの信頼度の情報を１フィールド分蓄積し、当該１フィールド分の信頼度情報の合計値又は平均値と第１の閾値との比較結果に基づいて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とする。 In the film mode detection apparatus of the present invention, reliability information for one field when the magnitude of a motion vector that is a candidate in the motion vector detection process is zero is accumulated, and the reliability information for the one field is stored. A repeated field image included in the video signal is detected based on a comparison result between the total value or the average value of the first value and the first threshold value.
本発明のフィルムモード検出装置において、前記動き補償型順次走査変換装置において検出された動きベクトルの大きさが第２の閾値以上であり、かつ信頼度が第３の閾値以上であるブロックについてのみ、大きさがゼロの動きベクトルの信頼度を計算し、その信頼度情報を出力し、フィルムモード検出装置では、前記動き補償型順次走査変換装置から出力される各ブロックについての信頼度情報を１フィールド分蓄積し、当該１フィールド分の信頼度情報の平均値と第４の閾値との比較結果に基づいて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とする。 In the film mode detection device of the present invention, only for blocks whose motion vector magnitude detected by the motion-compensated progressive scan conversion device is greater than or equal to a second threshold and whose reliability is greater than or equal to a third threshold, The reliability of a motion vector having a magnitude of zero is calculated and the reliability information is output. In the film mode detection apparatus, the reliability information for each block output from the motion-compensated progressive scan converter is 1 field. The repetitive field image included in the video signal is detected based on the comparison result between the average value of the reliability information for the one field and the fourth threshold value.
本発明のフィルムモード検出装置において、２つのフィールド画像間における動きベクトルの信頼度は、両画像のブロックを構成する画素間の差分絶対値和の逆数として計算されることを特徴とする。 In the film mode detection apparatus of the present invention, the reliability of the motion vector between two field images is calculated as the reciprocal of the sum of absolute differences between pixels constituting the blocks of both images.
以上、説明したように、本発明によれば、フィルムモード検出装置自体において記憶容量や処理量を増加させたりすることなく、外部の動き補償型順次走査変換変換装置を利用して、ビデオ映像信号の中から３：２プルダウン方式によりテレシネ変換された映像信号に含まれる繰り返しフィールド画像の検出を行い、フィルムモード検出の正確さを向上させることができる。 As described above, according to the present invention, a video image signal can be obtained by using an external motion-compensated sequential scan conversion converter without increasing the storage capacity or processing amount in the film mode detection device itself. The field image included in the video signal telecine-converted by the 3: 2 pull-down method can be repeatedly detected, and the accuracy of film mode detection can be improved.
以下、添付図面を参照しながら、本発明のフィルムモード検出装置を実施するための最良の形態を詳細に説明する。図１〜図５は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。 Hereinafter, the best mode for carrying out the film mode detection device of the present invention will be described in detail with reference to the accompanying drawings. 1 to 5 are diagrams illustrating embodiments of the present invention. In these drawings, the same reference numerals denote the same components, and the basic configuration and operation are the same. To do.
動き補償型順次走査変換装置
まずは、本発明のフィルムモード検出装置のために用いられる外部に配置された動き補償型順次走査変換装置について説明する。図１は、この動き補償型順次走査変換装置の内部構成を概略的に示すブロック図である。図１において、動き補償型順次走査変換装置は、１フィールド遅延部１，２、動きベクトル検出部１０１、補間フィールド画像生成部１０２、フレーム組立て部５から構成されている。この装置への入力信号は、図示しないＡ／Ｄ変換器によりデジタル化されたビデオ映像信号である。
First, a motion-compensated progressive scan converter used for the film mode detector of the present invention will be described. FIG. 1 is a block diagram schematically showing the internal configuration of the motion compensated progressive scan converter. In FIG. 1, the motion-compensated progressive scan conversion apparatus includes 1
今、動き補償型順次走査変換装置にフィールド画像ｎ−２、フィールド画像ｎ−１、フィールド画像ｎが順次入力されたとすると、動きベクトル検出部１０１には、１フィールド遅延部１，２を通って２フィールド期間遅延されたフィールド画像ｎ−２と、遅延されずに入力されたフィールド画像ｎとが同時に入力されることになる。このとき、動きベクトル検出部１０１は、画像のブロック毎に動きベクトルを検出する。２フィールド期間離れた両フィールド画像は同じ属性（奇数フィールド画像同士又は偶数フィールド画像同士）となるので、これらのフィールド画像間における動き検出は、異なる属性のフィールド画像間における動き検出を行うのに比べて、静止したり水平移動したりしている物体をより正確に検出することができる。
Assuming that a field image n-2, a field image n-1, and a field image n are sequentially input to the motion-compensated progressive scan converter, the motion
この動きベクトル検出部１０１における動きベクトル検出処理について、図２を参照しながら説明する。図２において、Hはフィールド画像の水平方向の画素数、Vは垂直方向のライン数であり、a、bはそれぞれ画像を分割したブロックの横方向画素数、縦方向ライン数である。上記したように、２フィールド期間離れたフィールド画像ｎ−２及びフィールド画像ｎがベクトル検出部１０１に入力されると、両画像間の動きベクトルがブロック毎に検出される。この動きベクトル検出にあたっては、図示するように複数の動きベクトルの候補を設定し、各候補について動きベクトルの信頼度を評価し、最も信頼度の高い動きベクトルを当該ブロックの動きベクトルとして決定する。動きベクトルの信頼度は、例えば、両画像のブロックを構成する画素間の差分絶対値和（SAD：Sum of Absolute Differences）の逆数を用いて評価することができる。つまり、ブロックを構成する画素同士の値が近ければ、そのブロックの動きベクトルの信頼度は高いということが言える。動きベクトル検出部１０１において検出されたブロック毎の動きベクトル情報は、補間フィールド画像生成部１０２に出力される。
The motion vector detection processing in the motion
さらに、動きベクトル検出部１０１における動きベクトル検出では、２フィールド期間離れたフィールド画像ｎ−２及びフィールド画像ｎの動きベクトル検出において、動きベクトルの候補の１つとして用いられた大きさがゼロの動きベクトルの信頼度情報を後述する本発明のフィルムモード検出装置に出力する。
Furthermore, in the motion vector detection in the motion
ここで、例えば、動きベクトル検出部１０１において検出された動きベクトルの大きさが所定の閾値以上で、かつ信頼度が所定の閾値以上となるブロックのみに限って、そのブロックにおける大きさがゼロのベクトルの信頼度情報をフィルムモード検出装置に出力するようにしてもよい。テレシネ変換されたビデオ映像信号と通常のビデオ映像信号の特性の違いは画面内で画像が動いている領域に現れるため、この領域のブロックに注目し対象外のブロックを排除することにより、フィルムモード検出の性能を向上させることができる。
Here, for example, the size of the motion vector detected by the motion
補間フィールド画像生成部１０２には、１フィールド遅延部１，２を通って２フィールド期間遅延されたフィールド画像ｎ−２と、動きベクトル検出部１０１においてブロック毎に検出された動きベクトル情報が入力される。補間フィールド画像生成部１０２は、フィールドｎ−２の画像と動きベクトル情報とから、補間フィールド画像ｎ−１を生成し、フレーム組立て部５に出力する。
The interpolated field
フレーム組立て部５は、補間フィールド画像生成部１０２において生成された補間フィールド画像ｎ−１と、１フィールド遅延部１から入力されるフィールド画像ｎ−１とを用い、一方を奇数ラインの画像、他方を偶数ラインの画像として１ラインずつ交互に組合せることにより順次走査方式の画像を構成する。フレーム組立て部５において構成された順次走査画像は、後述するフィルム画像復元装置に出力される。
The
フィルムモード検出装置
次に、本発明によるフィルムモード検出装置について説明する。図３は、本発明のフィルムモード検出装置の内部構成を概略的に示すブロック図である。図３において、フィルムモード検出装置は、１フィールド遅延部１、隣接フィールド画像間の類似度判定部３、閾値比較部３０１、フィルムモード・ステート判定部４から構成されている。これらの構成部分うち、１フィールド遅延部１及び隣接フィールド画像間の類似度判定部３については、図７及び図９に示した従来方式のフィルムモード検出装置におけるのと同様に機能するものとする。
Film Mode Detection Device Next, a film mode detection device according to the present invention will be described. FIG. 3 is a block diagram schematically showing the internal configuration of the film mode detection apparatus of the present invention. In FIG. 3, the film mode detection apparatus includes a one-
１フィールド遅延部１及び隣接フィールド画像間の類似度判定部３には、ビデオ映像信号が入力され、さらに隣接フィールド画像間の類似度判定部３には、１フィールド遅延されたビデオ映像信号が入力される。隣接フィールド画像間の類似度判定部３は、隣接フィールド画像間の類似度の判定結果をフィルムモード・ステート判定部４に出力する。
A video image signal is input to the 1-
一方、閾値比較部３０１には、図１に示す動き補償型順次走査変換装置の動きベクトル検出部１０１から出力された、大きさがゼロと設定されたときのブロック毎の動きベクトルの信頼度情報が入力される。閾値比較部３０１では、各ブロックの信頼度情報を累積し、１フィールドを構成する全ブロックの信頼度情報が得られると、それらの信頼度の合計値を求める。その後、閾値比較部３０１は、上記信頼度の合計値と所定の閾値と比較し、信頼度の合計値が閾値より高い場合には比較結果「１」を、それ以外の場合には比較結果「０」をフィルムモード・ステート判定部４に出力する。
On the other hand, the threshold
上記したように、動きベクトル検出部１０１から閾値比較部３０１に入力される信頼度情報は、２フィールド期間離れたフィールド画像間における大きさをゼロとした場合の動きベクトルの信頼度であり、両画像の同位置における画素値の一致度が高いほどこの信頼度は大きな値となるから、閾値比較部３０１から出力される比較結果は、２フィールド期間離れたフィールド画像間の類似度の評価に他ならない。すなわち、「１」の場合は繰り返しフィールド画像が検出されたことを、「０」の場合は繰り返しフィールド画像が検出されなかったことを意味することになるので、閾値比較部３０１から出力される比較結果は、図７及び図９に示す従来方式のフィルムモード検出装置における繰り返しフィールド画像検出部９０１の出力と同等の意味を持つことになる。尚、閾値比較部３０１に予め設定される閾値は、テレシネ変換時のノイズなどの影響により、繰り返しフィールド画像が２フィールド期間前に入力されたフィールド画像と完全に一致しない場合を考慮した上で、適切な値を設定しているものとする。
As described above, the reliability information input from the motion
また、上記したように、動きベクトル検出部１０１において検出された動きベクトルの大きさが所定の閾値以上で、かつ信頼度が所定の閾値以上のブロックのみに限って、閾値比較部３０１に信頼度情報を出力するように設定している場合には、閾値比較部３０１において、１フィールド分の信頼度情報を蓄積した後、信頼度の合計値を入力されたブロック数で除算して求められる１ブロックあたりの平均値を上記閾値との比較対象とすることができる。
In addition, as described above, the reliability of the
フィルムモード・ステート判定部４には、隣接フィールド画像間の類似度判定部３から類似度の判定結果が入力され、閾値比較部３０１から比較結果（繰り返しフィールド画像の検出結果に相当）が入力される。フィルムモード・ステート判定部４は、これらの入力情報を図４に示す判定パターンテーブルと照らし合わせることによりフィルムモードの判定を行う。図４に示す判定パターンにおいて、フィルムステートＡ〜Ｅは図６に示す各フィルムステートＡ〜Ｅに対応しており、各ステートのフィールド画像が入力された際に隣接フィールド画像間の類似度判定部３及び閾値比較部３０１から出力されるべき結果が示されている。フィルムモード・ステート判定部４は、隣接フィールド画像間の類似度判定部３及び閾値比較部３０１からの入力情報を少なくとも過去５フィールド分蓄積し、蓄積された入力情報から上記判定パターンテーブルに合致する規則的なパターンが検出されるまではフィルムモードと判定しないようになっている。動きの少ないビデオ映像信号が入力された場合には、ノイズなどの影響により隣接フィールド画像間の類似度判定部３及び閾値比較部３０１からの出力が画像毎に「０」と「１」の間を不規則に遷移することがあるが、これを原因とする誤検出を上記のパターン判定により防いでいる。もちろん、フィルムモード・ステート判定部４において、５フィールドよりも多くの入力情報を蓄積して判定すれば、更に正確なフィルムモード判定を実現することができる。フィルムモード・ステート判定部４は、フィルムモード検出の結果と、フィルムモードと判定した場合には入力フィールド画像のフィルムステート情報とを後述するフィルム画像復元装置に出力する。
The film mode /
フィルム画像復元装置
次に、図３に示すフィルムモード検出装置からの出力信号に基づいてフィルム画像を復元するフィルム画像復元装置について説明する。図５は、フィルム画像復元装置の内部構成を概略的に示すブロック図である。図５において、フィルム画像復元装置は、１フィールド遅延部１，２、切換え部５０１，５０２、フレーム組み立て部５から構成されている。１フィールド遅延部１及び切換え部５０１の端子ａにはビデオ映像信号が入力され、切換え部５０２には図３に示すフィルムモード検出装置のフィルムモード・ステート判定部４からのフィルムモード検出結果が入力され、切換え部５０１には同フィルムモード・ステート判定部４からのフィルムステート情報が入力され、切換え部５０２の端子ｂには図１に示す動き補償型順次走査変換装置のフレーム組み立て部５からの順次走査画像が入力される。
Film Image Restoration Apparatus Next, a film image restoration apparatus that restores a film image based on an output signal from the film mode detection apparatus shown in FIG. 3 will be described. FIG. 5 is a block diagram schematically showing the internal configuration of the film image restoration apparatus. In FIG. 5, the film image restoration apparatus includes 1
切換え部５０１は、２フィールド期間遅延されて入力されるビデオ映像信号と、遅延されずに入力されるビデオ映像信号とのうちいずれか一方を選択してフレーム組み立て部５に出力する。いずれの入力信号を選択するかは、入力されるフィルムステート情報に基づき決定される。図６の下段を参照すると、１フィールド遅延したフィールド画像のフィルムステートがＡ，Ｃの場合には、切換え部５０１で端子aを選択して、遅延なしのフィールド画像と１フィールド遅延したフィールド画像とを組み合わせればよく、フィルムステートがＢ，Ｅの場合には、切換え部５０１で端子ｂを選択して、２フィールド遅延したフィールド画像と、１フィールド遅延したフィールド画像とを組み合わせればよく、フィルムステートがＤの場合には、切換え部５０１では端子a，bのいずれを選択してもよいことが分かる。こうして、フレーム組み立て部５において、フィルム画像を復元した順次走査画像が生成され、切換え部５０２の端子ａに出力される。
The
切換え部５０２は、フレーム組み立て部５から入力されるフィルム画像を復元した順次走査画像と、図１に示す動き補償型順次走査変換装置から入力される非フィルムモードの順次走査画像とのうち、いずれか一方を選択して出力する。いずれの入力信号を選択するかは、図３に示すフィルムモード検出装置から入力されるフィルムモード検出結果に基づき決定される。フィルム画像復元装置から出力された順次走査画像は、図示しない映像補正装置などにより種々の映像処理が行われ、最終的に表示装置に表示される。
The
以上、本発明のフィルムモード検出装置について、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。 As mentioned above, although the specific embodiment was shown and demonstrated about the film mode detection apparatus of this invention, this invention is not limited to these. A person skilled in the art can make various changes and improvements to the configurations and functions of the invention according to the above-described embodiments or other embodiments without departing from the gist of the present invention.
本発明のフィルムモード検出装置は、テレビジョン受像機などにおいて映像信号変換装置として組み込んで利用することができるものである。 The film mode detection device of the present invention can be used by being incorporated as a video signal conversion device in a television receiver or the like.
１，２ １フィールド遅延部
３ 隣接フィールド画像間の類似度判定部
４ フィルムモード・ステート判定部
５ フレーム組み立て部
１０１ 動きベクトル検出部
１０２ 補間フィールド画像生成部
３０１ 閾値比較部
５０１，５０２ 切換え部
９０１ 繰り返しフィールド画像検出部
DESCRIPTION OF
Claims (4)
フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置に接続されており、
前記動きベクトル検出処理において検出された動きベクトルと信頼度の情報、または動きベクトル検出処理の際に候補となった動きベクトルと信頼度の情報を用いて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とするフィルムモード検出装置。 A film mode detection device for detecting a video signal telecine-converted by a 3: 2 pull-down method,
Motion that divides a field image into a plurality of blocks, detects a motion vector having the highest reliability between two consecutive field images of the same attribute for each block, and generates a progressive scan image by performing motion compensation Connected to a compensation type progressive scan converter,
Using the motion vector and reliability information detected in the motion vector detection process, or the motion vector and reliability information that were candidates in the motion vector detection process, a repetitive field image included in the video signal is detected. A film mode detection device characterized by:
前記動きベクトル検出処理の際に候補となった動きベクトルの大きさがゼロのときの信頼度の情報を１フィールド分蓄積し、当該１フィールド分の信頼度情報の合計値又は平均値と第１の閾値との比較結果に基づいて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とするフィルムモード検出装置。 The film mode detection device according to claim 1,
The reliability information when the magnitude of the motion vector that is a candidate in the motion vector detection process is zero is accumulated for one field, and the total value or average value of the reliability information for the one field and the first value are stored. A film mode detection apparatus for detecting a repetitive field image included in a video signal based on a comparison result with a threshold value.
前記動き補償型順次走査変換装置において検出された動きベクトルの大きさが第２の閾値以上であり、かつ信頼度が第３の閾値以上であるブロックについてのみ、大きさがゼロの動きベクトルの信頼度を計算し、その信頼度情報を出力し、
フィルムモード検出装置では、前記動き補償型順次走査変換装置から出力される各ブロックについての信頼度情報を１フィールド分蓄積し、当該１フィールド分の信頼度情報の平均値と第４の閾値との比較結果に基づいて、映像信号に含まれる繰り返しフィールド画像を検出することを特徴とするフィルムモード検出装置。 The film mode detection device according to claim 1,
The reliability of a motion vector having a size of zero is obtained only for a block in which the magnitude of a motion vector detected by the motion-compensated progressive scan converter is greater than or equal to a second threshold and the reliability is greater than or equal to a third threshold. Calculate the degree of reliability and output its reliability information,
In the film mode detection device, reliability information for each block output from the motion-compensated progressive scan conversion device is accumulated for one field, and the average value of the reliability information for the one field and a fourth threshold value are stored. A film mode detection apparatus for detecting a repeated field image included in a video signal based on a comparison result.
２つのフィールド画像間における動きベクトルの信頼度は、両画像のブロックを構成する画素間の差分絶対値和の逆数として計算されることを特徴とするフィルムモード検出装置。 In the film mode detection apparatus of any one of Claim 1 to 3,
A film mode detection apparatus, wherein the reliability of a motion vector between two field images is calculated as a reciprocal of a sum of absolute differences between pixels constituting a block of both images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005122690A JP4365344B2 (en) | 2005-04-20 | 2005-04-20 | Film mode detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005122690A JP4365344B2 (en) | 2005-04-20 | 2005-04-20 | Film mode detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006303910A true JP2006303910A (en) | 2006-11-02 |
| JP4365344B2 JP4365344B2 (en) | 2009-11-18 |
Family
ID=37471669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005122690A Expired - Fee Related JP4365344B2 (en) | 2005-04-20 | 2005-04-20 | Film mode detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4365344B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011525761A (en) * | 2008-06-26 | 2011-09-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Repetition detection in digital video |
| US8134643B2 (en) | 2007-12-28 | 2012-03-13 | Fujitsu Limited | Synthesized image detection unit |
| CN107426577A (en) * | 2017-03-08 | 2017-12-01 | 宏祐图像科技(上海)有限公司 | The detection method and system of repetitive structure in motion estimation motion backoff algorithm |
-
2005
- 2005-04-20 JP JP2005122690A patent/JP4365344B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8134643B2 (en) | 2007-12-28 | 2012-03-13 | Fujitsu Limited | Synthesized image detection unit |
| JP2011525761A (en) * | 2008-06-26 | 2011-09-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Repetition detection in digital video |
| US8724705B2 (en) | 2008-06-26 | 2014-05-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Detecting repetition in digital video |
| CN107426577A (en) * | 2017-03-08 | 2017-12-01 | 宏祐图像科技(上海)有限公司 | The detection method and system of repetitive structure in motion estimation motion backoff algorithm |
| CN107426577B (en) * | 2017-03-08 | 2020-05-29 | 青岛信芯微电子科技股份有限公司 | Method and system for detecting repetitive structure in motion estimation motion compensation algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4365344B2 (en) | 2009-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
| KR100351159B1 (en) | Apparatus and method for video signal reconstitution | |
| US20100309372A1 (en) | Method And System For Motion Compensated Video De-Interlacing | |
| JP2004159294A (en) | Frame interpolation and apparatus using the frame interpolation | |
| KR100657261B1 (en) | Method and apparatus for interpolating with adaptive motion compensation | |
| JP4218640B2 (en) | Image processing apparatus and method, video display apparatus, and recorded information reproducing apparatus | |
| JPH05347752A (en) | Video signal processing device | |
| US20050018767A1 (en) | Apparatus and method for detecting film mode | |
| JP2000341648A (en) | Video signal converting device | |
| JP2000278649A (en) | Device and method for interpolating scanning line | |
| JP4983362B2 (en) | Film detection apparatus and method thereof, and video signal processing apparatus and method thereof | |
| US7023920B2 (en) | Facilitating motion estimation | |
| JP4791074B2 (en) | State information correction method, motion compensation image processing method, and image state information corrector | |
| US20040189877A1 (en) | Apparatus for detecting a common frame in an interlaced image | |
| JP2007129400A (en) | Film mode detector and video display | |
| JP2006109488A (en) | Video processing device capable of selecting field and method thereof | |
| JP4365344B2 (en) | Film mode detector | |
| US20060033839A1 (en) | De-interlacing method | |
| JP5241632B2 (en) | Image processing circuit and image processing method | |
| KR20010002659A (en) | Deinterlacing method and apparatus | |
| US8243814B2 (en) | Combing artifacts detection apparatus and combing artifacts detection method | |
| KR20060047491A (en) | Processing auxiliary data of video sequences | |
| JP4226939B2 (en) | Progressive scan conversion apparatus and progressive scan conversion method | |
| JP2003179886A (en) | Image processing apparatus and method, recording medium, and program | |
| JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4365344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |