JP2013225795A - Abnormal content detection system, method and computer program - Google Patents
Abnormal content detection system, method and computer program Download PDFInfo
- Publication number
- JP2013225795A JP2013225795A JP2012097628A JP2012097628A JP2013225795A JP 2013225795 A JP2013225795 A JP 2013225795A JP 2012097628 A JP2012097628 A JP 2012097628A JP 2012097628 A JP2012097628 A JP 2012097628A JP 2013225795 A JP2013225795 A JP 2013225795A
- Authority
- JP
- Japan
- Prior art keywords
- color
- boundary
- detection method
- determined
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、異常コンテンツ検出方式、方法およびコンピュータプログラムに関し、特に、コンテンツに混入された映像装置の調整・検査のためのカラーバーテストパターン信号を映像信号から自動的に検出する異常コンテンツ検出方式、方法およびコンピュータプログラムに関する。 The present invention relates to an abnormal content detection method, method, and computer program, and in particular, an abnormal content detection method for automatically detecting from a video signal a color bar test pattern signal for adjustment / inspection of a video device mixed in the content, The present invention relates to a method and a computer program.
IPTV, CATV等で提供されているVoD (Video on Demand)では、番組供給元（地上波放送局、委託放送事業者等）から提供された映像信号をリアルタイムに圧縮符号化して送出する通常の放送チャネルとは異なり、事前に編集、圧縮符号化等のオーサリング処理がなされ、蓄積されたコンテンツを送出する。 In VoD (Video on Demand) provided by IPTV, CATV, etc., normal broadcasting that compresses and encodes video signals provided by program suppliers (terrestrial broadcast stations, consigned broadcasters, etc.) in real time and sends them out Unlike channels, authoring processing such as editing and compression encoding is performed in advance, and the stored content is transmitted.
放送チャネルでは放送事故の防止のため、運用者の目視による内容監視が送出と同時に行われる。VoD等の蓄積型サービスの場合、放送事故は存在しないが、コンテンツの異常はサービス品質の低下を招くため、同様の内容監視はオーサリング処理後の段階で行われる。ここで、コンテンツの異常とは、制作上の意図に反する映像信号、異常な雑音（画面の破綻）、無信号（制作意図以外のフリーズ、ブラックアウト）などの混入を意味し、内容監視とは、それらの異常がないかを検査することを意味するものとする。 In the broadcast channel, the contents are visually monitored by the operator at the same time as the transmission to prevent broadcast accidents. In the case of a storage-type service such as VoD, there is no broadcast accident, but a content abnormality leads to a decrease in service quality, so the same content monitoring is performed after the authoring process. Here, content abnormality means mixing of video signals, abnormal noise (screen failure), no signal (freezes other than production intention, blackout), etc. , It shall mean to check for these abnormalities.
放送チャネルに関するコンテンツ異常の多くは、伝送路の障害に起因するものであるが、蓄積型コンテンツの異常は、符号化情報のファイル保存時の出力／保存エラーや、圧縮符号化前のオリジナル素材時点で混入された異常に起因するものが多い。前者は圧縮ファイルのシンタクスを検査することにより検出可能な場合が多いが、後者については圧縮符号化の前段ですでに異常が発生していることから、圧縮ファイル自体はシンタクス的には正常であり、シンタクス検査のみでは異常検出が難しい。それゆえ、オーサリング処理前後のベースバンド信号（圧縮前の原画像、圧縮後の復号画像）の解析により、上述のコンテンツ異常を検出することが望まれている。 Many content anomalies related to broadcast channels are due to transmission path failures, but storage content anomalies are caused by output / save errors when storing encoded information files, and the time of the original material before compression encoding. Many are caused by abnormalities mixed in. The former can often be detected by examining the syntax of the compressed file, but the latter is already normal in the syntax because the abnormality has already occurred before the compression encoding. Anomaly detection is difficult only by syntax inspection. Therefore, it is desired to detect the above-described content abnormality by analyzing baseband signals (original image before compression, decoded image after compression) before and after authoring processing.
上述のコンテンツ異常のうち、ブラック、フリーズについては、空間的／時間的に定常（または、ほぼ定常）であるという特徴があるため、比較的単純なアルゴリズムにより検出可能である。それ以外に頻度が高いコンテンツ異常としては、カラーバー画像の混入がある。カラーバーは、本来機器調整や伝送路特性の調査の目的で使用される一種のテスト信号であり、VoDの映像素材として使用される業務用VTRに収録された素材の冒頭に調整用の目的で必ず挿入されているテストパターンである。代表的なものとして、SMPTEカラーバー（下記非特許文献１）、ARIBカラーバー（下記非特許文献２）などが知られている。 Among the above-mentioned content anomalies, black and freeze are characterized by being spatially / temporarily stationary (or almost stationary) and can be detected by a relatively simple algorithm. Other frequent content anomalies include color bar image mixing. A color bar is a type of test signal that is originally used for equipment adjustment and investigation of transmission path characteristics, and is used for adjustment purposes at the beginning of material recorded in a commercial VTR used as VoD video material. It is a test pattern that is always inserted. As typical examples, SMPTE color bars (Non-patent Document 1 below), ARIB color bars (Non-patent Document 2 below) and the like are known.
参考のために、前記SMPTEカラーバーを図７に示す。該SMPTEカラーバーは、画面の上側の２／３を占める領域Ａ１に、左からそれぞれ７５％の白、黄、シアン、緑、マゼンタ、赤、青の７つの帯が等しい幅で並んでいる。また、中断の１／１２を占める領域Ａ２に、上の段の奇数番目の帯が、黒を挟んで逆の順に配されている。下段の１／４の領域Ａ３には、搬送色信号の位相の測定に用いられる４本の帯、モニタの輝度調整に用いられる３本の帯が並んでいる。 For reference, the SMPTE color bar is shown in FIG. In the SMPTE color bar, seven bands of white, yellow, cyan, green, magenta, red, and blue of 75% from the left are arranged in the area A1 that occupies the upper 2/3 of the screen, with the same width. In addition, in the area A2 that occupies 1/12 of the interruption, the odd-numbered bands in the upper stage are arranged in the reverse order across black. In the lower quarter area A3, four bands used for measuring the phase of the carrier color signal and three bands used for adjusting the luminance of the monitor are arranged.
このテストパターンは、映像の本編の開始以降は挿入されないのが原則であるが、まれにマスター編集時の機器接続ミスや機器障害などにより冒頭にのみ挿入すべきカラーバーが本編に混入してしまうことがある。このようなコンテンツ異常の検出を目視で行う場合、コンテンツ長と同じかそれ以上（検査対象のコンテンツが１時間の番組であれば、１時間以上）の時間を要するため検査コストがかかる上、人間による作業ゆえの見落としの危険性がある。それゆえ、特定のテストパターン信号の自動検出はコンテンツ異常率および検査時間、コストの抑制のために強く求められる。 In principle, this test pattern is not inserted after the start of the main part of the video, but in rare cases, a color bar that should be inserted only at the beginning is mixed into the main part due to equipment connection errors or equipment failures during master editing. Sometimes. When such a content abnormality is detected visually, it takes a time equal to or longer than the content length (1 hour or more if the content to be inspected is a one-hour program), which requires inspection costs and is human. There is a risk of oversight due to work by. Therefore, automatic detection of a specific test pattern signal is strongly required to suppress the content abnormality rate, inspection time, and cost.
特定の内容の画像を検出する手法として、テンプレート画像（クエリ画像）との類似度測定に基づく画像検索法が多く提案されている。しかし、カラーバーのパターンには主要なものだけでも複数種類あるほか、アップコンバージョン（SDTV等の低解像度フォーマットからHDTV等の高解像度フォーマットへの変換）、ダウンコンバージョン（前述と逆方向の変換）に伴うレターボックス、サイドカット等の画角変化への対応が困難であることが予想される。また、計算量の観点からも、汎用の自然画像を前提とした複雑な処理ではなく、カラーバーが備えるテストパターンとしての性質を考慮した検出法の確立が課題である。 As a technique for detecting an image having a specific content, many image search methods based on similarity measurement with a template image (query image) have been proposed. However, there are multiple types of color bar patterns alone, as well as up-conversion (conversion from low-resolution formats such as SDTV to high-resolution formats such as HDTV) and down-conversion (conversion in the opposite direction to the above). It is expected that it is difficult to cope with changes in the angle of view such as letterbox and side cut. Also, from the viewpoint of computational complexity, it is a problem to establish a detection method that takes into consideration the properties as a test pattern provided in a color bar, not a complicated process based on a general-purpose natural image.
本発明の目的は、前記課題に鑑みて、カラーバーが特徴として有する、輝度変化の単調性、画像の平坦性、時間方向の静止特性に着目し、テストパターンの種別によらず、自動的にコンテンツに混入されたカラーバーを検出する異常コンテンツ検出方式、方法およびコンピュータプログラムを提供することにある。 In view of the above problems, the object of the present invention is to pay attention to the monotonicity of luminance change, the flatness of the image, and the static characteristics in the time direction, which are characteristic of the color bar. An object of the present invention is to provide an abnormal content detection method, method, and computer program for detecting a color bar mixed in content.
前記した目的を達成するために、本発明は、ベースバンド映像信号の解析により、映像コンテンツに混入されたカラーバーパターンを検出する異常混入検出方式であって、前記映像コンテンツのフレームの水平方向の隣接画素間の輝度差分値または水平方向に連続する２画素以上の画素集合の輝度平均値の差分値に基づき水平方向の色境界位置を検出する垂直境界検出部と、前記垂直境界検出部により検出された色境界位置の色領域幅が均一であるか否かを判定する境界幅の均等性判定部とを具備し、前記垂直境界検出部で検出された色境界の個数が５以上で、かつ前記境界幅の均等性判定部が均一であると判定した時に、カラーバーが混入していると判断するようにした点に第１の特徴がある。 In order to achieve the above-described object, the present invention provides an abnormal mixing detection method for detecting a color bar pattern mixed in video content by analyzing a baseband video signal, wherein the horizontal frame frame of the video content is detected. A vertical boundary detection unit that detects a color boundary position in the horizontal direction based on a luminance difference value between adjacent pixels or a difference value of luminance average values of a set of two or more pixels that are continuous in the horizontal direction, and is detected by the vertical boundary detection unit A boundary width uniformity determination unit that determines whether or not the color area width of the color boundary position is uniform, and the number of color boundaries detected by the vertical boundary detection unit is 5 or more, and A first feature is that when the boundary width uniformity determination unit determines that the color is mixed, it is determined that a color bar is mixed.
また、前記垂直境界検出部により検出した色境界位置に基づき導出した色領域内部の輝度信号分散値から、該色領域内部の平坦度を判定する境界幅内部の平坦度判定部をさらに具備し、該境界幅内部が平坦である判定された時に、カラーバーが混入していると判断するようにした点に第２の特徴がある。 Further, the apparatus further comprises a flatness determination unit inside the boundary width for determining the flatness inside the color region from the luminance signal dispersion value inside the color region derived based on the color boundary position detected by the vertical boundary detection unit, A second feature is that when it is determined that the inside of the boundary width is flat, it is determined that a color bar is mixed.
また、フレーム間差分電力値から当該画像の静止状態を判定する静止画判定部をさらに具備し、該静止画判定部が静止画であると判定した時に、カラーバーが混入していると判断するようにした点に第３の特徴がある。 Further, the image processing apparatus further includes a still image determination unit that determines the still state of the image from the inter-frame difference power value, and determines that a color bar is mixed when the still image determination unit determines that the image is a still image. There is a third feature in this way.
また、本発明は、異常混入検出方法、異常混入検出のプログラムである点にも特徴がある。 The present invention is also characterized in that it is a method for detecting abnormal mixing and a program for detecting abnormal mixing.
本発明により、従来目視に依存していたカラーバーの異常混入検査を自動化することが可能となる。また、目視検査で発生する見落としを同時に防止することが可能となる。また、これにより、品質検査における所要時間を大幅に短縮するとともに検査精度を向上させることが可能となる。 According to the present invention, it is possible to automate the abnormal mixing inspection of a color bar, which has conventionally relied on visual observation. In addition, it is possible to simultaneously prevent oversight that occurs in the visual inspection. As a result, the time required for quality inspection can be greatly shortened and the inspection accuracy can be improved.
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の第１実施形態の構成を示す概略のブロック図である。以下では方式発明として説明するが、方法発明としても成り立つことは明らかである。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of the first embodiment of the present invention. In the following, it will be described as a method invention, but it is clear that it can also be realized as a method invention.
図示されているように、本実施形態は、ベースバンド映像信号のフレーム内輝度信号を入力とする垂直境界検出部１，境界幅の均等性判定部２およびカラーバー／非カラーバー判定部３から構成される。 As shown in the figure, the present embodiment includes a vertical boundary detection unit 1, a boundary width uniformity determination unit 2, and a color bar / non-color bar determination unit 3 that receive an intra-frame luminance signal of a baseband video signal. Composed.
前記垂直境界検出部１は、カラーバーの水平方向の色境界（つまり、図７の２／３上側領域Ａ１の縦線）の検出を行う。カラーバー上の輝度成分の分布は、画面左側から右側に遷移するにつれて単調に増加する特徴がある。これは、テストパターンとしての要件であるため、カラーバーの種別によらず常に成立すると前提してよい。そのため、境界の検出条件は、水平画素位置i, ライン位置 j における輝度信号をY(i,j)と表記するとき、下記の（１）式のようになる。ここで、BTHは所与の閾値である。 The vertical boundary detection unit 1 detects a color boundary in the horizontal direction of the color bar (that is, a vertical line in the 2/3 upper area A1 in FIG. 7). The distribution of the luminance component on the color bar has a feature that it increases monotonously as it transitions from the left side to the right side of the screen. Since this is a requirement as a test pattern, it may be assumed that it always holds regardless of the type of the color bar. Therefore, the boundary detection condition is expressed by the following equation (1) when the luminance signal at the horizontal pixel position i and the line position j is expressed as Y (i, j). Where B TH is a given threshold.
以上の判定を画面上部から例えば画面中央（１／２上側領域）までの各ラインについて行う。画面下半分は、上述の輝度成分の単調性が担保できないパターンが挿入されることがあるため、上述の判定は画面中央付近までの適用とする。ここで、前述の検査範囲内（画面上端〜中央付近）の全ラインについて(1)式の条件が成立する水平画素位置を求め、その度数を記録するものとする。 The above determination is performed for each line from the upper part of the screen to, for example, the center of the screen (1/2 upper region). In the lower half of the screen, a pattern that cannot guarantee the monotonicity of the above-described luminance component may be inserted. Therefore, the above-described determination is applied to the vicinity of the center of the screen. Here, it is assumed that the horizontal pixel position where the condition of the expression (1) is satisfied is obtained for all the lines within the inspection range (from the upper end of the screen to the vicinity of the center), and the frequency is recorded.
ただし、色境界付近ではクロスカラー等のノイズ要因により境界と判定される画素位置が複数に分散する可能性があるため、連続する画素位置における非零の度数は最左端の画素位置の度数に統合する。これの詳細については、図３，図４を参照して後述する。 However, near the color boundary, pixel positions that are determined to be the boundary may be dispersed due to noise factors such as cross color, so the non-zero frequency at consecutive pixel positions is integrated with the frequency at the leftmost pixel position. To do. Details of this will be described later with reference to FIGS.
なお、(1)式では当該画素に隣接する１画素のみとの差分を求めているが、アナログ-デジタル変換やコンポジット-コンポーネント変換のような変換処理が適用される場合、色境界において「ぼやけ」が発生し、隣接画素間の輝度変化が緩やかになる、すなわち(1)式の左辺が本来の色境界で示す値より小さくなる場合がある。こうした場合、閾値BTHを小さい値に変更することにより検出可能となるよう調整するが、同時に、本来の色境界ではない部分を誤検出する可能性も高くなる。 Note that the difference from only one pixel adjacent to the pixel is obtained in equation (1). However, when a conversion process such as analog-digital conversion or composite-component conversion is applied, “blurring” occurs at the color boundary. May occur, and the luminance change between adjacent pixels may be gradual, that is, the left side of equation (1) may be smaller than the value indicated by the original color boundary. In such a case, the threshold value BTH is adjusted so as to be detectable by changing it to a small value, but at the same time, there is a high possibility that a portion that is not the original color boundary is erroneously detected.
こうした誤検出を回避するため、下記の(2)式の通り当該画素の２つ以上の近傍画素ＰＡを用いた判定を行っても良い。 To avoid this erroneous detection, determination may be performed using two or more neighboring pixels P A street the pixel (2) below.
図２は、(2)式の説明図であり、近傍画素ＰＡ＝３で(2)式を満足するかどうかの判定を行い、満足すれば色境界とする例を示している。 FIG. 2 is an explanatory diagram of the expression (2), and shows an example in which it is determined whether or not the expression (2) is satisfied with the neighboring pixel P A = 3, and if it is satisfied, a color boundary is set.
次に、前記垂直境界検出部１の動作を、図３のフローチャートを参照して説明する。ステップＳ１、Ｓ２では、それぞれ、 ライン位置 j 、水平画素位置iが０と置かれる。ステップＳ３では、前記(1)式が成立するか否かの判断がなされ、成立すれば境界、不成立であれば境界ではないと判断される。境界であると判断されるとステップＳ４に進んで、境界(i)に１が加算される。そして、ステップＳ５に進み，ｉが１インクリメントされる。なお、境界でないと判断された時にもステップＳ５に進む。ステップＳ６では、ｉ＜Ｗであるか否かが判断され、肯定の場合にはステップＳ３に戻って再度前記(1)式が成立するか否かの判断がなされる。ここに、Ｗは、フレームの水平画素数である。以上の処理が、ステップＳ６の判断が否定になるまで繰り返される。したがって、ステップＳ６の判断が否定になった時には、１水平画素列の色境界位置が求められたことになる。 Next, the operation of the vertical boundary detection unit 1 will be described with reference to the flowchart of FIG. In steps S1 and S2, the line position j and the horizontal pixel position i are set to 0, respectively. In step S3, it is determined whether or not the expression (1) is satisfied. If it is satisfied, it is determined that it is not a boundary. If it is determined that it is a boundary, the process proceeds to step S4, and 1 is added to the boundary (i). In step S5, i is incremented by one. Note that the process also proceeds to step S5 when it is determined that the boundary is not reached. In step S6, it is determined whether i <W. If the determination is affirmative, the process returns to step S3 to determine again whether or not the equation (1) is satisfied. Here, W is the number of horizontal pixels of the frame. The above process is repeated until the determination in step S6 is negative. Therefore, when the determination in step S6 is negative, the color boundary position of one horizontal pixel column is obtained.
次に、ステップＳ７で、ｊが１インクリメントされ、ステップＳ８で、ｊ＜Ｈが成立したか否かの判断がなされる。ここに、Ｈは、判定対象となる最下端のライン番号、例えばフレームの垂直方向の全ライン数の１／２〜２／３とすることができる。ステップＳ８の判断が肯定の場合にはステップＳ２に戻って、前記ステップＳ３〜Ｓ６の処理が繰り返され、次のラインの１水平画素列の色境界位置が求められる。以上の処理が繰り返し行われ、ステップＳ８の判断が否定になった時には、例えば図４(a)に示すような各色境界の各位置または各点が求められたことになる。同図(b)は、(a)図の各色境界の各位置または各点のヒストグラム（度数分布）を示す。 Next, in step S7, j is incremented by 1, and in step S8, it is determined whether j <H is satisfied. Here, H can be the lowest line number to be determined, for example, 1/2 to 2/3 of the total number of lines in the vertical direction of the frame. If the determination in step S8 is affirmative, the process returns to step S2, and the processes in steps S3 to S6 are repeated to obtain the color boundary position of one horizontal pixel column of the next line. When the above processing is repeatedly performed and the determination in step S8 is negative, for example, each position or each point of each color boundary as shown in FIG. 4A is obtained. FIG. 6B shows a histogram (frequency distribution) of each position or each point of each color boundary in FIG.
次に、ステップＳ９〜Ｓ１５では、同図(a)、(b)に示されているように、各色境界の各位置または各点に少しのばらつきがあったのを、同図(c)に示すように、一つにまとめて色境界を決定する処理をする。つまり、ステップＳ９、Ｓ１０では、それぞれ、ｉ＝０，ｎ＝１と置かれ、ステップＳ１１では、境界(i)≠０でかつ境界(i+n)≠０であるか否かの判断がなされる。そして、この判断が肯定の時にはステップＳ１２に進み、否定の時にはステップＳ１４に進む。ステップＳ１２では、境界(i)に境界(i+n)の度数が加算され、境界(i+n)が境界(i)にまとめられる。続いて、ステップＳ１３に進み、ｎが１インクリメントされる。そして、ステップＳ１１に戻って、再度境界(i)≠０でかつ境界(i+n)≠０であるか否かの判断がなされる。以上の処理により、非零の度数は最左端の画素位置の度数に統合され１つの色境界が画定される。図４(c)に示されているように、同図(b)の例えば一番左側の色境界が色境界と画定される。 Next, in steps S9 to S15, as shown in (a) and (b) of the figure, each position or point of each color boundary has a slight variation. As shown in the figure, the process of determining the color boundary as one unit is performed. That is, in steps S9 and S10, i = 0 and n = 1 are set, respectively, and in step S11, it is determined whether the boundary (i) ≠ 0 and the boundary (i + n) ≠ 0. The When this determination is affirmative, the process proceeds to step S12, and when negative, the process proceeds to step S14. In step S12, the frequency of the boundary (i + n) is added to the boundary (i), and the boundary (i + n) is collected into the boundary (i). Subsequently, the process proceeds to step S13, where n is incremented by one. Then, returning to step S11, it is determined again whether the boundary (i) ≠ 0 and the boundary (i + n) ≠ 0. Through the above processing, the non-zero frequency is integrated with the frequency at the leftmost pixel position to define one color boundary. As shown in FIG. 4C, the leftmost color boundary in FIG. 4B is defined as the color boundary.
次にステップＳ１４に進んで、ｉがｎインクリメントされる。そして、ステップＳ１５に進んで、ｉ＜Ｗが成立するか否かの判断がなされる。この判断が肯定の時にはステップＳ１０に戻って、再度ｎ＝１と置かれ、次の色境界（図４(c)の例えば左から２つ目の色境界）の画定処理に移行する。上記の動作が繰り返されてステップＳ１５の判断が否定になると、同図(c)に示されているように、全部の色境界が画定されたことになる。なお、ここでは、色境界位置のばらつきを左側（先頭）にまとめて色境界を画定するようにしたが、本発明はこれに限定されず、例えば右側（後尾）、または中間にまとめるようにしてもよい。 In step S14, i is incremented by n. Then, the process proceeds to step S15 to determine whether i <W is satisfied. When this determination is affirmative, the process returns to step S10, where n = 1 is set again, and the process proceeds to the definition process of the next color boundary (for example, the second color boundary from the left in FIG. 4C). When the above operation is repeated and the determination in step S15 is negative, all the color boundaries are defined as shown in FIG. In this case, the color boundary position is defined by combining the variations in the color boundary position on the left side (leading edge), but the present invention is not limited to this. Also good.
次いで、上述の処理により得られたヒストグラムの度数が、最終的に所与のしきい値を超えるかどうかのチェックをし、越える場合には、境界位置情報B(n)を出力する。 Next, it is checked whether or not the frequency of the histogram obtained by the above processing finally exceeds a given threshold value, and if it exceeds, boundary position information B (n) is output.
なお、カラーバーの色境界は通常は５個以上（例えば、SMPTEカラーバーは８個、ARIBカラーバーは１０個）であるので、色境界の個数（後述の要素数NB）＜５であれば、カラーバーではないと判断する。 The number of color boundaries is usually 5 or more (for example, 8 for SMPTE color bars and 10 for ARIB color bars), so the number of color boundaries (number of elements N B described later) <5. For example, it is determined that it is not a color bar.
以上のようにして色境界が画定されると、前記境界幅の均等性判断部２（図１参照）の処理が行われる。カラーバー画像の画面上部の特徴として、後述するようにグレースケール以外の各色の領域幅がほぼ均一になるように定義されているという点が挙げられる。そこで、前段で検出された色境界位置情報から領域幅を求め、その均一性を判定する。 When the color boundary is defined as described above, the process of the boundary width uniformity determination unit 2 (see FIG. 1) is performed. A characteristic of the upper part of the color bar image screen is that the area width of each color other than the gray scale is defined to be substantially uniform, as will be described later. Therefore, the area width is obtained from the color boundary position information detected in the previous stage, and the uniformity is determined.
入力される境界位置情報をB(n), その要素数をNBと（図４の場合にはNB＝８）する。ここで、B(0)=0、B(NB -1)=W-１（Wは水平画素数）とする。すると、領域幅Width(n)は左端から順に、次の(3)式により与えられる。 The input boundary position information is B (n), and the number of elements is N B (N B = 8 in the case of FIG. 4). Here, B (0) = 0, B (N B −1) = W−1 (W is the number of horizontal pixels). Then, the region width Width (n) is given by the following equation (3) in order from the left end.
ここで、境界幅の均一性の指標として、Width(n)の分散を求める。この際、両端２領域分については分散の対象としない。これは、ARIBカラーバー等の両端に他と幅の異なるグレースケールのバーを有する信号を想定してのものである。該Width(n)の分散varは、次の(4)式で与えられる。 Here, the variance of Width (n) is obtained as an index of the uniformity of the boundary width. At this time, the two end regions are not subject to dispersion. This is based on the assumption that a signal having a gray scale bar having a different width from the other at both ends, such as an ARIB color bar. The variance var of Width (n) is given by the following equation (4).
この分散varが所与の閾値より小さい場合、各色の領域幅は均一であるとみなし、trueを出力する。分散が閾値を超える場合にはfalseを出力する。 If this variance var is smaller than a given threshold, the region width of each color is considered to be uniform and true is output. If the variance exceeds the threshold, false is output.
次いで、前記カラーバー／非カラーバー判定部３（図１参照）は、前記境界幅の均等性判定部２で、各色の領域幅が均一または均等である（true）と判断されると、カラーバーであると判断し、逆に均一または均等でない（false）と判断されると、非カラーバーであると判断する。上記の処理は、コンテンツの少なくとも本編の全フレームに対して行われる。以下の実施形態でも同様である。 Next, the color bar / non-color bar determination unit 3 (see FIG. 1) determines that the boundary width uniformity determination unit 2 determines that the area width of each color is uniform or uniform (true). If it is determined to be a bar and, on the contrary, determined to be uniform or not uniform (false), it is determined to be a non-color bar. The above processing is performed on at least all the main frames of the content. The same applies to the following embodiments.
この実施形態によれば、例えば画像コンテンツに対して編集、圧縮符号化等のオーサリング処理がなされた時に、冒頭にのみ挿入すべきカラーバーがたとえ本編に混入してしまったとしても、精度よくカラーバーを検出することができる。このため、カラーバーの本編混入によるコンテンツ異常を見逃すことがなくなり、または該見逃しを大きく低減することができるようになり、検査精度を向上させることが可能となる。 According to this embodiment, for example, when an authoring process such as editing or compression encoding is performed on an image content, even if a color bar to be inserted only at the beginning is mixed in the main part, the color is accurately displayed. Bars can be detected. For this reason, it is possible not to overlook the content abnormality due to the mixing of the main part of the color bar, or to greatly reduce the oversight, and to improve the inspection accuracy.
次に、本発明の第２実施形態について図５を参照して説明する。図５において、図１と同じ符号は、同一または同等物を示すので、説明を省略する。 Next, a second embodiment of the present invention will be described with reference to FIG. In FIG. 5, the same reference numerals as those in FIG.
境界幅の均等性判定部２で各色の領域幅が均一または均等であると判断されると、スイッチ５が閉にされて、境界位置情報B(n)が境界幅内の色領域平坦度判定部４に入力する。そうすると、該色領域平坦度判定部４は、境界幅内の色領域が平坦であるか否かの判定をする。なお、該スイッチ５は単に上記の機能を説明するために便宜的に示したに過ぎないことは明らかである。カラーバー画像は、基本的に各色の境界部をのぞいては直流成分のみで構成されている。そこで、検出された領域内の信号分散を求め、その値が所与の閾値より小さい場合、前記要件を満たすカラーバー画像であると判定する。 When the boundary width uniformity determination unit 2 determines that the area width of each color is uniform or uniform, the switch 5 is closed and the boundary position information B (n) determines the color area flatness within the boundary width. Input to part 4. Then, the color area flatness determination unit 4 determines whether or not the color area within the boundary width is flat. It is obvious that the switch 5 is merely shown for convenience in explaining the above function. The color bar image is basically composed of only a direct current component except for the boundary portion of each color. Therefore, the signal variance in the detected area is obtained, and if the value is smaller than a given threshold value, it is determined that the color bar image satisfies the requirement.
入力される境界位置情報をB(n), Hを垂直境界検出部における判定対象領域の最下端のライン番号とするとき、信号分散の測定領域の左上、右下はそれぞれ（B(n),0）,(B(n+1)-1,H))となる。よって、領域内の信号分散は、次の(5)式で与えられる。 When the boundary position information to be input is B (n), and H is the line number at the lowest end of the determination target area in the vertical boundary detection unit, the upper left and lower right of the signal dispersion measurement area are (B (n), 0), (B (n + 1) -1, H)). Therefore, the signal variance in the region is given by the following equation (5).
この分散が所与の閾値より小さい場合、各色の領域内はほぼ直流のみで構成されているとみなし、trueを出力する。分散が閾値を超える場合、falseを出力する。 When this variance is smaller than a given threshold value, it is assumed that each color region is composed only of direct current, and true is output. If the variance exceeds the threshold, false is output.
なお、入力として境界位置情報B(n)が提供されなかった場合（図５において均等性判定部２の出力先のスイッチ５が導通しない場合）は、上記の計算は行わず即時にfalseを返すものとする。 When the boundary position information B (n) is not provided as an input (when the output destination switch 5 of the uniformity determination unit 2 is not conductive in FIG. 5), the above calculation is not performed and false is immediately returned. Shall.
この実施形態によれば、第１実施形態に境界幅内の色領域平坦度判定部を加えたので、カラーバー判定の検査精度をより向上することができる。 According to this embodiment, since the color region flatness determination unit within the boundary width is added to the first embodiment, the inspection accuracy of the color bar determination can be further improved.
次に、本発明の第３実施形態を図６を参照して説明する。図において、６は静止画判定部、７は総合判定部、８はフレームバッファを示し、他の符号は図５と同一又は同等物を示す。 Next, a third embodiment of the present invention will be described with reference to FIG. In the figure, 6 is a still image determination unit, 7 is a comprehensive determination unit, 8 is a frame buffer, and other reference numerals are the same as or equivalent to those in FIG.
カラーバーは、基本的に動きがなく停止した状態で表示される。静止画判定部６は、現フレームの輝度信号と、フレームバッファ８に蓄積された前フレームの輝度信号との差分電力をもとめ、これが所与の閾値より小さい場合に、静止状態にあると判定する。 The color bar is basically displayed with no movement and stopped. The still image determination unit 6 obtains the difference power between the luminance signal of the current frame and the luminance signal of the previous frame stored in the frame buffer 8, and determines that the still image is in a stationary state when this is smaller than a given threshold value. .
前フレームの輝度成分をP(i,j), フレームの水平、垂直画素数をそれぞれW,Gとするとき、フレーム間差分電力diffは、下記の(6)式で与えられる。 When the luminance component of the previous frame is P (i, j) and the horizontal and vertical pixel numbers of the frame are W and G, respectively, the inter-frame difference power diff is given by the following equation (6).
この差分電力diffが所与の閾値より小さい場合、trueを返し、それ以外の場合はfalseを返す。 Returns true if the difference power diff is less than a given threshold, otherwise returns false.
総合判定部７は、境界幅内の色領域平坦度判定部４および静止画判定部６の出力のANDをとり、カラーバー／非カラーバー判定部３は該ANDの結果がtrueとなる場合に当該画像がカラーバーであると判定する。逆に、falseとなる場合には、非カラーバーであると判定する。 The overall determination unit 7 takes an AND of the outputs of the color area flatness determination unit 4 and the still image determination unit 6 within the boundary width, and the color bar / non-color bar determination unit 3 determines that the result of the AND is true. It is determined that the image is a color bar. Conversely, if it is false, it is determined that the bar is a non-color bar.
この実施形態によれば、さらに静止画判定を加えているので、カラーバーの検査精度をさらに高めることができる。 According to this embodiment, since still image determination is further added, the inspection accuracy of the color bar can be further increased.
なお、第３実施形態では、静止画判定部６を第２実施形態に追加したが、これに限らず第１実施形態に追加してもよい。 In addition, in 3rd Embodiment, although the still image determination part 6 was added to 2nd Embodiment, you may add not only to this but 1st Embodiment.
また、前記第１〜３実施形態は、コンピュータで実行させるプログラムで実現するのが好適であることは明らかである。つまり、前記垂直境界検出部１、境界幅の均等性判定部２、境界幅内の色領域平坦度判定部４、静止画判定部６、総合判定部７およびカラーバー／非カラーバー判定部３の各機能を、コンピュータのプログラムにて実行させることができる。 It is obvious that the first to third embodiments are preferably realized by a program executed by a computer. That is, the vertical boundary detection unit 1, the boundary width uniformity determination unit 2, the color area flatness determination unit 4 within the boundary width, the still image determination unit 6, the comprehensive determination unit 7, and the color bar / non-color bar determination unit 3 These functions can be executed by a computer program.
１・・・垂直境界検出部、２・・・境界幅の均等性判定部、３・・・カラーバー／非カラーバー判定部、４・・・境界幅内の色領域平坦度判定部、６・・・静止画判定部、７・・・総合判定部。 DESCRIPTION OF SYMBOLS 1 ... Vertical boundary detection part, 2 ... Boundary width uniformity determination part, 3 ... Color bar / non-color bar determination part, 4 ... Color area flatness determination part within boundary width, 6 ... still image determination unit, 7 ... comprehensive determination unit.
Claims (12)
前記映像コンテンツのフレームの水平方向の隣接画素間の輝度差分値または水平方向に連続する２画素以上の画素集合の輝度平均値の差分値に基づき水平方向の色境界位置を検出する垂直境界検出部と、
前記垂直境界検出部により検出された色境界位置の色領域幅が均一であるか否かを判定する境界幅の均等性判定部とを具備し、
前記垂直境界検出部で検出された色境界の個数が５以上で、かつ前記境界幅の均等性判定部が均一であると判定した時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方式。 An abnormal content detection method for detecting a color bar pattern mixed in video content by analyzing a baseband video signal,
A vertical boundary detection unit for detecting a horizontal color boundary position based on a luminance difference value between adjacent pixels in the horizontal direction of the frame of the video content or a difference value of luminance average values of a group of two or more pixels continuous in the horizontal direction When,
A boundary width uniformity determination unit that determines whether or not the color area width of the color boundary position detected by the vertical boundary detection unit is uniform;
When the number of color boundaries detected by the vertical boundary detection unit is 5 or more and the uniformity determination unit of the boundary width is determined to be uniform, it is determined that a color bar is mixed. An abnormal content detection method characterized by
前記垂直境界検出部により検出した色境界位置に基づき導出した色領域内部の輝度信号分散値から、該色領域の平坦度を判定する色領域平坦度判定部をさらに具備し、
該色領域内部が平坦である判定された時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方式。 The abnormal content detection method according to claim 1,
A color region flatness determination unit that determines the flatness of the color region from the luminance signal variance value inside the color region derived based on the color boundary position detected by the vertical boundary detection unit;
An abnormal content detection method characterized by determining that a color bar is mixed when it is determined that the inside of the color area is flat.
フレーム間差分電力値から当該画像の静止状態を判定する静止画判定部をさらに具備し、
該静止画判定部が静止画であると判定した時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方式。 In the abnormal content detection method according to claim 1 or 2,
A still image determining unit that determines the still state of the image from the inter-frame difference power value;
An abnormal content detection method characterized in that, when the still image determination unit determines that a still image is present, it is determined that a color bar is mixed.
前記垂直境界検出部は、
前記輝度差分値又は差分値が所与の値を越えるライン数を示すヒストグラム（度数分布）を導出する手段と、
該ヒストグラムにおいて、０でない有意な度数を連続して有する水平画素区間の度数の総和を前記水平画素区間の先頭または後尾の位置の画素の度数に置換し、その他の画素位置の度数は０に置換する手段とを具備し、
前記置換された先頭または後尾の位置の画素の度数が所与の閾値を超えるときに色境界であると判定することを特徴とする異常コンテンツ検出方式。 The abnormal content detection method according to any one of claims 1 to 3,
The vertical boundary detector
Means for deriving a histogram (frequency distribution) indicating the number of lines where the luminance difference value or the difference value exceeds a given value;
In the histogram, the sum of the frequencies in the horizontal pixel section having consecutive non-zero significant frequencies is replaced with the frequency of the pixel at the head or tail position of the horizontal pixel section, and the frequencies at other pixel positions are replaced with 0. And means for
An abnormal content detection method, characterized in that a color boundary is determined when the frequency of the replaced pixel at the head or tail position exceeds a given threshold value.
前記垂直境界検出部は、カラーバー上の輝度成分の分布が、画面左側から右側に遷移するにつれて単調に増加する特徴を利用して、前記映像コンテンツのフレームの左端から右端までの水平ラインについて、前記輝度差分値又は差分値に基づき水平方向の色境界位置を検出することを特徴とする異常コンテンツ検出方式。 The abnormal content detection method according to any one of claims 1 to 3,
The vertical boundary detection unit uses a feature in which the distribution of luminance components on the color bar monotonously increases as the screen transitions from the left side to the right side, with respect to the horizontal line from the left end to the right end of the frame of the video content. An abnormal content detection method, wherein a horizontal color boundary position is detected based on the luminance difference value or the difference value.
前記垂直境界検出部は、前記映像コンテンツのフレームの上から垂直方向に１／２〜２／３のラインに渡って前記水平方向の色境界位置を検出することを特徴とする異常コンテンツ検出方式。 In the abnormal content detection method according to any one of claims 1 to 5,
The abnormal content detection method, wherein the vertical boundary detection unit detects the color boundary position in the horizontal direction over a line of 1/2 to 2/3 in a vertical direction from above the frame of the video content.
前記映像コンテンツのフレームの水平方向の隣接画素間の輝度差分値または水平方向に連続する２画素以上の画素集合の輝度平均値の差分値に基づき水平方向の色境界を検出し、
前記検出された色境界の色領域幅が均一であるか否かを判定し、
前記色境界の個数が５以上で、かつ前記色境界の色領域幅が均一であると判定された時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方法。 An abnormal content detection method for detecting a color bar pattern mixed in video content by analyzing a baseband video signal,
Detecting a color boundary in the horizontal direction based on a luminance difference value between adjacent pixels in the horizontal direction of the frame of the video content or a difference value of luminance average values of a group of two or more pixels continuous in the horizontal direction;
Determining whether the color area width of the detected color boundary is uniform;
An abnormal content detection method, wherein when it is determined that the number of color boundaries is 5 or more and the color area width of the color boundary is uniform, it is determined that a color bar is mixed. .
さらに、
前記色境界位置に基づき導出した色領域内部の輝度信号分散値を求め、
該輝度信号分散値から、該色領域の平坦度を判定し、
該色領域内部が平坦である判定された時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方法。 The abnormal content detection method according to claim 7,
further,
Obtain a luminance signal variance value inside the color region derived based on the color boundary position,
The flatness of the color area is determined from the luminance signal variance value,
An abnormal content detection method, wherein when it is determined that the inside of the color area is flat, it is determined that a color bar is mixed.
さらに、
フレーム間差分電力値から当該画像の静止状態を判定し、
当該画像が静止画であると判定された時に、カラーバーが混入していると判定するようにしたことを特徴とする異常コンテンツ検出方法。 The abnormal content detection method according to claim 7 or 8,
further,
Determine the still state of the image from the power difference between frames,
An abnormal content detection method, characterized in that, when it is determined that the image is a still image, it is determined that a color bar is mixed.
コンピュータに、
映像コンテンツのフレームの水平方向の隣接画素間の輝度差分値または水平方向に連続する２画素以上の画素集合の輝度平均値の差分値に基づき水平方向の色境界位置を検出する垂直境界検出部と、
前記垂直境界検出部により検出された色境界位置の色領域幅が均一であるか否かを判定する境界幅の均等性判定部と、
前記垂直境界検出部で検出された色境界の個数が５以上で、かつ前記境界幅の均等性判定部が均一であると判定した時に、カラーバーが混入していると判定するカラーバー／非カラーバー判定部として機能させるためのプログラム。 A program for detecting a color bar pattern mixed in video content by analyzing a baseband video signal,
On the computer,
A vertical boundary detection unit for detecting a horizontal color boundary position based on a luminance difference value between adjacent pixels in the horizontal direction of a frame of video content or a difference value of luminance average values of a group of two or more pixels continuous in the horizontal direction; ,
A boundary width uniformity determination unit that determines whether or not the color region width of the color boundary position detected by the vertical boundary detection unit is uniform;
A color bar that determines that a color bar is mixed when the number of color boundaries detected by the vertical boundary detection unit is 5 or more and the uniformity determination unit of the boundary width is determined to be uniform. A program for functioning as a color bar determination unit.
さらに、
前記垂直境界検出部により検出した色境界位置に基づき導出した色領域内部の輝度信号分散値を演算する演算部と、
該演算部で求められた前記輝度信号分散値から、該色領域の平坦度を判定する色領域平坦度判定部と、
該色領域内部が平坦である判定された時に、カラーバーが混入していると判定するカラーバー／非カラーバー判定部として機能させるためのプログラムを有するプログラム。 The program according to claim 10, wherein
further,
A calculation unit for calculating a luminance signal dispersion value inside the color region derived based on the color boundary position detected by the vertical boundary detection unit;
A color region flatness determination unit that determines flatness of the color region from the luminance signal variance value obtained by the calculation unit;
A program having a program for causing a color bar / non-color bar determination unit to determine that a color bar is mixed when it is determined that the inside of the color area is flat.
さらに、
フレーム間差分電力値から当該画像の静止状態を判定する静止画判定部と、
該静止画判定部が静止画であると判定した時に、カラーバーが混入していると判定するカラーバー／非カラーバー判定部として機能させるためのプログラムを有するプログラム。 The program according to claim 10 or 11,
further,
A still image determination unit that determines the still state of the image from the inter-frame difference power value;
A program having a program for causing a color bar / non-color bar determining unit to determine that a color bar is mixed when the still image determining unit determines that the image is a still image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012097628A JP2013225795A (en) | 2012-04-23 | 2012-04-23 | Abnormal content detection system, method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012097628A JP2013225795A (en) | 2012-04-23 | 2012-04-23 | Abnormal content detection system, method and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013225795A true JP2013225795A (en) | 2013-10-31 |
Family
ID=49595581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012097628A Pending JP2013225795A (en) | 2012-04-23 | 2012-04-23 | Abnormal content detection system, method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013225795A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744260A (en) * | 2014-12-09 | 2016-07-06 | 深圳艾科创新微电子有限公司 | Bar pattern detection method and device |
| JP2017041689A (en) * | 2015-08-18 | 2017-02-23 | Ｎｔｔエレクトロニクス株式会社 | Device and method for video noise detection |
-
2012
- 2012-04-23 JP JP2012097628A patent/JP2013225795A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744260A (en) * | 2014-12-09 | 2016-07-06 | 深圳艾科创新微电子有限公司 | Bar pattern detection method and device |
| CN105744260B (en) * | 2014-12-09 | 2018-10-12 | 深圳开阳电子股份有限公司 | A kind of bar paten detection method and device |
| JP2017041689A (en) * | 2015-08-18 | 2017-02-23 | Ｎｔｔエレクトロニクス株式会社 | Device and method for video noise detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6614484B1 (en) | Deinterlacing method for video signals based on edge-directional interpolation | |
| JP4275280B2 (en) | Video stream defect detection device based on content | |
| JP4350742B2 (en) | Video processing apparatus and video processing apparatus control method | |
| EP2486732B1 (en) | Method and device for calculating blur in video images | |
| US9706209B2 (en) | System and method for adaptively compensating distortion caused by video compression | |
| US8023765B2 (en) | Block noise removal device | |
| CN110312163B (en) | Video static frame detection method and system | |
| ITMI950313A1 (en) | PROCEDURE FOR CONVERTING THE FORMT OF VIDEO-FREQUENCIES PRESENT IN A FIRST RETICLE OF IMAGE POINTS INTO A SECOND RETICLE OF DOTS | |
| US20080062307A1 (en) | Bad video edit detection | |
| US20170352062A1 (en) | Method and apparatus for chroma reconstruction | |
| US8891609B2 (en) | System and method for measuring blockiness level in compressed digital video | |
| JP2013225795A (en) | Abnormal content detection system, method and computer program | |
| US8908093B2 (en) | Determining aspect ratio for display of video | |
| US20070040944A1 (en) | Apparatus and method for correcting color error by adaptively filtering chrominance signals | |
| US8264604B2 (en) | Image processing apparatus and image processing method | |
| CN115914676A (en) | Real-time monitoring comparison method and system for ultra-high-definition video signals | |
| KR20060077449A (en) | The aspect ratio converter and the method thereof | |
| US8284313B2 (en) | Apparatus and method for determining noise | |
| KR101131236B1 (en) | Method and system of detecting error of moving picture contents | |
| JP5067044B2 (en) | Image processing apparatus and image processing method | |
| KR101760420B1 (en) | Apparatus and method for processing sharpness of video signal, Broadcasting Signal Receiver | |
| JP4398390B2 (en) | Fade detection device | |
| KR101809639B1 (en) | SDR and HDR dual analyzer Device | |
| US20140063342A1 (en) | Method and apparatus for de-interlacing video | |
| CN115689968A (en) | Code stream processing method and device, terminal equipment and storage medium |