JP6524398B1 - Video processing apparatus, video processing system, video processing method and program - Google Patents
Video processing apparatus, video processing system, video processing method and program Download PDFInfo
- Publication number
- JP6524398B1 JP6524398B1 JP2018104975A JP2018104975A JP6524398B1 JP 6524398 B1 JP6524398 B1 JP 6524398B1 JP 2018104975 A JP2018104975 A JP 2018104975A JP 2018104975 A JP2018104975 A JP 2018104975A JP 6524398 B1 JP6524398 B1 JP 6524398B1
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image data
- value
- addition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】動画の画像停止、黒画面などの放送事故の検出を行なうための動画処理システム、動画処理方法、動画処理プログラムを提供する。【解決手段】放送事故検出部５００は、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、横方向、縦方向、斜め方向などの異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する手段を備える。【選択図】図２−１A motion picture processing system, a motion picture processing method, and a motion picture processing program for detecting a broadcast accident such as a motion picture stop and a black screen are provided. A broadcast accident detection unit (500) is configured to extract image data from a moving image at predetermined time intervals, and horizontal, vertical, and diagonal directions of two image data extracted at predetermined time intervals. And the like, and the added value of the luminance in each direction obtained by the luminance adding means and the luminance adding means for respectively adding the luminance in two or more different directions such as 2 And adding value difference detecting means for calculating a difference value, and there is a motion or occurrence of an abnormal state including a screen stop based on the difference value calculated by the adding value difference detecting means and a predetermined threshold dictionary And means for determining whether the [Selected figure] Figure 2-1
Description
本発明は、動画処理装置、動画処理システム、動画処理方法及びプログラムに関する。 The present invention relates to a video processing device, a video processing system, a video processing method, and a program.
従来、動画像のフリーズ（停止）や黒画面等の判定では、あるフレームの画像を記録するフレームメモリと次のフレームの画像を記録するフレームメモリを用意した上で、動画フレームの全ての画素の情報を、前後で比較して、差分がどの程度かを考慮して、フリーズ（停止）や黒画面になっていないかを判断していた。
このため、大規模なフレームメモリや、大量の情報を一定時間内に高速に処理して判定処理を行なうためのハードウェア処理が必要となるなど、コストが掛かっていた。
Conventionally, in the determination of a freeze (stop) of a moving image or a black screen, a frame memory for recording an image of a certain frame and a frame memory for recording an image of the next frame are prepared. The information was compared before and after, and it was judged whether the freeze (stop) or the black screen was not taken in consideration of how much the difference is.
For this reason, a large-scale frame memory, hardware processing for processing a large amount of information at high speed within a fixed time, and performing a determination process are required, which increases costs.
そこで、より少ない情報で、フリーズ（停止）や黒画面になっていないかを判断できるように、縦方向や横方向などの画素（輝度）の加算値などを比較することで判定する試みがなされていた。
例えば、特許文献１では、複数のラインのデータにおける画素の差分を算出し、差分値が予め定めた閾値以下であった場合は異常と判定するようにしたので、映像静止状態の検出を簡便な回路で達成することができるものであった（実施例１）。あるいは、ライン単位で輝度の加算値を比較することで（実施例２）、比較対象データを少量に抑え、メモリ容量やＣＰＵパワーの削減を可能としていた。
Therefore, in order to be able to determine whether there is a freeze (stop) or a black screen with less information, an attempt is made to make a determination by comparing the added value of pixels (brightness) in the vertical direction, horizontal direction, etc. It was
For example, in Patent Document 1, the difference between pixels in data of a plurality of lines is calculated, and when the difference value is equal to or less than a predetermined threshold value, it is determined as abnormal. The circuit could be achieved (Example 1). Alternatively, by comparing the added values of luminance in units of lines (Example 2), it is possible to reduce the data size to be compared and reduce the memory capacity and the CPU power.
しかし、特許文献１の実施例１では、どのラインを選択するかで判定精度が大きく異なり、判定精度を上げるためには多くのラインの画素の比較を必要とするため、結局、大量の演算が必要となるなどの課題があった。他方、特許文献１の実施例２では、一方向の加算結果（画像データが７２０×４８０ドットで構成される場合において、７２０画素を１ラインとして、４８０本のラインの加算結果）だけの画素比較では、たまたま、その一方向の変化を打ち消すような画像データが来た場合には、判定できない可能性があったが、複数方向の加算結果を利用すること、およびその場合の各方向の加算値の変化傾向をどのように判定するかについては示唆も検討もされていなかった。 However, in Example 1 of Patent Document 1, the determination accuracy greatly differs depending on which line is selected, and in order to increase the determination accuracy, it is necessary to compare pixels of many lines, so a large amount of calculation There were issues such as becoming necessary. On the other hand, in Example 2 of Patent Document 1, the pixel comparison of only the addition result in one direction (the addition result of 480 lines with 720 pixels as one line when the image data is configured by 720 × 480 dots) Then, there was a possibility that it could not be determined if the image data happened to cancel the change in one direction, but using the result of addition in multiple directions, and addition value in each direction in that case There has been no suggestion or discussion on how to determine the change trend of
また、前後の比較を、その差分である交差が０であることにより判定していたが、完全に画像が停止するような場合には、前後のフレームで全く差分が生じないため、交差が０でも判定可能だが、上下や左右に振動するような停止モード（画面ブレ）などでは交差が０とはならず、ある程度の交差の幅を持たせた判定を行なう必要があり、特許文献１の技術では対応できなかった。 Also, the comparison before and after was judged by the intersection being the difference being 0, but when the image is completely stopped, there is no difference at all before and after the frame, so the intersection is 0 However, in a stop mode (screen shake) that vibrates vertically and horizontally, the intersection does not become 0, and it is necessary to make a judgment with a certain width of intersection, so the technology of Patent Document 1 It was not possible to cope.
また、特許文献２では、フレーム毎に「識別情報」を付加し、その識別情報を比較することでフレームが更新されたかどうかを検出するアイデアが提案されている。
しかし、画像自体がフリーズ（停止）しているにも拘わらず、フレーム毎に、正しく、別々の「識別情報」が振られた場合は、故障モードの検出はできないという不都合があった。その回避策として、第４実施形態では、画素の総和を算出して比較する方法を取り入れているが、画素の総和は変化しないフリーズモードになっている場合、例えば、縦方向や横方向にフレームずれの繰り返し（画面ブレ）を起こした画像に対しては、故障モードの検出が困難であるという課題があった。
そこで本願では、抽出するラインの方向性に工夫をして、より少ないメモリ、より少ないＣＰＵパワーで、画面ブレ等のフリーズモードを含む映像フリーズ（停止）の検出を行なうことを目的とする。
Further, Patent Document 2 proposes an idea of adding “identification information” to each frame and comparing the identification information to detect whether the frame has been updated.
However, even if the image itself is frozen (stopped), there is a disadvantage that the failure mode can not be detected if separate "identification information" is correctly given for each frame. As a workaround, in the fourth embodiment, a method of calculating and comparing the sum of pixels is adopted, but in the freeze mode where the sum of pixels does not change, for example, a frame in the vertical direction or horizontal direction There has been a problem that it is difficult to detect a failure mode for an image in which a shift has repeatedly occurred (screen blurring).
Therefore, the present application aims to detect the image freeze (stop) including the freeze mode such as screen blurring by devising the directionality of the line to be extracted and with less memory and less CPU power.
また、特許文献１、及び特許文献２いずれの文献でも、画素の総和を算出して前後で比較する方式を採用する場合、特定の場所で加算方向に変化して、別の場所で減算方向に変化した場合には全体の変化が相殺されてしまい検出が困難となる可能性があった。
そこで本願では、画素の総和を算出する方向や判定辞書を工夫して、画素の総和の変化が相殺されないようにして、少ない情報で高い検出精度を達成することを目的とする。
Further, in any of Patent Document 1 and Patent Document 2, when adopting a method of calculating the sum of pixels and comparing them before and after, it changes in the addition direction at a specific place, and in the subtraction direction at another place. In the case of a change, the entire change may be offset and detection may be difficult.
Therefore, in the present application, it is an object of the present invention to achieve high detection accuracy with a small amount of information by devising a direction for calculating the sum of pixels and a determination dictionary so that a change in the sum of pixels is not offset.
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、動画の状態を判定するシステムであって、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第２の発明は、第１の発明に記載の動画処理システムにおいて、前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割する手段と、当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算手段と、前記の部分領域画像データ輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出手段と、前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第３の発明は、水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整することが可能となる第１の又は第２の発明に記載の動画処理システムである。
第４の発明は、動画の状態を判定するシステムであって、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、を備え、前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、画像データに対し次元削減された輝度加算値ベクトルデータを生成し、当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習手段とを備え、前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第５の発明は、所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させることで、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする第４の発明に記載の動画処理システムである。
第６の発明は、第１〜５の発明のいずれかに１つに記載の動画処理システムにおいて、所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算する手段を備え、偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、を特徴とする動画処理システムである。
第７の発明は、動画の状態を判定する方法であって、動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出ステップとを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第８の発明は、第７の発明に記載の動画処理方法において、前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割するステップと、当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算ステップと、前記の部分領域画像データ輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出ステップと、前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第９の発明は、第７又は第８の発明に記載の動画処理方法において、水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整する動画処理方法である。
第１０の発明は、動画の状態を判定する方法であって、動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、を備え、前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、画像データに対し次元削減された輝度加算値ベクトルデータを生成し、当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習ステップとを備え、前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第１１の発明は、所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させるステップをさらに備え、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする第１０の発明に記載の動画処理方法である。
第１２の発明は、第７〜１１の発明のいずれかに１つに記載の動画処理方法において、所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算するステップを備え、偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、を特徴とする動画処理方法である。
第１３の発明は、コンピュータシステムにおいて、第７から第１２の発明の動画処理方法を実行するプログラムである。
The present invention solves the above problems by the following solution means.
A first invention is a system for determining a state of a moving image, which is different from an image data extracting unit for extracting image data at a predetermined time interval from a moving image and for two image data extracted at a predetermined time interval. With respect to the above directions, the luminance adding means for adding luminance and the luminance in each direction obtained by the luminance adding means are compared between two image data extracted at predetermined time intervals to calculate a difference value. Moving image processing including: addition value difference detection means, and based on the difference value calculated by the addition value difference detection means and a predetermined threshold dictionary, determining whether occurrence of an abnormal state including a screen stop or movement exists in the image It is a system.
A second aspect of the invention relates to the moving image processing system according to the first aspect, wherein the image data extracted by the image data means is divided into a plurality of partial area image data, and two or more different partial area image data are different. Between the two image data extracted at predetermined time intervals, the partial area image data luminance addition means for respectively adding luminance and the partial area image data luminance addition means for the above directions. Partial area image data addition value difference detection means for comparing and calculating difference values, and an abnormal state including screen stoppage based on the difference value calculated by the partial area image data addition value difference detection means and a predetermined threshold dictionary It is a moving image processing system that determines whether or not there is motion or movement of an image.
A third aspect of the present invention is capable of visually confirming and adjusting the detection sensitivity by displaying on the screen the change in the added value of the luminance detected in the horizontal or vertical direction. The moving image processing system according to the invention of
A fourth invention is a system for determining a state of a moving image, which is different from an image data extracting unit for extracting image data at a predetermined time interval from the moving image and for two image data extracted at the predetermined time interval. Brightness adding means for adding brightness in each of the above directions, and image data is generated based on the brightness of each direction related to the two image data extracted at a predetermined time interval, generated by the brightness adding means On the other hand, dimension-reduced luminance additional value vector data is generated, the luminance additional value vector data is input as learning data to a machine learning model, and learning is performed based on teacher data on the possibility of screen stop corresponding to the learning data. An abnormal state including a screen stop, using a machine learning model learned by the machine learning means, comprising: machine learning means; A moving picture processing system determines whether there is motion in generation or image.
According to a fifth aspect of the present invention, a set of learning data consisting of image data pairs at predetermined time intervals and teacher data relating to the occurrence of a broadcast accident including a screen stop and a black screen is repeatedly learned. A moving image processing system according to a fourth aspect of the present invention, characterized in that it is possible to improve the determination accuracy as to whether or not there is a movement or an occurrence of an abnormal state including a screen stop.
A sixth aspect of the invention relates to the moving image processing system according to any one of the first to fifth aspects, wherein luminance is added to each of the two image data extracted at predetermined time intervals in the horizontal direction or the vertical direction. In this case, the luminance adding means comprises means for dividing the even bits and the odd bits and adding the luminance, and stopping the screen based on the added value of the even bits and the added value of the odd bits. It is a moving picture processing system characterized by judging whether generating of an unusual state which includes, or movement exists in a picture.
A seventh aspect of the invention is a method of determining the state of a moving image, wherein an image data extracting step of extracting image data at a predetermined time interval from the moving image and a difference between two image data extracted at the predetermined time interval With respect to the above directions, a luminance addition step of respectively adding luminance and luminance of each direction obtained by the luminance addition means are compared between two image data extracted at predetermined time intervals to calculate a difference value. Moving image processing including an addition value difference detection step, and based on the difference value calculated by the addition value difference detection means and a predetermined threshold dictionary, determining whether occurrence of an abnormal state including a screen stop or movement of the image It is a method.
An eighth aspect of the invention is the moving image processing method according to the seventh aspect, comprising the steps of: dividing the image data extracted by the image data means into a plurality of partial area image data; Between the two image data extracted at predetermined time intervals, in the partial area image data luminance addition step of respectively adding luminance with respect to the direction and the luminance of each direction obtained by the above-mentioned partial area image data luminance addition means Partial area image data addition value difference detection step of calculating a difference value by comparison, and an abnormal state including a screen stop based on the difference value calculated by the partial area image data addition value difference detection means and a predetermined threshold dictionary It is a moving image processing method that determines whether or not there is motion or movement of an image.
A ninth aspect of the present invention is the moving image processing method according to the seventh or eighth aspect of the present invention, wherein the detection sensitivity is visually displayed by displaying on the screen the change in the added value of the luminance detected in the horizontal or vertical direction. It is a moving image processing method to confirm and adjust.
A tenth aspect of the invention is a method of determining the state of a moving image, wherein an image data extracting step of extracting image data from the moving image at a predetermined time interval and a difference between two image data extracted at the predetermined time interval A luminance addition step of respectively adding luminance in the above directions, and based on the luminance of each direction related to the two image data extracted at a predetermined time interval, generated by the luminance addition means; On the other hand, dimension-reduced luminance additional value vector data is generated, the luminance additional value vector data is input as learning data to a machine learning model, and learning is performed based on teacher data on the possibility of screen stop corresponding to the learning data. Including a screen stop using a machine learning model that has already been learned by the machine learning means. A moving picture processing method of determining whether there is motion in an abnormal condition occurs or image.
The eleventh aspect of the invention further includes the step of iteratively learning a set of learning data consisting of a pair of image data spaced at predetermined time intervals and teacher data regarding the occurrence of a broadcast accident including a screen stop and a black screen. A moving image processing method according to a tenth aspect of the present invention, comprising: improving the determination accuracy as to whether or not there is an abnormal state including screen stoppage or movement of an image.
According to a twelfth aspect of the present invention, in the moving image processing method according to any one of the seventh to eleventh aspects, luminance is added to each of two image data extracted at predetermined time intervals in the horizontal direction or the vertical direction. In this case, the luminance adding means comprises the step of dividing the even bit and the odd bit and adding the luminance, and stopping the screen based on the added value of the even bit luminance and the added value of the odd bit luminance. It is a moving image processing method characterized in that it includes an occurrence of an abnormal state or a determination as to whether or not there is a motion in an image.
A thirteenth invention is a program for executing the moving image processing method of the seventh to twelfth inventions in a computer system.
本発明によれば、画面フリーズ、黒画面などを含む放送事故の判定を行なう動画処理システム、動画処理方法及び動画処理プログラムを提供することができる。 According to the present invention, it is possible to provide a moving image processing system, a moving image processing method, and a moving image processing program for determining a broadcast accident including screen freeze, black screen and the like.
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
まず、本発明の全体構成を示す機能ブロック図（図１）を元に、システム全体構成の概要を説明する。
撮影機器（動画像生成部（撮影装置）１００）は、撮影対象から、動画像データを生成して出力し、放送機器２００の動画処理部３００に入力される。放送事故検出部５００は、この動画像データから適宜画像データを抽出して、画面フリーズや黒画面（ブラックアウト）などの放送事故の要因となる状態を検出して、動画処理部３００などに通知する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
First, an overview of the overall system configuration will be described based on a functional block diagram (FIG. 1) showing the overall configuration of the present invention.
The imaging device (moving image generation unit (imaging device) 100) generates and outputs moving image data from the imaging target, and is input to the moving image processing unit 300 of the broadcast device 200. The broadcast accident detection unit 500 appropriately extracts image data from the moving image data, detects a condition causing a broadcast accident such as screen freeze or black screen (blackout), and notifies the moving image processing unit 300 etc. Do.
放送事故検出部５００は、大きく分けて、辞書とアルゴリズムを利用する実施形態（図２−１および図２−２参照）と、機械学習を利用する実施形態（図３−１および図３−２）の２つがある。 The broadcast accident detection unit 500 is roughly divided into an embodiment using a dictionary and an algorithm (see FIGS. 2-1 and 2-2) and an embodiment using machine learning (FIGS. 3-1 and 3-2). There are two).
（実施形態１）
本発明の実施の一形態である、辞書とアルゴリズムを利用した実施形態（実施形態１）の機能概略について、図２−１および図２−２の放送事故検出部５００の機能ブロック図を元に説明する。
ここで、図２−１および図２−２は、辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。機能ブロック図の各部は、システムを制御するＣＰＵ（中央処理装置）と、記憶部（図示せず）に記憶されているＯＳ（オペレーティングシステム）やアプリケーションプログラムを適宜読み出して実行することにより、ハードウェアと協働し、各種機能を実行する。
(Embodiment 1)
The functional outline of an embodiment (first embodiment) using a dictionary and an algorithm, which is an embodiment of the present invention, is based on the functional block diagram of the broadcast accident detection unit 500 in FIGS. 2-1 and 2-2. explain.
Here, FIGS. 2-1 and 2-2 are diagrams showing functional blocks of a broadcast accident detection unit using a dictionary and an algorithm. Each part of the functional block diagram reads and executes a CPU (central processing unit) that controls the system, an OS (operating system) and an application program stored in a storage unit (not shown), and executes hardware accordingly. Collaborate with and perform various functions.
動画像生成部（撮影装置）１００から出力された動画の画像データは、一例として、１秒間に３０枚、６０枚、１２０枚といった単位で、時系列に出力されている。
画像データ抽出部５１０は、この時系列の画像データの１枚を適宜、時間間隔（Δｔ）をおいて抽出し、例えば、画像データ（ｔ）とΔｔ時間だけ進んだ、画像データ（ｔ＋Δｔ）を得て、横方向加算値生成部、縦方向加算値生成部および必要に応じて斜め方向加算値生成部などで構成されるライン値加算部５２０に入力する。
ここで、画像データ（ｔ＋Δｔ）は、画像データ（ｔ）の１フレーム後の連続した画像データであっても良く、数フレーム後の画像データであっても良い。
The image data of the moving image output from the moving image generation unit (imaging device) 100 is output in time series, for example, in units of 30, 60, or 120 sheets per second.
The image data extraction unit 510 appropriately extracts one of the time-series image data with a time interval (Δt), and for example, image data (t) and image data (t + Δt) advanced by Δt time The obtained value is input to a line value addition unit 520 including a horizontal addition value generation unit, a vertical addition value generation unit, and an oblique direction addition value generation unit as necessary.
Here, the image data (t + Δt) may be continuous image data one frame after the image data (t), or may be image data several frames later.
ライン値加算部５２０は、画像データ（ｔ）と画像データ（ｔ＋Δｔ）から、それぞれ、横方向に１ドットずつ画素の輝度を加算していき、横方向の加算値を求めて、一ライン分のデータを生成する。
同様に、縦方向、斜め方向の輝度の加算値を求めて、それぞれ一ライン分のデータを生成する。
斜め方向に加算する場合は、図２−２などで示したように、画像データの左上から右下方向に加算する場合の他、右上から左下方向に加算するようにしてもよい。また、斜め方向に加算する場合は、図２−２などでは４５度の角度で加算していく例を示したが、これに限られず、３０度、４０度、５０度、６０度・・・などを自由に選択することができる。この場合において、０度の角度で加算する場合が横方向の加算に相当し、９０度の角度で加算する場合が縦方向の加算に相当する。このように、本発明では、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。
なお、実施例では、主に、１ドットずつ画素の輝度を加算していく処理を基本パターンとして記載するが、これに限られるわけではなく、画素の数ビット単位、８ビット単位（バイト単位）、１６ビット単位（ワード単位）、３２ビット単位（ロングワード単位）など、ある程度のビットを纏めて輝度を加算するようにしても良い（図２−４−１ないし図２−４−２を参照）。そうすることで、より少ないデータで画面停止などの判定をすることができることになる。
The line value addition unit 520 adds the luminances of pixels from the image data (t) and the image data (t + Δt) by one dot each in the horizontal direction to obtain the addition value in the horizontal direction, and adds one line Generate data.
Similarly, the addition value of the luminance in the vertical direction and the diagonal direction is obtained, and data of one line is generated respectively.
In the case of the addition in the oblique direction, as shown in FIG. 2 etc., in addition to the case of the addition from the upper left to the lower right of the image data, the addition may be from the upper right to the lower left. In addition, when adding in the oblique direction, although an example of adding at an angle of 45 degrees is shown in FIG. 2-2 etc., the present invention is not limited thereto, and 30 degrees, 40 degrees, 50 degrees, 60 degrees ... Etc. can be freely selected. In this case, adding at an angle of 0 degrees corresponds to adding in the horizontal direction, and adding at an angle of 90 degrees corresponds to adding in the vertical direction. As described above, according to the present invention, it is possible to efficiently determine a broadcast accident including a screen stop by using two or more of additional values of luminance in different directions in combination.
In the embodiment, although the process of mainly adding the luminance of pixels one dot at a time is described as a basic pattern, the present invention is not limited to this. A unit of several bits of pixels and an unit of eight bits (bytes) The luminance may be added together by grouping some bits, such as 16-bit units (word units) and 32-bit units (long word units) (see FIG. 2-4-1 to FIG. 2-4-2). ). By doing so, it is possible to determine the stop of the screen with less data.
図２−４−１は、画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、縦方向に輝度を加算する場合の例である。同様に、図２−４−２は、画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、横方向に輝度を加算する場合の例である。
より具体的には、まず、（イ）縦方向の輝度の加算に際しては、まず、最上段の数ビット分の輝度を加算して、輝度の加算値を得て、次いで、１段下の数ビット分の輝度を加算して、最上段の輝度の加算値にさらに加算する、・・・をくり返して、最下段の数ビット分の輝度の加算値の総和である総加算値を求める。これを１画面分行なって、縦方向の輝度の加算値を得る。このようにして得た縦方向の輝度の加算値は、１画素毎に輝度を加算した情報と比べて、かなり小さい情報になっていることが分かる。
FIG. 2-4-1 is a conceptual diagram in the case of adding luminance in units of several bits of a pixel, such as bytes and words, and is an example in the case of adding luminance in the vertical direction. Similarly, FIG. 2-4-2 is a conceptual diagram in the case of adding luminance in units of several bits of a pixel, such as bytes and words, and is an example in the case of adding luminance in the horizontal direction. .
More specifically, (a) First, when adding luminance in the vertical direction, the luminance for the top several bits is first added to obtain the added value of the luminance, and then the number one step lower Luminances corresponding to bits are added and further added to the sum of the luminances at the top stage,... Are repeated to obtain a total addition value which is the sum of the sums of luminances for several bits at the bottom. This is performed for one screen to obtain an added value of luminance in the vertical direction. It can be seen that the added value of the luminance in the vertical direction obtained in this manner is considerably smaller than the information in which the luminance is added pixel by pixel.
同様に、（ロ）横方向の輝度の加算についても、数ビット分又はバイトやワード等の纏まった単位で輝度の加算値を算出することができる。
次に、再度、図２−１および図２−２の放送事故検出部５００の機能ブロック図に戻って、基本パターンである、１ドットずつ画素の輝度を加算していく処理の説明を続ける。
Similarly, in the case of (b) addition of luminance in the lateral direction, the addition value of luminance can be calculated in units of several bits or in units of bytes or words.
Next, referring back to the functional block diagram of the broadcast accident detection unit 500 of FIGS. 2-1 and 2-2, the description of the process of adding the luminance of the pixel, which is a basic pattern, one dot at a time, will be continued.
算出した１ライン分の加算値は、それぞれ記憶部のラインバッファ（図示せず）などに一時記憶しておいても良い。
ここで、輝度とは、１画素のＲＧＢの数値から、所定の計算式を用いて算出される数値である。例えば、輝度＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂなどで表される。より具体的には、ＲＧＢの値として、０〜２５５の値を取った場合、ＲＧＢ＝（２５５、２５５、０）の輝度は２２７となる。
なお、横方向、縦方向、斜め方向の３つの方向の加算値全てが必要なわけではなく、少なくとも２方向の輝度の加算値を利用すれば足りる。例えば、斜め方向は利用せずとも、後述する判定待ち時間の調整（数秒とか数十秒などの、ある程度長い待ち時間に設定する等）や、判定部の処理の調整により、十分な判定精度が得られる。
The calculated addition values for one line may be temporarily stored in a line buffer (not shown) or the like of the storage unit.
Here, the luminance is a numerical value calculated using a predetermined calculation formula from the RGB numerical value of one pixel. For example, the luminance is expressed as 0.299 × R + 0.587 × G + 0.114 × B. More specifically, when the value of 0 to 255 is taken as the RGB value, the luminance of RGB = (255, 255, 0) is 227.
Note that not all the addition values in the horizontal direction, the vertical direction, and the oblique direction are required, but it is sufficient to use the addition values of the luminance in at least two directions. For example, even if the diagonal direction is not used, sufficient determination accuracy is obtained by adjustment of the determination waiting time (to be set to a somewhat long waiting time such as several seconds or tens of seconds) or adjustment of processing of the determination unit described later. can get.
次に、横方向加算値差分検出部、縦方向加算値差分検出部、および必要に応じて斜め方向加算値差分検出部で構成される差分検出部５３０が、画像データ（ｔ）と画像データ（ｔ＋Δｔ）の各方向のライン値の加算結果の差分を算出する。 Next, the image data (t) and the image data (a difference detection unit 530 including a horizontal direction addition value difference detection unit, a vertical direction addition value difference detection unit, and, if necessary, a diagonal direction addition value difference detection unit The difference of the addition result of the line values in each direction of t + Δt) is calculated.
判定部５４０は、横方向、縦方向、斜め方向の各方向のライン毎に算出した輝度の加算結果を、判定辞書及び判定アルゴリズムを参照して時間差で抽出した画像データ毎の加算値の変化が、所定の幅に収まっているかを判定して、一定時間所定の幅に収まっていれば、画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故の要因となる状態であると判定して、判定結果を出力する。
例えば、輝度の加算結果に一定時間、閾値を超える変化がなければ画面フリーズ（停止）と判断できるし、輝度の加算結果に大きな変化があり、その後もその状態を維持していれば黒画面（ブラックアウト）のように判断できる。なお、本事例では主に放送事故を例に説明しているが、後述のように、動画処理全般に適用可能であり、監視カメラで動きがあるかどうかなど画面の変化を検出することにも利用できる。
The determination unit 540 refers to the result of addition of luminance calculated for each line in each of the horizontal direction, vertical direction, and oblique direction, with reference to the determination dictionary and the determination algorithm. If it is within the predetermined width for a certain period of time, it is determined that the state is a cause of a broadcast accident such as screen freeze (stop) or black screen (black out). Output the judgment result.
For example, if there is no change exceeding the threshold for a certain period of time in the addition result of luminance, it can be determined that the screen freezes (stops), and if there is a large change in the addition result of luminance and maintaining that state thereafter, the black screen ( It can be judged as blackout). In this example, a broadcast accident is mainly described as an example, but as described later, it is applicable to all kinds of moving image processing, and it is also possible to detect a change in the screen such as whether or not there is movement by a monitoring camera. Available.
図２−２は、辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。図２−２は、図２−１の放送事故検出部５００の機能ブロック図を、具体的な画像データを用いてイメージ的に理解しやすく記載した図であり、各ブロックの機能については、図２−１と同様である。また、図２−１と同様に、横方向、縦方向、斜め方向の３つの方向の加算値全てが必要なわけではなく、少なくとも２方向の輝度の加算値を利用すれば足りる。
すなわち、本発明によれば、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。
FIG. 2-2 is a diagram showing a functional block of a broadcast incident detection unit using a dictionary and an algorithm. FIG. 2-2 is a diagram in which the functional block diagram of the broadcast accident detection unit 500 of FIG. 2-1 is described in an easy-to-understand manner as an image using specific image data, and the function of each block is illustrated. It is the same as 2-1. Further, as in FIG. 2A, not all of the addition values in the horizontal direction, the vertical direction, and the oblique direction are necessary, and it is sufficient to use the addition value of the luminance in at least two directions.
That is, according to the present invention, it is possible to efficiently determine a broadcast accident including screen stop by using two or more of the added values of luminance in different directions in combination.
図２−２では、ライン値加算部５２０によって、画像データから、各方向の輝度の加算値を算出する様子を図示化している。
例えば、４Ｋ動画（横３８４０×縦２１６０）を例にとって、横方向に加算する場合には、まず、画像の１番上のライン（３８４０ドット）について、１ドットずつ輝度を加算していき、１ライン分の合計加算値を算出する。これを、縦方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、横方向の１ライン分の加算値を得る。
FIG. 2B illustrates how the line value addition unit 520 calculates the addition value of the luminance in each direction from the image data.
For example, taking 4K moving image (3840 × 2160) as an example, when adding in the horizontal direction, first, the luminance is added one dot at a time to the top line (3840 dots) of the image, and 1 Calculate the total added value of the line. This is sequentially executed for 2160 lines in the vertical direction, and a total of 2160 added values are calculated to obtain an added value for one line in the horizontal direction.
同様に、横方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、縦方向の１ライン分の加算値を得る。また、斜め方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、斜め方向の１ライン分の加算値を得ることができる。 Similarly, 2160 lines are sequentially executed in the horizontal direction, and a total of 2160 added values are calculated to obtain an added value for one line in the vertical direction. Further, 2160 lines can be sequentially executed in the oblique direction, and a total of 2160 added values can be calculated to obtain an added value for one line in the oblique direction.
ここで、斜め方向に輝度を加算していくとは、図２−２の下部の図に示したように、１ドット右下方向に次々と輝度を加算することをいう。なお、実施例では、右下方向としたが、右上方向や左下方向、左上方向など、様々な角度に加算しても構わない。
各方向の輝度の加算値は、少なくとも２方向で一定の検出性能を確保できるが、３方向を用いることでより精度向上を図ることが可能となる。
例えば、実際には停止していないにも拘わらず、たまたま、２方向（例えば縦方向や横方向）の変化が相殺されて、輝度の加算値が変化しないため、停止していると判定してしまう場合がある。
このような場合に、もう一方の方向（例えば斜め方向）の輝度の加算値を用いることで、３方向のいずれも、たまたま相殺されるということは殆ど無いことから、画像が停止していないことを正確に検出できるので、誤判定を防止することができるという効果を奏する。
Here, adding the brightness in the oblique direction means adding the brightness one after the other in the lower right direction as shown in the lower part of FIG. In addition, although it was set as the lower right direction in the Example, you may add to various angles, such as the upper right direction, the lower left direction, and the upper left direction.
The added value of the luminance in each direction can ensure constant detection performance in at least two directions, but the accuracy can be further improved by using three directions.
For example, although it is not actually stopped, it is determined that the image is stopped because it happens that changes in two directions (for example, vertical and horizontal directions) are offset and the added value of luminance does not change. There are times when
In such a case, by using the added value of the luminance in the other direction (for example, the oblique direction), the image does not stop because none of the three directions happens to be canceled by chance. Can be detected accurately, so that an erroneous determination can be prevented.
これを図１０−１、図１０−２を用いて、具体的に説明する。
図１０−１は、所定の画像が横／縦に動いたときに横方向や縦方向の輝度の加算値では検出できないことを示す図である。
図１０−２は、斜め方向の輝度の加算値を利用すると画像が縦／横に動いたときでも検出できることを示す図である。
図１０−１に示すように、白と黒（０と１）をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像の場合には、画像が横や上にスライドするように動いた場合、左の画像データが、右の画像データのように変化するが、縦方向の輝度の加算値も、横方向の輝度の加算値も、いずれも変化しておらず、縦方向や横方向の輝度の加算値では、誤って画面停止しているものとして判定されてしまうことが分かる。
例えば、図１０−１の（ｔ）の画像データがある場合に、横（右または左）に１画素動いたときは横方向及び縦方向の加算値のいずれも「３」になり、横に画素情報が変化したことを検出できない。しかし、横方向及び縦方向の加算値を奇数ビット毎と偶数ビット毎に分けて加算値を算出した場合は、（ｔ）の画像データの加算値が奇数ビットの加算値「０」、偶数ビットの加算値「３」に対し、（ｔ＋Δｔ）の画像データの加算値が奇数ビットの加算値「３」、偶数ビットの加算値「０」となり、奇数ビットの加算値が「０」→「３」、偶数ビットの加算値が「３」→「０」に変化しており、画像情報が変化したことを検出できる。
ここで、奇数ビットと偶数ビットとは、画像データの各ピクセル（画素）の並びを見た場合に、横方向であれば、１画素目、３画素目、５画素目・・・を奇数ビットと定義し、２画素目、４画素目、６画素目・・・を偶数ビットと、画素の位置に対応する形で定義したものである。縦方向、斜め方向も、画素の位置に対応するように奇数ビットと偶数ビットを定義する点は同様である。
また、縦（上または下）に１画素動いたときも横方向及び縦方向の加算値のいずれも「３」になり、横に画素が動いたことを検出できません。しかし、横方向及び縦方向の加算値を奇数ビット毎と偶数ビット毎に分けて加算値を算出した場合は、（ｔ）の画像データの加算値が奇数ビットの加算値「０」、偶数ビットの加算値「３」に対し、（ｔ＋Δｔ）の画像データの加算値が奇数ビットの加算値「３」、偶数ビットの加算値「０」となり、奇数ビットの加算値が「０」→「３」、偶数ビットの加算値が「３」→「０」に変化しており、画像情報が変化したことを検出できる。
よって、図１０−１では横方向全体や縦方向全体の輝度の加算値では検出できないが、横方向全体や縦方向全体で加算するのではなく、奇数ビット毎の加算値と偶数ビット毎の加算値を算出し、比較することで奇数ビットと偶数ビットの輝度加算値が変化していることが分かるので、上記斜め方向の輝度の加算値の検出と同様に誤判定を回避できる。斜め方向についても輝度の加算値で誤判定を回避できない時は、横方向や縦方向と同様に斜め方向全体ではなく、奇数ビット毎と偶数ビット毎に加算値を算出して比較することで、同様に誤判定を回避することができる。
他方、図１０−２に示すように、斜め方向の輝度の加算値を用いると、白と黒（０と１）をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像が縦や横に移動するような場合でも、輝度の加算値が変化していることがわかる。例えば、図１０−２の破線で囲った領域の斜め方向の輝度の加算値は、左側の画像では「３」だったに対し、画像が移動した後の右側では「０」になっており、変化として表われている。このため、斜め方向の輝度の加算値を用いると、例示した所定の画像の場合でも、画面停止しているといった誤判定を回避できることが分かる。
すなわち、画像パターンによっては、縦方向や横方向の輝度の加算値では画面停止しているかどうか分からないのを、斜め方向の輝度の加算値を利用することで判定できるようになることが分かる。
なお、図１０−１、図１０−２に例示した、白と黒をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像は典型例であって、これに限定されるわけではなく、似たような画像パターンが連続するような場合や、通常の画像でも偶然に縦方向や横方向の輝度の加算では変化を打ち消すような画像パターンになった場合には、斜め方向の輝度の加算値を利用することで、画像停止か否かを確実に判定することが可能となる。
This will be specifically described with reference to FIGS. 10-1 and 10-2.
FIG. 10A is a diagram illustrating that when the predetermined image moves horizontally / vertically, it can not be detected by the addition value of the luminance in the horizontal direction or the vertical direction.
FIG. 10-2 is a diagram showing that it is possible to detect even when the image moves vertically / horizontally by using the added value of the luminance in the oblique direction.
In the case of an image in which white and black (0 and 1) are alternately repeated in bit units or in predetermined rectangular area units as shown in FIG. When moved, the image data on the left changes like the image data on the right, but neither the added value of the brightness in the vertical direction nor the added value of the brightness in the horizontal direction changes, and It can be seen that the added value of the luminance in the horizontal direction is determined as erroneously stopping the screen.
For example, when the image data of (t) in FIG. 10-1 is present, when one pixel is moved horizontally (right or left), the addition values in both the horizontal direction and the vertical direction become “3”, and horizontally It can not detect that the pixel information has changed. However, when the addition value in the horizontal direction and the vertical direction is divided into every odd bit and every even bit and the addition value is calculated, the addition value of the image data of (t) is the addition value “0” of the odd bit, the even bit The added value of (t + Δt) image data becomes the added value “3” of the odd bits and the added value “0” of the even bits with respect to the added value “3” of The added value of the even bit changes from “3” to “0”, and it can be detected that the image information has changed.
Here, when looking at the arrangement of each pixel of the image data, the odd bits and the even bits indicate the first pixel, the third pixel, the fifth pixel. The second pixel, the fourth pixel, the sixth pixel... Are defined as even bits and in a form corresponding to the position of the pixel. The vertical direction and the diagonal direction are also similar in that the odd bits and the even bits are defined to correspond to the positions of the pixels.
Also, when moving one pixel vertically (up or down), both the horizontal and vertical addition values become “3”, and it is not possible to detect that the pixel has moved horizontally. However, when the addition value in the horizontal direction and the vertical direction is divided into every odd bit and every even bit and the addition value is calculated, the addition value of the image data of (t) is the addition value “0” of the odd bit, the even bit The added value of (t + Δt) image data becomes the added value “3” of the odd bits and the added value “0” of the even bits with respect to the added value “3” of The added value of the even bit changes from “3” to “0”, and it can be detected that the image information has changed.
Therefore, in FIG. 10A, although it can not be detected by the addition value of the luminance in the entire horizontal direction or the entire vertical direction, addition is not performed in the entire horizontal direction or the entire vertical direction, but the addition value for every odd bit and addition for every even bit By calculating the values and comparing them, it can be understood that the luminance added value of the odd bit and the even bit is changed, so that the erroneous determination can be avoided similarly to the detection of the added value of the luminance in the oblique direction. When an erroneous determination can not be avoided by the added value of luminance also in the oblique direction, the added value is calculated and compared for every odd bit and every even bit instead of the whole oblique direction as in the horizontal direction or the vertical direction. Similarly, erroneous determinations can be avoided.
On the other hand, as shown in FIG. 10-2, when using the added value of luminance in the oblique direction, an image in which white and black (0 and 1) are alternately repeated in bit units or in predetermined rectangular area units is vertical Even when moving horizontally, it can be seen that the added value of the luminance is changing. For example, the added value of the luminance in the diagonal direction of the region surrounded by the broken line in FIG. 10-2 is “3” in the image on the left side, but is “0” on the right side after the image moves, It is expressed as a change. For this reason, it is understood that using the added value of the luminance in the oblique direction makes it possible to avoid an erroneous determination that the screen is stopped even in the case of the illustrated predetermined image.
That is, depending on the image pattern, it can be determined that it is possible to determine whether the screen is stopped by the added value of the luminance in the vertical direction or the horizontal direction by using the added value of the luminance in the oblique direction.
Note that the image illustrated in FIGS. 10A and 10B, in which white and black are alternately repeated in bit units or in predetermined rectangular area units, is a typical example and is not limited to this. Otherwise, if similar image patterns continue, or even if the normal image has an image pattern that cancels out the change by the addition of luminance in the vertical and horizontal directions, the luminance in the diagonal direction It is possible to reliably determine whether or not the image is stopped by using the addition value of.
このように、４Ｋ動画（横３８４０×縦２１６０）の各フレームの画像（８２９万４４００ドット分）をそのまま記録して判定する従来の方式に比べて、横方向（２１６０ドット分）、縦方向（３８４０ドット分）、斜め方向（３８４０ドット分）の３つのライン分のデータ量（合計で９８４０ドット分）で済むため、約８３０分の１のメモリで足り、高速なフレームメモリを用意しないで済むという効果がある。
また、小さなデータ量を演算すれば良いので、ＦＰＧＡなどの高価なハードウェアを用いずとも、システムに通常搭載するＣＰＵとＲＡＭなどのワークメモリによる処理で、一定時間内に済ますことができる。
なお、このように、元の情報量の大きな画像データから、画面フリーズ（停止）や黒画面（ブラックアウト）などの判定するために必要最小限のデータにすることを、以後、次元削減と呼ぶことにする。
In this way, the horizontal direction (2160 dots) and the vertical direction (compared to the conventional method in which the image (829,434 dots) of each frame of 4K moving image (3840 × 2160) is recorded and determined as it is Since the amount of data for three lines in the diagonal direction (3840 dots) (total of 9840 dots) is sufficient, it is sufficient to use about 1/830 of the memory and it is not necessary to prepare a high-speed frame memory It has the effect of
In addition, since a small amount of data can be calculated, processing using a CPU and a work memory such as a RAM, which are usually installed in the system, can be completed within a certain time without using expensive hardware such as an FPGA.
Note that, in this way, dimension reduction from the original image data with a large amount of information to the determination necessary for screen freeze (stop), black screen (blackout), etc. is hereinafter referred to as dimension reduction. To
図４は、本発明の画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故の要因となる状態であると判定する処理のフローチャートである。
まず、画像データ抽出部５１０により、所定の時間間隔（Δｔ）をおいて、画像データ（ｔ）および画像データ（ｔ＋Δｔ）を取得する（ステップＳ４−１）。
次に、ライン値加算部５２０が、情報量を削減するために、次元削減処理を行なう。前述のように、次元削減処理の一例として、一定の時間間隔（Δｔ）をおいて取得した画像データ（ｔ）および画像データ（ｔ＋Δｔ）に対して、画像データの輝度の値を、縦方向、横方向、斜め方向にそれぞれ加算した結果を算出する。なお、加算値の算出については、各方向全体の輝度の加算値でもよいし、各方向の奇数ビット毎、偶数ビット毎の輝度の加算値でもよい。
この場合、奇数ビットの（ｔ）と（ｔ＋Δｔ）の輝度の加算値を比較した結果（イ）と、偶数ビットの（ｔ）と（ｔ＋Δｔ）の輝度の加算値を比較した結果（ロ）のいずれかを判定することとしても良い（この場合は、より少ない演算で済む）。
また、（イ）と（ロ）の両方を加味して判断することでより精度を向上させることもできる。例えば、比較した結果（イ）が変化していなくても、比較した結果（ロ）が一定の閾値を超えて変化していれば、画面停止とは判断しない等である。
各方向の輝度の加算値は、ラインバッファに保存するようにしても良い。次に、各方向の輝度の加算値を用いて、差分検出部５３０が、ラインバッファに保存した画像（ｔ）と画像（ｔ＋Δｔ）の各方向のライン値の加算結果の差分値を算出する。（ステップＳ４−２）。
FIG. 4 is a flowchart of the process of determining that the state is a cause of a broadcast accident such as screen freeze (stop) or black screen (blackout) according to the present invention.
First, the image data extraction unit 510 acquires image data (t) and image data (t + Δt) at predetermined time intervals (Δt) (step S4-1).
Next, the line value addition unit 520 performs dimension reduction processing to reduce the amount of information. As described above, as an example of the dimension reduction processing, for the image data (t) and the image data (t + Δt) acquired at constant time intervals (Δt), the value of the luminance of the image data is in the vertical direction, The result of the addition in the lateral direction and the oblique direction is calculated. The calculation of the addition value may be an addition value of luminance in all directions, or may be an addition value of luminance in every odd bit in each direction or in every even bit.
In this case, the result of comparing the sum of the luminance of the odd bit (t) and the luminance of (t + Δt) (a) and the result of comparing the sum of the luminance of the even bit (t) and the luminance of (t + Δt) (b) It is also possible to determine either (in this case, fewer operations are required).
In addition, accuracy can be further improved by making judgment in consideration of both (A) and (B). For example, even if the comparison result (b) does not change, if the comparison result (b) changes beyond a certain threshold, the screen stop is not determined.
The added value of the luminance in each direction may be stored in the line buffer. Next, the difference detection unit 530 calculates the difference value of the addition result of the line values in each direction of the image (t) and the image (t + Δt) stored in the line buffer, using the added value of the luminance in each direction. (Step S4-2).
ステップＳ４−２により算出した加算結果の差分値を判定部５４０に入力し（ステップＳ４−３）、判定部５４０で後述する判定処理を行なう（ステップＳ４−４）。
判定部５４０では、各方向のライン値の加算結果の差分値が一定の範囲にあるかどうかを、一定の時間間隔毎に判定し続け、１秒以内とか、数秒〜数十秒等の所定の待ち時間が経過したかどうかで放送事故かどうか判定する（ステップＳ４−５）。所定の待ち時間が経過していない場合はＳ４−１に戻る（ステップＳ４−５Ｎｏ）。所定の待ち時間が経過している場合はＳ４−６に進む（ステップＳ４−５Ｙｅｓ）。
一定の時間間隔で取得した各方向のライン値の加算結果の差分値が、所定の待ち時間内で、一定の範囲内にあると判定した場合には、画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故であると判定し、それ以外は正常動作であると判定する。
放送事故と判断した場合は、判定結果を通知する（ステップＳ４−６）。
The difference value of the addition result calculated in step S4-2 is input to the determination unit 540 (step S4-3), and the determination unit 540 performs a determination process described later (step S4-4).
The determination unit 540 continues to determine whether or not the difference value of the addition result of the line values in each direction is within a predetermined range at a predetermined time interval, and determines a predetermined value such as one second or several seconds to several tens of seconds. It is determined whether it is a broadcast accident or not based on whether the waiting time has elapsed (step S4-5). If the predetermined waiting time has not elapsed, the process returns to S4-1 (No in step S4-5). If the predetermined waiting time has elapsed, the process proceeds to S4-6 (Yes in step S4-5).
If it is determined that the difference value of the addition result of line values in each direction acquired at a fixed time interval is within a fixed range within a predetermined waiting time, the screen freezes (stops) or the black screen (black It is determined that the broadcast accident is out, etc., and other than that, it is determined that the operation is normal.
If it is determined that a broadcast accident has occurred, the determination result is notified (step S4-6).
図５−１は、横方向の加算と差分値の算出処理のフローチャートである。
画像の横方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の横方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−１−１）。ステップＳ５−１−１で累積加算処理を行なった横方向ラインと累積加算値保存部から読み出した前画像の同横方向ラインを比較し（ステップＳ５−１−２）、差分値を出力する（ステップＳ５−１−３）。
FIG. 5A is a flowchart of horizontal addition and difference value calculation processing.
Accumulated addition is performed while converting the luminance value for each pixel from the end of the horizontal line of the image, and the accumulated addition value of the horizontal line for each image is stored in the accumulated addition storage unit (step S5-1-1). The horizontal direction line subjected to the cumulative addition processing in step S5-1-1 is compared with the horizontal direction line of the previous image read from the cumulative addition value storage unit (step S5-1-2), and a difference value is output (step S5-1-2). Step S5-1-3).
図５−２は、縦方向の加算と差分値の算出処理のフローチャートである。
画像の縦方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の縦方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−２−１）。ステップＳ５−２−１で累積加算処理を行なった縦方向ラインと累積加算値保存部から読み出した前画像の同縦方向ラインを比較し（ステップＳ５−２−２）、差分値を出力する（ステップＳ５−２−３）。
FIG. 5-2 is a flowchart of vertical direction addition and difference value calculation processing.
Accumulated addition is performed while converting the luminance value for each pixel from the end of the longitudinal line of the image, and the accumulated addition value of the longitudinal line for each image is stored in the accumulated addition storage unit (step S5-2-1). The vertical line on which the cumulative addition processing has been performed in step S5-2-1 is compared with the vertical line of the previous image read from the cumulative addition value storage unit (step S5-2-2), and a difference value is output ( Step S5-2-3).
図５−３は、斜め方向の加算と差分値の算出処理のフローチャートである。
画像の斜め方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の斜め方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−３−１）。ステップＳ５−３−１で累積加算処理を行なった斜め方向ラインと累積加算値保存部から読み出した前画像の同斜め方向ラインを比較し（ステップＳ５−３−２）、差分値を出力する（ステップＳ５−３−３）。
なお、各方向の加算値の算出及び差分値の算出処理は、３方向全て使う場合の判定精度が最も高いが、いずれかの方向のうち少なくとも２つの方向を用いれば、実用レベルの判定精度を出すことができる。すなわち、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。
FIG. 5C is a flowchart of diagonal direction addition and difference value calculation processing.
Accumulated addition is performed while converting the luminance value for each pixel from the end of the oblique direction line of the image, and the accumulated addition value of the oblique direction line for each image is stored in the accumulated addition value storage unit (step S5-3-1). The diagonal direction line on which the cumulative addition processing has been performed in step S5-3-1 and the diagonal direction line of the previous image read from the cumulative addition value storage unit are compared (step S5-3-2), and a difference value is output ( Step S5-3-3).
In addition, although the calculation processing of the addition value of each direction and the calculation process of the difference value has the highest determination accuracy in the case of using all three directions, the determination accuracy of the practical level can be obtained by using at least two of the directions. It can be put out. That is, by combining and using two or more addition values of luminance in different directions, it is possible to efficiently determine a broadcast accident including a screen stop.
図６は画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故かどうかを判定する判定処理のフローチャートである。
放送事故の判定は、縦方向、横方向、斜め方向の各ラインの差分値が一定の範囲内にあるかどうかを、１秒以内とか、数秒〜数十秒等の所定の待ち時間の間、監視することで行なう。
各ラインの差分値が一定の範囲内にあるかどうかは、後述する判定辞書を読み出し、縦方向、横方向、斜め方向の各ラインの差分値を判定辞書の閾値と比較することで行い、一定の短い時間間隔で取得した画像について、その短い時間間隔での画像停止の可能性を判定する（ステップＳ６−１）。
FIG. 6 is a flow chart of the judgment processing for judging whether it is a broadcast accident such as screen freeze (stop) or black screen (blackout).
In the determination of a broadcast accident, it is determined whether the difference value of each line in the vertical direction, horizontal direction, and diagonal direction is within a predetermined range during a predetermined waiting time such as within one second or several seconds to several tens of seconds. It does by monitoring.
Whether the difference value of each line is within a certain range is determined by reading a judgment dictionary to be described later and comparing the difference value of each line in the vertical direction, horizontal direction, and oblique direction with the threshold of the judgment dictionary. For the image acquired at a short time interval, the possibility of the image stop at the short time interval is determined (step S6-1).
判定辞書の閾値と比較処理は、（１）各ラインの平均値が一定の閾値以内かどうかや、（２）各ラインの数値の分布が、一定のパターンに合致しているかを判定する。各ラインの数値の分布が、一定のパターンに合致しているかの例として、例えば、各ラインの差分値はそれなりにあるが、縦方向はこういう数値の分布だけど、横方向や斜め方向の分布はこういう数値で分布する場合は、画面停止の可能性有り、というのを学習辞書として登録しておき、学習辞書と比較する等の方法により判定を行う。 The threshold of the determination dictionary and the comparison process determine (1) whether or not the average value of each line is within a predetermined threshold, and (2) whether the distribution of numerical values of each line matches a predetermined pattern. As an example of whether the distribution of numerical values of each line conforms to a certain pattern, for example, although the difference value of each line is reasonable, the distribution of these numerical values is in the vertical direction, but the distribution in the horizontal or oblique directions is In the case of distribution with such numerical values, it is registered as a learning dictionary that there is a possibility of screen stop, and determination is made by a method such as comparison with a learning dictionary.
ステップＳ６−１により判定した結果が画像停止の可能性が高いかを判定し（ステップＳ６−２）、画像停止の可能性が低い場合にはステップＳ６−３へ進み、画像停止の可能性が中以上の場合はステップＳ６−４に進む。
ステップＳ６−２で画像停止の可能性が低い場合は、放送事故未発生と判定する（ステップＳ６−３）。
また、画像停止の可能性が中以上の場合は放送事故の可能性があるので、この状態がどのくらい継続するのかを測定するために時間計測を開始する（ステップＳ６−４）。
It is determined whether the result determined in step S6-1 indicates that the possibility of image stop is high (step S6-2). If the possibility of image stop is low, the process proceeds to step S6-3, and the possibility of image stop is If it is medium or more, the process proceeds to step S6-4.
If the possibility of stopping the image is low in step S6-2, it is determined that a broadcast accident has not occurred (step S6-3).
If the possibility of image stoppage is medium or higher, there is the possibility of a broadcast accident, so time measurement is started to measure how long this state continues (step S6-4).
放送事故の可能性中以上が一定時間継続しているかを監視し（ステップＳ６−５）、放送事故の可能性中以上が一定時間継続している場合は、放送事故発生と判定する（ステップＳ６−７）。
放送事故の可能性中以上が一定時間継続しなかった場合は、時間計測をクリアし（ステップＳ６−６）、放送事故未発生と判定する（ステップＳ６−３）。
It is monitored whether or not the possibility of a broadcast accident continues for a fixed time (step S6-5), and when the possibility of a broadcast accident continues for a fixed time or more, it is determined that a broadcast accident has occurred (step S6) -7).
If the possibility of a broadcast accident or more does not continue for a certain period of time, time measurement is cleared (step S6-6), and it is determined that a broadcast accident has not occurred (step S6-3).
図７−１、図７−３は各方向の１ラインの差分値の平均値を判定する場合の画像停止の可能性を判定するための検出閾値及び判定辞書で、図７−１は３方向で判定する場合で、図７−３は２方向で判定する場合の例である。レベルの数値が大きいほど、輝度の加算値の差が小さくなる（判定の検出閾値が厳しくなる）方向にセットされている。各方向の１ラインの差分値の平均値とは、各方向の１ラインの差分値（（ｔ）と（ｔ＋Δｔ）の輝度の加算値の差分）を一定時間計測したものの平均値である。なお、１ラインの加算値ではなく、奇数ビット毎、偶数ビット毎に加算値を算出する場合には奇数ビット、偶数ビットのうち輝度の加算値の大きい方を差分値として判定に利用してもよいし、平均値ではなく、奇数ビットの差分値の平均値と偶数ビットの差分値を算出し、奇数ビットの差分値と偶数ビットの差分値の合計を判定に利用してもよい。例えば、図１０−１の場合だと、１ラインの加算値で画像停止の判定を行った場合は、実際には画像停止していても差分値が０のままで、検出できないケースがでてくるが、奇数ビットと偶数ビットに加算値を分けて行う場合は、奇数ビットの差分値と偶数ビットの差分値を別々に算出し、その合計値を一定時間計測し平均値を求めることで、画像停止の判定を検出することができる。このように奇数ビット、偶数ビットの加算値をうまく検出に利用することで、図７−３のように２方法の判定でも画像停止の判定を高精度に行うことができる。
検出閾値及び判定辞書は、「ある方向の輝度の加算値の差分が大きい場合でも、別の方向の差分が所定の範囲内に収まっているような場合には、画像が停止している可能性がある等」、各方向の輝度の加算値の差分の傾向に一定のパターンがあるので、これを辞書化したものである。
7-1 and 7-3 are a detection threshold and a determination dictionary for determining the possibility of image stop in the case of determining the average value of the difference values of one line in each direction, and FIG. 7-3 is an example in the case of determining by two directions. The larger the numerical value of the level is, the smaller the difference in the luminance addition value is (the detection threshold of the determination becomes stricter). The average value of the difference values of one line in each direction is the average value of the difference value of one line in each direction (the difference of the sum of the luminances of (t) and (t + Δt)) measured for a fixed time. When calculating the addition value for every odd bit or even bit instead of the addition value for one line, it is possible to use the larger one of the luminance addition value among the odd bit and the even bit as the difference value. Instead of the average value, an average value of difference values of odd bits and a difference value of even bits may be calculated, and the sum of the difference values of odd bits and the difference values of even bits may be used for determination. For example, in the case of FIG. 10A, when the image stop is determined by the addition value of one line, the difference value remains 0 even though the image is actually stopped, and a case can not be detected. However, if the addition value is divided into odd bits and even bits, the difference value between the odd bits and the difference value between the even bits are calculated separately, and the total value is measured for a fixed period of time to obtain the average value. The determination of the image stop can be detected. As described above, by using the addition value of the odd bit and the even bit for detection well, the determination of the image stop can be performed with high accuracy even in the determination of two methods as shown in FIG. 7-3.
The detection threshold value and the judgment dictionary state that “the image may be stopped if the difference in another direction is within the predetermined range even if the difference in the added value of the luminance in one direction is large. Because there is a fixed pattern in the tendency of the difference of the added value of the luminance in each direction, this is a dictionary.
具体的には、縦方向、横方向、斜め方向の各方向の検出閾値のレベル（０、１、２、３等の数値）を総合的に判断できるように、どのような検出閾値のパターンになれば、画像停止の可能性が中以上と判定できるかといった、検出閾値のレベルのパターン（全ての方向でレベル２以上、１方向がレベル３以上かつ２方向がレベル１以上、２方向がレベル１以上かつ１方向がレベル５以上等のレベルパターン）を登録している。 Specifically, any detection threshold pattern can be used so that the levels (numerical values such as 0, 1, 2, 3, etc.) of the detection threshold in each of the vertical direction, horizontal direction, and diagonal direction can be comprehensively determined. If the possibility of image stop can be determined to be medium or higher, the detection threshold level pattern (level 2 or more in all directions, level 3 or more in one direction, level 1 or more in two directions, level in two directions) A level pattern of one or more and one direction having level 5 or more is registered.
なお、画像停止の可能性の判定は、３方向で判定する場合の他、２方向のみで判断することもできる。その場合、図７−１の判定辞書の項番２は、図７−３の項番２のように「１方向がレベル１以上（かなり変化）、かつ１方向がレベル４以上（殆ど変化せず）」と置き替えることになる。 The determination of the possibility of stopping the image may be made in only two directions, in addition to the case of determination in three directions. In that case, item number 2 of the judgment dictionary in FIG. 7-1 is “1 direction is level 1 or more (significant change) and 1 direction is level 4 or more (most change as shown in item 2 in FIG. 7-3). Will be replaced by
詳細には、項番１が「全ての方向の差分がある程度小さい場合（輝度の加算値の差が５以下）」であり、項番２が「２方向の差分はそれなりに大きいが（輝度の加算値の差が７以下）、１方向の差分がかなり小さい場合（輝度の加算値の差が３以下）」であり、項番３が「１方向の差分はかなり大きいが（輝度の加算値の差が７以下）、１方向の差分がある程度小さく（輝度の加算値の差が５以下）で、１方向の差分がかなり小さい場合（輝度の加算値の差が３以下）」のいずれかに該当すれば、画像が停止している可能性が中程度であると判定する内容となっている。 In detail, the item number 1 is "if the difference in all directions is small to a certain extent (difference in added value of luminance is 5 or less)", and the item number 2 is "the difference in two directions is so large (the luminance The difference in the added value is 7 or less, and the difference in one direction is considerably small (the difference in the added value of the brightness is 3 or less). (7 or less), the difference in one direction is small to some extent (the difference in luminance addition value is 5 or less), and the difference in one direction is quite small (difference in luminance addition value is 3 or less) " If the above condition is satisfied, it is determined that the possibility that the image is stopped is medium.
なお、画像停止の判定辞書のパターンおよび各方向の検出閾値は一例であって、学習によって最適値が決定される。
このように、本発明によれば、従来技術（特許文献１の実施例２）のように、１方向の輝度の加算値の差分（交差）が０となるような場合に限定して、画像停止の可能性を判定できるに留まらず、縦、横、斜め方向の輝度の加算値の差分を総合的に判定することや、輝度の加算値の差分にも一定の幅を許容した上で、そのパターンを総合的に判定して、画像停止の可能性を判定できるようにした。
The pattern of the determination dictionary of the image stop and the detection threshold of each direction are one example, and the optimum value is determined by learning.
As described above, according to the present invention, as in the prior art (Example 2 of Patent Document 1), the image is limited to the case where the difference (crossing) of the added value of the luminance in one direction is 0, In addition to being able to judge the possibility of stopping, it is possible to comprehensively judge the difference of the added value of the luminance in the vertical, horizontal and diagonal directions, and allow a certain width to the difference of the added value of the luminance, The pattern was comprehensively judged so that the possibility of the image stop could be judged.
このため、例えば、画像が完全に停止したような場合だけでなく、画像が上下や左右に振動するような停止モード（画面ブレ）なども放送事故として判定することができる。
画面が上下方向に振動する停止モードの場合、縦方向の輝度の加算値は、前後のフレームで殆ど変動しないのに対し、横方向の輝度の加算値は、上下に数ドット程度ずれて、また元に戻るような動きをくり返すので、かなり変動することになる。このため、縦方向と横方向の少なくとも２方向の輝度の加算値を比較することで検出可能となり、その際の画像停止の判定辞書の項番２などで画像停止している可能性が中程度以上と判定することができる。
Therefore, for example, not only when the image is completely stopped, but also a stop mode (screen blurring) in which the image vibrates vertically and horizontally can be determined as a broadcast accident.
In the case of the stop mode in which the screen vibrates in the vertical direction, the added value of the brightness in the vertical direction hardly changes in the previous and subsequent frames, while the added value of the brightness in the horizontal direction deviates about several dots up and down. As it moves back to its original position, it will fluctuate considerably. Therefore, detection is possible by comparing the added value of the luminance in at least two directions of the vertical direction and the horizontal direction, and the possibility that the image is stopped by the item No. 2 of the judgment dictionary of the image stop at that time is medium. It can be determined as above.
検出閾値と判定辞書は、学習によって更新することができる。例えば、大量の学習データ（所定の時間間隔をおいた画像データのペア）と放送事故発生の有無に関する情報とのセットを得て、検出閾値と放送事故発生の頻度情報と紐付けたり、判定辞書の所定の画面停止の可能性のパターンが使われた際のパターンと放送事故発生の頻度情報とを紐付けておき、一定の頻度以上になったときに、検出閾値や判定辞書の所定の画面停止の可能性のパターンを更新することで学習処理を行なうことができる。
そして、この学習処理は、撮影装置１００で大量の画像データ（ビッグデータ）を出力させて学習データと放送事故発生の有無に関する情報とのセットを得ることができるので、判定の精度を益々向上させることができる。
The detection threshold and the determination dictionary can be updated by learning. For example, a set of a large amount of learning data (pairs of image data with a predetermined time interval) and information regarding the occurrence of a broadcast accident is obtained, and the detection threshold is linked to the frequency information of the broadcast accident occurrence, or a judgment dictionary The pattern when the predetermined screen stop possibility pattern is used is linked with the frequency information of the occurrence of a broadcast accident, and when it becomes more than a certain frequency, the predetermined screen of the detection threshold or the judgment dictionary Learning processing can be performed by updating the pattern of the possibility of stopping.
And since this learning process can output a large amount of image data (big data) by the photographing apparatus 100 and obtain a set of learning data and information regarding the occurrence of a broadcast accident, the accuracy of determination is further improved. be able to.
図７−２は各方向の１ラインの差分値をそのまま使って、差分値のパターンがどういう傾向を示すかによって判定する場合の、画像停止の可能性を判定するための判定辞書である。
例えば、横方向の差分値（横）が小さな値を示していても、縦方向の差分値（縦）において一部にやや大きな変化傾向を示しており、斜め方向の差分値（斜）でも均一にある程度の変化がある場合には、横方向の差分値（横）が、たまたま画像パターンの性質によって、差分が小さくなるように相殺される画像データであると判定し、画像が停止している可能性が低いと判定するような辞書が登録されている。
FIG. 7B is a determination dictionary for determining the possibility of stopping the image in the case where the difference value of one line in each direction is used as it is to determine the tendency of the pattern of the difference value.
For example, even if the difference value in the horizontal direction (horizontal) indicates a small value, the difference value in the vertical direction (longitudinal) shows a somewhat larger changing tendency in part, and even the difference value in the oblique direction (diagonal) is uniform If there is a change to some extent, it is determined that the horizontal difference value (horizontal) is the image data to be canceled so that the difference is small due to the nature of the image pattern, and the image is stopped A dictionary has been registered that determines that the possibility is low.
なお、図７−２のパターンがどういう傾向を示すかによって判定する判定辞書は、差分の値の変化傾向や変化の幅を示すような、差分の値をそのまま各方向分のラインについて辞書にしたものであってもよいし、各方向の差分の値を機械学習して、各方向の差分値がある変化傾向を示す場合に画面停止の可能性を出力する機械学習モデルであってもよい。 Note that the judgment dictionary used to make judgments based on what kind of tendency the pattern in Fig. 7-2 shows is that the difference value is used as a dictionary for the line in each direction, as it indicates the change tendency or the change width of the difference value. It may be a machine learning model that machine-learns the value of the difference in each direction and outputs the possibility of stopping the screen when the difference value in each direction indicates a certain change tendency.
検出結果の出力は、動画の画像データ上に、検出結果である画像の変化（輝度の差分）の値を表示するようにすることもできる。図９−１から図９−３は、人が体操をする様子を撮影した動画に対し、動きのある部分を画像の変化として検出して、輝度の加算値の差分値を表示した様子を示す図である。
図９−１は検出状況（結果）のうち水平方向検出結果を目視化した例である。
同様に、図９−２は検出状況（結果）のうち垂直方向（縦方向）検出結果を目視化した例であり、図９−３は検出状況（結果）のうち水平方向と垂直方向（縦方向）を合わせて水平垂直方向の検出結果を目視化した例である。
The output of the detection result can also display the value of the change (difference in luminance) of the image that is the detection result on the image data of the moving image. FIGS. 9-1 to 9-3 show a state in which a moving part is detected as a change in the image and a difference value of the added value of the luminance is displayed for a moving image obtained by photographing a person doing gymnastic exercise FIG.
FIG. 9-1 is an example of visualizing the horizontal direction detection result in the detection situation (result).
Similarly, FIG. 9-2 is an example of visualizing the detection result in the vertical direction (longitudinal direction) in the detection situation (result), and FIG. 9-3 is a horizontal direction and a vertical direction (longitudinal direction) in the detection situation (result). This is an example of visualizing the detection result in the horizontal and vertical directions by aligning the directions.
図９−１によれば、肩や腕を振る動きなど、動画の画像データで動きの大きい部分に対し、水平方向の差分値の大きさを示すラインが表示されていることが分かる。同様に、図９−２によれば、体軸を傾ける動きなど、動きの大きい部分に対して垂直方向の差分値の大きさを示すラインが表示されていることが分かる。また、図９−３によれば、水平方向および垂直方向（縦方向）を合わせて、動画の画像データで動きの大きい部分に対し、それぞれの差分値の大きさを示すラインが示されていることが分かる。
なお、ラインが太く見える箇所は、差分を示すラインが多く集中していることを示しており、（動きの大きさに相当する）差分値がそれだけ大きいことを示しており、視覚的に動きが大きい箇所を見える化している。
According to FIG. 9A, it can be seen that a line indicating the magnitude of the difference value in the horizontal direction is displayed for a portion with large motion in the image data of a moving image, such as a motion of shaking a shoulder or an arm. Similarly, according to FIG. 9B, it can be seen that a line indicating the magnitude of the difference value in the vertical direction is displayed with respect to a portion with a large motion, such as a motion for tilting the body axis. Further, according to FIG. 9C, a line indicating the magnitude of each difference value is shown for a portion with large motion in the image data of a moving image, with the horizontal direction and the vertical direction (vertical direction) being combined. I understand that.
In addition, the part where the line looks thick indicates that a large number of lines indicating differences are concentrated, and indicates that the difference value (corresponding to the size of the movement) is so large, and the movement is visually The big part is made visible.
また、差分値の値に応じて、ラインの太さを変えるほか、ある一定以上の差分値でないとラインを表示しないようにしても良い。この差分値の閾値を変えることで、実際の動画で画像が停止している場合などの実例と、判定処理における差分値の検出結果との対応関係を検証することができ、差分値の判定辞書を更新することにより、判定の精度を向上させていくことができる。 Further, the thickness of the line may be changed according to the value of the difference value, or the line may not be displayed unless the difference value exceeds a certain level. By changing the threshold value of this difference value, it is possible to verify the correspondence between the actual case where the image is stopped in the moving image, etc. and the detection result of the difference value in the determination process, and the difference value determination dictionary The accuracy of the determination can be improved by updating.
さらに、例えば、検出閾値のレベルをボリューム（ＵＩ）などで可変できるようにして、ボリューム（ＵＩ）に連動させて、図７−１の判定辞書のレベルに任意に可変し、実際の動画を見ながら、対応する判定辞書の検出閾値を、丁度良い判定レベルに調整するようにしても良い。 Furthermore, for example, the level of the detection threshold can be varied by volume (UI) or the like, interlocked with the volume (UI), arbitrarily varied to the level of the determination dictionary in FIG. However, the detection threshold value of the corresponding judgment dictionary may be adjusted to a just good judgment level.
（実施形態１の変形例）分割領域毎の各方向の輝度の加算値の利用
以上、１画面の全体について各方向の輝度の加算値を算出する例を説明したが、１画面を複数の部分領域に分割して、部分領域毎に各方向の輝度を算出するようにしても良い。
(Modification of Embodiment 1) Use of Addition Value of Luminance in Each Direction for Each Division Area As described above, an example of calculating the addition value of luminance in each direction for the whole of one screen has been described. It is also possible to divide into areas and calculate the luminance in each direction for each partial area.
例えば、図２−３は、分割領域毎に輝度の加算値を利用する場合の様子を示す図である。
図２−３では、１画面を９個の部分領域に分割した例を示している。
Ｂ１、Ｂ２、Ｂ３、・・・とそれぞれの分割領域毎に、縦方向、横方向、斜め方向の輝度の加算値を生成して、部分領域毎の輝度の加算値の差分の傾向を考慮して、画面停止の可能性の判断を行なう。
For example, FIG. 2-3 is a diagram illustrating a state in which an addition value of luminance is used for each divided area.
FIG. 2-3 shows an example in which one screen is divided into nine partial areas.
The added value of the luminance in the vertical direction, horizontal direction, and oblique direction is generated for each of the divided areas B1, B2, B3, ..., and the tendency of the difference in the added value of the luminance for each partial area is considered. To determine the possibility of stopping the screen.
図８は画面を分割して判定する場合の判定辞書である。
画面停止の可能性の判断は、例えば、図８のように、画面を分割して判定する場合の判定辞書を用いて行なう。分割領域のいずれか１個が図７−１又は図７−３のいずれかの項番に該当する場合（例えば、Ｂ１が図７−３の項番１に該当する等）には、画面停止の可能性が低いと判断するものの、分割領域のいずれか２個が図７−１又は図７−３のいずれかの項番に該当する場合（例えば、Ｂ１とＢ３が図７−３の項番１に該当する等）には、画面停止の可能性が中程度と判断する。
FIG. 8 shows a determination dictionary in the case of dividing and determining the screen.
For example, as shown in FIG. 8, the determination of the possibility of stopping the screen is performed using a determination dictionary in the case of dividing and determining the screen. When any one of the divided areas corresponds to the item number in FIG. 7-1 or 7-3 (for example, B1 corresponds to item number 1 in FIG. 7-3), the screen is stopped. If it is determined that the possibility of is low, but any two of the divided areas correspond to the item numbers in any of FIGS. 7-1 or 7-3 (for example, B1 and B3 are items in FIG. 7-3). In the case of No. 1 etc.), it is judged that the possibility of the screen stop is medium.
あるいは、図示しないが、分割領域の複数が図７−１又は図７−３のいずれかの項番に該当する場合において、その分割領域どうしの位置関係に応じて、画面停止の可能性を判定するようにしても良い。
例えば、隣り合う分割領域どうしが図７−１又は図７−３のいずれかの項番に該当する場合には、画面停止の可能性が低くなる方向に判断したり、逆に、離れた分割領域どうしが図７−１又は図７−３のいずれかの項番に該当する場合には、画面停止の可能性が高くなる方向に判断する等である。
このように、分割領域毎に、画面停止の可能性を判断するようにすれば、きめ細かい判断が可能となる。
Alternatively, although not shown, when a plurality of divided areas correspond to item numbers in FIG. 7-1 or FIG. 7-3, the possibility of screen stoppage is determined according to the positional relationship between the divided areas. You may do it.
For example, when adjacent divided areas correspond to item numbers in FIG. 7-1 or FIG. 7-3, it is judged in the direction in which the possibility of the screen stop becomes low, or conversely, divided apart If the areas correspond to the item numbers in FIG. 7-1 or 7-3, it is determined in the direction in which the possibility of stopping the screen increases.
As described above, if the possibility of stopping the screen is determined for each divided area, it is possible to make detailed determination.
（実施形態２）
以上、辞書とアルゴリズムを利用した実施形態（実施形態１）について説明したが、放送事故検出部５００は、機械学習を利用する実施形態（図３−１および図３−２）を採用することができる。
なお、図２−３で示したように、部分領域毎に、各方向の輝度の加算値を利用するようにしてもよいし、図２−４−１ないし図２−４−２で示したように、数ビットとかバイト毎等に纏めて加算して、さらなる次元圧縮を行なうようにしても良い点は、実施形態１と同様である。
機械学習を利用した放送事故検出部５００の機能概略について、図３−１および図３−２の放送事故検出部５００の機能ブロック図を元に説明する。
Second Embodiment
As mentioned above, although embodiment (embodiment 1) using a dictionary and an algorithm was described, the broadcast accident detection part 500 may employ | adopt embodiment (FIG. 3-1 and FIG. 3-2) using machine learning. it can.
Note that, as shown in FIG. 2-3, the added value of the luminance in each direction may be used for each partial area, and it is shown in FIGS. 2-4-1 to 2-4-2. As in the first embodiment, additional dimensional compression may be performed by collectively adding a few bits or every byte or the like.
The functional outline of the broadcast accident detection unit 500 using machine learning will be described based on the functional block diagram of the broadcast accident detection unit 500 of FIGS. 3-1 and 3-2.
図３−１および図３−２は、機械学習を利用する放送事故検出部の機能ブロックを示す図である。図２−１と図２−２が辞書とアルゴリズムを利用する放送事故検出部５００の機能ブロックを示す図であるのを、機械学習に置き換えたものである。
まず、画像データ抽出部５１０により、動画から、一定の短い時間間隔（ｔ、ｔ＋Δｔ）で取得した画像を用いる点、および、横方向加算値生成部、縦方向加算値生成部、および必要に応じて用意される斜め方向加算値生成部により構成されるライン値加算部５２０により、各画像の各方向の輝度の加算値を算出して用いるところまでは、辞書とアルゴリズムを利用する実施形態１と同様である。
FIGS. 3-1 and 3-2 are functional block diagrams of a broadcast accident detection unit using machine learning. In FIG. 2A and FIG. 2B, the functional blocks of the broadcast accident detection unit 500 using a dictionary and an algorithm are replaced with machine learning.
First, the image data extraction unit 510 uses an image acquired from the moving image at a constant short time interval (t, t + Δt), a horizontal addition value generation unit, a vertical addition value generation unit, and as necessary. In the first embodiment, the dictionary and algorithm are used until the line value addition unit 520 configured by the diagonal direction addition value generation unit prepared and used to calculate and use the addition value of the luminance in each direction of each image. It is similar.
実施形態２で実施形態１と異なるのは、輝度の加算値から、一定の時間間隔（ｔ、ｔ＋Δｔ）の差分を算出せずに、各方向の輝度の加算値をそのまま、学習器（機械学習モデル）に入力する点である。
すなわち実施形態２においては、ベクトルデータ生成部５３２により、一定の時間間隔（ｔ、ｔ＋Δｔ）について算出した各方向の輝度の加算値をそのまま並べたベクトル形式のベクトルデータを生成し、判定部（機械学習モデル）５４２の学習器に入力する。
The difference between the second embodiment and the first embodiment is that the added value of the brightness in each direction is used as it is without calculating the difference of the fixed time interval (t, t + Δt) from the added value of the brightness. Model)).
That is, in the second embodiment, the vector data generation unit 532 generates vector data in vector format in which the added values of the luminance in each direction calculated for a fixed time interval (t, t + Δt) are arranged as they are. Learning model) 542 is input to the learning device.
図３−２の機能ブロック図は、図５−１の機能ブロック図のうち、ライン値加算部５２０の処理内容および、ベクトルデータ生成部５３２の処理内容を具体的に記載したものである。 The functional block diagram of FIG. 3B specifically describes the processing content of the line value addition unit 520 and the processing content of the vector data generation unit 532 in the functional block diagram of FIG. 5A.
図３−２によれば、ライン値加算部５２０により、個々の画像データから、各方向の輝度の加算値を算出する部分は、図２−２と同様である。
これにより、例えば、４Ｋ動画（横３８４０×縦２１６０）の場合、横方向に加算して、まず、２１６０ドットの１ライン分の画像データ（ｔ）のベクトルデータを得る。同様に、画像データ（ｔ＋Δｔ）の横方向の加算値のベクトルデータを得て、それを一列に並べて、２１６０×２＝４３２０次元の横方向の輝度の加算値のベクトルデータを生成する。
According to FIG. 3B, the portion for calculating the addition value of the luminance in each direction from the individual image data by the line value addition unit 520 is the same as that of FIG.
Thus, for example, in the case of a 4K moving image (3840 × 2160), it is added in the horizontal direction to first obtain vector data (t) of image data (t) for one line of 2160 dots. Similarly, vector data of horizontal addition values of image data (t + Δt) is obtained, and arranged in a line to generate vector data of 2160 × 2 = 4320 horizontal addition values of luminance.
以降、縦方向、必要に応じて斜め方向について、それぞれベクトルデータを生成し、それらを全て一列に並べたベクトルデータを生成する。
４Ｋ画像の場合で３方向全ての輝度の加算値を利用する場合は、横方向（２１６０×２）＋縦方向（３８４０×２）＋斜め方向（３８４０×２）＝１９６８０次元のベクトルデータが生成される。
Thereafter, vector data is generated in the vertical direction and in the oblique direction as necessary, and vector data in which all of them are arranged in a line is generated.
In the case of using an added value of luminance in all three directions in the case of a 4K image, vector data of horizontal direction (2160 × 2) + longitudinal direction (3840 × 2) + diagonal direction (3840 × 2) = 19680 dimension is generated Be done.
ここで、仮に、４Ｋ動画（横３８４０×縦２１６０）の各フレーム毎の画像（８２９万４４００ドット分）をそのまま機械学習モデルに入力する場合には、機械学習モデルの入力層で、８２９万４４００次元の人工ニューロンを配置しなければならず、中間層で次元削減するような仕組み、例えばＣＮＮ（畳み込みニューラルネットワーク）を用いたとしても、相当な規模の機械学習モデルが必要となり、膨大な学習データ、学習時間を必要としたり、結果を判定するのにＦＰＧＡなどのハードウェアを必要とする。 Here, in the case of inputting an image (829,434 dots) for each frame of 4K moving image (3840 × 2160 vertical) as it is into the machine learning model, the input layer of the machine learning model is 8,294,400. The artificial neurons of three dimensions must be arranged, and even if a mechanism such as CNN (Convolutional Neural Network) is used to reduce the dimensions in the middle layer, a large-scale machine learning model is required, and a large amount of learning data It requires learning time, and requires hardware such as FPGA to determine the result.
これに対し、本願発明のように、４Ｋ画像の場合で３方向全ての輝度の加算値を利用する場合でも、１９６８０次元に次元削減されたデータで済むので、小規模な機械学習モデルで済み、学習データや学習時間も少なくて済み、結果を判定する際にも、ＣＰＵ処理で実用になるという効果がある。 On the other hand, as in the present invention, even in the case of using the added value of the luminance in all three directions in the case of the 4K image, the data is reduced to 19680 dimensions, so a small-scale machine learning model is sufficient. Learning data and learning time are also short, and there is an effect that CPU processing becomes practical even when the result is determined.
生成したベクトルデータ（学習データ）は、判定部（機械学習モデル）に、その学習データがどういう状態であるかの正解値（画面停止の可能性が低いのか／中以上なのかといった状態、あるいは画面停止／正常といった状態、その他の画面停止の可能性に関する状態）を示す教師データ（ラベルともいう）とセットで入力し、学習処理が行なわれる。 The generated vector data (learning data) is used as a judgment value (machine learning model) on the correct value (what is the possibility of stopping the screen / whether it is medium or higher, or the screen) A learning process is performed by inputting a set of teacher data (also referred to as a label) indicating a stop / normal state and other states related to the possibility of screen stop.
ここで、判定部（機械学習モデル）としては、ニューラルネットワーク、ディープニューラルネットワーク（深層学習モデル）、サポートベクターマシン（ＳＶＭ）、クラスタリングなどが考えられるが、何らかの機械学習モデルであれば足り、限定されない。
説明の便宜のため、以下、主に、ニューラルネットワークないしその一類型であるディープニューラルネットワーク（深層学習モデル）を利用した場合について説明する。
ニューラルネットワークにおいても、コンピュータを所定の入力に対する出力を演算する演算部として機能させる点は、辞書やアルゴリズムを利用した場合と同様であり、ＣＰＵおよびメモリなどのハードウェア資源を用いて実現される。
ニューラルネットワークは、多くの実例（学習データと正解値である教師データのセット）を学習させることによって、予め多数の事例を解析した上で、人手で設計した特徴辞書を用いなくても、画面フリーズや黒画面（ブラックアウト）などの放送事故の要因となる状態(輝度の加算値の変化傾向)の特徴を、学習データから自動的に抽出して、精度の高い放送事故の判定を行うことができる。
Here, as the determination unit (machine learning model), a neural network, deep neural network (deep learning model), support vector machine (SVM), clustering, etc. can be considered, but any machine learning model is sufficient and is not limited. .
For the convenience of explanation, the case where a neural network or a deep neural network (a deep learning model) which is one type of the neural network will be mainly described below.
Also in the neural network, the point that causes the computer to function as an operation unit that calculates an output for a predetermined input is the same as that in the case of using a dictionary or an algorithm, and is realized using hardware resources such as a CPU and memory.
The neural network analyzes a large number of cases in advance by learning many examples (a set of training data and teacher data which is a correct value), and then the screen freezes without using a manually designed feature dictionary. The characteristic of the condition (the change tendency of the added value of the luminance) which causes the broadcast accident such as black screen (blackout) or the like is automatically extracted from the learning data to judge the broadcast accident with high accuracy it can.
深層学習モデルでは、図３−２の右側に図示したように、○印で示した人工ニューロンを、入力層、中間層（２層以上のものをディープニューラルネットワークという）、出力層にそれぞれ配置して、人の脳の構造を模した、人工ニューロン間の接続の重み付け（パラメータ）を学習によって更新していく仕組みを採用している。
人工ニューロン間の重み付け（パラメータ）は、学習する前の段階では、初期値として一定の幅を持つ乱数がセットされるが、学習データに対して機械学習モデルが出力した値と、その学習データに対する正解値である教師データとの差分を少なくするように学習させることで、次第に、輝度の加算値の変化傾向の特徴を把握できるように、更新されていき、画像が停止しているかどうか等の判断結果を正確に出力できるようになっていく。
このように、ニューラルネットワークにおける各層の人工ニューロン間の重み付け（パラメータ）は、輝度の加算値の変化傾向の特徴を、各層毎に表現したものとなり、ニューラルネットワーク全体として、輝度の加算値の変化傾向の特徴抽出および放送事故の判定結果出力用のニューラルネットワークとして機能させることができる。
なお、ニューラルネットワークの構成としてＣＮＮ（畳み込みニューラルネットワーク）を用いた場合には、人工ニューロン間の接続の重み付け（パラメータ）は、畳み込みフィルタの値に置き換えられる。
学習データと対になる教師データが豊富にあれば、人工ニューロン間の接続の重み付け（ないし特徴抽出用のフィルタの重み付け等）の精度が向上し、次第に、与えられたデータに対する判定精度が向上する性質を有している。
In the deep learning model, as shown on the right side of Fig. 3-2, the artificial neurons shown by ○ are placed in the input layer, the intermediate layer (two or more layers are referred to as deep neural networks), and the output layer. In this system, the weighting (parameters) of connections between artificial neurons, which mimics the structure of the human brain, is updated by learning.
As for weighting (parameters) between artificial neurons, random numbers having a certain width are set as initial values at the stage before learning, but the values output from the machine learning model for the learning data and the values for the learning data By learning so as to reduce the difference from the teacher data which is the correct value, the feature is gradually updated so that the characteristic of the change tendency of the added value of luminance can be grasped, and whether the image is stopped etc. It will be possible to output the judgment result correctly.
As described above, the weighting (parameters) between the artificial neurons in each layer in the neural network represents the feature of the change tendency of the added value of the brightness for each layer, and the change tendency of the added value of the brightness as the entire neural network Function as a neural network for feature extraction and broadcast accident determination result output.
When CNN (Convolutional Neural Network) is used as the configuration of the neural network, the weight (parameter) of the connection between the artificial neurons is replaced with the value of the convolution filter.
If there is a large amount of teacher data paired with learning data, the accuracy of connection weighting between artificial neurons (or the weighting of a filter for feature extraction, etc.) will be improved, and the judgment accuracy for given data will be gradually improved. It has the nature.
なお、ある層の人工ニューロンと、次の層の人工ニューロンとは、全部が接続された態様（全結合）と疎に結合された態様（疎結合）とがあるが、各層の役割に応じて柔軟に選択可能である。実験では、入力層から中間層の間および中間層どうしの間をＣＮＮ（疎結合の一種）で接続し、最後の中間層と出力層の間を全結合として、有効な判定結果を出力可能な深層学習モデルを構築している。
前の層の複数の人工ニューロンからの出力は、それぞれ適当な重み付けとバイアス（パラメータ）を付与した上で積和演算した上で、次の層の人工ニューロンに入力する。次の層の人工ニューロンでは、それらの積和演算の結果に対し、さらに伝達関数と呼ばれる関数で演算した結果を出力する。
伝達関数としては、非リニアな特性を有するシグモイド関数(1/(1+exp(-x)))やリニアな特性を有するランプ関数（ＲｅＬＵ）などを用いることができる。
なお、入力層〜中間層全て〜出力層までの全層を用いた学習処理の前に、教師無し学習の一種である自己符号化器(オートエンコーダ)と呼ばれる構成を利用して、（初期値が乱数である）重み付け等のパラメータをある程度学習させるためのプレトレーニング（事前学習）を行なうこともできるが、伝達関数としてランプ関数（ＲｅＬＵ）を用いた場合には、重み付け等のパラメータの更新が、出力層に近い中間層ではうまくいくが、入力層に近いところまでうまく伝搬されないという、全層学習での（各層での偏微分をベースとした）逆誤差伝搬法（バックプロパゲーション法）を用いた場合の勾配消失問題は発生しないので、自己符号化器を用いても用いなくても良い。
なお、伝達関数としてシグモイド関数を用いる場合には、全層学習での教師有り学習の一種である（各層での偏微分をベースとした）逆誤差伝搬法（バックプロパゲーション法）を用いた場合、勾配消失問題が発生するので、これを解消するために自己符号化器を用いることが多い。
The artificial neuron in one layer and the artificial neuron in the next layer have an aspect in which all are connected (all coupling) and an aspect in which they are loosely coupled (loose coupling), depending on the role of each layer. It can be selected flexibly. In the experiment, it is possible to connect CNN (a kind of loose coupling) between the input layer and the middle layer and between the middle layers, and output a valid judgment result as a full connection between the last middle layer and the output layer We are building a deep learning model.
The outputs from the plurality of artificial neurons of the previous layer are input to the artificial neuron of the next layer after being subjected to product-sum operations after being given appropriate weightings and biases (parameters) respectively. The artificial neuron of the next layer outputs the result of calculation by a function called transfer function to the result of the product-sum operation.
As a transfer function, a sigmoid function (1 / (1 + exp (−x))) having a non-linear characteristic, a ramp function (ReLU) having a linear characteristic, or the like can be used.
It should be noted that, prior to learning processing using all layers from the input layer to all intermediate layers to the output layer, using an arrangement called a self encoder (auto encoder), which is a type of unsupervised learning, It is also possible to perform pre-training (preliminary learning) to learn parameters such as weightings to a certain extent, but when using a ramp function (ReLU) as a transfer function, updating of parameters such as weightings Back-propagation (back-propagation) method (based on partial differentiation in each layer) in all-layer learning that works well in the middle layer near the output layer but does not propagate well to the position near the input layer The use of a self-coder may or may not be used, as no gradient erasure problems occur.
When a sigmoid function is used as a transfer function, a back error propagation method (based on partial differentiation in each layer), which is a type of supervised learning in all-layer learning, is used. Since a gradient erasure problem occurs, a self-coder is often used to solve this.
ここで、ＣＮＮにおいては、数種から数十種の畳み込みフィルタ（３×３〜５×５ビット等の構成を用いることが多いがこれに限定されない）を用いて、様々な特徴パターンを抽出できるようにしており、学習処理では、この畳み込みフィルタの値（重み付けの値）を学習するようにしてもよい。 Here, in CNN, various feature patterns can be extracted using several to dozens of convolution filters (often using a configuration such as 3 × 3 to 5 × 5 bits but not limited to this) In the learning process, the value (weighting value) of the convolution filter may be learned.
深層学習モデルを利用した場合、学習処理のアルゴリズムは、種々考えられるが、生成したベクトルデータ（学習データ）を学習器に入力して得られた出力と、正解値である教師データとの差分を、一定の関数（誤差関数と呼ぶ）で表現して、誤差関数を最小化するような学習処理が考えられる。 When a deep learning model is used, there are various learning processing algorithms, but the difference between the output obtained by inputting the generated vector data (learning data) into the learning device and the teacher data which is the correct value is A learning process that can be expressed by a constant function (referred to as an error function) to minimize the error function can be considered.
誤差関数は、二乗平均誤差を算出する関数を用いるがこれに限られない。
誤差関数を最小化するような学習処理としては、前述のような誤差逆伝搬法（バックプロパゲーション法）を用いるが、これに限定されず、勾配降下法など各種の学習アルゴリズムを用いることができる。
The error function is, but not limited to, a function for calculating a root mean square error.
As a learning process to minimize the error function, the above-mentioned error back propagation method (back propagation method) is used, but it is not limited thereto, and various learning algorithms such as gradient descent method can be used. .
学習データとしては、撮影装置１００で撮影した大量の動画（画像データが連続したもの）を用いることができる。
また、所定の時間間隔（Δｔ）をおいた画像データ同士の関係が、「正常」あるいは「画像停止や黒画面」などの放送事故に関する事象に関連するかどうかの教師データ（ラベルや正解値ともいう）も、動画を確認しながら、容易に得ることができる。
このため、大量の学習データ（所定の時間間隔をおいた画像データのペア）と放送事故発生の有無に関する教師データとのセットを得ることができ、いわゆるビッグデータを活用した学習処理を行なうことができる。
As learning data, a large amount of moving images (image data continuous) captured by the imaging device 100 can be used.
In addition, teacher data (both the label and the correct value) indicate whether the relationship between image data with a predetermined time interval (Δt) is related to an event related to a broadcast accident such as “normal” or “image stop or black screen”. Can be easily obtained while checking the moving image.
For this reason, it is possible to obtain a set of a large amount of learning data (pairs of image data at predetermined time intervals) and teacher data regarding the occurrence of a broadcast accident, and performing learning processing utilizing so-called big data. it can.
学習処理が進むと、人工ニューロンどうしの間の接続の度合いを決める「重み付けの値」（パラメータ）が更新されていき、次第に、深層学習モデルが出力する判定結果と、正解である教師データとの差分（誤差関数）が小さくなった時点で学習を終了させる。
本発明の学習済み機械モデルは、一例として、上記のようなニューラルネットワークに対して次元削減した学習データを用いた学習処理によって構築されるため、予め特徴辞書を設計する必要がない。
また本発明によれば、画像データに対し大幅に次元削減した学習データを用いることで、比較的小さな機械学習モデルで済み、引いては、少ない学習データ（と教師データのセット）、及び少ない学習時間で構築することができ、放送事故の要因となる状態(輝度の加算値の変化)の検出を的確に分析することができる学習済み機械モデルを提供することができる。
また、画像データに対し大幅に次元削減した学習データをベクトル化して用いることで、ニューラルネットワークを始め、サポートベクターマシン（ＳＶＭ）、クラスタリングなどの様々な機械学習モデルを利用して、放送事故の判定を精度良く行なうことができる。
As the learning process proceeds, “weighting values” (parameters) that determine the degree of connection between the artificial neurons are updated, and gradually, the judgment results output from the deep learning model and the teacher data that is the correct answer The learning is ended when the difference (error function) becomes smaller.
The learned machine model of the present invention is constructed, as an example, by a learning process using learning data reduced in dimension with respect to the neural network as described above, so there is no need to design a feature dictionary in advance.
Also, according to the present invention, a relatively small machine learning model is required by using learning data in which the dimension is greatly reduced with respect to image data, and by extension, a small amount of learning data (and a set of teacher data) and a small amount of learning It is possible to provide a learned machine model that can be constructed in time and that can accurately analyze the detection of a condition (a change in the added value of luminance) that causes a broadcast accident.
In addition, by using vectorized learning data with significantly reduced dimensions for image data, it is possible to use a variety of machine learning models such as neural networks, support vector machines (SVMs), clustering, etc. to determine broadcast accidents. Can be done precisely.
このように、図３−１や図３−２に示すような深層学習モデルなどの機械学習モデルを用いることで、学習データと教師データのセットが豊富にあれば、いちいち辞書を作成しないで済み、むしろ、人が気がつかないような、各方向の輝度の加算値の変化傾向のパターンの特徴が、機械学習モデルの重み付け（パラメータ）として刻み込まれ、相当に練られた辞書やアルゴリズムと同等以上の判定処理を行なうことが可能となる。 As described above, by using a machine learning model such as a deep learning model as shown in FIG. 3-1 and FIG. 3-2, if there is an abundance of sets of learning data and teacher data, it is not necessary to create a dictionary one by one. Rather, the characteristic of the pattern of change tendency of the added value of the luminance in each direction, which people do not notice, is inscribed as a weighting (parameter) of the machine learning model, and is equivalent to or better than a fairly elaborated dictionary or algorithm It becomes possible to perform the determination process.
すなわち、上記のようなビッグデータを活用した学習によって、放送事故に関する判定部（機械学習モデル）５４２が益々賢くなり、放送事故に関する判断基準を、学習した大量の動画の性質に応じて最適化するように変化させることが可能になる。 That is, the learning unit utilizing the big data as described above makes the judgment unit (machine learning model) 542 concerning the broadcast accident smarter, and optimizes the judgment criteria concerning the broadcast accident according to the nature of the large amount of the learned moving pictures. It becomes possible to change it.
機械学習モデルの判定器の出力は、所定の時間間隔（ｔ、ｔ＋Δｔ）で取得した画像データを用いた判定結果であるので、所定の時間間隔における画像停止の可能性の判定（図６のステップＳ６−１〜Ｓ６−２）に相当するものとして利用することができる。なお、機械学習モデルを利用する場合、図６のステップＳ６−１で利用している判定辞書が不要となる点は前述したとおりである。 Since the output of the machine learning model determinator is a determination result using image data acquired at a predetermined time interval (t, t + Δt), the determination of the possibility of image stop at a predetermined time interval (step in FIG. 6) It can be used as one corresponding to S6-1 to S6-2). As described above, when the machine learning model is used, the determination dictionary used in step S6-1 of FIG. 6 becomes unnecessary.
なお、機械学習モデルを利用する場合には、動画の画像データを学習データとして抽出しながら、所定の時間間隔（Δｔ）で取得した画像データのペアに対応する教師データの作成する際に、図９−１〜図９−３の仕組みを利用することができる。
すなわち、その時の差分値の値に応じて表示されたラインを見ながら、適宜、明らかに画像停止している場合や、目視で判断が微妙な場合など、様々なパターンの画像データについて、その際の画像データを取得すると共に、教師データとして、画像停止している可能性を入力するという利用も可能である。
In addition, when using a machine learning model, while extracting image data of a moving image as learning data, when creating teacher data corresponding to a pair of image data acquired at a predetermined time interval (Δt), The mechanisms 9-1 to 9-3 can be used.
That is, while looking at the line displayed according to the value of the difference value at that time, the image data of various patterns is appropriately selected when the image is clearly stopped or when the judgment is subtle. It is also possible to obtain image data of and to input the possibility that the image is stopped as teacher data.
（実施形態３）
以上、画像停止を含む放送事故の判定を例に説明したが、本発明の画面停止等の判定処理は、動画処理全般に適用可能である。例えば、テレビ放送の他、動画のネット配信サービス、ビデオ・オン・デマンドにも適用できる。
また、リアルタイムないしインタラクティブ（対話または双方向）なアニメやゲーム画面の画面停止等の判定、あるいはゲームの開発過程におけるデバッグ作業にも用いることができる。
特に、サーバー上で、大量のユーザー同士がインタラクティブにゲームを進行させる場合に、本発明のように、少ない処理量で画面停止等の判定が可能な技術は、サーバーの負荷を低減させることができる点で有用である。
(Embodiment 3)
As described above, the determination of a broadcast accident including the image stop has been described as an example, but the determination process such as the screen stop according to the present invention is applicable to all kinds of moving image processing. For example, in addition to television broadcasting, the present invention can be applied to a video on-demand service and video on-line distribution service.
Also, it can be used for determination of real-time or interactive (interactive or interactive) animation or stop of the game screen, or debugging in the game development process.
In particular, when a large number of users interactively advance a game on a server, as in the present invention, a technology capable of determining a screen stop with a small amount of processing can reduce the load on the server. It is useful in point.
（実施形態４）
また本発明は、監視カメラで動きがあるかどうかを判定するのにも用いることができる。例えば、図６のフローチャートでは、画面停止の可能性を判定するステップがあるが（ステップＳ６−２）、動きがあるかどうかを判定する場合には、画面が動いたかどうかを判定するステップに置き換えることで、本発明を監視カメラにも適用することができる。
この場合において、ステップＳ６−４およびステップＳ６−６では、画面が停止している可能性がある場合に（ステップＳ６−４）、一定時間待つ処理（ステップＳ６−５、Ｓ６−６）を行なっているが、監視カメラで動きがある場合を検出する際には、これらのステップを、画像の動きがあるかどうか（所定の方向の輝度の加算値の差分が一定の閾値を超えたかどうか）を判定するステップに置き換えることで対応させることができる。
(Embodiment 4)
The invention can also be used to determine if there is motion in a surveillance camera. For example, in the flowchart of FIG. 6, there is a step of determining the possibility of the screen stop (step S6-2), but when determining whether there is a motion, it is replaced with the step of determining whether the screen has moved Thus, the present invention can also be applied to surveillance cameras.
In this case, in steps S6-4 and S6-6, if there is a possibility that the screen is stopped (step S6-4), processing (steps S6-5, S6-6) to wait for a fixed time is performed. However, when detecting the case where there is movement with the surveillance camera, these steps are whether there is movement of the image (whether the difference of the added value of the luminance in a predetermined direction has exceeded a certain threshold) It can be made to correspond by replacing it with the step of determining.
また、監視カメラの用途では、本発明の部分領域毎の判定で、静止している部分を判定して、静止部分を除外した領域を抽出して拡大ズーム等した上で、当該領域の画像データを提示して、オペレータに確認させたり、警告するような用途にも適用することができる。 Further, in the application of the monitoring camera, in the determination of each partial area of the present invention, the stationary part is determined, the area excluding the stationary part is extracted and the zoom is performed, and then the image data of the area The present invention can be applied to an application that presents an operator to confirm or warn an operator.
１００ 撮影装置
２００ 放送機器
３００ 動画処理部
４００ 放送部
５００ 放送事故検出部
５１０ 画像データ抽出部
５２０ ライン値加算部
５３０ 差分検出部
５３２ ベクトルデータ生成部
５４０ 判定部
５４２ 判定部（機械学習モデル）
DESCRIPTION OF SYMBOLS 100 Shooting apparatus 200 Broadcast equipment 300 Video processing unit 400 Broadcast unit 500 Broadcast accident detection unit 510 Image data extraction unit 520 Line value addition unit 530 Difference detection unit 532 Vector data generation unit 540 Determination unit 542 Determination unit (machine learning model)
Claims (13)
動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、
所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、
輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、
前記加算値差分検出手段によって算出した前記差分値および所定の判定辞書の閾値に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理システム。 A system for determining the state of a moving image,
Image data extraction means for extracting image data from the moving image at predetermined time intervals;
Luminance adding means for adding luminances in two or more different directions for two image data extracted at predetermined time intervals;
Addition value difference detection means for calculating a difference value by comparing the addition value of the luminance in each direction obtained by the luminance addition means between two pieces of image data extracted at predetermined time intervals,
Based on the difference value calculated by the added value difference detection means and a threshold value of a predetermined determination dictionary, it is determined whether or not there is a motion or an abnormal state including a screen stop.
A video processing system characterized by
前記画像データ抽出手段で抽出した画像データを複数の部分領域画像データに分割する手段と、
当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算手段と、
前記の部分領域画像データ輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出手段と、
前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の判定辞書の閾値に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理システム。 In the video processing system according to claim 1,
A unit for dividing the image data extracted by the image data extraction unit into a plurality of partial area image data;
Partial area image data luminance addition means for respectively adding luminance in two or more different directions with respect to the partial area image data.
Partial area image data addition value for calculating the difference value by comparing the addition value of the luminance in each direction obtained by the above partial area image data luminance adding means between two image data extracted at a predetermined time interval Difference detection means;
Based on the difference value calculated by the partial area image data addition value difference detection means and a threshold value of a predetermined determination dictionary, it is determined whether or not there is a motion or an abnormal state including a screen stop.
A video processing system characterized by
動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、
所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、を備え、
前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、抽出した画像データに対し次元削減された輝度加算値ベクトルデータを生成し、
当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習手段とを備え、
前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定することを特徴とする動画処理システム。 A system for determining the state of a moving image,
Image data extraction means for extracting image data from the moving image at predetermined time intervals;
And luminance adding means for adding luminance in two or more different directions with respect to two image data extracted at predetermined time intervals,
Generating luminance additive value vector data of which dimension is reduced with respect to the extracted image data based on the luminance in each direction related to the two image data extracted at predetermined time intervals, generated by the luminance adding means;
Machine learning means for inputting the luminance added value vector data into a machine learning model as learning data, and learning based on teacher data relating to the possibility of stopping the screen corresponding to the learning data;
A moving image processing system characterized by using the learned machine learning model learned by the machine learning means to determine whether or not there is a movement or an occurrence of an abnormal state including a screen stop.
所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算する手段を備え、
偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理システム。 In the moving image processing system according to any one of claims 1 to 5,
In the case of adding luminance in each of the horizontal direction and the vertical direction with respect to two image data extracted at predetermined time intervals, the luminance adding means comprises means for dividing even bits and odd bits and adding luminance.
Determining whether or not there is an abnormal state including a screen stop or movement of the image based on the added value of the even bit luminance and the added value of the odd bit luminance;
A video processing system characterized by
動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、
所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、
前記輝度加算ステップによって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出ステップとを備え、
前記加算値差分検出ステップによって算出した前記差分値および所定の判定辞書の閾値に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理方法。 It is a method of determining the state of a video, and
An image data extraction step of extracting image data from the moving image at predetermined time intervals;
A luminance addition step of adding luminances in two or more different directions with respect to two image data extracted at predetermined time intervals;
Wherein the sum of the respective directions of the luminance obtained by the luminance addition step, an adding value difference detection step of calculating a difference value by comparing between each other the two image data extracted at predetermined time intervals,
Based on the difference value calculated in the addition value difference detection step and a threshold value of a predetermined determination dictionary, it is determined whether an abnormal state including screen stoppage or movement is present in the image.
A video processing method characterized by
前記画像データ抽出ステップで抽出した画像データを複数の部分領域画像データに分割するステップと、
当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算ステップと、
前記部分領域画像データ輝度加算ステップによって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出ステップと、
前記部分領域画像データ加算値差分検出ステップによって算出した前記差分値および所定の判定辞書の閾値に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理方法。 In the video processing method according to claim 7,
Dividing the image data extracted in the image data extraction step into a plurality of partial area image data;
A partial area image data luminance addition step of adding luminances in two or more different directions with respect to the partial area image data;
Partial area image data addition value difference which calculates the difference value by comparing the addition value of the luminance of each direction obtained by the partial area image data luminance addition step between two image data extracted at a predetermined time interval Detection step,
Based on the difference value calculated in the partial area image data addition value difference detection step and a threshold value of a predetermined determination dictionary, it is determined whether or not there is a motion or an abnormal state including a screen stop.
A video processing method characterized by
動画の状態を判定する方法であって、
動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、
所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、を備え、
前記輝度加算ステップによって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、抽出した画像データに対し次元削減された輝度加算値ベクトルデータを生成し、
当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習ステップとを備え、
前記機械学習ステップによって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定することを特徴とする動画処理方法。 (Grounds 0054-0056, 0060-0064, 0070-0074, FIGS. 3-1, 3-2)
It is a method of determining the state of a video, and
An image data extraction step of extracting image data from the moving image at predetermined time intervals;
Providing a luminance addition step of adding luminance in two or more different directions with respect to two image data extracted at predetermined time intervals;
Generating luminance additive value vector data of which dimension is reduced with respect to the extracted image data, based on the luminance in each direction related to the two image data extracted at predetermined time intervals, generated in the luminance adding step ;
The machine learning step of inputting the luminance added value vector data as learning data to a machine learning model and learning based on teacher data on the possibility of screen stop corresponding to the learning data;
A moving image processing method characterized by using the learned machine learning model learned by the machine learning step to determine whether an abnormal state including screen stoppage or movement is present in the image.
所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算ステップが、偶数ビットおよび奇数ビットを分けて輝度を加算するステップを備え、
偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
を特徴とする動画処理方法。 In the moving image processing method according to any one of claims 7 to 11,
In the case of respectively adding luminance in the horizontal direction or in the vertical direction with respect to two image data extracted at predetermined time intervals, the luminance addition step includes a step of dividing even bits and odd bits and adding luminances.
Determining whether or not there is an abnormal state including a screen stop or movement of the image based on the added value of the even bit luminance and the added value of the odd bit luminance;
A video processing method characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018104975A JP6524398B1 (en) | 2018-05-31 | 2018-05-31 | Video processing apparatus, video processing system, video processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018104975A JP6524398B1 (en) | 2018-05-31 | 2018-05-31 | Video processing apparatus, video processing system, video processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6524398B1 true JP6524398B1 (en) | 2019-06-05 |
| JP2019212970A JP2019212970A (en) | 2019-12-12 |
Family
ID=66730726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018104975A Active JP6524398B1 (en) | 2018-05-31 | 2018-05-31 | Video processing apparatus, video processing system, video processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6524398B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024095366A1 (en) * | 2022-11-01 | 2024-05-10 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing device, image processing method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001197479A (en) * | 2000-01-13 | 2001-07-19 | Victor Co Of Japan Ltd | Method and device for processing differential image |
| JP6442910B2 (en) * | 2014-08-07 | 2018-12-26 | 株式会社デンソー | Display device |
-
2018
- 2018-05-31 JP JP2018104975A patent/JP6524398B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019212970A (en) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829445B (en) | Vehicle detection method in video stream | |
| JP4203736B2 (en) | Image motion detection apparatus and computer program | |
| CN111369550A (en) | Image registration and defect detection method, model, training method, device and equipment | |
| CN110807396B (en) | Face changing video tampering detection method and system based on illumination direction consistency | |
| CN110210530A (en) | Intelligent control method, device, equipment, system and storage medium based on machine vision | |
| CN102123235B (en) | Method and device for generating video interpolation frame | |
| US9082203B2 (en) | Image processing system for image resizing based upon operational feedback parameters and related methods | |
| JP6524398B1 (en) | Video processing apparatus, video processing system, video processing method and program | |
| JP6758834B2 (en) | Display device, display method and program | |
| JP5006479B1 (en) | Moving image region determination apparatus or method thereof | |
| CN112907433B (en) | Digital watermark embedding method, digital watermark extracting method, digital watermark embedding device, digital watermark extracting device, digital watermark embedding equipment and digital watermark extracting medium | |
| CN116416237A (en) | Power transmission line defect detection method based on improved YOLOv5 and fuzzy image enhancement | |
| CN113449656B (en) | Driver state identification method based on improved convolutional neural network | |
| JP7156527B2 (en) | Road surface inspection device, road surface inspection method, and program | |
| CN112347830A (en) | Factory epidemic prevention management method and system | |
| JP6304619B2 (en) | Image stabilization system, program, and method | |
| CN112532999B (en) | Digital video frame deletion tampering detection method based on deep neural network | |
| JP2008269181A (en) | Object detector | |
| CN113449588A (en) | Smoke and fire detection method | |
| CN113706390A (en) | Image conversion model training method, image conversion method, device and medium | |
| CN114596245A (en) | Image reconstruction model generation method and computer equipment | |
| CN116563429B (en) | Animation design processing supervision system and method based on cloud computing | |
| Wu et al. | Deep learning‐based super‐resolution with feature coordinators preservation for vision‐based measurement | |
| JP2009207001A (en) | Image resolution improving apparatus, and learning device and method | |
| JP2023001747A (en) | Object position learning device and object position estimation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180906 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180927 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190322 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6524398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |