JP2019212970A - 動画処理装置、動画処理システム、動画処理方法及びプログラム - Google Patents

Abstract

【課題】動画の画像停止、黒画面などの放送事故の検出を行なうための動画処理システム、動画処理方法、動画処理プログラムを提供する。【解決手段】放送事故検出部５００は、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、横方向、縦方向、斜め方向などの異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する手段を備える。【選択図】図２−１

Description

本発明は、動画処理装置、動画処理システム、動画処理方法及びプログラムに関する。

従来、動画像のフリーズ（停止）や黒画面等の判定では、あるフレームの画像を記録するフレームメモリと次のフレームの画像を記録するフレームメモリを用意した上で、動画フレームの全ての画素の情報を、前後で比較して、差分がどの程度かを考慮して、フリーズ（停止）や黒画面になっていないかを判断していた。
このため、大規模なフレームメモリや、大量の情報を一定時間内に高速に処理して判定処理を行なうためのハードウェア処理が必要となるなど、コストが掛かっていた。

特開２０１３−１９７９２７号公報 特開２０１６−０３９５０８号公報

そこで、より少ない情報で、フリーズ（停止）や黒画面になっていないかを判断できるように、縦方向や横方向などの画素（輝度）の加算値などを比較することで判定する試みがなされていた。
例えば、特許文献１では、複数のラインのデータにおける画素の差分を算出し、差分値が予め定めた閾値以下であった場合は異常と判定するようにしたので、映像静止状態の検出を簡便な回路で達成することができるものであった（実施例１）。あるいは、ライン単位で輝度の加算値を比較することで（実施例２）、比較対象データを少量に抑え、メモリ容量やＣＰＵパワーの削減を可能としていた。

しかし、特許文献１の実施例１では、どのラインを選択するかで判定精度が大きく異なり、判定精度を上げるためには多くのラインの画素の比較を必要とするため、結局、大量の演算が必要となるなどの課題があった。他方、特許文献１の実施例２では、一方向の加算結果（画像データが７２０×４８０ドットで構成される場合において、７２０画素を１ラインとして、４８０本のラインの加算結果）だけの画素比較では、たまたま、その一方向の変化を打ち消すような画像データが来た場合には、判定できない可能性があったが、複数方向の加算結果を利用すること、およびその場合の各方向の加算値の変化傾向をどのように判定するかについては示唆も検討もされていなかった。

また、前後の比較を、その差分である交差が０であることにより判定していたが、完全に画像が停止するような場合には、前後のフレームで全く差分が生じないため、交差が０でも判定可能だが、上下や左右に振動するような停止モード（画面ブレ）などでは交差が０とはならず、ある程度の交差の幅を持たせた判定を行なう必要があり、特許文献１の技術では対応できなかった。

また、特許文献２では、フレーム毎に「識別情報」を付加し、その識別情報を比較することでフレームが更新されたかどうかを検出するアイデアが提案されている。
しかし、画像自体がフリーズ（停止）しているにも拘わらず、フレーム毎に、正しく、別々の「識別情報」が振られた場合は、故障モードの検出はできないという不都合があった。その回避策として、第４実施形態では、画素の総和を算出して比較する方法を取り入れているが、画素の総和は変化しないフリーズモードになっている場合、例えば、縦方向や横方向にフレームずれの繰り返し（画面ブレ）を起こした画像に対しては、故障モードの検出が困難であるという課題があった。
そこで本願では、抽出するラインの方向性に工夫をして、より少ないメモリ、より少ないＣＰＵパワーで、画面ブレ等のフリーズモードを含む映像フリーズ（停止）の検出を行なうことを目的とする。

また、特許文献１、及び特許文献２いずれの文献でも、画素の総和を算出して前後で比較する方式を採用する場合、特定の場所で加算方向に変化して、別の場所で減算方向に変化した場合には全体の変化が相殺されてしまい検出が困難となる可能性があった。
そこで本願では、画素の総和を算出する方向や判定辞書を工夫して、画素の総和の変化が相殺されないようにして、少ない情報で高い検出精度を達成することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、動画の状態を判定するシステムであって、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第２の発明は、第１の発明に記載の動画処理システムにおいて、前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割する手段と、当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算手段と、前記の部分領域画像データ輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出手段と、前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第３の発明は、水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整することが可能となる第１の又は第２の発明に記載の動画処理システムである。
第４の発明は、動画の状態を判定するシステムであって、動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、を備え、前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、画像データに対し次元削減された輝度加算値ベクトルデータを生成し、当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習手段とを備え、前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理システムである。
第５の発明は、所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させることで、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする第４の発明に記載の動画処理システムである。

第６の発明は、第１〜５の発明のいずれかに１つに記載の動画処理システムにおいて、所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算する手段を備え、偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、を特徴とする動画処理システムである。

第７の発明は、動画の状態を判定する方法であって、動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出ステップとを備え、前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第８の発明は、第７の発明に記載の動画処理方法において、前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割するステップと、当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算ステップと、前記の部分領域画像データ輝度加算手段によって得た各方向の輝度を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出ステップと、前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第９の発明は、第７又は第８の発明に記載の動画処理方法において、水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整する動画処理方法である。
第１０の発明は、動画の状態を判定する方法であって、動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、を備え、前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、画像データに対し次元削減された輝度加算値ベクトルデータを生成し、当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習ステップとを備え、前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定する動画処理方法である。
第１１の発明は、所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させるステップをさらに備え、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする第１０の発明に記載の動画処理方法である。

第１２の発明は、第７〜１１の発明のいずれかに１つに記載の動画処理方法において、所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算するステップを備え、偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、を特徴とする動画処理方法である。

第１３の発明は、コンピュータシステムにおいて、第７から第１２の発明の動画処理方法を実行するプログラムである。

本発明によれば、画面フリーズ、黒画面などを含む放送事故の判定を行なう動画処理システム、動画処理方法及び動画処理プログラムを提供することができる。

全体構成を示す図である。 辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。 辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。 分割領域毎に輝度の加算値を利用する場合の様子を示す図である。 画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、縦方向に輝度を加算する場合の例である。 画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、横方向に輝度を加算する場合の例である。 機械学習を利用する放送事故検出部の機能ブロックを示す図である。 機械学習を利用する放送事故検出部の機能ブロックを示す図である。 判定処理全体を表すフローチャートを示す図である。 横方向の加算と差分値の算出を表すフローチャートを示す図である。 縦方向の加算と差分値の算出を表すフローチャートを示す図である。 斜め方向の加算と差分値の算出を表すフローチャートを示す図である。 判定処理を表すフローチャートを示す図である。 各方向の１ラインの差分値の平均値を判定する場合の判定辞書を示す図である。 各方向の１ラインの差分値をそのまま使って、差分値のパターンがどういう傾向を示すかによって判定する場合の判定辞書を示す図である。 各方向の１ラインの差分値をそのまま使って判定する場合において、２方向の輝度の加算値を利用する場合の判定辞書を示す図である。 画面を分割して判定する場合の判定辞書である。 水平方向検出結果の検出状況（結果）を目視化した例を説明するための図である。 垂直方向検出結果の検出状況（結果）を目視化した例を説明するための図である。 水平垂直方向検出結果の検出状況（結果）を目視化した例を説明するための図である。 所定の画像が横／縦に動いたときに横方向や縦方向の輝度の加算値では検出できないことを示す図である。 斜め方向の輝度の加算値を利用すると画像が縦／横に動いたときでも検出できることを示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
まず、本発明の全体構成を示す機能ブロック図（図１）を元に、システム全体構成の概要を説明する。
撮影機器（動画像生成部（撮影装置）１００）は、撮影対象から、動画像データを生成して出力し、放送機器２００の動画処理部３００に入力される。放送事故検出部５００は、この動画像データから適宜画像データを抽出して、画面フリーズや黒画面（ブラックアウト）などの放送事故の要因となる状態を検出して、動画処理部３００などに通知する。

放送事故検出部５００は、大きく分けて、辞書とアルゴリズムを利用する実施形態（図２−１および図２−２参照）と、機械学習を利用する実施形態（図３−１および図３−２）の２つがある。

（実施形態１）
本発明の実施の一形態である、辞書とアルゴリズムを利用した実施形態（実施形態１）の機能概略について、図２−１および図２−２の放送事故検出部５００の機能ブロック図を元に説明する。
ここで、図２−１および図２−２は、辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。機能ブロック図の各部は、システムを制御するＣＰＵ（中央処理装置）と、記憶部（図示せず）に記憶されているＯＳ（オペレーティングシステム）やアプリケーションプログラムを適宜読み出して実行することにより、ハードウェアと協働し、各種機能を実行する。

動画像生成部（撮影装置）１００から出力された動画の画像データは、一例として、１秒間に３０枚、６０枚、１２０枚といった単位で、時系列に出力されている。
画像データ抽出部５１０は、この時系列の画像データの１枚を適宜、時間間隔（Δｔ）をおいて抽出し、例えば、画像データ（ｔ）とΔｔ時間だけ進んだ、画像データ（ｔ＋Δｔ）を得て、横方向加算値生成部、縦方向加算値生成部および必要に応じて斜め方向加算値生成部などで構成されるライン値加算部５２０に入力する。
ここで、画像データ（ｔ＋Δｔ）は、画像データ（ｔ）の１フレーム後の連続した画像データであっても良く、数フレーム後の画像データであっても良い。

ライン値加算部５２０は、画像データ（ｔ）と画像データ（ｔ＋Δｔ）から、それぞれ、横方向に１ドットずつ画素の輝度を加算していき、横方向の加算値を求めて、一ライン分のデータを生成する。
同様に、縦方向、斜め方向の輝度の加算値を求めて、それぞれ一ライン分のデータを生成する。
斜め方向に加算する場合は、図２−２などで示したように、画像データの左上から右下方向に加算する場合の他、右上から左下方向に加算するようにしてもよい。また、斜め方向に加算する場合は、図２−２などでは４５度の角度で加算していく例を示したが、これに限られず、３０度、４０度、５０度、６０度・・・などを自由に選択することができる。この場合において、０度の角度で加算する場合が横方向の加算に相当し、９０度の角度で加算する場合が縦方向の加算に相当する。このように、本発明では、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。
なお、実施例では、主に、１ドットずつ画素の輝度を加算していく処理を基本パターンとして記載するが、これに限られるわけではなく、画素の数ビット単位、８ビット単位（バイト単位）、１６ビット単位（ワード単位）、３２ビット単位（ロングワード単位）など、ある程度のビットを纏めて輝度を加算するようにしても良い（図２−４−１ないし図２−４−２を参照）。そうすることで、より少ないデータで画面停止などの判定をすることができることになる。

図２−４−１は、画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、縦方向に輝度を加算する場合の例である。同様に、図２−４−２は、画素の数ビット分、バイトやワード等の纏まった単位で輝度を加算する場合の概念図であって、横方向に輝度を加算する場合の例である。
より具体的には、まず、（イ）縦方向の輝度の加算に際しては、まず、最上段の数ビット分の輝度を加算して、輝度の加算値を得て、次いで、１段下の数ビット分の輝度を加算して、最上段の輝度の加算値にさらに加算する、・・・をくり返して、最下段の数ビット分の輝度の加算値の総和である総加算値を求める。これを１画面分行なって、縦方向の輝度の加算値を得る。このようにして得た縦方向の輝度の加算値は、１画素毎に輝度を加算した情報と比べて、かなり小さい情報になっていることが分かる。

同様に、（ロ）横方向の輝度の加算についても、数ビット分又はバイトやワード等の纏まった単位で輝度の加算値を算出することができる。
次に、再度、図２−１および図２−２の放送事故検出部５００の機能ブロック図に戻って、基本パターンである、１ドットずつ画素の輝度を加算していく処理の説明を続ける。

算出した１ライン分の加算値は、それぞれ記憶部のラインバッファ（図示せず）などに一時記憶しておいても良い。
ここで、輝度とは、１画素のＲＧＢの数値から、所定の計算式を用いて算出される数値である。例えば、輝度＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂなどで表される。より具体的には、ＲＧＢの値として、０〜２５５の値を取った場合、ＲＧＢ＝（２５５、２５５、０）の輝度は２２７となる。
なお、横方向、縦方向、斜め方向の３つの方向の加算値全てが必要なわけではなく、少なくとも２方向の輝度の加算値を利用すれば足りる。例えば、斜め方向は利用せずとも、後述する判定待ち時間の調整（数秒とか数十秒などの、ある程度長い待ち時間に設定する等）や、判定部の処理の調整により、十分な判定精度が得られる。

次に、横方向加算値差分検出部、縦方向加算値差分検出部、および必要に応じて斜め方向加算値差分検出部で構成される差分検出部５３０が、画像データ（ｔ）と画像データ（ｔ＋Δｔ）の各方向のライン値の加算結果の差分を算出する。

判定部５４０は、横方向、縦方向、斜め方向の各方向のライン毎に算出した輝度の加算結果を、判定辞書及び判定アルゴリズムを参照して時間差で抽出した画像データ毎の加算値の変化が、所定の幅に収まっているかを判定して、一定時間所定の幅に収まっていれば、画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故の要因となる状態であると判定して、判定結果を出力する。
例えば、輝度の加算結果に一定時間、閾値を超える変化がなければ画面フリーズ（停止）と判断できるし、輝度の加算結果に大きな変化があり、その後もその状態を維持していれば黒画面（ブラックアウト）のように判断できる。なお、本事例では主に放送事故を例に説明しているが、後述のように、動画処理全般に適用可能であり、監視カメラで動きがあるかどうかなど画面の変化を検出することにも利用できる。

図２−２は、辞書とアルゴリズムを利用する放送事故検出部の機能ブロックを示す図である。図２−２は、図２−１の放送事故検出部５００の機能ブロック図を、具体的な画像データを用いてイメージ的に理解しやすく記載した図であり、各ブロックの機能については、図２−１と同様である。また、図２−１と同様に、横方向、縦方向、斜め方向の３つの方向の加算値全てが必要なわけではなく、少なくとも２方向の輝度の加算値を利用すれば足りる。
すなわち、本発明によれば、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。

図２−２では、ライン値加算部５２０によって、画像データから、各方向の輝度の加算値を算出する様子を図示化している。
例えば、４Ｋ動画（横３８４０×縦２１６０）を例にとって、横方向に加算する場合には、まず、画像の１番上のライン（３８４０ドット）について、１ドットずつ輝度を加算していき、１ライン分の合計加算値を算出する。これを、縦方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、横方向の１ライン分の加算値を得る。

同様に、横方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、縦方向の１ライン分の加算値を得る。また、斜め方向に２１６０ライン分順次実行し、合計で２１６０個の加算値を算出して、斜め方向の１ライン分の加算値を得ることができる。

ここで、斜め方向に輝度を加算していくとは、図２−２の下部の図に示したように、１ドット右下方向に次々と輝度を加算することをいう。なお、実施例では、右下方向としたが、右上方向や左下方向、左上方向など、様々な角度に加算しても構わない。
各方向の輝度の加算値は、少なくとも２方向で一定の検出性能を確保できるが、３方向を用いることでより精度向上を図ることが可能となる。
例えば、実際には停止していないにも拘わらず、たまたま、２方向（例えば縦方向や横方向）の変化が相殺されて、輝度の加算値が変化しないため、停止していると判定してしまう場合がある。
このような場合に、もう一方の方向（例えば斜め方向）の輝度の加算値を用いることで、３方向のいずれも、たまたま相殺されるということは殆ど無いことから、画像が停止していないことを正確に検出できるので、誤判定を防止することができるという効果を奏する。

これを図１０−１、図１０−２を用いて、具体的に説明する。
図１０−１は、所定の画像が横／縦に動いたときに横方向や縦方向の輝度の加算値では検出できないことを示す図である。
図１０−２は、斜め方向の輝度の加算値を利用すると画像が縦／横に動いたときでも検出できることを示す図である。
図１０−１に示すように、白と黒（０と１）をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像の場合には、画像が横や上にスライドするように動いた場合、左の画像データが、右の画像データのように変化するが、縦方向の輝度の加算値も、横方向の輝度の加算値も、いずれも変化しておらず、縦方向や横方向の輝度の加算値では、誤って画面停止しているものとして判定されてしまうことが分かる。
例えば、図１０−１の（ｔ）の画像データがある場合に、横（右または左）に１画素動いたときは横方向及び縦方向の加算値のいずれも「３」になり、横に画素情報が変化したことを検出できない。しかし、横方向及び縦方向の加算値を奇数ビット毎と偶数ビット毎に分けて加算値を算出した場合は、（ｔ）の画像データの加算値が奇数ビットの加算値「０」、偶数ビットの加算値「３」に対し、（ｔ＋Δｔ）の画像データの加算値が奇数ビットの加算値「３」、偶数ビットの加算値「０」となり、奇数ビットの加算値が「０」→「３」、偶数ビットの加算値が「３」→「０」に変化しており、画像情報が変化したことを検出できる。
ここで、奇数ビットと偶数ビットとは、画像データの各ピクセル（画素）の並びを見た場合に、横方向であれば、１画素目、３画素目、５画素目・・・を奇数ビットと定義し、２画素目、４画素目、６画素目・・・を偶数ビットと、画素の位置に対応する形で定義したものである。縦方向、斜め方向も、画素の位置に対応するように奇数ビットと偶数ビットを定義する点は同様である。
また、縦（上または下）に１画素動いたときも横方向及び縦方向の加算値のいずれも「３」になり、横に画素が動いたことを検出できません。しかし、横方向及び縦方向の加算値を奇数ビット毎と偶数ビット毎に分けて加算値を算出した場合は、（ｔ）の画像データの加算値が奇数ビットの加算値「０」、偶数ビットの加算値「３」に対し、（ｔ＋Δｔ）の画像データの加算値が奇数ビットの加算値「３」、偶数ビットの加算値「０」となり、奇数ビットの加算値が「０」→「３」、偶数ビットの加算値が「３」→「０」に変化しており、画像情報が変化したことを検出できる。
よって、図１０−１では横方向全体や縦方向全体の輝度の加算値では検出できないが、横方向全体や縦方向全体で加算するのではなく、奇数ビット毎の加算値と偶数ビット毎の加算値を算出し、比較することで奇数ビットと偶数ビットの輝度加算値が変化していることが分かるので、上記斜め方向の輝度の加算値の検出と同様に誤判定を回避できる。斜め方向についても輝度の加算値で誤判定を回避できない時は、横方向や縦方向と同様に斜め方向全体ではなく、奇数ビット毎と偶数ビット毎に加算値を算出して比較することで、同様に誤判定を回避することができる。
他方、図１０−２に示すように、斜め方向の輝度の加算値を用いると、白と黒（０と１）をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像が縦や横に移動するような場合でも、輝度の加算値が変化していることがわかる。例えば、図１０−２の破線で囲った領域の斜め方向の輝度の加算値は、左側の画像では「３」だったに対し、画像が移動した後の右側では「０」になっており、変化として表われている。このため、斜め方向の輝度の加算値を用いると、例示した所定の画像の場合でも、画面停止しているといった誤判定を回避できることが分かる。
すなわち、画像パターンによっては、縦方向や横方向の輝度の加算値では画面停止しているかどうか分からないのを、斜め方向の輝度の加算値を利用することで判定できるようになることが分かる。
なお、図１０−１、図１０−２に例示した、白と黒をビット単位あるいは所定の矩形領域単位で、交互にくり返すような画像は典型例であって、これに限定されるわけではなく、似たような画像パターンが連続するような場合や、通常の画像でも偶然に縦方向や横方向の輝度の加算では変化を打ち消すような画像パターンになった場合には、斜め方向の輝度の加算値を利用することで、画像停止か否かを確実に判定することが可能となる。

このように、４Ｋ動画（横３８４０×縦２１６０）の各フレームの画像（８２９万４４００ドット分）をそのまま記録して判定する従来の方式に比べて、横方向（２１６０ドット分）、縦方向（３８４０ドット分）、斜め方向（３８４０ドット分）の３つのライン分のデータ量（合計で９８４０ドット分）で済むため、約８３０分の１のメモリで足り、高速なフレームメモリを用意しないで済むという効果がある。
また、小さなデータ量を演算すれば良いので、ＦＰＧＡなどの高価なハードウェアを用いずとも、システムに通常搭載するＣＰＵとＲＡＭなどのワークメモリによる処理で、一定時間内に済ますことができる。
なお、このように、元の情報量の大きな画像データから、画面フリーズ（停止）や黒画面（ブラックアウト）などの判定するために必要最小限のデータにすることを、以後、次元削減と呼ぶことにする。

図４は、本発明の画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故の要因となる状態であると判定する処理のフローチャートである。
まず、画像データ抽出部５１０により、所定の時間間隔（Δｔ）をおいて、画像データ（ｔ）および画像データ（ｔ＋Δｔ）を取得する（ステップＳ４−１）。
次に、ライン値加算部５２０が、情報量を削減するために、次元削減処理を行なう。前述のように、次元削減処理の一例として、一定の時間間隔（Δｔ）をおいて取得した画像データ（ｔ）および画像データ（ｔ＋Δｔ）に対して、画像データの輝度の値を、縦方向、横方向、斜め方向にそれぞれ加算した結果を算出する。なお、加算値の算出については、各方向全体の輝度の加算値でもよいし、各方向の奇数ビット毎、偶数ビット毎の輝度の加算値でもよい。
この場合、奇数ビットの（ｔ）と（ｔ＋Δｔ）の輝度の加算値を比較した結果（イ）と、偶数ビットの（ｔ）と（ｔ＋Δｔ）の輝度の加算値を比較した結果（ロ）のいずれかを判定することとしても良い（この場合は、より少ない演算で済む）。
また、（イ）と（ロ）の両方を加味して判断することでより精度を向上させることもできる。例えば、比較した結果（イ）が変化していなくても、比較した結果（ロ）が一定の閾値を超えて変化していれば、画面停止とは判断しない等である。
各方向の輝度の加算値は、ラインバッファに保存するようにしても良い。次に、各方向の輝度の加算値を用いて、差分検出部５３０が、ラインバッファに保存した画像（ｔ）と画像（ｔ＋Δｔ）の各方向のライン値の加算結果の差分値を算出する。（ステップＳ４−２）。

ステップＳ４−２により算出した加算結果の差分値を判定部５４０に入力し（ステップＳ４−３）、判定部５４０で後述する判定処理を行なう（ステップＳ４−４）。
判定部５４０では、各方向のライン値の加算結果の差分値が一定の範囲にあるかどうかを、一定の時間間隔毎に判定し続け、１秒以内とか、数秒〜数十秒等の所定の待ち時間が経過したかどうかで放送事故かどうか判定する（ステップＳ４−５）。所定の待ち時間が経過していない場合はＳ４−１に戻る（ステップＳ４−５Ｎｏ）。所定の待ち時間が経過している場合はＳ４−６に進む（ステップＳ４−５Ｙｅｓ）。
一定の時間間隔で取得した各方向のライン値の加算結果の差分値が、所定の待ち時間内で、一定の範囲内にあると判定した場合には、画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故であると判定し、それ以外は正常動作であると判定する。
放送事故と判断した場合は、判定結果を通知する（ステップＳ４−６）。

図５−１は、横方向の加算と差分値の算出処理のフローチャートである。
画像の横方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の横方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−１−１）。ステップＳ５−１−１で累積加算処理を行なった横方向ラインと累積加算値保存部から読み出した前画像の同横方向ラインを比較し（ステップＳ５−１−２）、差分値を出力する（ステップＳ５−１−３）。

図５−２は、縦方向の加算と差分値の算出処理のフローチャートである。
画像の縦方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の縦方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−２−１）。ステップＳ５−２−１で累積加算処理を行なった縦方向ラインと累積加算値保存部から読み出した前画像の同縦方向ラインを比較し（ステップＳ５−２−２）、差分値を出力する（ステップＳ５−２−３）。

図５−３は、斜め方向の加算と差分値の算出処理のフローチャートである。
画像の斜め方向ラインの端から１ピクセル毎に輝度値に変換しながら累積加算し、画像毎の斜め方向ラインの累積加算値を累積加算値保存部に保存する（ステップＳ５−３−１）。ステップＳ５−３−１で累積加算処理を行なった斜め方向ラインと累積加算値保存部から読み出した前画像の同斜め方向ラインを比較し（ステップＳ５−３−２）、差分値を出力する（ステップＳ５−３−３）。
なお、各方向の加算値の算出及び差分値の算出処理は、３方向全て使う場合の判定精度が最も高いが、いずれかの方向のうち少なくとも２つの方向を用いれば、実用レベルの判定精度を出すことができる。すなわち、異なる方向の輝度の加算値を２以上組み合わせて用いることで、画面停止を含む放送事故の判定を効率的に行なうことができる。

図６は画面フリーズ（停止）や黒画面（ブラックアウト）などの放送事故かどうかを判定する判定処理のフローチャートである。
放送事故の判定は、縦方向、横方向、斜め方向の各ラインの差分値が一定の範囲内にあるかどうかを、１秒以内とか、数秒〜数十秒等の所定の待ち時間の間、監視することで行なう。
各ラインの差分値が一定の範囲内にあるかどうかは、後述する判定辞書を読み出し、縦方向、横方向、斜め方向の各ラインの差分値を判定辞書の閾値と比較することで行い、一定の短い時間間隔で取得した画像について、その短い時間間隔での画像停止の可能性を判定する（ステップＳ６−１）。

判定辞書の閾値と比較処理は、（１）各ラインの平均値が一定の閾値以内かどうかや、（２）各ラインの数値の分布が、一定のパターンに合致しているかを判定する。各ラインの数値の分布が、一定のパターンに合致しているかの例として、例えば、各ラインの差分値はそれなりにあるが、縦方向はこういう数値の分布だけど、横方向や斜め方向の分布はこういう数値で分布する場合は、画面停止の可能性有り、というのを学習辞書として登録しておき、学習辞書と比較する等の方法により判定を行う。

ステップＳ６−１により判定した結果が画像停止の可能性が高いかを判定し（ステップＳ６−２）、画像停止の可能性が低い場合にはステップＳ６−３へ進み、画像停止の可能性が中以上の場合はステップＳ６−４に進む。
ステップＳ６−２で画像停止の可能性が低い場合は、放送事故未発生と判定する（ステップＳ６−３）。
また、画像停止の可能性が中以上の場合は放送事故の可能性があるので、この状態がどのくらい継続するのかを測定するために時間計測を開始する（ステップＳ６−４）。

放送事故の可能性中以上が一定時間継続しているかを監視し（ステップＳ６−５）、放送事故の可能性中以上が一定時間継続している場合は、放送事故発生と判定する（ステップＳ６−７）。
放送事故の可能性中以上が一定時間継続しなかった場合は、時間計測をクリアし（ステップＳ６−６）、放送事故未発生と判定する（ステップＳ６−３）。

図７−１、図７−３は各方向の１ラインの差分値の平均値を判定する場合の画像停止の可能性を判定するための検出閾値及び判定辞書で、図７−１は３方向で判定する場合で、図７−３は２方向で判定する場合の例である。レベルの数値が大きいほど、輝度の加算値の差が小さくなる（判定の検出閾値が厳しくなる）方向にセットされている。各方向の１ラインの差分値の平均値とは、各方向の１ラインの差分値（（ｔ）と（ｔ＋Δｔ）の輝度の加算値の差分）を一定時間計測したものの平均値である。なお、１ラインの加算値ではなく、奇数ビット毎、偶数ビット毎に加算値を算出する場合には奇数ビット、偶数ビットのうち輝度の加算値の大きい方を差分値として判定に利用してもよいし、平均値ではなく、奇数ビットの差分値の平均値と偶数ビットの差分値を算出し、奇数ビットの差分値と偶数ビットの差分値の合計を判定に利用してもよい。例えば、図１０−１の場合だと、１ラインの加算値で画像停止の判定を行った場合は、実際には画像停止していても差分値が０のままで、検出できないケースがでてくるが、奇数ビットと偶数ビットに加算値を分けて行う場合は、奇数ビットの差分値と偶数ビットの差分値を別々に算出し、その合計値を一定時間計測し平均値を求めることで、画像停止の判定を検出することができる。このように奇数ビット、偶数ビットの加算値をうまく検出に利用することで、図７−３のように２方法の判定でも画像停止の判定を高精度に行うことができる。
検出閾値及び判定辞書は、「ある方向の輝度の加算値の差分が大きい場合でも、別の方向の差分が所定の範囲内に収まっているような場合には、画像が停止している可能性がある等」、各方向の輝度の加算値の差分の傾向に一定のパターンがあるので、これを辞書化したものである。

具体的には、縦方向、横方向、斜め方向の各方向の検出閾値のレベル（０、１、２、３等の数値）を総合的に判断できるように、どのような検出閾値のパターンになれば、画像停止の可能性が中以上と判定できるかといった、検出閾値のレベルのパターン（全ての方向でレベル２以上、１方向がレベル３以上かつ２方向がレベル１以上、２方向がレベル１以上かつ１方向がレベル５以上等のレベルパターン）を登録している。

なお、画像停止の可能性の判定は、３方向で判定する場合の他、２方向のみで判断することもできる。その場合、図７−１の判定辞書の項番２は、図７−３の項番２のように「１方向がレベル１以上（かなり変化）、かつ１方向がレベル４以上（殆ど変化せず）」と置き替えることになる。

詳細には、項番１が「全ての方向の差分がある程度小さい場合（輝度の加算値の差が５以下）」であり、項番２が「２方向の差分はそれなりに大きいが（輝度の加算値の差が７以下）、１方向の差分がかなり小さい場合（輝度の加算値の差が３以下）」であり、項番３が「１方向の差分はかなり大きいが（輝度の加算値の差が７以下）、１方向の差分がある程度小さく（輝度の加算値の差が５以下）で、１方向の差分がかなり小さい場合（輝度の加算値の差が３以下）」のいずれかに該当すれば、画像が停止している可能性が中程度であると判定する内容となっている。

なお、画像停止の判定辞書のパターンおよび各方向の検出閾値は一例であって、学習によって最適値が決定される。
このように、本発明によれば、従来技術（特許文献１の実施例２）のように、１方向の輝度の加算値の差分（交差）が０となるような場合に限定して、画像停止の可能性を判定できるに留まらず、縦、横、斜め方向の輝度の加算値の差分を総合的に判定することや、輝度の加算値の差分にも一定の幅を許容した上で、そのパターンを総合的に判定して、画像停止の可能性を判定できるようにした。

このため、例えば、画像が完全に停止したような場合だけでなく、画像が上下や左右に振動するような停止モード（画面ブレ）なども放送事故として判定することができる。
画面が上下方向に振動する停止モードの場合、縦方向の輝度の加算値は、前後のフレームで殆ど変動しないのに対し、横方向の輝度の加算値は、上下に数ドット程度ずれて、また元に戻るような動きをくり返すので、かなり変動することになる。このため、縦方向と横方向の少なくとも２方向の輝度の加算値を比較することで検出可能となり、その際の画像停止の判定辞書の項番２などで画像停止している可能性が中程度以上と判定することができる。

検出閾値と判定辞書は、学習によって更新することができる。例えば、大量の学習データ（所定の時間間隔をおいた画像データのペア）と放送事故発生の有無に関する情報とのセットを得て、検出閾値と放送事故発生の頻度情報と紐付けたり、判定辞書の所定の画面停止の可能性のパターンが使われた際のパターンと放送事故発生の頻度情報とを紐付けておき、一定の頻度以上になったときに、検出閾値や判定辞書の所定の画面停止の可能性のパターンを更新することで学習処理を行なうことができる。
そして、この学習処理は、撮影装置１００で大量の画像データ（ビッグデータ）を出力させて学習データと放送事故発生の有無に関する情報とのセットを得ることができるので、判定の精度を益々向上させることができる。

図７−２は各方向の１ラインの差分値をそのまま使って、差分値のパターンがどういう傾向を示すかによって判定する場合の、画像停止の可能性を判定するための判定辞書である。
例えば、横方向の差分値（横）が小さな値を示していても、縦方向の差分値（縦）において一部にやや大きな変化傾向を示しており、斜め方向の差分値（斜）でも均一にある程度の変化がある場合には、横方向の差分値（横）が、たまたま画像パターンの性質によって、差分が小さくなるように相殺される画像データであると判定し、画像が停止している可能性が低いと判定するような辞書が登録されている。

なお、図７−２のパターンがどういう傾向を示すかによって判定する判定辞書は、差分の値の変化傾向や変化の幅を示すような、差分の値をそのまま各方向分のラインについて辞書にしたものであってもよいし、各方向の差分の値を機械学習して、各方向の差分値がある変化傾向を示す場合に画面停止の可能性を出力する機械学習モデルであってもよい。

検出結果の出力は、動画の画像データ上に、検出結果である画像の変化（輝度の差分）の値を表示するようにすることもできる。図９−１から図９−３は、人が体操をする様子を撮影した動画に対し、動きのある部分を画像の変化として検出して、輝度の加算値の差分値を表示した様子を示す図である。
図９−１は検出状況（結果）のうち水平方向検出結果を目視化した例である。
同様に、図９−２は検出状況（結果）のうち垂直方向（縦方向）検出結果を目視化した例であり、図９−３は検出状況（結果）のうち水平方向と垂直方向（縦方向）を合わせて水平垂直方向の検出結果を目視化した例である。

図９−１によれば、肩や腕を振る動きなど、動画の画像データで動きの大きい部分に対し、水平方向の差分値の大きさを示すラインが表示されていることが分かる。同様に、図９−２によれば、体軸を傾ける動きなど、動きの大きい部分に対して垂直方向の差分値の大きさを示すラインが表示されていることが分かる。また、図９−３によれば、水平方向および垂直方向（縦方向）を合わせて、動画の画像データで動きの大きい部分に対し、それぞれの差分値の大きさを示すラインが示されていることが分かる。
なお、ラインが太く見える箇所は、差分を示すラインが多く集中していることを示しており、（動きの大きさに相当する）差分値がそれだけ大きいことを示しており、視覚的に動きが大きい箇所を見える化している。

また、差分値の値に応じて、ラインの太さを変えるほか、ある一定以上の差分値でないとラインを表示しないようにしても良い。この差分値の閾値を変えることで、実際の動画で画像が停止している場合などの実例と、判定処理における差分値の検出結果との対応関係を検証することができ、差分値の判定辞書を更新することにより、判定の精度を向上させていくことができる。

さらに、例えば、検出閾値のレベルをボリューム（ＵＩ）などで可変できるようにして、ボリューム（ＵＩ）に連動させて、図７−１の判定辞書のレベルに任意に可変し、実際の動画を見ながら、対応する判定辞書の検出閾値を、丁度良い判定レベルに調整するようにしても良い。

（実施形態１の変形例）分割領域毎の各方向の輝度の加算値の利用
以上、１画面の全体について各方向の輝度の加算値を算出する例を説明したが、１画面を複数の部分領域に分割して、部分領域毎に各方向の輝度を算出するようにしても良い。

例えば、図２−３は、分割領域毎に輝度の加算値を利用する場合の様子を示す図である。
図２−３では、１画面を９個の部分領域に分割した例を示している。
Ｂ１、Ｂ２、Ｂ３、・・・とそれぞれの分割領域毎に、縦方向、横方向、斜め方向の輝度の加算値を生成して、部分領域毎の輝度の加算値の差分の傾向を考慮して、画面停止の可能性の判断を行なう。

図８は画面を分割して判定する場合の判定辞書である。
画面停止の可能性の判断は、例えば、図８のように、画面を分割して判定する場合の判定辞書を用いて行なう。分割領域のいずれか１個が図７−１又は図７−３のいずれかの項番に該当する場合（例えば、Ｂ１が図７−３の項番１に該当する等）には、画面停止の可能性が低いと判断するものの、分割領域のいずれか２個が図７−１又は図７−３のいずれかの項番に該当する場合（例えば、Ｂ１とＢ３が図７−３の項番１に該当する等）には、画面停止の可能性が中程度と判断する。

あるいは、図示しないが、分割領域の複数が図７−１又は図７−３のいずれかの項番に該当する場合において、その分割領域どうしの位置関係に応じて、画面停止の可能性を判定するようにしても良い。
例えば、隣り合う分割領域どうしが図７−１又は図７−３のいずれかの項番に該当する場合には、画面停止の可能性が低くなる方向に判断したり、逆に、離れた分割領域どうしが図７−１又は図７−３のいずれかの項番に該当する場合には、画面停止の可能性が高くなる方向に判断する等である。
このように、分割領域毎に、画面停止の可能性を判断するようにすれば、きめ細かい判断が可能となる。

（実施形態２）
以上、辞書とアルゴリズムを利用した実施形態（実施形態１）について説明したが、放送事故検出部５００は、機械学習を利用する実施形態（図３−１および図３−２）を採用することができる。
なお、図２−３で示したように、部分領域毎に、各方向の輝度の加算値を利用するようにしてもよいし、図２−４−１ないし図２−４−２で示したように、数ビットとかバイト毎等に纏めて加算して、さらなる次元圧縮を行なうようにしても良い点は、実施形態１と同様である。
機械学習を利用した放送事故検出部５００の機能概略について、図３−１および図３−２の放送事故検出部５００の機能ブロック図を元に説明する。

図３−１および図３−２は、機械学習を利用する放送事故検出部の機能ブロックを示す図である。図２−１と図２−２が辞書とアルゴリズムを利用する放送事故検出部５００の機能ブロックを示す図であるのを、機械学習に置き換えたものである。
まず、画像データ抽出部５１０により、動画から、一定の短い時間間隔（ｔ、ｔ＋Δｔ）で取得した画像を用いる点、および、横方向加算値生成部、縦方向加算値生成部、および必要に応じて用意される斜め方向加算値生成部により構成されるライン値加算部５２０により、各画像の各方向の輝度の加算値を算出して用いるところまでは、辞書とアルゴリズムを利用する実施形態１と同様である。

実施形態２で実施形態１と異なるのは、輝度の加算値から、一定の時間間隔（ｔ、ｔ＋Δｔ）の差分を算出せずに、各方向の輝度の加算値をそのまま、学習器（機械学習モデル）に入力する点である。
すなわち実施形態２においては、ベクトルデータ生成部５３２により、一定の時間間隔（ｔ、ｔ＋Δｔ）について算出した各方向の輝度の加算値をそのまま並べたベクトル形式のベクトルデータを生成し、判定部（機械学習モデル）５４２の学習器に入力する。

図３−２の機能ブロック図は、図５−１の機能ブロック図のうち、ライン値加算部５２０の処理内容および、ベクトルデータ生成部５３２の処理内容を具体的に記載したものである。

図３−２によれば、ライン値加算部５２０により、個々の画像データから、各方向の輝度の加算値を算出する部分は、図２−２と同様である。
これにより、例えば、４Ｋ動画（横３８４０×縦２１６０）の場合、横方向に加算して、まず、２１６０ドットの１ライン分の画像データ（ｔ）のベクトルデータを得る。同様に、画像データ（ｔ＋Δｔ）の横方向の加算値のベクトルデータを得て、それを一列に並べて、２１６０×２＝４３２０次元の横方向の輝度の加算値のベクトルデータを生成する。

以降、縦方向、必要に応じて斜め方向について、それぞれベクトルデータを生成し、それらを全て一列に並べたベクトルデータを生成する。
４Ｋ画像の場合で３方向全ての輝度の加算値を利用する場合は、横方向（２１６０×２）＋縦方向（３８４０×２）＋斜め方向（３８４０×２）＝１９６８０次元のベクトルデータが生成される。

ここで、仮に、４Ｋ動画（横３８４０×縦２１６０）の各フレーム毎の画像（８２９万４４００ドット分）をそのまま機械学習モデルに入力する場合には、機械学習モデルの入力層で、８２９万４４００次元の人工ニューロンを配置しなければならず、中間層で次元削減するような仕組み、例えばＣＮＮ（畳み込みニューラルネットワーク）を用いたとしても、相当な規模の機械学習モデルが必要となり、膨大な学習データ、学習時間を必要としたり、結果を判定するのにＦＰＧＡなどのハードウェアを必要とする。

これに対し、本願発明のように、４Ｋ画像の場合で３方向全ての輝度の加算値を利用する場合でも、１９６８０次元に次元削減されたデータで済むので、小規模な機械学習モデルで済み、学習データや学習時間も少なくて済み、結果を判定する際にも、ＣＰＵ処理で実用になるという効果がある。

生成したベクトルデータ（学習データ）は、判定部（機械学習モデル）に、その学習データがどういう状態であるかの正解値（画面停止の可能性が低いのか／中以上なのかといった状態、あるいは画面停止／正常といった状態、その他の画面停止の可能性に関する状態）を示す教師データ（ラベルともいう）とセットで入力し、学習処理が行なわれる。

ここで、判定部（機械学習モデル）としては、ニューラルネットワーク、ディープニューラルネットワーク（深層学習モデル）、サポートベクターマシン（ＳＶＭ）、クラスタリングなどが考えられるが、何らかの機械学習モデルであれば足り、限定されない。
説明の便宜のため、以下、主に、ニューラルネットワークないしその一類型であるディープニューラルネットワーク（深層学習モデル）を利用した場合について説明する。
ニューラルネットワークにおいても、コンピュータを所定の入力に対する出力を演算する演算部として機能させる点は、辞書やアルゴリズムを利用した場合と同様であり、ＣＰＵおよびメモリなどのハードウェア資源を用いて実現される。
ニューラルネットワークは、多くの実例（学習データと正解値である教師データのセット）を学習させることによって、予め多数の事例を解析した上で、人手で設計した特徴辞書を用いなくても、画面フリーズや黒画面（ブラックアウト）などの放送事故の要因となる状態(輝度の加算値の変化傾向)の特徴を、学習データから自動的に抽出して、精度の高い放送事故の判定を行うことができる。

深層学習モデルでは、図３−２の右側に図示したように、○印で示した人工ニューロンを、入力層、中間層（２層以上のものをディープニューラルネットワークという）、出力層にそれぞれ配置して、人の脳の構造を模した、人工ニューロン間の接続の重み付け（パラメータ）を学習によって更新していく仕組みを採用している。
人工ニューロン間の重み付け（パラメータ）は、学習する前の段階では、初期値として一定の幅を持つ乱数がセットされるが、学習データに対して機械学習モデルが出力した値と、その学習データに対する正解値である教師データとの差分を少なくするように学習させることで、次第に、輝度の加算値の変化傾向の特徴を把握できるように、更新されていき、画像が停止しているかどうか等の判断結果を正確に出力できるようになっていく。
このように、ニューラルネットワークにおける各層の人工ニューロン間の重み付け（パラメータ）は、輝度の加算値の変化傾向の特徴を、各層毎に表現したものとなり、ニューラルネットワーク全体として、輝度の加算値の変化傾向の特徴抽出および放送事故の判定結果出力用のニューラルネットワークとして機能させることができる。
なお、ニューラルネットワークの構成としてＣＮＮ（畳み込みニューラルネットワーク）を用いた場合には、人工ニューロン間の接続の重み付け（パラメータ）は、畳み込みフィルタの値に置き換えられる。
学習データと対になる教師データが豊富にあれば、人工ニューロン間の接続の重み付け（ないし特徴抽出用のフィルタの重み付け等）の精度が向上し、次第に、与えられたデータに対する判定精度が向上する性質を有している。

なお、ある層の人工ニューロンと、次の層の人工ニューロンとは、全部が接続された態様（全結合）と疎に結合された態様（疎結合）とがあるが、各層の役割に応じて柔軟に選択可能である。実験では、入力層から中間層の間および中間層どうしの間をＣＮＮ（疎結合の一種）で接続し、最後の中間層と出力層の間を全結合として、有効な判定結果を出力可能な深層学習モデルを構築している。
前の層の複数の人工ニューロンからの出力は、それぞれ適当な重み付けとバイアス（パラメータ）を付与した上で積和演算した上で、次の層の人工ニューロンに入力する。次の層の人工ニューロンでは、それらの積和演算の結果に対し、さらに伝達関数と呼ばれる関数で演算した結果を出力する。
伝達関数としては、非リニアな特性を有するシグモイド関数(1/(1+exp(-x)))やリニアな特性を有するランプ関数（ＲｅＬＵ）などを用いることができる。
なお、入力層〜中間層全て〜出力層までの全層を用いた学習処理の前に、教師無し学習の一種である自己符号化器(オートエンコーダ)と呼ばれる構成を利用して、（初期値が乱数である）重み付け等のパラメータをある程度学習させるためのプレトレーニング（事前学習）を行なうこともできるが、伝達関数としてランプ関数（ＲｅＬＵ）を用いた場合には、重み付け等のパラメータの更新が、出力層に近い中間層ではうまくいくが、入力層に近いところまでうまく伝搬されないという、全層学習での（各層での偏微分をベースとした）逆誤差伝搬法（バックプロパゲーション法）を用いた場合の勾配消失問題は発生しないので、自己符号化器を用いても用いなくても良い。
なお、伝達関数としてシグモイド関数を用いる場合には、全層学習での教師有り学習の一種である（各層での偏微分をベースとした）逆誤差伝搬法（バックプロパゲーション法）を用いた場合、勾配消失問題が発生するので、これを解消するために自己符号化器を用いることが多い。

ここで、ＣＮＮにおいては、数種から数十種の畳み込みフィルタ（３×３〜５×５ビット等の構成を用いることが多いがこれに限定されない）を用いて、様々な特徴パターンを抽出できるようにしており、学習処理では、この畳み込みフィルタの値（重み付けの値）を学習するようにしてもよい。

深層学習モデルを利用した場合、学習処理のアルゴリズムは、種々考えられるが、生成したベクトルデータ（学習データ）を学習器に入力して得られた出力と、正解値である教師データとの差分を、一定の関数（誤差関数と呼ぶ）で表現して、誤差関数を最小化するような学習処理が考えられる。

誤差関数は、二乗平均誤差を算出する関数を用いるがこれに限られない。
誤差関数を最小化するような学習処理としては、前述のような誤差逆伝搬法（バックプロパゲーション法）を用いるが、これに限定されず、勾配降下法など各種の学習アルゴリズムを用いることができる。

学習データとしては、撮影装置１００で撮影した大量の動画（画像データが連続したもの）を用いることができる。
また、所定の時間間隔（Δｔ）をおいた画像データ同士の関係が、「正常」あるいは「画像停止や黒画面」などの放送事故に関する事象に関連するかどうかの教師データ（ラベルや正解値ともいう）も、動画を確認しながら、容易に得ることができる。
このため、大量の学習データ（所定の時間間隔をおいた画像データのペア）と放送事故発生の有無に関する教師データとのセットを得ることができ、いわゆるビッグデータを活用した学習処理を行なうことができる。

学習処理が進むと、人工ニューロンどうしの間の接続の度合いを決める「重み付けの値」（パラメータ）が更新されていき、次第に、深層学習モデルが出力する判定結果と、正解である教師データとの差分（誤差関数）が小さくなった時点で学習を終了させる。
本発明の学習済み機械モデルは、一例として、上記のようなニューラルネットワークに対して次元削減した学習データを用いた学習処理によって構築されるため、予め特徴辞書を設計する必要がない。
また本発明によれば、画像データに対し大幅に次元削減した学習データを用いることで、比較的小さな機械学習モデルで済み、引いては、少ない学習データ（と教師データのセット）、及び少ない学習時間で構築することができ、放送事故の要因となる状態(輝度の加算値の変化)の検出を的確に分析することができる学習済み機械モデルを提供することができる。
また、画像データに対し大幅に次元削減した学習データをベクトル化して用いることで、ニューラルネットワークを始め、サポートベクターマシン（ＳＶＭ）、クラスタリングなどの様々な機械学習モデルを利用して、放送事故の判定を精度良く行なうことができる。

このように、図３−１や図３−２に示すような深層学習モデルなどの機械学習モデルを用いることで、学習データと教師データのセットが豊富にあれば、いちいち辞書を作成しないで済み、むしろ、人が気がつかないような、各方向の輝度の加算値の変化傾向のパターンの特徴が、機械学習モデルの重み付け（パラメータ）として刻み込まれ、相当に練られた辞書やアルゴリズムと同等以上の判定処理を行なうことが可能となる。

すなわち、上記のようなビッグデータを活用した学習によって、放送事故に関する判定部（機械学習モデル）５４２が益々賢くなり、放送事故に関する判断基準を、学習した大量の動画の性質に応じて最適化するように変化させることが可能になる。

機械学習モデルの判定器の出力は、所定の時間間隔（ｔ、ｔ＋Δｔ）で取得した画像データを用いた判定結果であるので、所定の時間間隔における画像停止の可能性の判定（図６のステップＳ６−１〜Ｓ６−２）に相当するものとして利用することができる。なお、機械学習モデルを利用する場合、図６のステップＳ６−１で利用している判定辞書が不要となる点は前述したとおりである。

なお、機械学習モデルを利用する場合には、動画の画像データを学習データとして抽出しながら、所定の時間間隔（Δｔ）で取得した画像データのペアに対応する教師データの作成する際に、図９−１〜図９−３の仕組みを利用することができる。
すなわち、その時の差分値の値に応じて表示されたラインを見ながら、適宜、明らかに画像停止している場合や、目視で判断が微妙な場合など、様々なパターンの画像データについて、その際の画像データを取得すると共に、教師データとして、画像停止している可能性を入力するという利用も可能である。

（実施形態３）
以上、画像停止を含む放送事故の判定を例に説明したが、本発明の画面停止等の判定処理は、動画処理全般に適用可能である。例えば、テレビ放送の他、動画のネット配信サービス、ビデオ・オン・デマンドにも適用できる。
また、リアルタイムないしインタラクティブ（対話または双方向）なアニメやゲーム画面の画面停止等の判定、あるいはゲームの開発過程におけるデバッグ作業にも用いることができる。
特に、サーバー上で、大量のユーザー同士がインタラクティブにゲームを進行させる場合に、本発明のように、少ない処理量で画面停止等の判定が可能な技術は、サーバーの負荷を低減させることができる点で有用である。

（実施形態４）
また本発明は、監視カメラで動きがあるかどうかを判定するのにも用いることができる。例えば、図６のフローチャートでは、画面停止の可能性を判定するステップがあるが（ステップＳ６−２）、動きがあるかどうかを判定する場合には、画面が動いたかどうかを判定するステップに置き換えることで、本発明を監視カメラにも適用することができる。
この場合において、ステップＳ６−４およびステップＳ６−６では、画面が停止している可能性がある場合に（ステップＳ６−４）、一定時間待つ処理（ステップＳ６−５、Ｓ６−６）を行なっているが、監視カメラで動きがある場合を検出する際には、これらのステップを、画像の動きがあるかどうか（所定の方向の輝度の加算値の差分が一定の閾値を超えたかどうか）を判定するステップに置き換えることで対応させることができる。

また、監視カメラの用途では、本発明の部分領域毎の判定で、静止している部分を判定して、静止部分を除外した領域を抽出して拡大ズーム等した上で、当該領域の画像データを提示して、オペレータに確認させたり、警告するような用途にも適用することができる。

１００ 撮影装置
２００ 放送機器
３００ 動画処理部
４００ 放送部
５００ 放送事故検出部
５１０ 画像データ抽出部
５２０ ライン値加算部
５３０ 差分検出部
５３２ ベクトルデータ生成部
５４０ 判定部
５４２ 判定部（機械学習モデル）

Claims (13)

1. 動画の状態を判定するシステムであって、
   動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、
   所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、
   輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出手段とを備え、
   前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
   を特徴とする動画処理システム。
2. 請求項１に記載の動画処理システムにおいて、
   前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割する手段と、
   当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算手段と、
   前記の部分領域画像データ輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出手段と、
   前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
   を特徴とする動画処理システム。
3. 水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整することが可能となる請求項１または請求項２のいずれか１つに記載の動画処理システム。
4. 動画の状態を判定するシステムであって、
   動画から所定の時間間隔で画像データを抽出する画像データ抽出手段と、
   所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算手段と、を備え、
   前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、抽出した画像データに対し次元削減された輝度加算値ベクトルデータを生成し、
   当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習手段とを備え、
   前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定することを特徴とする動画処理システム。
5. 所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させることで、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする請求項４に記載の動画処理システム。
6. 請求項１〜５のいずれかに１つに記載の動画処理システムにおいて、
   所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算する手段を備え、
   偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
   を特徴とする動画処理システム。
   
7. 動画の状態を判定する方法であって、
   動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、
   所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、
   輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する加算値差分検出ステップとを備え、
   前記加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
   を特徴とする動画処理方法。
8. 請求項７に記載の動画処理方法において、
   前記画像データ手段で抽出した画像データを複数の部分領域画像データに分割するステップと、
   当該部分領域画像データについて、異なる２以上の方向について、それぞれ輝度を加算する部分領域画像データ輝度加算ステップと、
   前記の部分領域画像データ輝度加算手段によって得た各方向の輝度の加算値を、所定の時間間隔で抽出した２つの画像データどうしの間で比較して差分値を算出する部分領域画像データ加算値差分検出ステップと、
   前記部分領域画像データ加算値差分検出手段によって算出した前記差分値および所定の閾値辞書に基づいて画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
   を特徴とする動画処理方法。
9. 請求項７又は請求項８のいずれかに１つに記載の動画処理方法において、水平又は及び垂直方向に検出した輝度の加算値の変化を画面上に表示することによって検出の感度を視覚的に確認及び調整する動画処理方法。
10. 動画の状態を判定する方法であって、
    動画から所定の時間間隔で画像データを抽出する画像データ抽出ステップと、
    所定の時間間隔で抽出した２つの画像データについて、異なる２以上の方向について、それぞれ輝度を加算する輝度加算ステップと、を備え、
    前記輝度加算手段によって生成した、所定の時間間隔で抽出した２つの画像データに係る各方向の輝度に基づいて、抽出した画像データに対し次元削減された輝度加算値ベクトルデータを生成し、
    当該輝度加算値ベクトルデータを学習データとして機械学習モデルに入力し、当該学習データに対応する画面停止の可能性に関する教師データに基づいて学習する機械学習ステップとを備え、
    前記機械学習手段によって学習した学習済みの機械学習モデルを用いて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定することを特徴とする動画処理方法。
11. 所定の時間間隔をおいた画像データのペアからなる学習データと、画面停止や黒画面を含む放送事故発生の有無に関する教師データとのセットを反復して学習させるステップをさらに備え、画面停止を含む異常状態の発生又は画像に動きがあるかどうかの判定精度を向上させることを特徴とする請求項１０に記載の動画処理方法。
12. 請求項７〜１１のいずれかに１つに記載の動画処理方法において、
    所定の時間間隔で抽出した２つの画像データについて、横方向又は縦方向について、それぞれ輝度を加算する場合において、前記輝度加算手段が、偶数ビットおよび奇数ビットを分けて輝度を加算するステップを備え、
    偶数ビットの輝度の加算値と、奇数ビットの輝度の加算値とに基づいて、画面停止を含む異常状態の発生又は画像に動きがあるかどうかを判定すること、
    を特徴とする動画処理方法。
13. コンピュータシステムにおいて、請求項７から１２の動画処理方法を実行するプログラム。