JP2017126896A - 監視システム、監視装置、および再生装置 - Google Patents

Abstract

【課題】動画を狭帯域で伝送可能で、かつ動画データの蓄積量を低減可能な監視システム、監視装置、および再生装置を提供する。
【解決手段】監視システムは、監視装置と再生装置とを備える。監視装置は、監視対象を撮影して動画を取得する撮影部と、動画を構成する画像と比較用の画像との間の変化量を取得し、変化量に基づいて監視モードを判定する判定部と、監視モードに基づいて、動画を構成する画像の画像処理を行う画像処理部と、画像処理が行われた画像を符号化して符号化データを生成する符号化部とを備える。再生装置は、符号化データを復号化して画像処理が行われた画像を再生する復号化部と、復号化部により復号化された画像と、画像処理の情報とに基づいて、動画を再構成する再構成部と、再構成部により再構成された動画を表示する表示部とを備える。
【選択図】図１

Description

本発明の実施形態は、監視システム、監視装置、および再生装置に関する。

近年、監視対象を画像により監視する監視システムの需要が高まっている。技術の進歩により、フルＨＤ（水平画素１９２０×垂直画素１０８０）や４Ｋ（水平画素３８４０×垂直画素２１６０）といった高解像度の動画（映像）を監視システムに適用したいという要望も増えてきている。

近年では、高解像度の撮像素子が安価で使用可能になっており、高解像度の動画による監視システムは容易に提供可能になっている。しかしながら、監視システムの適用場所によっては通信帯域が狭いことが問題となる。例えば発電所では、通信媒体のセキュリティ性の確保のため、依然として室内ではＰＨＳが利用されている。よって、高解像度の動画を、通常のテレビのフレームレートである３０ｆｐｓや６０ｆｐｓでリアルタイムに伝送することが難しい状況も想定される。そのため、限られた帯域で遠隔地に効率よく動画を伝送することが求められる。

画像圧縮技術の例には、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化方式がある。フルＨＤや４Ｋといった高解像度の動画を狭帯域で伝送する場合、画質をあまり落とさずに動画データ（符号化データ）の単位時間あたりの伝送量を大幅に低減することが望ましい。

動画データの単位時間あたりの伝送量は、次のような技術により低減可能である。例えば、各画像とその前後の画像との差分や、各画像と基準画像との差分を取り、差分の変化が小さければフレームレートを下げることで、伝送量を低減する技術がある。また、画像中の監視領域と非監視領域が予め定められている場合に、非監視領域の画質を大幅に低減することで、伝送量を低減する技術がある。

特許第５６５６５７５号公報 特開２０１３−２２９６６６号公報

上記の技術により、動画データの単位時間あたりの伝送量の低減は可能である。しかしながら、監視装置から再生装置に動画データを伝送する監視システムを連続で長時間稼働させる場合には、監視装置内での（すなわちローカルでの）動画データの蓄積量が問題となる。場合によっては、監視システムを２４時間連続で数日間稼働させる場合もある。

例えば、フルＨＤの動画をデジタル放送と同等の３０ｆｐｓで伝送する場合、画質にも依存するが、Ｈ．２６４／ＡＶＣを用いても数十Ｍｂｐｓの伝送量が必要となる。そのため、動画データの蓄積量は１日で数百Ｇｂｙｔｅから数Ｔｂｙｔｅとなる。上記の技術では、動画データの伝送量を低減することはできても、動画データの蓄積量を低減することは難しい。

また、上記の技術では、符号化回路の外に画像バッファを設け、入力画像と基準画像とを逐一比較し、比較結果を符号化回路に入力し、その後、動画の符号化処理を行う。そのため、動画の処理時間が長くなることが問題となる。

そこで、本発明の実施形態は、動画を狭帯域で伝送可能で、かつ動画データの蓄積量を低減可能な監視システム、監視装置、および再生装置を提供することを目的とする。

一の実施形態によれば、監視システムは、監視装置と再生装置とを備える。前記監視装置は、監視対象を撮影して動画を取得する撮影部と、前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部とを備える。さらに、前記監視装置は、前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、前記符号化データを送信する送信部とを備える。前記再生装置は、前記符号化データを受信する受信部と、前記符号化データを復号化して前記画像処理が行われた画像を再生する復号化部とを備える。さらに、前記再生装置は、前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、前記再構成部により再構成された動画を表示する表示部とを備える。

別の実施形態によれば、監視装置は、監視対象を撮影して動画を取得する撮影部と、前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部とを備える。さらに、前記監視装置は、前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、前記符号化データを送信する送信部とを備える。

別の実施形態によれば、再生装置は、監視対象を撮影して動画を取得する監視装置から、前記動画の符号化データを受信する受信部と、前記符号化データを復号化して、前記監視装置にて画像処理が行われた画像を再生する復号化部とを備える。さらに、前記再生装置は、前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、前記再構成部により再構成された動画を表示する表示部とを備える。

本発明の実施形態によれば、動画を狭帯域で伝送し、かつ動画データの蓄積量を低減することが可能となる。

第１実施形態の監視システムの構成を示すブロック図である。 第１実施形態の監視装置の構成を示すブロック図である。 第１実施形態の動きベクトルについて説明するための図である。 第１実施形態の監視領域および非監視領域について説明するための図である。 第１実施形態の再生装置の構成を示すブロック図である。 第１実施形態の再生画像について説明するための図である。 第１実施形態の監視領域および非監視領域について具体的に説明するための図である。 第１実施形態の監視方法を示すフローチャートである。 第１実施形態のイントラリフレッシュについて説明するための図である。 第２実施形態の監視システムの構成を示すブロック図である。 第２実施形態の監視装置の構成を示すブロック図である。 第２実施形態のシーン判定部の構成を示すブロック図である。 第２実施形態の入力画像について説明するための図である。 第２実施形態の監視方法を示すフローチャートである。 第２実施形態の基準画像について説明するための図である。 第３実施形態の監視システムの構成を示すブロック図である。

以下、本発明の実施形態を、図面を参照して説明する。図１から図１６において、同一または類似の構成要素には同一の符号を付し、重複する説明は簡略化または省略する。

（第１実施形態）
図１は、第１実施形態の監視システムの構成を示すブロック図である。

図１の監視システムは、監視装置１と再生装置２とを備えている。監視装置１は、撮影部１１と、符号化部１２と、送信部１３とを備えている。再生装置２は、受信部２１と、復号化部２２と、表示部２３とを備えている。

撮影部１１は、監視対象を撮影して動画を取得する。監視対象の例は、発電所内の機器や設備である。動画の例は、フルＨＤや４Ｋといった高解像度の動画である。本実施形態の撮影部１１は、監視対象とその周辺領域を撮影するように固定して設置され、監視対象とその周辺領域を撮影した動画を取得し、動画を任意のフレームスピードで符号化部１２に出力する。

符号化部１２は、動画を構成する画像を符号化して符号化データを生成する。符号化方式の例は、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどである。符号化部１２は例えば、撮影部１１からの入力画像や、入力画像と予測画像との差分画像を符号化する。符号化部１２は、符号化データを送信部１３に出力する。

送信部１３は、符号化データを再生装置２に送信する。符号化データは、有線通信により送信されてもよいし、無線通信により送信されてもよい。本実施形態の送信部１３は、符号化データを動画の撮影日時などの補助情報と共に送信する。

受信部２１は、符号化データを監視装置１から受信する。受信部２１は、受信した符号化データを復号化部２２に出力する。

復号化部２２は、符号化データを復号化して、動画を構成する画像を再生する。復号化部２２は、符号化データから差分画像を復号化した場合には、差分画像に予測画像を加算して入力画像を再生する。復号化部２２は、再生した動画を表示部２３に出力する。

表示部２３は、復号化部２２により再生された動画を表示する。例えば、再生装置２の画面上に動画が表示される。これにより、監視者は監視対象を監視することができる。

図２は、第１実施形態の監視装置１の構成を示すブロック図である。

監視装置１の符号化部１２は、減算部１２ａと、シーン判定部１２ｂと、前処理部１２ｃと、変換・量子化部１２ｄと、逆量子化・逆変換部１２ｅと、加算部１２ｆと、ループフィルタ部１２ｇと、画像バッファ部１２ｈと、動き補償部１２ｉと、動きベクトル検出部１２ｊと、重み付け予測部１２ｋと、切替部１２ｌと、画面内予測部１２ｍと、エントロピー符号化部１２ｎと、出力データ生成部１２ｏとを備えている。シーン判定部１２ｂは、判定部の例である。前処理部１２ｃは、画像処理部の例である。符号化部１２は例えば、ＦＰＧＡ（Field Programmable Gate Array）により構成されている。

［減算部１２ａ］
減算部１２ａは、撮影部１１から出力された入力画像と、動き補償部１２ｉにより生成された予測画像との差分を算出し、入力画像と予測画像との差分画像（誤差画像）を生成する。

監視装置１は、入力画像や差分画像の符号化データを再生装置２に送信する。ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣでは、入力画像としてＩ（intra）フレームを取り扱い、差分画像としてＰ（predicted）フレームやＢ（bi-directional predicted）フレームを取り扱う。これらの符号化方式では、Ｉ、Ｐ、Ｂフレームの符号化データを送信側から送信し、受信側の画面上に動画を表示する場合には、一定周期毎にＩフレームの符号化データを送信し、画面全体の画像をＩフレームにより更新することが義務付けされている。これをイントラリフレッシュと呼ぶ。なお、監視装置１が１枚目の画像を送信する際には、監視装置１に予測画像が存在しないため、１枚目の画像はＩフレームの符号化データとして送信される。

Ｉフレームの送信後において、動き補償部１２ｉは、現在のフレームと時間的にわずかに過去のフレームとが類似している性質を利用して、画像バッファ部１２ｈで記憶されている過去に撮影したフレーム（参照画像）を用いてフレーム間予測を行う。これにより、ＰフレームやＢフレームが生成される。Ｐフレームは、時間的に過去（前）のフレームのみを用いて生成される。Ｂフレームは、時間的に過去（前）および未来（後）のフレームを用いて生成される。監視装置１は、Ｉ、Ｐ、Ｂフレームの３種類のフレームを状況に応じて使い分ける。監視装置１は、Ｉフレームを送信するだけでなく、Ｉフレームの代わりにＰ、Ｂフレームを送信することで、動画データの単位時間あたりの伝送量を低減することができる。

フレーム間予測は、動き補償により行われる。一般的な動画では、現在のフレームと前のフレームは同じではなく、フレーム中の物体が動いたりすることでこれらのフレーム間に動きがある。動き補償では、この動きを補償する処理を行う。例えば、現在のフレームを予測する場合に、参照画像中の物体の位置を動きの分だけずらすことで予測画像を生成する。動き補償では、動きベクトル検出部１２ｊが、フレーム間の動き量を推定する動きベクトル探索を行う。監視装置１は、Ｐ、Ｂフレームを符号化する際に動きベクトルも符号化し、動きベクトルを含む符号化データを送信する。

［シーン判定部１２ｂ］
シーン判定部１２ｂは、動画を構成する画像と比較用の画像との間の変化量を取得し、この変化量に基づいて監視モードを判定する。具体的には、シーン判定部１２ｂは、撮影部１１から出力された入力画像と、画像バッファ部１２ｈに記憶されている参照画像との間の動きベクトルを動きベクトル検出部１２ｊから取得し、動きベクトルに基づいて監視モードを判定する。

入力画像内の動きベクトルの大きさがいずれも閾値よりも小さい場合には、監視モードは、監視の必要性が低い「低」であると判定される。一方、入力画像内のいずれかの動きベクトルの大きさがこの閾値よりも大きく、閾値よりも大きい動きベクトルが入力画像の非監視領域内のみで発生した場合には、監視モードは、監視の必要性が中程度の「中」であると判定される。また、入力画像内のいずれかの動きベクトルの大きさがこの閾値よりも大きく、閾値よりも大きい動きベクトルが入力画像の監視領域内で発生した場合には、監視モードは、監視の必要性が高い「高」であると判定される。監視領域は第１領域の例であり、非監視領域は第２領域の例である。

なお、シーン判定部１２ｂの詳細については後述する。

［前処理部１２ｃ］
前処理部１２ｃは、動画を構成する画像の前処理を行う。具体的には、前処理部１２ｃは、撮影部１１から出力された入力画像や、減算部１２ａから出力された差分画像に対して、符号化前に種々の画像処理を行う。前処理の例は、入力画像や差分画像の画質を画素値の量子化により変化させる処理や、入力画像や差分画像の色を変換する処理や、入力画像内や差分画像内の輪郭を強調する処理などである。前処理部１２ｃは、監視モードに基づいて前処理を行う。

例えば、監視モードが「低」であると判定された場合、前処理部１２ｃは、入力画像や差分画像の画質を変化させる前処理を行わない。この場合、監視装置１は、イントラリフレッシュのためのＩフレームの符号化データは送信するが、ＰフレームやＢフレームの符号化データは送信しない。これにより、監視の必要性が低い場合の符号化データのデータ量を低減でき、動画データの単位時間あたりの伝送量を低減することができる。

また、監視モードが「中」であると判定された場合には、前処理部１２ｃは、入力画像や差分画像の画質を変化させる前処理を行う。この場合、前処理部１２ｃは、入力画像や差分画像の全部または一部の画素の画素値を、大きい値である第２の量子化パラメータで量子化することで、入力画像や差分画像を低画質化する。これにより、監視の必要性が中程度の場合の符号化データのデータ量を低減でき、動画データの単位時間あたりの伝送量を低減することができる。

また、監視モードが「高」であると判定された場合にも、前処理部１２ｃは、入力画像や差分画像の画質を変化させる前処理を行う。この場合、前処理部１２ｃは、入力画像や差分画像の全部または一部の画素の画素値を、小さい値である第１の量子化パラメータで量子化することで、入力画像や差分画像を高画質化する。これにより、監視の必要性が高い場合に高画質の動画を再生装置２に提供でき、正確な監視を実現することができる。

なお、前処理部１２ｃの詳細については後述する。

［変換・量子化部１２ｄ］
変換・量子化部１２ｄは、フレーム（入力画像や差分画像）を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。変換方法の例は、ＤＣＴ（離散コサイン変換）などの直交変換である。量子化は、予め設定された量子化パラメータを用いて行われる。量子化パラメータは、量子化のサイズを規定しており、再生される動画の画質やデータ量は、量子化パラメータにより変化する。量子化パラメータが大きい場合には、データ量が低減する一方で、画質が劣化する。

本実施形態の変換・量子化部１２ｄは、前処理が行われたＩ、Ｐ、Ｂフレームを前処理部１２ｃから取得する。監視モードが「高」または「中」である場合には、変換・量子化部１２ｄは、前処理が行われたＩ、Ｐ、Ｂフレームから量子化係数を生成する。一方、監視モードが「低」である場合には、変換・量子化部１２ｄは、前処理が行われていないＩフレームから量子化係数を生成する。

一般的な動画符号化では、１フレームは、１種類の量子化パラメータにより量子化される。具体的には、変換係数から量子化係数を生成する際に、各フレームが１つの量子化パラメータにより量子化される。一方、本実施形態では、監視モードが「高」または「中」である場合に、１フレームは、２種類の量子化パラメータにより量子化される。具体的には、前処理の際に、各フレームが１つの量子化パラメータ（第１または第２の量子化パラメータ）により量子化され、変換係数から量子化係数を生成する際に、各フレームがもう１つの量子化パラメータにより量子化される。

［逆量子化・逆変換部１２ｅ］
逆量子化・逆変換部１２ｅは、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム（入力画像や差分画像）を再生する。すなわち、逆量子化・逆変換部１２ｅは、変換・量子化部１２ｄの処理と逆の処理を行う。変換・量子化部１２ｄが、前処理が行われたフレームから量子化係数を生成する場合には、逆量子化・逆変換部１２ｅは、量子化係数から前処理が行われたフレームを再生する。

［加算部１２ｆ］
加算部１２ｆは、逆量子化・逆変換部１２ｅから再生フレームを取得し、現在のフレームに再生フレームを加算して局部復号画像を生成する。局部復号信号は、ループフィルタ部１２ｇに出力される。

［ループフィルタ部１２ｇ］
ループフィルタ部１２ｇは、画像を復号化した際に生じるブロック歪みを減少させるためのフィルタである。ループフィルタ部１２ｇは、局部復号画像にデブロッキングフィルタ処理などのループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部１２ｈに出力する。

［画像バッファ部１２ｈ］
画像バッファ部１２ｈは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部１２ｉに出力される。

［動き補償部１２ｉ］
動き補償部１２ｉは、画像バッファ部１２ｈから参照画像を取得し、動きベクトル検出部１２ｊから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部１２ｋに出力される。

［動きベクトル検出部１２ｊ］
動きベクトル検出部１２ｊは、上述のように、フレーム間の動き量を推定する動きベクトル探索を行い、動きベクトルを検出する。動きベクトルは、シーン判定部１２ｂ、動き補償部１２ｉ、エントロピー符号化部１２ｎに出力される。

［重み付け予測部１２ｋ］
重み付け予測部１２ｋは、動き補償後の参照画像に適応的に重み係数を乗算して、予測画像を生成する。この予測画像は、切替部１２ｌに出力される。

［画面内予測部１２ｍ］
画面内予測部１２ｍは、変換・量子化部１２ｄからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部１２ｌに出力される。

［切替部１２ｌ］
切替部１２ｌは、減算部１２ａに出力する予測画像を切り替える。これにより、重み付け予測部１２ｋからの予測画像と、画面内予測部１２ｍからの予測画像のいずれかが、減算部１２ａに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。

［エントロピー符号化部１２ｎ］
エントロピー符号化部１２ｎは、変換・量子化部１２ｄから量子化係数を取得し、量子化係数を予め決められたシンタクスに従ってエントロピー符号化し、符号化データを生成する。エントロピー符号化部１２ｎは例えば、ハフマン符号化や算術符号化を用いて符号化を行う。エントロピー符号化部１２ｎは、Ｐ、Ｂフレームの量子化係数を符号化する際に動きベクトルも符号化し、動きベクトルを含む符号化データを生成する。

監視モードが「高」または「中」である場合には、変換・量子化部１２ｄは、前処理が行われたＩ、Ｐ、Ｂフレームから量子化係数を生成する。この場合、エントロピー符号化部１２ｎは、前処理が適用された量子化係数から符号化データを生成する。

一方、監視モードが「低」である場合には、変換・量子化部１２ｄは、前処理が行われていないＩフレームから量子化係数を生成する。この場合、エントロピー符号化部１２ｎは、前処理が適用されていない量子化係数から符号化データを生成する。

［出力データ生成部１２ｏ］
出力データ生成部１２ｏは、エントロピー符号化部１２ｎから符号化データを取得し、前処理部１２ｃから前処理情報を取得する。前処理情報の例は、前処理が行われたフレームに関する情報や、第１の量子化パラメータによる前処理や第２の量子化パラメータによる前処理などの前処理の種類に関する情報などである。出力データ生成部１２ｏは、符号化データを前処理情報と共に送信部１３に出力する。

図３は、第１実施形態の動きベクトルについて説明するための図である。

図３(ａ)は、監視装置１の動作を説明するための図である。図３(ａ)は、撮影部１１から出力された入力画像３と、画像バッファ部１２ｈに記憶されている参照画像４とを示している。入力画像３は、座標（Ｘ_ｎ，Ｙ_ｎ）に自動車の画像を含んでいる。参照画像４は、座標（Ｘ_ｎ−１，Ｙ_ｎ−１）に自動車の画像を含んでいる。入力画像３と参照画像４との間においては、自動車の位置が異なっている。

図３(ａ)はさらに、入力画像３から参照画像４を減算した画像５を示している。画像５は、自動車の位置が座標（Ｘ_ｎ−１，Ｙ_ｎ−１）から座標（Ｘ_ｎ，Ｙ_ｎ）に変化したことを示している。この場合、動きベクトル検出部１２ｊは、入力画像３および参照画像４から動きベクトルｒ＝（Ｘ_ｎ−Ｘ_ｎ−１，Ｙ_ｎ−Ｙ_ｎ−１）を検出する。さらに、動き補償部１２ｉは、動きベクトルｒを用いて参照画像４に対して動き補償を行う。重み付け予測部１２ｋは、動き補償後の参照画像４から予測画像を生成する。減算部１２ａは、入力画像３と予測画像との差分を算出し、入力画像３と予測画像との差分画像を生成する。そして、監視装置１は、差分画像の符号化データを再生装置２に送信する。この符号化データは、差分画像の動きベクトルｒも含んでいる。

図３(ｂ)は、再生装置２の動作を説明するための図である。図３(ｂ)は、参照画像６と、動きベクトルｒとを示している。参照画像６は、監視装置１が参照画像４を生成する手順と同じ手順で再生装置２により生成されるため、参照画像４と同じ内容の画像となる。一方、動きベクトルｒは、監視装置１から再生装置２に送信される。

図３(ｂ)はさらに、再生画像７を示している。再生装置２は、動きベクトルｒを用いて参照画像６に対して動き補償を行い、動き補償後の参照画像６から予測画像を生成する。そして、再生装置２は、監視装置１から受信した差分画像に予測画像を加算することで、入力画像３に対応する再生画像７を再生する。

図４は、第１実施形態の監視領域および非監視領域について説明するための図である。

図４(ａ)は、入力画像３や、入力画像３から参照画像４を引いた画像５における、監視領域Ｒ１と非監視領域Ｒ２とを示している。図４(ａ)の左の図では、閾値よりも大きい動きベクトルｒが監視領域Ｒ１内で発生している。そのため、監視モードは「高」であると判定される。

この場合、前処理部１２ｃは、入力画像３や差分画像の監視領域Ｒ１内の画素の画素値を、小さい値である第１の量子化パラメータで量子化することで、監視領域Ｒ１を高画質化する。一方、前処理部１２ｃは、入力画像３や差分画像の非監視領域Ｒ２の画質を変化させない。図４(ａ)の右の図は、このような前処理が行われた入力画像３を示す。

図４(ｂ)も、入力画像３や、入力画像３から参照画像４を引いた画像５における、監視領域Ｒ１と非監視領域Ｒ２とを示している。図４(ｂ)の左の図では、閾値よりも大きい動きベクトルｒが非監視領域Ｒ２内のみで発生している。そのため、監視モードは「中」であると判定される。

この場合、前処理部１２ｃは、入力画像３や差分画像の非監視領域Ｒ２内の画素の画素値を、大きい値である第２の量子化パラメータで量子化することで、非監視領域Ｒ２を低画質化する。一方、前処理部１２ｃは、入力画像３や差分画像の監視領域Ｒ１の画質を変化させない。図４(ｂ)の右の図は、このような前処理が行われた入力画像３を示す。入力画像３の非監視領域Ｒ２のクロスハッチングは、非監視領域Ｒ２の画質が低下したことを示している。なお、非監視領域Ｒ２の前処理では、非監視領域Ｒ２の画素の色情報をＹ曲線に従って引いて、非監視領域Ｒ２の情報量を低減してもよい。

なお、動きベクトルｒの位置は、動きベクトルｒの始点により特定してもよいし、動きベクトルｒの終点により特定してもよい。例えば、動きベクトルｒの位置を始点により特定する場合には、閾値より大きい動きベクトルｒの始点が監視領域Ｒ１内に位置するときに、監視モードは「高」であると判定される。動きベクトルｒの位置は、動きベクトルｒのその他の点（例えば始点と終点との中間点）により特定してもよい。

図５は、第１実施形態の再生装置２の構成を示すブロック図である。

再生装置２の復号化部２２は、エントロピー復号化部２２ａと、逆量子化・逆変換部２２ｂと、加算部２２ｃと、ループフィルタ部２２ｄと、画像バッファ部２２ｅと、動き補償部２２ｆと、重み付け予測部２２ｇと、切替部２２ｈと、画面内予測部２２ｉと、記憶部２２ｊと、画像再構成部２２ｋとを備えている。画像再構成部２２ｋは、再構成部の例である。復号化部２２は例えば、ＦＰＧＡ（Field Programmable Gate Array）により構成されている。

［エントロピー復号化部２２ａ］
エントロピー復号化部２２ａは、受信部２１から符号化データを取得し、符号化データを予め決められたシンタクスに従ってエントロピー復号化し、量子化係数を再生する。

この際、監視モードが「高」または「中」である場合には、画質を変化させる前処理が監視装置１により行われたＩ、Ｐ、Ｂフレームの量子化係数が再生される。量子化係数がＰ、Ｂフレームに対応する場合には、量子化係数と共に動きベクトルが復号化される。一方、監視モードが「低」である場合には、画質を変化させる前処理が監視装置１により行われていないＩフレームの量子化係数が再生される。

［逆量子化・逆変換部２２ｂ］
逆量子化・逆変換部２２ｂは、エントロピー復号化部２２ａから量子化係数を取得し、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム（入力画像や差分画像）を再生する。また、逆量子化・逆変換部２２ｂは、受信部２１から前処理情報を取得し、前処理情報に基づいてフレームの色や輪郭に関する画像処理を行う。逆量子化・逆変換部２２ｂは、逆量子化・逆変換部１２ｅと同様の機能を有する。

監視モードが「高」または「中」である場合には、逆量子化・逆変換部２２ｂは、画質を変化させる前処理が監視装置１により行われたＩ、Ｐ、Ｂフレームを再生する。一方、監視モードが「低」である場合には、逆量子化・逆変換部２２ｂは、画質を変化させる前処理が監視装置１により行われていないＩフレームを再生する。

［加算部２２ｃ］
加算部２２ｃは、逆量子化・逆変換部２２ｂからフレームを取得し、このフレームに画像再構成部２２ｋからのフレームを加算することで、監視装置１の入力画像に対応する再生画像を再生する。画像再構成部２２ｋからのフレームは、予測画像の内容や前処理の内容を反映したフレームである。加算部２２ｃは、加算部１２ｆと同様の機能を有する。

再生画像は、ループフィルタ部２２ｄに局部復号信号として出力されると共に、表示部２３に出力される。表示部２３は、再生画像により構成される動画を表示する。

［ループフィルタ部２２ｄ］
ループフィルタ部２２ｄは、局部復号画像にループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部２２ｅに出力する。ループフィルタ部２２ｄは、ループフィルタ部１２ｇと同様の機能を有する。

［画像バッファ部２２ｅ］
画像バッファ部２２ｅは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部２２ｆに出力される。画像バッファ部２２ｅは、画像バッファ部１２ｈと同様の機能を有する。

［動き補償部２２ｆ］
動き補償部２２ｆは、画像バッファ部２２ｅから参照画像を取得し、エントロピー復号化部２２ａから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部２２ｇに出力される。動き補償部２２ｆは、動き補償部１２ｉと同様の機能を有する。

［重み付け予測部２２ｇ］
重み付け予測部２２ｇは、動き補償後の参照画像から予測画像を生成する。この予測画像は、切替部２２ｈに出力される。重み付け予測部２２ｇは、重み付け予測部１２ｋと同様の機能を有する。

［画面内予測部２２ｉ］
画面内予測部２２ｉは、エントロピー復号化部２２ａからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部２２ｈに出力される。画面内予測部２２ｉは、画面内予測部１２ｍと同様の機能を有する。

［切替部２２ｈ］
切替部２２ｈは、画像再構成部２２ｋに出力する予測画像を切り替える。これにより、重み付け予測部２２ｇからの予測画像と、画面内予測部２２ｉからの予測画像のいずれかが、画像再構成部２２ｋに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。切替部２２ｈは、切替部１２ｌと同様の機能を有する。

［記憶部２２ｊ］
記憶部２２ｊは、画像再構成部２２ｋに提供するための基準画像や、受信部２１から出力された前処理情報を記憶するために使用される。本実施形態の基準画像は、通常状態の監視対象を撮影した画像であり、入力画像の背景に相当する画像である。基準画像は例えば、１日に１回、１週間に１回など撮影部１１により定期的に撮影され、監視装置１から再生装置２に送信され、記憶部２２ｊ内に保存される。

［画像再構成部２２ｋ］
画像再構成部２２ｋは、逆量子化・逆変換部２２ｂから出力されたフレーム（入力画像や差分画像）を動画に再構成する処理を行う。具体的には、画像再構成部２２ｋは、記憶部２２ｊ内の基準画像や前処理情報に基づいて、加算部２２ｃに出力するフレームを生成する。その結果、逆量子化・逆変換部２２ｂからのフレームと画像再構成部２２ｋからのフレームが加算部２２ｃにより加算され、監視装置１の入力画像に対応する再生画像が再生され、再生画像により動画が再構成される。

例えば、監視モードが「高」である場合には、画像再構成部２２ｋは、重み付け予測部２２ｇから出力された予測画像を切替部２２ｈから取得する。そして、画像再構成部２２ｋは、前処理情報に基づいて、閾値よりも大きい動きベクトルが発生した領域を強調する画像処理を予測画像に対して行い、この予測画像を加算部２２ｃに出力する。その結果、このような領域が強調された再生画像が再生される。

また、監視モードが「低」である場合には、画像再構成部２２ｋは、加算部２２ｃに基準画像を出力して、再生装置２の画面上に基準画像を表示してもよい。この場合、画面上の基準画像はその後、Ｉフレームによるイントラリフレッシュによりブロックごとに更新されていく。

図６は、第１実施形態の再生画像について説明するための図である。

図６は、図３(ｂ)と同様に、動きベクトルｒが検出された画像５と、参照画像６とを示している。動き補償部２２ｆは、動きベクトルｒを用いて参照画像６に対して動き補償を行う。重み付け予測部２２ｇは、動き補償後の参照画像６から予測画像８を生成する。図６の予測画像８は、監視装置１内での前処理に起因して非監視領域Ｒ２の画質が低下している。

画像再構成部２２ｋは、切替部２２ｈから予測画像８を取得し、記憶部２２ｊから前処理情報を取得し、予測画像８と前処理情報とに基づいて、加算部２２ｃに出力するフレームを生成する。前処理情報が不要な場合には、予測画像８に基づいて、加算部２２ｃに出力するフレームが生成される。加算部２２ｃは、逆量子化・逆変換部２２ｂからのフレームと画像再構成部２２ｋからのフレームとを加算することで、再生画像７を再生する。

［監視モードの詳細］
図７は、第１実施形態の監視領域Ｒ１および非監視領域Ｒ２について具体的に説明するための図である。

図７は、入力画像３の例を示している。本実施形態では、撮影部１１を設置する際に、入力画像３において監視対象を含む重要領域を監視領域Ｒ１に設定し、入力画像３において監視対象を含まない周辺領域を非監視領域Ｒ２に設定する。本実施形態では、撮影部１１の位置は固定されており、監視領域Ｒ１と非監視領域Ｒ２の位置も固定されている。図７では、入力画像３の中心部に１つの監視領域Ｒ１を設定し、入力画像３の外周部に１つの非監視領域Ｒ２を設定しているが、監視領域Ｒ１と非監視領域Ｒ２の設定範囲や設定数に制限はなく、利用者が任意に設定可能である。

監視領域Ｒ１は、入力画像４と基準画像との差異を判定するための特徴量を算出するために設定された比較領域Ｒ１ａ、Ｒ１ｂを有している。同様に、非監視領域Ｒ２は、入力画像４と基準画像との差異を判定するための特徴量を算出するために設定された比較領域Ｒ２ａ、Ｒ２ｂを有している。特徴量は例えば、入力画像４の撮影内容や撮影箇所の変化を検出するために使用される。比較領域Ｒ１ａ、Ｒ１ｂ、Ｒ２ａ、Ｒ２ｂの設定範囲や設定数に制限はなく、利用者が任意に設定可能である。

図８は、第１実施形態の監視方法を示すフローチャートである。

まず、符号化部１２は、撮影部１１から現在のフレーム（入力画像）を取得する（ステップＳ１１）。次に、動きベクトル検出部１２ｊは、この入力画像の動きベクトルを検出する（ステップＳ１２）。次に、動き補償部１２ｉおよび重み付け予測部１２ｋは、この入力画像よりも過去のフレームから、またはこの入力画像よりも過去および未来のフレームから、予測画像を生成する（ステップＳ１３）。その後、この入力画像と予測画像との差分画像が生成され、入力画像がシーン判定部１２ｂに提供され、入力画像と差分画像が前処理部１２ｃに提供される。

次に、シーン判定部１２ｂは、現在のフレーム（入力画像）の動きベクトルに基づいて監視モードを判定する（ステップＳ１４、Ｓ１５）。

入力画像がほとんど変化しない場合、すなわち、入力画像内の動きベクトルがいずれも閾値より小さい場合には、監視モードは「低」であると判定される（ステップＳ１４）。一方、入力画像内のいずれかの動きベクトルがこの閾値より大きい場合には、ステップＳ１５に移行する。

ステップＳ１５において、シーン判定部１２ｂは、閾値より大きい動きベクトルが発生した位置を判定する。閾値より大きい動きベクトルが非監視領域Ｒ２内のみで発生した場合には、監視モードは「中」であると判定される（ステップＳ１５）。一方、閾値より大きい動きベクトルが監視領域Ｒ１内で発生した場合には、監視モードは「高」であると判定される（ステップＳ１５）。

その後、監視モードは、ステップＳ１４、Ｓ１５で判定されたモードに移行する。前処理部１２ｃは、移行したモードに応じた前処理を実行する。

［監視モード：低］
監視モードが「低」の場合には、動画を構成する入力画像間の変化がほとんどない。そのため、監視対象を含むシーンが過去に対して変化しておらず、監視対象は正常状態であると考えられる。この場合、入力画像と予測画像はおおむね一致し、差分画像は有意な情報をほとんど含まない。

よって、監視モードが「低」の場合には、監視装置１は、差分画像の符号化データは送信せずに、イントラリフレッシュ用の入力画像の符号化データのみを送信する。具体的には、監視装置１は、イントラリフレッシュ用のイントラブロックと、その撮影時刻を示すタイムスタンプ情報とを変換、量子化、およびエントロピー符号化により符号化し、生成された符号化データを再生装置２に送信する。この場合、前処理部１２ｃは、入力画像の前処理は行わない。

一方、再生装置２は、符号化データからイントラブロックとタイムスタンプ情報とを復号化し、加算部２２ｃおよび画像再構成部２２ｋに提供する。加算部２２ｃおよび画像再構成部２２ｋは、上述の基準画像をイントラブロックおよびタイムスタンプ情報により更新し、更新された画像を表示部２３により映像として表示する。

図９は、第１実施形態のイントラリフレッシュについて説明するための図である。

図９は、入力画像（Ｉフレーム）３のイントラブロックの例として、イントラブロックＫ１〜Ｋ４を示している。イントラブロックＫ１〜Ｋ４は、監視装置１から再生装置２にタイムスタンプと共に順番に送信される。そして、イントラブロックＫ１〜Ｋ４は、再生装置２において基準画像９に順番に埋め込まれる。このようにして、基準画像９が更新される。

なお、本実施形態の記憶部２２ｊには、タイムスタンプが付加されたイントラブロックＫ１〜Ｋ４のデータが保存される。このデータから映像を再生する場合には、基準画像９にイントラブロックＫ１〜Ｋ４を付加していく。そのため、本実施形態によれば、記憶部２２ｊ内に保存されるデータの量を低減することができる。

［監視モード：中］
監視モードが「中」の場合には、非監視領域Ｒ２のみで変化がある。そのため、シーンの変化はあるものの、監視の観点での重要度は低い。例えば、監視対象が発電プラント内の計測器である場合、計測器付近を作業員が通行した際や、計測器付近で作業員が作業をしている際に、監視モードが「中」になると想定される。この場合、監視者は、作業員が現場にいることを確認できれば十分である。

よって、監視モードが「中」の場合には、差分画像のデータ量を低減しても監視への影響は小さいことを考慮して、差分画像のデータ量を低減する前処理を行ってから差分画像を符号化する。例えば、前処理部１２ｃは、大きい値である第２の量子化パラメータにより差分画像を量子化することで、差分画像を低画質化する。この場合、前処理が行われた差分画像は、第２の量子化パラメータなどの前処理情報やタイムスタンプ情報と共に、再生装置２に伝送される。

一方、再生装置２は、符号化データから差分画像とタイムスタンプ情報とを復号化し、加算部２２ｃおよび画像再構成部２２ｋに提供する。また、前処理情報は、記憶部２２ｊ等に提供される。加算部２２ｃおよび画像再構成部２２ｋは、差分画像、タイムスタンプ情報、および前処理情報から再生画像を再生し、前処理が行われた動画を再構成する。

監視モード「中」の前処理が行われた動画が表示部２３により表示された場合、監視者は、非監視領域Ｒ２の画質が低減されていることを見ることで、監視対象の周辺で何らかの変化が生じたことを認識することができる。このような変化の例は、作業員の入場、通過、退場などである。

［監視モード：高］
監視モードが「高」の場合には、監視領域Ｒ１で変化がある。そのため、監視対象に何らかの変化が生じている可能性が高く、監視の観点での重要度は高い。

よって、監視モードが「高」の場合には、差分画像の画質を向上させ、かつ差分画像中の輪郭を強調する前処理を行ってから差分画像を符号化する。これにより、差分画像を鮮明化することができる。例えば、前処理部１２ｃは、小さい値である第１の量子化パラメータにより差分画像を量子化することで、差分画像を高画質化する。この場合、前処理が行われた差分画像は、第１の量子化パラメータなどの前処理情報やタイムスタンプ情報と共に、再生装置２に伝送される。

一方、再生装置２は、符号化データから差分画像とタイムスタンプ情報とを復号化し、加算部２２ｃおよび画像再構成部２２ｋに提供する。また、前処理情報は、記憶部２２ｊ等に提供される。加算部２２ｃおよび画像再構成部２２ｋは、差分画像、タイムスタンプ情報、および前処理情報から再生画像を再生し、前処理が行われた動画を再構成する。

監視モード「高」の前処理が行われた動画が表示部２３により表示された場合、監視者は、監視領域Ｒ１の画質が向上していることを見ることで、監視対象の変化を鮮明な映像により認識することができる。

なお、監視モードが「高」の場合に、画像再構成部２２ｋは、閾値より大きい動きベクトルが発生した領域を強調する画像処理を予測画像に対して行い、この予測画像を加算部２２ｃに出力してもよい。例えば、上述の自動車の領域を線で囲む画像処理を行ってもよい。これにより、監視者は、監視対象の変化を視覚的により明確に認識することが可能となる。

以上のように、本実施形態では、入力画像と参照画像との間の変化量に基づいて監視モードを判定し、監視モードに基づいて入力画像や差分画像の前処理を行う。そのため、前処理により画像のデータ量を低減することで、動画データの単位時間あたりの伝送量を低減することができる。また、前処理が適用された画像を画像バッファ部１２ｈ等で取り扱うことで、監視装置１内での（すなわちローカルでの）動画データの蓄積量を低減することができる。よって、本実施形態によれば、動画を狭帯域で伝送しつつ、動画データの蓄積量を低減することが可能となる。

また、本実施形態では、動きベクトルに基づいて監視モードを判定する。動きベクトルは、一般的な動画符号化でも導出される情報である。よって、本実施形態によれば、変化量を導出するブロックを新たに設けることなく、監視モードを判定することができる。よって、本実施形態によれば、監視システムを安価に実現することが可能となる。

また、本実施形態では、監視モードが「低」や「中」の場合には画像のデータ量を低減し、監視モードが「高」の場合には画像を鮮明化する。よって、本実施形態によれば、監視の利便性を向上させつつ、画像のデータ量を低減することが可能となる。

（第２実施形態）
図１０は、第２実施形態の監視システムの構成を示すブロック図である。

本実施形態において、符号化部１２は、上述の減算部１２ａ、シーン判定部１２ｂ、前処理部１２ｃ、変換・量子化部１２ｄに加えて、予測画像生成部１２ｐを備えている。また、シーン判定部１２ｂは、記憶部３１を備えている。また、復号化部２２は、上述の記憶部２２ｊを備えている。また、符号化部１２は、図２に示す構成要素の少なくとも一部を備えており（不図示）、復号化部２２は、図５に示す構成要素の少なくとも一部を備えている（不図示）。

復号化部２２の記憶部２２ｊは、上述のように、基準画像や前処理情報を記憶するために使用される。同様に、シーン判定部１２ｂの記憶部３１は、基準画像を記憶するために使用される。記憶部３１内の基準画像は、記憶部２２ｊ内の基準画像と同じものでも異なるものでもよい。

第１実施形態のシーン判定部１２ｂは、入力画像と参照画像との間の動きベクトルに基づいて監視モードを判定する。一方、第２実施形態のシーン判定部１２ｂは、入力画像と基準画像との間の所定領域内の画素値の変化量に基づいて監視モードを判定する。

図１１は、第２実施形態の監視装置１の構成を示すブロック図である。

監視装置１の符号化部１２は、減算部１２ａと、シーン判定部１２ｂと、前処理部１２ｃと、変換・量子化部１２ｄと、逆量子化・逆変換部１２ｅと、加算部１２ｆと、ループフィルタ部１２ｇと、画像バッファ部１２ｈと、エントロピー符号化部１２ｎと、出力データ生成部１２ｏとを備えている。

また、監視装置１の符号化部１２は、上述の動き補償部１２ｉ、動きベクトル検出部１２ｊ、重み付け予測部１２ｋ、切替部１２ｌ、画面内予測部１２ｍの代わりに、予測画像生成部１２ｐと予測制御部１２ｑとを備えている。理由は、本実施形態のモード判定が、動きベクトルではなく基準画像に基づいて行われるからである。なお、本実施形態の符号化部１２は、フレーム間予測のためや、第１および第２実施形態のモード判定の併用のために、動き補償部１２ｉ、動きベクトル検出部１２ｊ、重み付け予測部１２ｋ、切替部１２ｌ、画面内予測部１２ｍを備えていてもよい。

予測画像生成部１２ｐは、画像バッファ部１２ｈから参照画像を取得し、参照画像から予測画像を生成する。予測画像生成部１２ｐは、第１実施形態と同じ方法で予測画像を生成してもよいし、第１実施形態と異なる方法で予測画像を生成してもよい。予測画像は、減算部１２ａに出力される。

予測制御部１２ｑは、予測画像生成部１２ｐの動作を制御する。本実施形態の予測制御部１２ｑは、撮影部１１から出力された入力画像を取得し、入力画像に基づいて予測画像生成部１２ｐの動作を制御する。予測制御部１２ｑは例えば、第１実施形態の動きベクトル検出部１２ｊが動き補償部１２ｉに動きベクトルを出力するのと同様に、予測画像の生成用の情報を予測画像生成部１２ｐに出力する。

図１２は、第２実施形態のシーン判定部１２ｂの構成を示すブロック図である。

シーン判定部１２ｂは、記憶部３１と、検出領域抽出部３２と、減算部３３と、監視モード判定部３４とを備えている。

撮影部１１から出力された入力画像は、シーン判定部１２ｂに入力され、記憶部３１に一時的に記憶される。検出領域抽出部３２は、記憶部３１に記憶された入力画像内の所定領域を抽出し、所定領域内の画素値を算出する。算出する値は、所定領域内の全画素の画素値の合計値でもよいし、所定領域内の全画素の画素値の平均値でもよい。また、本実施形態の所定領域の指定方法は、シーン判定部１２ｂに予め設定されている。

減算部３３は、入力画像の所定領域内の画素値から、記憶部３１に記憶された基準画像の所定領域内の画素値を減算し、これらの画素値間の変化量を出力する。監視モード判定部３４は、この変化量に基づいて監視モードを判定する。

変化量が閾値よりも小さい場合には、監視モードは「低」であると判定され、第１実施形態と同様の処理が行われる。すなわち、監視モードが「低」である場合には、入力画像や差分画像の画質を変化させる前処理が行われず、イントラリフレッシュ用の入力画像の符号データのみが監視装置１から再生装置２に送信される。

変化量が閾値よりも大きい場合には、監視モードは「高」であると判定され、第１実施形態と同様の処理が行われる。すなわち、監視モードが「高」である場合には、入力画像や差分画像の画質を変化させる前処理が行われる。例えば、前処理部１２ｃは、入力画像や差分画像を上述の第１の量子化パラメータで量子化することで、入力画像や差分画像を高画質化する。

図１３は、第２実施形態の入力画像について説明するための図である。

図１３(ａ)は、本実施形態の入力画像３の例を示している。この入力画像３は、発電所内のプールを横から撮影して得られた画像であり、プールの水位の変化を監視するために使用される。本実施形態の監視領域Ｒ１は、入力画像３における水面よりも下の領域（すなわち水中）であり、本実施形態の非監視領域Ｒ２は、入力画像３における水面よりも上の領域（すなわち水上）である。

シーン判定部１２ｂは例えば、動きベクトルにより水面の変化を検知可能である。しかしながら、水面の変化が非常に小さい場合には、動きベクトルが小さいため、動きベクトルから水面の変化を検知することは困難な可能性がある。そのため、本実施形態のシーン判定部１２ｂは、水面の変化を検知するために、入力画像３と基準画像との間の監視領域Ｒ１内の画素値の変化量を算出し、この変化量に基づいて監視モードを判定する。この場合、監視領域Ｒ１が上記の所定領域に対応する。

本実施形態の監視領域Ｒ１は、水面の変化に応じて変化する。そのため、シーン判定部１２ｂは、入力画像３から水面を検知する必要がある。そこで、シーン判定部１２ｂは、入力画像３内の輪郭を強調する画像処理を行うことで、水面を強調する。図１３(ｂ)の符号Ｓは、強調された水面を示している。検出領域抽出部３２は、この入力画像３から監視領域Ｒ１（所定領域）を抽出する。

なお、図１３の例の場合、基準画像中の水面は水面上昇前の状態であり、入力画像３中の水面は水面上昇後の状態である。そのため、入力画像３中の監視領域Ｒ１は、基準画像中の監視領域Ｒ１よりも広くなる。よって、入力画像３中の監視領域Ｒ１内の全画素の画素値の合計値から、基準画像中の監視領域Ｒ１内の全画素の画素値の合計値を減算することで、水面上昇の大きさを検知することができる。なお、水面上昇だけでなく、水面低下も検知対象とする場合には、変化量を、入力画像３の合計画素値から基準画像の合計画素値を減算した値とする代わりに、入力画像３の合計画素値と基準画像の合計画素値との差の絶対値とする。

図１４は、第２実施形態の監視方法を示すフローチャートである。

まず、符号化部１２は、撮影部１１から現在のフレーム（入力画像）を取得する（ステップＳ２１）。次に、シーン判定部１２ｂは、この入力画像と基準画像との間の所定領域内の画素値の変化量を算出する（ステップＳ２２）。次に、シーン判定部１２ｂは、この変化量に基づいて監視モードを判定する（ステップＳ２３、Ｓ２４）。

図１３の例では、監視領域Ｒ１を所定領域として取り扱い、入力画像と基準画像との間の監視領域Ｒ１内の画素値の変化量を算出した。一方、図１４のフローチャートでは、監視領域Ｒ１および非監視領域Ｒ２を所定領域として取り扱い、入力画像と基準画像との間の監視領域Ｒ１内の画素値の変化量と、入力画像と基準画像との間の非監視領域Ｒ２内の画素値の変化量とを算出する。例えば、監視領域Ｒ１内の熱水と、非監視領域Ｒ２内の蒸気とを取り扱い、熱水の水面や蒸気の発生を監視する場合に、これらの変化量が算出される。以下、前者の変化量を第１変化量と呼び、後者の変化量を第２変化量と呼ぶ。

第１変化量が第１閾値より小さく、かつ第２変化量が第２閾値より小さい場合には、監視モードは「低」であると判定される（ステップＳ２３）。一方、第１変化量が第１閾値以上であるか、第２変化量が第２閾値以上である場合には、ステップＳ２４に移行する。第１閾値と第２閾値は、同じ値でもよいし、異なる値でもよい。

ステップＳ２４において、シーン判定部１２ｂは、大きな変化量が監視領域Ｒ１内で生じたか非監視領域Ｒ２内で生じたかを判定する。大きな変化量が非監視領域Ｒ２内のみで生じた場合、すなわち、第１変化量が第１閾値より小さく、かつ第２変化量が第２閾値以上である場合には、監視モードは「中」であると判定される（ステップＳ２４）。一方、大きな変化量が監視領域Ｒ１内で生じた場合、すなわち、第１変化量が第１閾値以上である場合には、監視モードは「高」であると判定される（ステップＳ２４）。

その後、監視モードは、ステップＳ２３、Ｓ２４で判定されたモードに移行する。前処理部１２ｃは、第１実施形態と同様に、移行したモードに応じた前処理を実行する。

図１５は、第２実施形態の基準画像について説明するための図である。

図１５は、記憶部３１内の基準画像９の例を示している。基準画像９は、上述の監視領域Ｒ１として、重要度が高い監視領域Ａ１と、重要度が中程度の監視領域Ａ２と、重要度が低い監視領域Ａ３とを含んでいる。このように、本実施形態の基準画像９は、複数種類の監視領域を含んでいてもよい。この場合、大きい変化量が監視領域Ａ１〜Ａ３のいずれで生じたかに基づいて、監視モードを切り替えてもよい。

以上のように、本実施形態では、入力画像と基準画像との間の所定領域内の画素値の変化量に基づいて監視モードを判定する。よって、本実施形態によれば、動きベクトルでは検知が難しい変化を検知することが可能となり、監視モードを適切に切り替えることが可能となる。また、本実施形態によれば、複数の画素の画素値を合計して変化量を算出することで、モード判定に画像内の歪み等のノイズが影響することを抑制することができる。

（第３実施形態）
図１６は、第３実施形態の監視システムの構成を示すブロック図である。

本実施形態の監視装置１は、撮影部１１と、符号化部１２と、送信部１３と、フレームスピード制御部１４とを備えている。本実施形態の再生装置２は、受信部２１と、復号化部２２と、表示部２３とを備えている。

フレームスピード制御部１４は、符号化部１２のシーン判定部１２ｂにより判定された監視モードに基づいて、送信部１３が符号化データを送信するフレームスピードを制御する。よって、符号化データは、このフレームスピードで監視装置１から再生装置２に伝送され、このフレームスピードで表示部２３により表示される。

デジタルテレビのフレームスピードは、３０ｆｐｓや６０ｆｐｓが標準である。フルＨＤ等の高解像度の動画をこのフレームスピードで伝送する際には、Ｈ．２６４／ＡＶＣを用いても数十Ｍｂｐｓの帯域が必要となる。また、監視システムは連続で長時間稼働することが多いため、動画データを保存するための大容量の記憶装置が必要となる。

そこで、第１実施形態では、監視モードに応じて前処理を変更することで、動画データの伝送量や蓄積量を低減している。そして、第３実施形態では、監視モードに応じてフレームスピードを変更することで、動画データの伝送量や蓄積量をさらに低減している。

フレームスピード制御部１４は、監視モードが「高」「中」「低」である場合、フレームスピードをそれぞれ高速、中速、低速に設定する。さらに、フレームスピード制御部１４は、イントラ符号化モードおよびインター符号化モードの中から、符号化対象の入力画像や差分画像のマクロブロックに適応する符号化モードを選択する。

監視モードが「低」から「高」に変化した場合には、フレームスピードが低速から高速に変更され、フレームスピードが速くなる。これにより、監視者は、監視対象の変化を鮮明に観察することが可能となる。これは、フレームスピードが低速から中速に変更される場合や、中速から高速に変更される場合にも同様である。

一方、監視モードが「高」から「低」に変化した場合には、フレームスピードが高速から低速に変更され、フレームスピードが遅くなる。この場合、再生装置２で映像（動画）を再生すると、映像がコマ落ちしているように見える。これは、フレームスピードが高速から中速に変更される場合や、中速から低速に変更される場合にも同様である。

そこで、復号化部２２の画像再構成部２２ｋは、変更後のフレームスピードが変更前のフレームスピードよりも遅い場合には、画像再構成部２２ｋにより再構成された動画のフレーム間に事前に保存されたフレームを挿入する。これにより、フレームスピードに変化がない（または変化が小さい）ように動画を表示することができ、映像がコマ落ちして見えることを抑制することができる。これにより、監視者は、動画を違和感なく見ることが可能となる。挿入フレームの例は、記憶部２２ｊに記憶された過去の画像である。

以上のように、本実施形態では、送信部１３が符号化データを送信するフレームスピードを監視モードに基づいて制御する。よって、本実施形態によれば、動画データの伝送量や蓄積量をさらに低減することが可能となる。

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規なシステムおよび装置は、その他の様々な形態で実施することができる。また、本明細書で説明したシステムおよび装置の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。

１：監視装置、２：再生装置、３：入力画像、４：参照画像、５：画像、
６：参照画像、７：再生画像、８：予測画像、９：基準画像、
１１：撮影部、１２：符号化部、１３：送信部、１４：フレームスピード制御部、
１２ａ：減算部、１２ｂ：シーン判定部、１２ｃ：前処理部、
１２ｄ：変換・量子化部、１２ｅ：逆量子化・逆変換部、１２ｆ：加算部、
１２ｇ：ループフィルタ部、１２ｈ：画像バッファ部、１２ｉ：動き補償部、
１２ｊ：動きベクトル検出部、１２ｋ：重み付け予測部、１２ｌ：切替部、
１２ｍ：画面内予測部、１２ｎ：エントロピー符号化部、
１２ｏ：出力データ生成部、１２ｐ：予測画像生成部、１２ｑ：予測制御部、
２１：受信部、２２：復号化部、２３：表示部、
２２ａ：エントロピー復号化部、２２ｂ：逆量子化・逆変換部、２２ｃ：加算部、
２２ｄ：ループフィルタ部、２２ｅ：画像バッファ部、２２ｆ：動き補償部、
２２ｇ：重み付け予測部、２２ｈ：切替部、２２ｉ：画面内予測部、
２２ｊ：記憶部、２２ｋ：画像再構成部、
３１：記憶部、３２：検出領域抽出部、３３：減算部、３４：監視モード判定部

Claims (10)

1. 監視装置と再生装置とを備える監視システムであって、
   前記監視装置は、
   監視対象を撮影して動画を取得する撮影部と、
   前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部と、
   前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、
   前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、
   前記符号化データを送信する送信部と、
   を備え、
   前記再生装置は、
   前記符号化データを受信する受信部と、
   前記符号化データを復号化して前記画像処理が行われた画像を再生する復号化部と、
   前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、
   前記再構成部により再構成された動画を表示する表示部と、
   を備える、監視システム。
2. 前記画像処理部は、
   前記変化量が閾値よりも大きいと判定された場合には、前記動画を構成する画像の前記画像処理を行い、
   前記変化量が前記閾値よりも小さいと判定された場合には、前記動画を構成する画像の前記画像処理を行わない、
   請求項１に記載の監視システム。
3. 前記画像処理部は、
   前記閾値よりも大きい前記変化量が、前記動画を構成する画像の第１領域内で発生した場合には、前記動画を構成する画像を第１の量子化パラメータで量子化する前記画像処理を行い、
   前記閾値よりも大きい前記変化量が、前記動画を構成する画像の第２領域内で発生した場合には、前記動画を構成する画像を前記第１の量子化パラメータとは異なる第２の量子化パラメータで量子化する前記画像処理を行う、
   請求項２に記載の監視システム。
4. 前記送信部は、前記変化量が前記閾値よりも小さいと判定された場合、前記動画を構成する入力画像のうちのイントラフレームから生成された前記符号化データを送信し、前記入力画像と予測画像との差分画像から生成された前記符号化データを送信しない、請求項２または３に記載の監視システム。
5. 前記変化量は、前記動画を構成する画像と前記比較用の画像との間の動きベクトルである、請求項１から４のいずれか１項に記載の監視システム。
6. 前記変化量は、前記動画を構成する画像と前記比較用の画像との間の所定領域内の画素値の変化量である、請求項１から４のいずれか１項に記載の監視システム。
7. 前記監視装置はさらに、前記監視モードに基づいて、前記送信部が前記符号化データを送信するフレームスピードを制御するフレームスピード制御部を備える、請求項１から６のいずれか１項に記載の監視システム。
8. 前記再構成部は、変更後のフレームスピードが変更前のフレームスピードよりも遅い場合には、前記再構成部により再構成された動画のフレーム間に事前に保存されたフレームを挿入する、請求項７に記載の監視システム。
9. 監視対象を撮影して動画を取得する撮影部と、
   前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部と、
   前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、
   前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、
   前記符号化データを送信する送信部と、
   を備える監視装置。
10. 監視対象を撮影して動画を取得する監視装置から、前記動画の符号化データを受信する受信部と、
    前記符号化データを復号化して、前記監視装置にて画像処理が行われた画像を再生する復号化部と、
    前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、
    前記再構成部により再構成された動画を表示する表示部と、
    を備える再生装置。

Images