JP4919034B2 - ネットワークデコーダ装置 - Google Patents

Description

本発明は、複数のネットワークカメラから送信された符号化映像データを受信して画像処理を行い、モニタに表示させるためのネットワークデコーダ装置に関する。

近年のＩＴ技術やネットワーク技術の発展に伴い、複数のネットワークカメラとネットワークデコーダ装置とをネットワークを介して接続すると共に、このネットワークデコーダ装置にモニタを接続したネットワークカメラ監視システムが、セキュリティ分野において多く用いられるようになってきた。このネットワークカメラ監視システムにおいては、各ネットワークカメラで撮像した画像データを符号化処理してネットワーク上に送出し、ネットワークデコーダ装置がこれら符号化画像データを受信して復号処理し、各画像を選択的に又はマルチ画面としてモニタに表示するものである。さらに、上記の各ネットワークカメラをパン・チルト・ズーム（ＰＴＺ）動作が可能なものとし、ネットワークデコーダ装置に各ネットワークカメラのＰＴＺ操作機能及び制御機能を備えることにより、監視者が各ネットワークカメラを遠隔操作することが可能なものもある。

また、一般的なテレビ受像機やディスプレイ装置において、画質補正機能を有したものがある。これらの装置では、入力して処理する画像データについて比較的連続性のあるフレームデータであることが期待されるため、ガンマ補正やノイズリダクション等の画質補正・改善処理を連続フレームに跨って実行するものである。

これのより具体的な例として、入力映像信号の画像の特徴に応じて階調補正曲線を生成し、これに基づき画質を最適に補正することができる映像信号処理装置が知られている（例えば、特許文献１参照）。この特許文献１に記載の発明は、入力映像信号の輝度信号成分に基づくヒストグラムデータを生成し、これによりダイナミックなガンマ補正を行うことを特徴としたものである。

そして、この特許文献１には、画質補正機能の実現手段としてリーク型積分回路を用いた例が示されている。これは、シーンチェンジのように画像に大幅な変化が生じるとヒストグラムデータの分布も大きく変化するが、このようにヒストグラムに大きな変化が生じると、階調補正部により補正される輝度信号が急に変化してしまいかえって不自然になってしまうので、これを改善するための手段である。すなわち、ヒストグラムデータ分布の更新をある程度緩やかなものにするために、データの更新時に時間方向にリーク型の積分処理を行うようにしている。また、ヒストグラムデータが急変する場合に階調補正曲線を直線となるようにリセットすることも開示されている。

また、画像の変化量の時間的推移を表示すると共に、一定以上の変化が検知されたときの画像を、変化量の時間的推移と関連させて表示する技術を監視システムに適用した例が知られている（例えば、特許文献２参照）。
特開２００５−２１７５７４号公報 特開２００５−７８５７２号公報

しかしながら、上記特許文献１に記載のリーク型積分回路による階調補正機能をセキュリティ分野に応用する場合、特にネットワークカメラのフレームレートを低くした場合に次のような問題が生ずる。例えば、３０ｆｐｓのビットレートにつきリーク積分によって１秒以内で正しい補正画像が出力される画質補正機能処理を、そのままセキュリティ分野向けに応用すると、セキュリティ分野で多用されている低フレームレート、例えば１ｆｐｓのフレームレートで処理しているネットワークカメラにおいては、３０倍の時間（すなわち、３０秒）後に確からしい補正画像が出力されることになる。このように、セキュリティ分野においては、上記特許文献１に記載のリーク型積分回路を用いた画質補正機能は不十分である。

また、上記特許文献２に記載の技術においては、フレーム単位での変化量をグラフ化することで容易に認識でき、変化量の大きいところでは画像が自動的に保存されるため、アラーム画像として利用することができる。しかしながら、変化量の閾値は固定値であるため、カメラから入力される画像データの解像度が変更されたり圧縮率が変更されたりした場合に、閾値も変更すべきであるがその変更手段や方法については開示されていない。

上述したように、ネットワークカメラ監視システムをセキュリティ分野で活用する場合においては、各ネットワークカメラを、その監視対象や監視時間帯等に応じて様々なフレームレートに設定する場合が多い。また、各ネットワークカメラから出力させる画像の解像度をＳＸＧＡサイズ、ＶＧＡサイズ、ＱＶＧＡサイズ等のように複数種類を混在させる場合もある。さらには、各ネットワークカメラを、タイマ機能等によって、予め決められた撮像方向及び視野角で自動的にＰＴＺ制御することも行われる。

すなわち、セキュリティ分野に適用されるネットワークデコーダ装置は、前述したような一般的なテレビ受像機とは異なり、連続的なフレームデータの入力を期待できる場合とそうでない場合、ネットワークカメラによりフレームレートが大きく異なる画像データを受信する場合、ネットワークカメラによって解像度が異なる場合が想定される点が特徴である。さらに、同一ネットワークカメラからの画像でも、ＰＴＺ制御により「シーンチェンジ」に似た連続画像データを受信する点も特徴的である。

本発明は、上記の事情に鑑みてなされたものであり、その目的は、例えば、複数のネットワークカメラからフレームレートや解像度が異なるフレーム内符号化映像データが供給された場合において、又は供給されるフレーム内符号化映像データを任意に切り替えた場合において、ソース毎に適切な画質補正を施すと共に、ソースを切り替えても見やすい画像を得ることができるネットワークデコーダ装置を提供することである。

本発明は、上記の課題を解決するために、以下［１］〜［２］の手段を提供するものである。
［１］ ネットワークを介して供給された複数のフレーム内符号化映像データのうちいずれか１つを選択的に受信し、フレーム単位で復号手段に順次入力して復号処理し、これら順次復号されたフレームデータを出力するネットワークデコーダ装置において、
前記復号手段により復号されたフレームデータを入力し、輝度成分のヒストグラムを算出してその輝度分布に基づき輝度補正用パラメータを決定して保持すると共に、初期化信号の入力に従って前記保持している輝度補正用パラメータを非補正用パラメータに変更するパラメータ保持部を有し、この保持又は変更したパラメータに基づきフレームデータの輝度成分を補正する輝度補正手段と、
前記受信したフレーム内符号化映像データの各フレーム間の時間間隔を計測する受信データ間隔計測手段と、
前記計測した時間間隔が所定時間以下である場合は、前記輝度補正手段に保持された輝度補正用パラメータを用いてフレームデータの輝度成分を補正させる一方、前記時間間隔が所定時間を越える場合は、前記輝度補正手段に初期化信号を出力して前記変更された非補正用パラメータを用いてフレームデータの輝度成分を補正させる制御手段と、
を備えたことを特徴とするネットワークデコーダ装置。
［２］ ネットワークを介して供給された、それぞれ識別子を含む複数のフレーム内符号化映像データのうち指定された１つの識別子に対応するフレーム内符号化映像データを受信し、フレーム単位で復号手段に順次入力して復号処理し、これら順次復号されたフレームデータを出力するネットワークデコーダ装置において、
前記指定された１つの識別子に対応するフレーム内符号化映像データの復号処理を開始してからの時間の経過を計測する計測手段と、
前記計測手段が所定の時間の経過を計測したときに前記指定された１つの識別子を他の識別子に変更する識別子変更手段と、
前記復号処理により復号されたフレームデータを入力し、輝度成分のヒストグラムを算出してその輝度分布に基づき輝度補正用パラメータを決定して保持するパラメータ保持部を有し、前記保持した輝度補正用パラメータに基づきフレームデータの輝度成分を補正する輝度補正手段と、
前記識別子変更手段による識別子の変更に応じて、前記パラメータ保持部に保持された前記輝度補正用パラメータを直線の非補正特性である非補正用パラメータに変更する指示を行う制御手段と、
を備えたことを特徴とするネットワークデコーダ装置。

本発明によれば、ネットワークを介して供給された複数のフレーム内符号化映像データを選択的に受信してデコード処理して出力する場合に、各フレーム内符号化映像データの復号後の画質に応じた輝度補正処理を行って最適な画質のフレームデータを出力することができる。そして、本発明によれば、フレーム内符号化映像データの切り替えタイミングを検出して一旦輝度補正処理を初期化させることができるため、フレーム内符号化映像データを任意に切り替えた場合でも、特段の違和感を与えることなく画質補正がされたフレームデータを出力することができる。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。図１に、本発明の実施形態を適用したネットワークカメラ監視システムの概略の全体構成を示す。同図において、ネットワークカメラ監視システムは、監視対象を撮像する場所にそれぞれ設置されるネットワークカメラ１１−１〜１１−ｎと、監視者側に設置されるネットワークデコーダ装置１２とがネットワーク１４を介してそれぞれ接続されると共に、ネットワークデコーダ装置１２にはモニタ１３が接続されている。

なお、ネットワークデコーダ装置１２とモニタ１３とを一体にして、ネットワークカメラビューア装置を構成するようにしてもよい。

ネットワークカメラ１１−１〜１１−ｎのそれぞれ（以下、ネットワークカメラ１１ということもある。）は、識別子としてのカメラ番号を予め有しており、撮像して得たデジタル画像データを不図示の符号化部によってフレーム内符号化処理（例えば、ＪＰＥＧ圧縮処理）し、この符号化映像データを当該ネットワークカメラのカメラ番号と共に、又はカメラ番号を符号化映像データのヘッダ部に含ませて不図示のネットワークインターフェース（Ｉ／Ｆ）部でパケットデータにフォーマット変換してネットワーク１４に送出する機能を有する。そして、ネットワークカメラ１１は、不図示の制御部とパン・チルト・ズーム（ＰＴＺ）駆動部とを備えており、ネットワークデコーダ装置１２から送信されたＰＴＺ制御コマンドをネットワークＩ／Ｆ部で受信し、制御部によるＰＴＺ制御コマンドの実行によってＰＴＺ駆動部を駆動させて、パン・チルトの各方向を変更したりズーミングを行ったりする。

ネットワークデコーダ装置１２は、ネットワークカメラ１１−１〜１１−ｎから送出されたパケットデータ化された符号化映像データ及びカメラ番号を受信して復号処理を実行し、この復号画像データについて後述するガンマ補正処理を実行して映像出力信号としてモニタ１３に出力する機能を有する。そして、ネットワークデコーダ装置１２は、監視者（操作者）による所望のネットワークカメラ１１に対するＰＴＺ操作により、カメラ番号を含むＰＴＺ制御コマンドを生成してネットワーク１４に送出する機能を有する。このネットワークデコーダ装置１２の内部構成及び動作については後述する。

モニタ１３は、ネットワークデコーダ装置１２からの映像出力信号を入力して画面に表示する。そして、ネットワーク１４は、ＩＰ（インターネットプロトコル）制御によるネットワークであり、インターネットやＬＡＮ（ローカルエリアネットワーク）が適用できる。

次に、本発明の実施形態を適用したネットワークカメラ監視システムにおけるネットワークデコーダ装置の第一実施例について説明する。図２は、本実施例におけるネットワークデコーダ装置１２の概略の内部構成図である。同図において、ネットワークデコーダ装置１２は、ネットワークインターフェース（Ｉ／Ｆ）部２００と、制御部２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ユーザインターフェース（Ｉ／Ｆ）部２０４と、画像処理部２０５と、データサイズ変動率計算部２０６と、変動率判定部２０７とを備えており、各ブロックは内部バス等により同図の如く接続されている。

ネットワークＩ／Ｆ部２００は、ネットワークカメラ１１−１〜１１−ｎからそれぞれ送出された、パケットデータ化された符号化映像データ及びカメラ番号（カメラ番号が符号化映像データのヘッダ部に含まれる場合を含む。）を受信して、パケットデータから符号化映像データ及びカメラ番号を抽出して制御部２０１に供給する機能を有する。また、ネットワークＩ／Ｆ部２００は、制御部２０１において生成されたＰＴＺ制御コマンドをパケットデータ化してネットワーク１４に送出する機能を有する。

制御部２０１は、ＲＯＭ２０２に予め格納された制御ソフトウェアをＲＡＭ２０３にロードして実行することにより、ネットワークデコーダ装置１２全体を制御する機能を有するが、特に、制御部２０１は、ネットワークＩ／Ｆ部２００から供給された符号化映像データ及びカメラ番号について、この符号化映像データをカメラ番号に対応させて画像処理部２０５に供給する機能を有する。さらに、制御部２０１は、ユーザＩ／Ｆ部２０４から入力された操作者の指示に従ってＰＴＺ制御コマンドを生成し、ネットワークＩ／Ｆ部２００に供給する機能も有する。

ＲＯＭ２０２は、制御ソフトウェアの他、ネットワークカメラ１１の属性情報、例えばカメラ番号、型番、メーカ名、シリアル番号等のカメラ固有の情報や、解像度、フレームレート、色バランス等のカメラ動作に関する設定情報を予め記憶している。ＲＯＭ２０２に記憶された各種情報は、制御ソフトウェアのバージョンアップ、ネットワークカメラ１１の接続状態や設定状態の変更に対応させるため、ネットワーク１４経由で書換えできることが望ましい。ＲＡＭ２０３は、制御部２０１が制御ソフトウェアを実行するにあたり、各種変数や各種データ等を一時記憶するために使用される。

ユーザＩ／Ｆ部２０４は、操作者からの指示を入力するための操作入力部であり、ネットワークデコーダ装置１２の電源入切スイッチを備えると共に、操作者に、所望のネットワークカメラ１１のＰＴＺ操作を行わせたり、モニタ１３に表示する映像の画面指定、例えば１画面表示、４画面表示や１６画面表示等のマルチ画面表示、複数画面の重ね表示等を指定させて画像処理部２０５に供給したりするためのものである。操作手段は、キーボードやマウスを用いることができ、また、ネットワークデコーダ装置１２とモニタ１３とを一体にしてネットワークカメラビューア装置を構成する場合は、タッチパネルを用いることができる。

画像処理部２０５は、制御部２０１から順次供給されるフレームデータ毎の符号化画像データをデコード処理して復号画像データを得たのち、画質補正処理であるガンマ補正処理を実行する機能を有する。なお、画質補正処理としては、ガンマ補正処理だけでなくクロマ補正を実行するようにしてもよい。また、画像処理部２０５は、順次画質補正処理された画像データを、ユーザＩ／Ｆ部２０４からの画面指定に従って画面構成して映像出力信号として出力する機能を有する。

次に、ガンマ補正処理について説明する。画像処理部２０５は、図３に示すような輝度値を補正するためのＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を生成して有している（パラメータ保持部）。ＬＵＴの生成方法は、前記特許文献１に記載の方法によってもよい。同図におけるＬＵＴは、入力輝度値Ｙｉｎに対する出力輝度値Ｙｏｕｔを決定するための輝度補正用パラメータを有する。ネットワークデコーダ装置１２の初期状態においては、同図に示した直線のようにＹｏｕｔ＝Ｙｉｎ、すなわち入力輝度値Ｙｉｎがそのまま出力輝度値Ｙｏｕｔとなる非補正特性（非補正用パラメータ）を適用する。そして、同図に示した曲線は、最適なガンマ補正を行うための補正曲線であり、この例によれば、入力輝度値Ｙｉｎが小さい場合は出力輝度値Ｙｏｕｔを大きくし、入力輝度値Ｙｉｎが大きい場合は出力輝度値Ｙｏｕｔを小さくするような補正特性を適用する。この補正曲線は、前記特許文献１に記載の如く入力画像の輝度ヒストグラム分布に基づき決定することが望ましい。

図２の説明に戻り、データサイズ変動率計算部２０６は、制御部２０１から画像処理部２０５へ供給された符号化画像データについてのフレームデータ単位でのデータサイズの変動率を計算する機能を有する。データサイズ変動率計算部２０６では、図４に示したフローチャートの如く処理を実行する。すなわち、前回供給された１フレームあたりの符号化画像データのデータサイズを保持しておき、今回供給された１フレームあたりの符号化画像データのデータサイズとのデータサイズの変動率を計算する（ステップＳ４０１）。次に、今回受信した１フレームあたりの符号化画像データのデータサイズを前回供給されたデータサイズとして更新して保持する（ステップＳ４０２）。

符号化画像データがフレーム内符号化画像データであるＪＰＥＧデータである場合、同一の圧縮率及び解像度の設定により暗所を撮像した場合のＪＰＥＧデータのデータサイズと、明所を撮像した場合のＪＰＥＧデータのデータサイズとの比較では、暗所のＪＰＥＧデータのデータサイズの方が小さい場合が通常である。また、複雑な模様に相当する細やかな風景、物体、人の洋服等の高域周波数成分の多い被写体を撮像した場合のデータサイズは、のっぺりした模様のような高域周波数成分の比較的少ない被写体を撮像した場合のデータサイズよりも大きい。したがって、データサイズ変動率計算部２０６の結果により、カメラ番号が相違する２つのフレームデータの境界におけるシーンチェンジのみならず、ネットワークカメラ１１がＰＴＺ動作により被写体を大きく変更した場合についても検出できる。

このようにしてデータサイズの変動率を計算することにより、いわゆるシーンチェンジが生じた可能性を予測するが、ステップＳ４０２のように、今回受信した１フレームあたりの符号化画像データのデータサイズを前回供給されたデータサイズとして更新して保持することで、１つ前のフレームデータとの比較を行うことになるため、シーンチェンジの検出精度は高いものとなる。

変動率判定部２０７は、データサイズ変動率計算部２０６の出力結果であるデータサイズの変動率が、所定の範囲内に入っているか否かを判定する機能を有する。例えば、変動率＞６０％の場合を範囲外とし、変動率≦６０％の場合を範囲内とする。変動率判定部２０７は、データサイズの変動率が規定の範囲外であれば、シーンチェンジやＰＴＺ動作によって被写体が大きく変更されて符号化画像データのデータサイズが大きく変動したと判定し、画像処理部２０５に対して初期化信号を出力する。

ここで、図５に、１フレームデータあたりの符号化画像データのデータサイズと時間軸上での変動をグラフに表した例を示す。同図において、ある特定の監視場所を撮像していたネットワークカメラ１１が、ＰＴＺ動作により被写体を変更した場合を想定する。まず、シーンチェンジ１の時刻の前までは、比較的小さなデータサイズで推移しているものの若干のデータサイズの揺れが生じている。データサイズ変動率計算部２０６において、逐次直前のデータサイズを更新して保持することにより、このデータサイズの揺れを吸収することができ、直前のフレームデータに対するシーンチェンジを検出することができる。また、揺れを吸収することで、余分な初期化信号を出力するおそれも極めて少なくなる。

シーンチェンジ１は、変動率判定部２０７における変動率＞６０％に該当する例であり、このタイミングで画像処理部２０５がＬＵＴを参照するまでに初期化信号を出力する。画像処理部２０５は、この初期化信号を受信することにより、図３に示したＬＵＴの補正曲線を初期化用の直線に変更する。また、シーンチェンジ２においても、変動率判定部２０７における変動率＞６０％に該当する例であり、このタイミングでもシーンチェンジ１の場合と同様に初期化信号を画像処理部２０５へ出力する。

次に、本発明の実施形態を適用したネットワークカメラ監視システムにおけるネットワークデコーダ装置の第二実施例について説明する。図６は、本実施例におけるネットワークデコーダ装置１２ａの概略の内部構成図である。なお、第一実施例にて説明したブロックと同一のものについては、同一の符号を付してその説明を省略する。

同図のネットワークデコーダ装置１２ａは、第一実施例におけるネットワークデコーダ装置１２の構成に受信データ間隔計測部２０９が追加された構成を成している。受信データ間隔計測部２０９は、制御部２０１から画像処理部２０５に供給されるフレームデータ単位の符号化画像データの入力時間間隔を計測し、所定の時間内に符号化画像データが画像処理部２０５に供給されない場合に、画像処理部２０５に対して初期化信号を出力する。

図７に、ネットワークデコーダ装置１２ａが複数の異なるフレームレートの符号化映像データを受信した場合のカメラ切り替えについて説明するために模式化した図を示す。なお、画像処理部２０５は、図８に示すような輝度値を補正するためのＬＵＴを生成するものとする。

図７は、ネットワークデコーダ装置１２ａが暗所を撮像しているネットワークカメラ１１−１から送信された３０ｆｐｓの符号化映像データ１を受信しているときに、あるタイミングで明所を撮像しているネットワークカメラ１１−２から送信された１ｆｐｓの符号化映像データ２の受信に切り替えたときの状態を模式的に示した図である。画像処理部２０５は、符号化映像データ１をガンマ補正する場合、図８のように生成されたＬＵＴにおける補正曲線Ａにより暗所部を明るく表示するための輝度補正をかける。

ここで、図７のようにあるタイミングでネットワークカメラ１１−２からの符号化映像データ２に切替わったとする。ネットワークカメラ１１−２の撮像画像は明るい画像であるため、本来は図８のＬＵＴにおける補正曲線Ｂにより補正する必要がある。ところが、切り替え時点において、補正曲線Ｂの生成が間に合わず従来どおり補正曲線Ａが適用されてしまうと、不適切な輝度補正がされてネットワークカメラ１１−２の映像が明るすぎる映像として出力されてしまう。加えて、次のフレームがデコード処理されるまで、明るすぎる映像が出力し続けるため、ネットワークカメラの切り替え時には監視者にとって非常に見難い状況が起こり得る。

そこで、本実施例におけるネットワークデコーダ装置１２ａは、受信データ間隔計測部２０９が画像処理部２０５に供給されるフレームデータ単位での符号化画像データの入力間隔、すなわちデコード処理の間隔を測定し、所定の時間内にデコード処理を実行しなければ画像処理部２０５に初期化信号を出力し、この初期化信号を受信した画像処理部２０５はＬＵＴを参照して補正特性を直線の非補正特性に変更する。この初期化信号を出力するタイミングは、（１）所定の時間受信しないとき毎に出力してもよいし、（２）デコード間隔が伸びたときのみ、すなわち、カメラ映像が切り替わったときのみ出力してもよい。（１）の場合は、フレームレートが低いときには常に初期化信号が出力されるため、ＬＵＴは継続して非補正特性になり入力輝度値Ｙｉｎがそのまま出力輝度値Ｙｏｕｔとなる。一方、（２）の場合は、切り替え時は入力輝度値Ｙｉｎがそのまま出力輝度値Ｙｏｕｔとなるが、切り替え以降は補正曲線によるガンマ補正処理が実行される。

次に、本発明の実施形態を適用したネットワークカメラ監視システムにおけるネットワークデコーダ装置の第三実施例について説明する。本実施例におけるネットワークデコーダ装置１２ｂの概略の内部構成は、図２及び図６のいずれもが適用できる。本実施例においては、制御部２０１が図９に示したフローチャートによる処理を実行する。

つまり、例えば、ネットワークカメラ１１−１から供給される符号化映像データ１をネットワークカメラ１１−２からの符号化映像データ２に切り替える場合において、制御部２０１は、符号化映像データ１をデコードした際に、内蔵するタイマにより計時処理を開始し（ステップＳ１００）、所定の時間が経過するまで待機する（ステップＳ１０１）。このとき、監視者が映像を視認するための時間としては、前記所定の時間を例えば少なくとも３秒とする。次に、この３秒が経過したとき、制御部２０１は、符号化映像データ１から符号化映像データ２に切り替えるために、ネットワークカメラ１１−２に対応したカメラ番号を制御ソフトウェアの変数に設定すると共に、画像処理部２０５に対して初期化信号を出力する（ステップＳ１０２）。

そして、画像処理部２０５は初期化信号を受信することにより、ＬＵＴを参照して補正特性を直線の非補正特性に変更する。

なお、操作者は、ユーザＩ／Ｆ部２０４から、カメラ番号を指定するようにしてもよい。これに伴い、ユーザＩ／Ｆ部２０４は、指定されたカメラ番号を制御部２０１に送信し、この通知を受信した制御部２０１は初期化信号を画像処理部２０５に出力する。そして、画像処理部２０５は、受信した初期化信号に従ってガンマ補正を非補正特性に変更する。これにより、操作者がカメラ番号を変更した場合にも、適切な切り替えタイミングに応じた画質補正処理を行うことができる。

次に、本発明の実施形態を適用したネットワークカメラ監視システムにおけるネットワークデコーダ装置の第四実施例について説明する。第一乃至第三実施例は、画像処理部２０５が１つのＬＵＴを使用してガンマ補正処理を実行する例であり、比較的少ないメモリ容量で構成することができる。しかしながら、これらの例は、初期状態に戻す必要がない場合でも初期化信号の発生により非補正特性になる場合があるため、補正演算結果が無駄になる場合がある。例えば、セキュリティ分野での実施においては、ネットワークカメラ１１−１〜１１−４の４台からの映像をモニタ１３に順次表示させる場合、カメラ番号１→カメラ番号２→カメラ番号３→カメラ番号４→カメラ番号１→・・・のように巡回させるケースが多い。よって、各ネットワークカメラ１１に補正演算結果を保持することができれば、いちいち初期状態に戻す必要がなく、以前の補正演算結果を用いてガンマ補正処理を実行することができ効率的である。

図１０は、本実施例におけるネットワークデコーダ装置１２ｃの概略の内部構成図である。なお、第一実施例にて説明したブロックと同一のものについては、同一の符号を付してその説明を省略する。画像処理部２０５は、ガンマ補正用ＬＵＴアレイ２１０（パラメータ保持部）を生成して保持する。ガンマ補正用ＬＵＴアレイ２１０は、図３に例示したようなＬＵＴを、ネットワークカメラ１１の台数分、各カメラ番号に対応させて構成したものである。なお、クロマ補正をネットワークカメラ１１毎に行う場合も、ガンマ補正用ＬＵＴアレイ２１０のようなクロマ補正用アレイを生成して保持することが望ましい。

制御部２０１は、受信している符号化映像データに対応するカメラ番号を画像処理部２０５に通知する。そして、画像処理部２０５は、制御部２０１から通知されたカメラ番号に従って、ガンマ補正用ＬＵＴアレイ２１０の中から対応するＬＵＴを選択しガンマ補正処理を実行する。

次に、本発明の実施形態を適用したネットワークカメラ監視システムにおけるネットワークデコーダ装置の第五実施例について、図１１のフローチャートを併せ参照して説明する。本実施例は、ネットワークデコーダ装置１２ｄの制御部２０１が、ＲＯＭ２０２に格納された制御ソフトウェアをＲＡＭ２０３にロードして実行することにより、ネットワークデコーダ装置１２ｄの主要な機能を実現する例である。なお、制御部２０１には、ソフトウェア機能ブロックとして、画像処理部が含まれるものとする。

まず、ネットワークデコーダ装置１２ｄは、ネットワーク１４を介して接続されたネットワークカメラ１１−１〜１１−ｎから送出された、パケットデータ化されたＪＰＥＧファイルをネットワークＩ／Ｆ部２００で受信して制御部２０１に供給する（ステップＳ２００）。

次に、制御部２０１は、ＪＰＥＧファイルのヘッダ情報を参照し、これに記録されたファイルサイズデータと実際に受信したＪＰＥＧファイルのデータサイズとを比較してデータサイズに相違がないこと、ＪＰＥＧファイルに含まれたハフマンテーブルの妥当性、データフォーマット（Ｙ：Ｃｂ：Ｃｒ比が４：２：０，４：２：４，又は４：１：１のいずれかであること）等のデコード可能性を判定し（ステップＳ２０１）、このステップでいずれかの異常を検出した場合は処理を終了する。

制御部２０１は、ステップＳ２０１においてデコード可能と判定した場合、図４のフローチャートに基づき、前回受信したＪＰＥＧファイルとのデータサイズの比較を行う（ステップＳ２０２）。次に、制御部２０１は、比較したデータサイズの変動率が所定の閾値（例えば、第一実施例の場合と同様に６０％）を越えたと判定した場合に、画像処理部に対してリセット要求を出力して輝度補正値を初期状態に変更する（ステップＳ２０４）。一方、データサイズの変動率が閾値以下である場合は、画像処理部にリセット要求を出力せずに以下のステップＳ２０５に進む。

制御部２０１の画像処理部は、ＪＰＥＧデータをＭＣＵ（Ｍｉｎｉｍｕｍ ＣｏｄｅｄＵｎｉｔ）単位で復号処理を行い、ピクセル毎の輝度成分やクロマ成分を生成する（ステップＳ２０５）。

次に、画像処理部は、デコード後の輝度成分やクロマ成分から、前記特許文献１に記載の方法によりヒストグラム分布、輝度値の総加算数、ピクセル数、輝度最大値、輝度最小値等の特徴量を算出する（ステップＳ２０６）。ステップＳ２０５及びステップＳ２０６の各処理は、全てのＭＣＵのデコードが終了するまで繰り返される（ステップＳ２０７）。そして、全てのＭＣＵのデコード処理が終了したとき、ステップＳ２０６において算出した特徴量からＬＵＴを計算してＲＡＭ２０３に記憶する（ステップＳ２０８）。このＬＵＴは、次のＪＰＥＧファイルを受信したときに参照される。

ここで、上述したステップＳ２０６においてＬＵＴを参照して画像処理する際、例えば次の２つの方法が適用できる。

＜方法１＞
デコード中の画像情報の特徴量を反映しないＬＵＴを用いて画像処理する方法である。これは、上述した図１１のフローチャートによる方法であり、全てのＭＣＵのデコード処理が完了しなくても、ＬＵＴは前回のＪＰＥＧデータに基づき算出されているため、ＭＣＵ単位でデコードしながら輝度補正等の画像処理を並行して実行でき、高速な処理ができる。

＜方法２＞
デコード中の画像情報の特徴量を反映したＬＵＴを用いて画像処理する方法である。この場合、全てのＭＣＵのデコードが完了してから、全てのピクセルの輝度値補正等の画像処理を行う処理である。すなわち、ステップＳ２０６においては、特徴量の算出とＬＵＴへの記憶処理とステップＳ２０８を行い、別ループにて輝度補正等の画像処理を行う手法である。これは、順次処理のため、方法１よりも低速処理になりやすく、高速化するにはコストアップとなる。しかしながら、この方法２によれば、デコード中の画像に対する最適なＬＵＴ補正値を決め易く、監視者にとって非常に見やすい映像出力が可能である。

以上詳述したように、第一実施例〜第五実施例によれば、ネットワークカメラ１１−１〜１１−ｎから送信された複数のフレーム内符号化映像データをネットワークデコーダ装置１２（１２ａ，１２ｂ，１２ｃ，１２ｄ）が選択的に受信してデコード処理し、モニタ１３に出力する場合において、ネットワークデコーダ装置１２（１２ａ，１２ｂ，１２ｃ，１２ｄ）は、各符号化画像データの復号後のフレームデータについて画質に応じた輝度補正処理を行って最適な画質のフレームデータを得ることができる。そして、フレーム内符号化映像データの切り替えタイミングを検出して一旦輝度補正処理を初期化させることができるため、フレーム内符号化映像データを任意に切り替えた場合でも、特段の違和感を監視者に与えることなく、画質補正がされたフレームデータをモニタ１３に出力することができる。

なお、上述した第一実施例から第四実施例における画像処理部２０５、データサイズ変動率計算部２０６、変動率判定部２０７、及び受信データ間隔計測部２０９による処理を、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなデジタル信号処理回路で一体的に処理するようにしてもよい。

本発明は、セキュリティ分野におけるネットワークカメラ監視システムにおいて特に有用である。

本発明の実施形態を適用したネットワークカメラ監視システムの概略の全体構成図である。 第一実施例における、ネットワークデコーダ装置の概略の内部構成図である。 第一実施例における、輝度値を補正するためのＬＵＴを模式的に表した図である。 第一実施例における、データサイズ変動率計算部の動作を説明するためのフローチャートである。 第一実施例における、１フレームデータあたりの符号化画像データのデータサイズと時間軸上での変動をグラフに表した図である。 第二実施例における、ネットワークデコーダ装置の概略の内部構成図である。 第二実施例における、ネットワークデコーダ装置が複数の異なるフレームレートの符号化映像データを受信した場合のカメラ切り替えについて説明するための図である。 第二実施例における、輝度値を補正するためのＬＵＴを模式的に表した図である。 第三実施例における、制御部が実行する処理を説明するためのフローチャートである。 第四実施例における、ネットワークデコーダ装置の概略の内部構成図である。 第五実施例における、制御部が実行する処理を説明するためのフローチャートである。

符号の説明

１１−１〜１１−ｎ ネットワークカメラ
１２，１２ａ，１２ｂ，１２ｃ ネットワークデコーダ装置
１３ モニタ
１４ ネットワーク
２００ ネットワークインターフェース部
２０１ 制御部
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ユーザインターフェース部
２０５ 画像処理部
２０６ データサイズ変動率計算部
２０７ 変動率判定部
２０９ 受信データ間隔計測部
２１０ ガンマ補正用ＬＵＴアレイ

Claims (2)

1. ネットワークを介して供給された複数のフレーム内符号化映像データのうちいずれか１つを選択的に受信し、フレーム単位で復号手段に順次入力して復号処理し、これら順次復号されたフレームデータを出力するネットワークデコーダ装置において、
   前記復号手段により復号されたフレームデータを入力し、輝度成分のヒストグラムを算出してその輝度分布に基づき輝度補正用パラメータを決定して保持すると共に、初期化信号の入力に従って前記保持している輝度補正用パラメータを非補正用パラメータに変更するパラメータ保持部を有し、この保持又は変更したパラメータに基づきフレームデータの輝度成分を補正する輝度補正手段と、
   前記受信したフレーム内符号化映像データの各フレーム間の時間間隔を計測する受信データ間隔計測手段と、
   前記計測した時間間隔が所定時間以下である場合は、前記輝度補正手段に保持された輝度補正用パラメータを用いてフレームデータの輝度成分を補正させる一方、前記時間間隔が所定時間を越える場合は、前記輝度補正手段に初期化信号を出力して前記変更された非
   
   補正用パラメータを用いてフレームデータの輝度成分を補正させる制御手段と、
   を備えたことを特徴とするネットワークデコーダ装置。
2. ネットワークを介して供給された、それぞれ識別子を含む複数のフレーム内符号化映像データのうち指定された１つの識別子に対応するフレーム内符号化映像データを受信し、フレーム単位で復号手段に順次入力して復号処理し、これら順次復号されたフレームデータを出力するネットワークデコーダ装置において、
   前記指定された１つの識別子に対応するフレーム内符号化映像データの復号処理を開始してからの時間の経過を計測する計測手段と、
   前記計測手段が所定の時間の経過を計測したときに前記指定された１つの識別子を他の識別子に変更する識別子変更手段と、
   前記復号処理により復号されたフレームデータを入力し、輝度成分のヒストグラムを算出してその輝度分布に基づき輝度補正用パラメータを決定して保持するパラメータ保持部を有し、前記保持した輝度補正用パラメータに基づきフレームデータの輝度成分を補正する輝度補正手段と、
   前記識別子変更手段による識別子の変更に応じて、前記パラメータ保持部に保持された前記輝度補正用パラメータを直線の非補正特性である非補正用パラメータに変更する指示を行う制御手段と、
   を備えたことを特徴とするネットワークデコーダ装置。

Images