JP2006108869A - 撮像装置、復号化装置 - Google Patents

Abstract

【課題】本発明は、撮像装置、復号化装置に関し、例えば監視装置に適用して、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができるようにする。
【解決手段】 本発明は、順次段階的に解像度を低減して複数の縮小画像を生成し、最も解像度の低い縮小画像については、画像データＤ３を符号化処理して出力すると共に、他の縮小画像及び元画像については、１段階前の縮小画像による予測画像データとの差分データＤ４を符号化処理して出力するようにして、この段階数を伝送に利用可能な帯域に応じて切り換える。
【選択図】 図１

Description

本発明は、撮像装置、復号化装置に関し、例えば監視装置に適用することができる。本発明は、順次段階的に解像度を低減して複数の縮小画像を生成し、最も解像度の低い縮小画像については、画像データを符号化処理して出力すると共に、他の縮小画像及び元画像については、１段階解像度の低い縮小画像による予測画像データとの差分データを符号化処理して出力するようにして、この段階数を伝送に利用可能な帯域に応じて切り換えることにより、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができるようにする。

近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group ）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するように構成されている。

ここでこのような方式の１つであるＭＰＥＧ２（ISO/IEC 13818-2 ）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができる。

しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。

またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）の規格化が進み、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保できるようになり、またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、２００３年３月に、Ｈ２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（ＡＶＣ：Advanced Video Coding ）との名称により国際標準に設定された。

ここで図４は、このＡＶＣに基づく符号化装置を示すブロック図である。この符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。

すなわちこの符号化装置１において、アナログディジタル変換回路（Ａ／Ｄ）２は、ビデオ信号ＳＶをアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替えバッファ３は、このアナログディジタル変換回路２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。

減算器４は、この画面並べ替えバッファ３から出力される画像データＤ１を受け、イントラ符号化においては、イントラ予測回路５で生成される予測値との差分データＤ２を生成して出力するのに対し、インター符号化においては、動き予測・補償回路６で生成される予測値との差分データＤ２を生成して出力する。直交変換回路７は、減算器４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データＤ３を出力する。

量子化回路８は、レート制御回路９のレート制御による量子化スケールにより、この変換係数データＤ３を量子化して出力する。可逆符号化回路１０は、この量子化回路８の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化回路１０は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測回路５、動き予測・補償回路６から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。

蓄積バッファ１１は、この可逆符号化回路１０の出力データＤ４を蓄積して続く伝送路の伝送速度により出力する。レート制御回路９は、この蓄積バッファ１１の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路８における量子化スケールを切り換え、これによりこの符号化装置１による発生符号量を制御する。

逆量子化回路１３は、量子化回路８の出力データを逆量子化処理し、これにより量子化回路８の入力データを再生する。逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、これにより直交変換回路７の入力データを再生する。デブロックフィルタ１５は、この逆直交変換回路１４の出力データよりブロック歪を除去して出力する。フレームメモリ１６は、このデブロックフィルタ１５の出力データに、適宜、イントラ予測回路５又は動き予測・補償回路６により生成される予測値を加算して参照画像情報として記録する。

しかして動き予測・補償回路６は、フレームメモリ１６に保持された参照画像情報による予測フレーム（参照フレーム）を基準にして画像並べ替えバッファ３から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償してインター予測の最適モードを検出する。またインター予測により符号化処理を実行する場合、この最適モードにより予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。

イントラ予測回路５は、イントラ符号化において、フレームメモリ１６に蓄積された参照画像情報に基づいてイントラ予測モードの最適モードを検出する。またイントラ予測により符号化処理する場合には、この最適モードにより参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。

これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データＤ２とイントラ予測による差分データＤ２とを生成し、これらの差分データＤ２を直交変換処理、量子化処理、可変長符号化処理して伝送する。

図５は、このようにして符号化処理された符号化データＤ４を復号化処理する復号化装置を示すブロック図である。この復号化装置２０において、蓄積バッファ２１は、伝送路を介して入力される符号化データＤ４を一時蓄積して出力する。可逆復号化回路２２は、この蓄積バッファ２１の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置１における可逆符号化回路１０の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測回路２３に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号して動き予測・補償回路２４へ転送する。

逆量子化回路２５は、可逆復号化回路２２の出力データを逆量子化処理し、これにより符号化装置１の量子化回路８に入力される変換係数データＤ３を再生する。逆直交変換回路２６は、この逆量子化回路２５から出力される変換係数データを受け、４次の逆直交変換処理を実行し、これにより符号化装置１の直交変換回路７に入力される差分データＤ２を再生する。

加算器２７は、逆直交変換回路２６から出力される差分データＤ２を受け、イントラ符号化において、イントラ予測回路２３で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償回路２４から出力される予測画像による予測値を加算して出力する。これにより加算器２７は、符号化装置１における減算器４の入力データを再生する。

デブロックフィルタ２８は、この加算器２７の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ２９は、このデブロックフィルタ２８から出力される画像データのフレームをＧＯＰ構造に応じて並べ替えて出力する。ディジタルアナログ変換回路（Ｄ／Ａ）３０は、この画面並べ替えバッファ２９の出力データをディジタルアナログ変換処理して出力する。

フレームメモリ３１は、デブロックフィルタ２８の出力データを参照画像情報として記録して保持する。動き予測・補償回路２４は、インター符号化において、可逆復号化回路２２から通知される動きベクトルの情報によりフレームメモリ３１に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器２７に出力する。またイントラ予測回路２３は、イントラ符号化において、可逆復号化回路２２から通知されるイントラ予測モードによりフレームメモリ３１に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器２７に出力する。

なおこのような一連の処理に係る離散コサイン変換は、次式により表される。ここでＮｘ及びＮｙは、ＤＣＴ処理に係るブロックの水平方向及び垂直方向の画素数である。

またこのようなイントラ符号化にあっては、予測値との差分値を符号化処理してＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation ）する処理であり、図６及び次式に示すようにして７種類のモードにより予測値が生成される。なお図６及び次式にあっては、モードの理解を容易とするために、隣接画素との関係により予測値の生成を概念的に説明するものであり、実際のＡＶＣでは、４×４画素のブロック又は１６×１６画素のブロックを単位にして、このブロックの隣接画素により生成される。

ここでｘは処理対象画素であり、第１のモードでは、水平方向、ラスタ走査開始側の隣接画素ａの画素値が予測値に設定される。また第２のモードでは、この隣接画素ａの垂直方向、ラスタ走査開始側の隣接画素ｂの画素値が予測値に設定され、また第３のモードでは、この隣接画素ｂに続く隣接画素ｃの画素値が予測値に設定される。また第４〜第７のモードでは、これら画素ａ〜ｃによる画素値の演算処理により予測値が設定される。

これにより符号化装置１では、これら予測値を用いて次式の演算処理により得られる予測誤差Ｅ、この予測誤差Ｅの生成に供したモードを伝送し、復号化装置２０では、この伝送された情報により符号化装置１と同様にして予測値を生成し、元の画像データを復号する。

このような符号化装置は、撮像素子による撮像結果のデータ圧縮等に使用され、このような撮像素子においては、従来からのＣＣＤ（Charge Coupled Device ）固体撮像素子に対して、近年、ＣＭＯＳ固体撮像素子の使用が増大している。

ここで図７に示すように、ＣＣＤ固体撮像素子４１は、フォトダイオードによる各画素４２に保持された蓄積電荷を垂直転送レジスタ４３に転送し、この垂直転送レジスタ４３に転送した蓄積電荷を水平転送レジスタ４４に順次転送しながら水平転送レジスタ４４により順次転送して出力する。これによりＣＣＤ固体撮像素子４１は、通常、ラスタ走査の順序により撮像結果を出力する。これに対して図８に示すように、ＣＭＯＳ固体撮像素子４６は、垂直走査回路４７及び水平走査回路４８によるＸＹアドレス制御により、フォトダイオードによる各画素４９に保持された蓄積電荷を出力し、これにより各画素４９の撮像結果を高速度で読み出すことができ、また読み出しの順序等にあっても高い自由度を確保することができる。またＣＭＯＳ固体撮像素子４６は、消費電力がＣＣＤ固体撮像素子の１／５程度と低く、さらに周辺回路と一体化が容易な特徴がある。

なお図９は、ＣＣＤ固体撮像素子４１の処理系を示すブロック図であり、ＣＣＤ固体撮像素子４１では、各画素４２の撮像結果である蓄積電荷を垂直レジスタ（Ｖレジ）４３、水平レジスタ（Ｈレジ）４４により順次転送してフローティングディフュージョンアンプ（ＦＤＡ）５１に入力し、ここで蓄積電荷量に応じた出力電圧を生成する。ＣＣＤ固体撮像素子４１の処理系は、このフローティングディフュージョンアンプ５１の出力信号を相関二重サンプリング回路（ＣＤＳ）５２により相関二重サンプリング処理した後、プログラマブルゲインアンプ（ＰＧＡ）５３により信号レベルを補正し、アナログディジタル変換回路（ＡＤＣ）５４により画像データに変換する。

また図１０は、ＣＭＯＳ固体撮像素子４６の処理系を示すブロック図である。ＣＭＯＳ固体撮像素子４６では、各画素４９による蓄積電荷を各画素４９に設けられたフローティングディフュージョンアンプ（ＦＤＡ）５６により出力電圧に変換し、この出力電圧を行毎にまとめてカラムＣＤＳブロック（カラムＣＤＳ）５７により相関二重サンプリング処理して出力する。ＣＭＯＳ固体撮像素子４６の処理系は、このカラムＣＤＳブロック５７の出力信号をプログラマブルゲートアレー（ＰＧＡ）５８により処理した後、アナログディジタル変換回路（ＡＤＣ）５９により画像データに変換する。

また図１１は、ＣＣＤ固体撮像素子４１による具体的なシステムの構成を示すブロック図であり、ＣＣＤ固体撮像素子４１は、動作基準の各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）６１と、このタイミングジェネレータ６１によるタイミング信号からＣＣＤ固体撮像素子４１の駆動に供する各種駆動信号を生成する垂直駆動回路６２、水平駆動回路６３による駆動回路６４とが１つのチップにより形成される。また相関二重サンプリング回路（ＣＤＳ）５２、プログラマブルゲインアンプ（ＰＧＡ）５３、アナログディジタル変換回路（ＡＤＣ）５４によるアナログフロントエンド（ＡＦＥ）６５が１チップにより形成され、このアナログフロントエンド６５から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６６により処理する。これらのうち駆動回路６４とアナログフロントエンド６５とは、通常、１つのパッケージに一体に形成され、これによりＣＣＤ固体撮像素子４１によるシステムは、通常、３パッケージによる４チップにより形成される。なお駆動回路６４とアナログフロントエンド６５とは、スタック２ｉｎ１パッケージ技術により一体に作成される場合もある。

また図１２は、ＣＭＯＳ固体撮像素子４６による具体的なシステムの構成を示すブロック図であり、ＣＭＯＳ固体撮像素子４６は、画素４９をマトリックス状に配置して画素部６７が形成され、垂直走査回路４７、水平走査回路４８、カラムＣＤＳブロック５７、プログラマブルゲートアレー５８、アナログディジタル変換回路５９の動作を制御ロジック６８により制御するようにして、これらの回路ブロックが一体に集積回路化して形成される。またこの集積回路から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６９により処理し、これらによりこの図１２の例では、２チップにより構成される。なおＣＭＯＳ固体撮像素子４６によるシステムでは、プログラマブルゲートアレー５８、アナログディジタル変換回路５９を別チップとした３チップにより構成される場合もある。

このような符号化装置による画像データの伝送に関して、例えば国際公開第ＷＯ００／０４７１６号明細書には、伝送路の帯域に応じて画素の間引きを変更することにより、画像データの伝送に供するデータ量を可変する方法が提案されている。

ところで近年、インターネットは、単なるホームページの閲覧だけでなく、種々のデータの伝送に利用される。これにより監視用の撮像装置から出力されるビデオ信号を符号化処理し、その処理結果による画像データをインターネットで伝送することにより、例えば出先に居ながらにして自宅の様子を確認したり、さらには遠隔地からの工事現場、事故現場の確認等に利用できると考えられる。

しかしながらこのような確認に使用するモニタ用の端末装置は、例えばコンピュータが使用される場合もあれば、携帯電話が使用される場合もある。またインターネットへの接続に光ファイバーによる回線が使用される場合もあれば、携帯電話回線が使用される場合もある。これによりこのような監視装置に適用される符号化装置にあっては、伝送路の帯域が広い範囲で種々に変化し、この帯域の変化に適切に対応することが必要になる。
国際公開第ＷＯ００／０４７１６号明細書

本発明は以上の点を考慮してなされたもので、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができるようにする。

かかる課題を解決するため請求項１の発明においては、撮像結果を出力する撮像手段と、前記撮像結果をアナログディジタル変換処理して画像データを出力するアナログディジタル変換手段と、前記画像データによる元画像を所定の段階数だけ順次段階的に解像度を低減して複数の縮小画像を生成する縮小画生成手段と、前記縮小画生成手段で生成される複数の縮小画像のうちの最も解像度の低い縮小画像については、対応する画像データを符号化処理して符号化データを出力し、他の縮小画像及び前記元画像については、１段階だけ解像度の低い前記縮小画像による予測画像データとの差分データを符号化処理して符号化データを出力する符号化手段と、前記符号化データから前記予測画像データを生成する予測画像データ生成手段とを備えるようにする。

また請求項１１の発明においては、所定の符号化装置で符号化処理された画像データを復号化する復号化装置において、前記符号化装置は、画像データによる元画像を所定の段階数だけ順次段階的に解像度を低減して複数の縮小画像を生成する縮小画生成手段と、前記縮小画生成手段で生成される複数の縮小画像のうちの最も解像度の低い縮小画像については、対応する画像データを符号化処理して符号化データを出力し、他の縮小画像及び前記元画像については、１段階だけ解像度の低い前記縮小画像による予測画像データとの差分データを符号化処理して符号化データを出力する符号化手段と、前記符号化データから前記予測画像データを生成する予測画像データ生成手段とを有し、前記復号化装置は、前記符号化データを復号化して画像データ、差分データを出力する復号化手段と、前記復号化手段より得られる前記画像データを一時保持する画像メモリと、前記画像メモリに保持した前記画像データによる画像を１段階分だけ解像度を増大させて前記予測画像データを生成する拡大画生成手段と、前記予測画像データに前記復号化手段で復号化された差分データを加算して画像データを生成し、該画像データにより前記画像メモリに記録された画像データを更新する加算回路とを備えるようにする。

請求項１の構成により、撮像結果を出力する撮像手段と、前記撮像結果をアナログディジタル変換処理して画像データを出力するアナログディジタル変換手段と、前記画像データによる元画像を所定の段階数だけ順次段階的に解像度を低減して複数の縮小画像を生成する縮小画生成手段と、前記縮小画生成手段で生成される複数の縮小画像のうちの最も解像度の低い縮小画像については、対応する画像データを符号化処理して符号化データを出力し、他の縮小画像及び前記元画像については、１段階だけ解像度の低い縮小画像による予測画像データとの差分データを符号化処理して符号化データを出力する符号化手段と、前記符号化データから前記予測画像データを生成する予測画像データ生成手段とを備えるようにすれば、伝送対象等に応じて符号化処理により出力する段階を切り換えるようにして、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができる。

これにより請求項１１の構成によれば、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができる。

本発明によれば、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１に係る監視システムを示すブロック図である。この監視システム７０は、インターネット７１を介して監視装置７２による撮像結果を端末装置７３に伝送する。このため監視装置７２は、事前の設定により被写体を撮像して撮像結果を得、この撮像結果をデータ圧縮してインターネット７１に送出する。また端末装置７３は、インターネット７１を介して得られる監視装置７２による撮像結果を取得して表示する。

ここで監視装置７２において、レンズ７４は、撮像素子７５の撮像面に入射光を集光することにより、この撮像面に被写体の画像を形成する。撮像素子７５は、例えばＣＭＯＳ固体撮像素子により形成され、図示しない駆動部から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像結果を出力する。この処理において、撮像素子７５は、後述する画像処理回路７８に設けられた制御回路９１による制御により、インターフェース７９から出力する符号化データＤ２のデータ転送速度に対応するフレームレートにより撮像結果を取得して撮像信号Ｓ１を出力する。

アナログディジタル変換回路（Ａ／Ｄ）７６は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画像メモリ７７は、アナログディジタル変換回路７６から出力される画像データＤ１を一時格納して保持し、続く画像処理回路７８の処理に対応するタイミングにより順次出力する。

画像処理回路７８は、この画像メモリ７８から出力される画像データＤ１を符号化処理し、その処理結果による符号化データＤ２を出力する。この処理において、画像処理回路７８は、続くインターフェース（ＩＦ）７９によるデータ転送速度に応じて画像データＤ１の処理を切り換え、これによりこの監視装置７２は、このインターフェース７９によるインターネット７１への接続により広い範囲で変化する種々のデータ転送レートに対応して符号化データＤ２を送出する。

ここでインターフェース７９は、インターネット７１への接続手段を複数有するデータ通信手段であり、画像処理回路７８から出力される符号化データＤ２をインターネット７１に送出する。なおこのような接続手段にあっては、携帯電話回線による接続に供する無線通信手段、無線ＬＡＮ（Local Area Network）による接続に供する無線通信手段、有線によるデータ通信手段等である。これにより監視装置７２は、このインターフェース７９によるインターネット７１への接続に応じて、符号化データＤ２の送出に係るデータ転送レートが広い範囲で種々に変化し、このデータ転送レートの種々の変化に対応して符号化データＤ２の処理を切り換える。

このように構成される監視装置７２において、撮像素子７５は、半導体チップの積層により周辺回路と一体化されて集積回路８０により構成され、この実施例では、この一体化に係る周辺回路に、アナログディジタル変換回路７６、画像メモリ７７、画像処理回路７８が適用される。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。

これに対して端末装置７３において、インターフェース（ＩＦ）８１は、監視装置７２によりインターネット７１に送出された符号化データＤ２を受信して復号化回路８２に出力し、復号化回路８２は、この符号化データＤ２をデコードして画像データを出力する。モニタ装置８３は、この復号化回路８２から出力される画像データＤ２による画像を表示する。

図１は、監視装置７２の画像処理回路７８を示すブロック図である。この画像処理回路７８は、順次段階的に画像データＤ１の解像度を低減して複数の縮小画像を生成し、最も解像度の低い縮小画像より順次符号化処理して符号化データＤ２を出力する。また伝送路の帯域及び画像データＤ１に応じて、この解像度の低減に係る段階数を切り換えると共に、解像度の低い側より順次符号化データＤ２を出力する。

すなわちこの画像処理回路７８において、制御回路９１は、この監視装置７２の設置時に設定されたインターフェース７９におけるインターネット７１への接続手段に応じて、インターフェース７９から出力可能な符号化データＤ２のデータ転送レートが低くなるに従って増大するように段階数を設定する。これにより画像処理回路７８は、インターフェース７９側により制限される伝送路の帯域により、段階数を設定する。また画像メモリ７７に保持した画像データＤ１による撮像結果を事前に取得してアクティビティーを検出することにより、符号化処理に要する困難度を検出し、これにより符号化処理により発生する符号量を予測する。制御回路９１は、この予測される発生符号量が多くなるに従って増大するように段階数を設定する。これにより画像処理回路７８は、画像データＤ１に応じて段階数を設定する。このようにして段階数を設定すると、制御回路９１はこの段階数による解像度の低減を縮小画作成回路９２等に指示する。

またこのようにして縮小画作成回路９２等の動作を制御して符号化データＤ２の出力を開始して、インターフェース７９で検出される端末装置７３からの応答によりデータ転送速度を監視し、この監視結果に基づいて、撮像素子７５によるフレームレートを制御する。これによりこの実施例では、伝送路の帯域が狭い場合には、その分、フレームレートを低減して撮像結果を取得し、この撮像結果を符号化処理して出力する。

縮小画作成回路９２は、この制御回路９１の制御により、画像メモリ７７に記録された画像データＤ１の解像度を順次段階的に低減する。すなわち縮小画作成回路９２は、２次元の縮小フィルタであり、始めに、画像メモリ７７に格納された画像データＤ１を何ら処理することなく画像メモリ９３に出力する。また続いて第１段階の処理として、この画像メモリ７７に格納された画像データＤ１の解像度を１／２に低減して出力し、これによりこの画像データＤ１による元画像に対して水平方向、垂直方向に画素数を１／２に低減した縮小画像を生成する。また続いて第２段階の処理として、この解像度を１／２に低減した縮小画像の画像データを処理対象に設定して、同様の処理を実行することにより、元画像に対して水平方向及び垂直方向に解像度を１／４に低減した縮小画像の画像データを生成する。縮小画作成回路９２は、制御回路９１で設定された段階数の分だけ、このように処理対象を切り換えて解像度低減の処理を繰り返す。

画像メモリ９３は、この縮小画作成回路９２から出力される画像データを一時記録して保持し、縮小画作成回路９２からの出力される段階の順序とは逆の順序により出力する。すなわち画像メモリ９３は、最も解像度の低い縮小画像による画像データを出力した後、縮小画像生成手段における段階的な解像度の低減を逆上る順序により順次画像データを出力する。

減算回路９４は、最も解像度の低い縮小画像による画像データＤ３にあっては、何ら処理することなく続く画像符号化回路９５に出力する。これに対して続く段階の画像データにあっては、予測画像データ生成回路９６から出力される予測画像データとの間で差分データＤ４を得、この差分データＤ４を続く画像符号化回路９５に出力する。

画像符号化回路９５は、この減算回路９４から出力される画像データＤ３、差分データＤ４を符号化処理して符号化データＤ２を出力する。ここで画像符号化回路９５は、例えば図４について上述したＡＶＣによる符号化回路が適用されるものの、可逆符号化処理に係る符号化回路、不可逆符号化処理に係る符号化回路の何れを適用するようにしてもよく、また処理対象データの段階に応じて切り換えるようにしてもよい。因みに、この実施例においては、後述するように先に符号化処理した画像データを復号化して予測画像データを生成することにより、例えば解像度が最も小さな縮小画像だけを可逆符号化処理により符号化処理して画質を向上する場合、さらには原画像に係る差分データＤ４だけを不可逆符号化処理により符号化処理してさらに画質を向上する場合等が考えられる。

しかして予測画像データ生成回路９６は、このようにして生成される符号化データＤ２より続く段階の処理に係る予測画像データを生成する。すなわちこの予測画像データ生成回路９６において、画像復号化回路９７は、符号化データＤ２を復号化処理して減算回路９４から出力される画像データＤ３、差分データＤ４を再生して出力し、加算回路９８は、この画像復号化回路９７から出力される画像データＤ３、差分データＤ４を入力し、画像データＤ４については何ら処理することなく続く画像メモリ９９に出力する。これに対して差分データＤ３については、拡大画作成回路１００から出力される予測画像データと加算して対応する縮小画像の画像データを生成し、この画像データを画像メモリ９９に出力する。これにより画像メモリ９９に保持された１段階前の画像データを解像度の高い画像データにより順次更新する。

拡大画作成回路１００は、この画像メモリ９９に保持された画像データよる縮小画像の解像度を１段階分だけ増大させ、これにより続く段階の処理に係る予測画像データを生成する。

図３は、端末装置７３に設けられる復号化回路８２を詳細に示すブロック図である。この復号化回路８２において、画像復号化回路１０１は、インターフェース８１から入力される符号化データＤ２を入力して画像データＤ３、差分データＤ４を復号化し、これら画像データＤ３、差分データＤ４を出力する。画像メモリ１０２は、この画像復号化回路１０１から出力される画像データＤ３を入力して一時保持し、また加算回路１０４から入力される画像データによりこの保持した画像データを更新する。

拡大画作成回路１０３は、画像メモリ１０２に保持された画像データよる縮小画像の解像度を１段階分だけ増大させ、これにより続く段階の処理に係る予測画像データを生成して出力する。加算回路１０４は、拡大画作成回路１０３から出力される予測画像データと画像復号化回路１０１から出力される差分データＤ４とを加算して対応する縮小画像、原画像の画像データを生成し、この画像データを画像メモリ１０２に出力する。

（２）実施例の動作
以上の構成において、この監視システム７０では（図２）、監視装置７２により得られる監視結果による画像データが符号化処理されて符号化データＤ２により出力され、インターネット７１を介してこの符号化データＤ２が端末装置７３で画像データに復号化されてモニタされる。これによりこの監視システム７０では、例えばこの端末装置７３が携帯電話である場合には、携帯電話回線によりインターネット７１に接続することにより、伝送路の帯域が極めて狭くなる。またこの監視装置７２からの符号化データＤ２のインターネット７１への送出が携帯電話回線による場合にも、伝送路の帯域が極めて狭くなる。またこれらに反して、これらインターネット７１への接続が光ファイバー等によるＬＡＮによる場合には、伝送路に充分な帯域を確保することが可能となる。これらにより画像データの伝送に供する伝送路の帯域が広い範囲で種々に変化することになる。

このためこの監視システム７０において、監視装置７２では、この伝送路の帯域に応じたフレームレートにより撮像素子７５で撮像結果を得、この撮像結果による画像データＤ１が画像処理回路７８により符号化処理される。この符号化処理において（図１）、画像データＤ１は、順次段階的に解像度が低減されて、伝送路の帯域及び画像データＤ１に応じてこの段階的な処理に係る段階数が切り換えられる。またこのようにして最も解像度の低い画像データＤ３にあっては、この画像データの符号化処理により符号化データＤ２が生成され、これ以外の画像データにあっては、１段階解像度の低い画像データにより生成される予測画像データとの間の差分データＤ４が符号化処理されて符号化データＤ２が生成される。

これによりこの監視システム７０では、伝送路の帯域が狭い場合、さらには画像データＤ１の符号化処理に要する困難度が高い場合には、多くの段階数に分けて画像データを伝送することができ、これによりこれらの場合においても、高い画質により確実に画像データを伝送することができる。またこれとは逆に、伝送路の帯域が充分な場合、さらには画像データの符号化処理に要する困難度が低い場合には、少ない段階数により画像データを伝送して処理を簡略化することができ、これらにより解像度の縮小処理に供する段階数を伝送に利用可能な帯域に応じて切り換えて、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができる。

またこの実施例では、このような解像度の縮小が水平方向及び垂直方向に画像の大きさを１／２に順次縮小する処理の繰り返しにより実行され、これにより簡易な処理により、さらには種々の解像度による撮像結果の処理に適用して、確実に縮小画像を生成して画像データを符号化処理することができる。

またこのような符号化データＤ２の処理においては、画像メモリ９３により段階的な解像度低減処理の順序とは逆の順序により画像データが並べ替えられた後、減算回路９４により予測画像データとの間の差分データＤ４が生成されて画像符号化回路９５により符号化処理され、これにより監視装置７２における予測画像データの生成、端末装置７３における復号化処理においては、順次符号化データＤ２を処理して、順次解像度の高い画像データを復号化することができ、これにより全体の構成、処理を簡略化することができる。

また予測画像データの生成においては、このような順序により符号化処理するようにして、符号化データＤ２を処理して得られる画像データＤ３、差分データＤ４のうち、画像データＤ３を画像メモリ９９に一時格納して加算回路９８から出力される差分データと予測画像データとの加算による画像データにより順次更新するようにし、この画像メモリ９９に格納された画像データが拡大画作成回路１００により１段階だけ解像度が増大されて予測画像データが生成され、これにより復号側で再生される画像データを予測した予測画像データにより順次縮小画像の画像データが符号化処理される。しかしてこのような予測画像データを用いた差分データの符号化処理においては、従前の符号化処理結果を用いた段階的な符号化処理であることにより、例えば端末装置７３に設けられたモニタ装置の解像度に対応する段階により処理を打ち切ることにより無駄なデータ伝送を防止する等、システムの構成に応じて柔軟かつ効率的な運用を担保することができる。

また各段階に可逆符号化処理と不可逆符号化処理を設定することができ、これにより所望する画質、効率により画像データを伝送することができ、これによってもシステムの構成に応じて柔軟かつ効率的な運用を担保することができる。

これによりこのようにして監視装置７２から出力された符号化データＤ２は、端末装置７３側においては、符号化装置における予測画像の生成に係る一連の処理と同一の処理により復号化されてモニタ装置８３によりモニタされる。

（３）実施例の効果
以上の構成によれば、順次段階的に解像度を低減して複数の縮小画像を生成し、最も解像度の低い縮小画像については、画像データを符号化処理して出力すると共に、他の縮小画像及び元画像については、１段階前の縮小画像による予測画像データとの差分データを符号化処理して出力するようにして、伝送に利用可能な帯域に応じてこの段階数を切り換えることにより、伝送路の帯域が広い範囲で種々に変化する場合でも、この帯域の変化に適切に対応することができる。

またこの段階数を、撮像手段による撮像結果に応じて切り換えることにより、撮像結果の解像度が種々に変化する場合でも、この変化に適切に対応して高画質により画像データを伝送することができる。

またこのような解像度の縮小が水平方向及び垂直方向に画像の大きさを１／２に順次縮小する処理の繰り返しであることにより、簡易な構成により画像データの解像度を順次縮小することができる。

またこの縮小処理による画像データの順序を並べ替えて、最も解像度の低い縮小画像による符号化データを送出した後、段階的な解像度の低減を逆上る順序により差分データによる符号化データを送出することにより、予測画像データの生成処理、伝送先における復号化処理においては、順次得られる符号化データを処理するだけの簡易な構成により対応する処理を実行することができ、その分、全体の構成を簡略化することができる。また例えば端末装置に設けられたモニタ装置の解像度に対応する段階により処理を打ち切ることにより無駄なデータ伝送を防止する等、システムの構成に応じて柔軟かつ効率的な運用を担保することができる。

またこのような画像データ、差分データの符号化処理に可逆符号化処理を適用することにより、画質を優先して画像データを伝送することができ、また不可逆符号化処理を適用することにより、伝送効率を優先して画像データを伝送することができる。また縮小画像の段階に応じて、可逆符号化処理と不可逆符号化処理とで切り換えることにより、これにより所望する画質、効率により画像データを伝送することができ、これによってもシステムの構成に応じて柔軟かつ効率的な運用を担保することができる。

なお上述の実施例においては、インターネットへの接続の回線により伝送路の帯域を判定して段階数を設定する場合について述べたが、本発明はこれに限らず、伝送対象にデータを送出して得られる応答により帯域を判定して段階数を設定するようにしてもよい。なおこの場合、このような帯域判定用のデータの伝送にあっては、例えば撮像結果を仮に伝送して所要時間を判定する場合等が考えられる。
また上述の実施例においては、本発明を監視システムに適用する場合について述べたが、本発明はこれに限らず、撮像結果を取得して伝送する種々の撮像装置、この撮像結果を復号化する種々の復号化装置に広く適用することができる。

本発明は、撮像装置、復号化装置に関し、例えば監視装置に適用することができる。

本発明の実施例に係る監視装置の符号化装置を示すブロック図である。 本発明の実施例に係る監視システムを示すブロック図である。 図２の監視システムにおける端末装置の復号化装置を示すブロック図である。 ＡＶＣ方式の符号化装置を示すブロック図である。 ＡＶＣ方式の復号化装置を示すブロック図である。 予測モードの説明に供する略線図である。 ＣＣＤ固体撮像素子を示す略線図である。 ＣＭＯＳ固体撮像素子を示す略線図である。 ＣＣＤ固体撮像素子の処理系を示すブロック図である。 ＣＭＯＳ固体撮像素子の処理系を示すブロック図である。 ＣＣＤ固体撮像素子によるシステムの構成を示すブロック図である。 ＣＭＯＳ固体撮像素子によるシステムの構成を示すブロック図である。

符号の説明

１……符号化装置、２０……復号化装置、４１、４７、７５……撮像素子、７７、９３、９９、１０２……画像メモリ、７８……画像処理回路、９２……縮小画作成回路、６４……減算回路、９５……画像復号化回路、９６……予測画像生成回路、９７、１０１……画像復号化回路、１００、１０３……拡大画作成回路

Claims (11)

1. 撮像結果を出力する撮像手段と、
   前記撮像結果をアナログディジタル変換処理して画像データを出力するアナログディジタル変換手段と、
   前記画像データによる元画像を所定の段階数だけ順次段階的に解像度を低減して複数の縮小画像を生成する縮小画生成手段と、
   前記縮小画生成手段で生成される複数の縮小画像のうちの最も解像度の低い縮小画像については、対応する画像データを符号化処理して符号化データを出力し、他の縮小画像及び前記元画像については、１段階だけ解像度の低い前記縮小画像による予測画像データとの差分データを符号化処理して符号化データを出力する符号化手段と、
   前記符号化データから前記予測画像データを生成する予測画像データ生成手段と
   を備えることを特徴とする撮像装置。
2. 前記縮小画生成手段における前記段階数を、前記撮像手段による撮像結果に応じて切り換える制御手段を有する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記縮小画生成手段における前記段階数を、前記符号化データの伝送路の帯域に応じて切り換える制御手段を有する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記縮小画生成手段における前記段階的な解像度の低減が、
   水平方向及び垂直方向に画像の大きさを１／２に順次縮小する処理の繰り返しである
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記最も解像度の低い縮小画像による前記符号化データを送出した後、前記縮小画生成手段における段階的な解像度の低減を逆上る順序により前記差分データによる符号化データを送出する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記予測画像データ生成手段は、
   前記符号化データを復号化して画像データ、差分データを出力する復号化手段と、
   前記復号化手段より得られる前記画像データを一時保持する画像メモリと、
   前記画像メモリに保持した前記画像データによる画像を１段階分だけ解像度を増大して前記予測画像データを生成する拡大画生成手段と、
   前記予測画像データに前記復号化手段で復号化された差分データを加算して画像データを生成し、該画像データにより前記画像メモリに記録された画像データを更新する加算回路とを有する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記符号化処理手段による、前記最も解像度の低い縮小画像に係る符号化処理、又は前記差分データに係る符号化処理が、可逆符号化処理である
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記符号化処理手段による、前記最も解像度の低い縮小画像に係る符号化処理、又は前記差分データに係る符号化処理が、不可逆符号化処理である
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記符号化処理手段は、
   前記縮小画像の段階に応じて、前記符号化処理を可逆符号化処理と不可逆符号化処理とで切り換える
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記撮像手段、前記アナログディジタル変換手段、前記縮小画生成手段、前記符号化手段が一体に集積回路化された
    ことを特徴とする請求項１に記載の撮像装置。
11. 所定の符号化装置で符号化処理された画像データを復号化する復号化装置において、
    前記符号化装置は、
    画像データによる元画像を所定の段階数だけ順次段階的に解像度を低減して複数の縮小画像を生成する縮小画生成手段と、
    前記縮小画生成手段で生成される複数の縮小画像のうちの最も解像度の低い縮小画像については、対応する画像データを符号化処理して符号化データを出力し、他の縮小画像及び前記元画像については、１段階だけ解像度の低い前記縮小画像による予測画像データとの差分データを符号化処理して符号化データを出力する符号化手段と、
    前記符号化データから前記予測画像データを生成する予測画像データ生成手段とを有し、
    前記復号化装置は、
    前記符号化データを復号化して画像データ、差分データを出力する復号化手段と、
    前記復号化手段より得られる前記画像データを一時保持する画像メモリと、
    前記画像メモリに保持した前記画像データの解像度を１段階分だけ増大して前記予測画像データを生成する拡大画生成手段と、
    前記予測画像データに前記復号化手段で復号化された差分データを加算して画像データを生成し、該画像データにより前記画像メモリに記録された画像データを更新する加算回路と
    を備えることを特徴とする復号化装置。
    

Images