JP2006080832A - 画像トランスコーダ - Google Patents

Abstract

【課題】本発明は、画像の主観品質を維持しつつ、画像符号化データの圧縮率を高めることができる画像トランスコーダを提供することを目的とする。
【解決手段】本発明に係る画像トランスコーダは、符号化された画像データ２２を入力する画像入力手段２１と、画像領域の情報と画像領域毎にその注目度合いを示す情報とからなる注目領域情報２４に基づき、画像領域毎に少なくとも時間的な画像品質を設定する情報からなる領域品質情報２５を出力する品質設定手段２３と、入力された画像データ２２を、画像領域毎に領域品質情報２５に基づく画像品質を持つ画像符号化データ２８に変換する符号化変換手段と２６、画像符号化データ２８を出力する画像出力手段２７とを備える。
【選択図】図２

Description

本発明は、符号化された画像データを変換する画像トランスコーダに係る発明に関するものである。

画像トランスコーダは、符号化された画像データを入力し、それとは異なるビットレートや符号化方式の画像符号化データに変換する装置である。例えば、非特許文献１に示す画像トランスコーダでは、画像データの全領域を一律の空間的な画像品質で変換するのではなく、画像データのうち注目度合いの高い画像領域の空間的な画像品質を高くし、それ以外の画像領域である背景の空間的な画像品質を低くする画質変更型の変換が行われている。ここで、空間的な画像品質とは、画像の高周波成分を保存するレベルや画像の解像度などがある。

また、非特許文献１に示す画像トランスコーダでは、背景は削除して画像データの注目度合いの高い画像領域のみ高い空間的な画像品質で変換する領域切取型の変換も行われている。このような画質変更型及び領域切取型の変換を行うことによって、送信する画像データのデータ量を減らしビットレートを低減することで、限られた伝送帯域のネットワークであっても遠隔から見たい画像領域をより詳細に観察できるようにしている。

桑原直樹、外３名，「監視用途向け映像ゲートウェイ」，電子情報通信学会技術研究報告，平成１５年９月，ＩＥ２００３−５７，ｐｐ．１３−１８

セキュリティ監視や道路監視では、歩行者や車両等の移動体の存在する画像データの領域は高い優先度を持ち、ほとんど動きのない背景領域は低い優先度を有する。しかし、非特許文献１に示す画像トランスコーダで画質変更型の変換を行うと、背景領域において空間的な画像品質のみを変換してデータ量を減らすため、画像データの圧縮に限界があった。また、非特許文献１に示す画像トランスコーダで領域切取型の変換を行うと、背景領域が表示されず周囲の様子が全く分からないため、監視者が当該データのみでは状況を把握しづらいという画像の主観品質が低下する問題があった。

そこで、本発明は、上記のような問題点を解決するためになされたものであり、画像の主観品質を維持しつつ、各領域の注目度合いに応じて画像符号化データの圧縮率を高める画像トランスコーダを提供することを目的とする。

本発明に係る解決手段は、符号化された画像データを入力する画像入力手段と、画像領域の情報と、画像領域毎にその注目度合いを示す情報とからなる注目領域情報に基づき、画像領域毎に少なくとも時間的な画像品質を設定する情報からなる領域品質情報を出力する品質設定手段と、入力された画像データを、画像領域毎に領域品質情報に基づく画像品質を持つ画像符号化データに変換する符号化変換手段と、画像符号化データを出力する画像出力手段とを備える。

本発明に記載の画像トランスコーダは、領域の注目度合いに基づき、空間的な画像品質だけでなく時間的な画像品質も変化させて、入力された画像データを画像符号化データに変換するので、画像の主観品質を維持しつつ、画像符号化データの圧縮率を高め、より小さな出力ビットレートを達成できる効果がある。

（実施の形態１）
図１は、本実施の形態１に係る画像トランスコーダが適用される画像監視システムのシステム構成図である。この画像監視システムでは、道路や河川、ビルや空港等を監視するために複数のカメラ１が設置され、各カメラからのアナログ画像信号が各カメラに設けられたネットワークエンコーダ２によりMotion JPEG（Joint Photographic Expert Group）やMPEG-２（Motion Picture Expert Group phase ２）などの画像符号化データに符号化され、防災ネットワーク３に配信される。配信された画像データは、監視室に設置された画像表示端末４で復号・表示されるとともに、画像蓄積・配信サーバ５に記録される。通常、警備員が観察する画像は高品質であることが要求されるため、出力ビットレートが数Mbps以上の画像符号化データが採用され、防災ネットワーク３も１００Mbpsや１Gbpsクラスの広帯域ネットワークが使用される。

一方、伝送帯域制限された事務用ネットワーク８経由して、ビルのオーナがオフィスの事務用端末９で現場を見る場合、あるいは狭帯域な公衆網１０経由してモバイル端末１１や自宅のパソコン１２で現場を見る場合には、数Mbps以上の画像データをそのまま伝送するわけにはいかない。そのため、画像監視システムでは、ネットワークトランスコーダ６を設け、入力された高ビットレートの画像符号化データを、低ビットレートの画像符号化データに符号化変換（トランスコード）した後、ゲートウェイ７を経由して事務用ネットワーク８に配信する。

そして、本実施の形態に係る画像トランスコーダでは、ネットワークトランスコーダ６に実装されている。画像トランスコーダの実装方法には、ソフトウェア的に実装する方法やハードウェア的に実装する方法を含め種々の方法がある。例えば、ネットワークトランスコーダ６本体はネットワーク機能を有する通常のパソコンを用い、画像トランスコーダをソフトウェアとしてパソコンに実装する。本発明では、画像トランスコーダの実装する方法に制限はない。

図２は、本実施の形態に係る画像トランスコーダのブロック図である。まず、図２に示す画像トランスコーダでは、ネットワークエンコーダ２で符号化された画像データ２２が画像入力手段２１に入力され、画像入力手段２１が画像データ２２を符号化変換手段２６に渡す。一方、品質設定手段２３は、注目領域情報２４が入力され、各領域の注目度合いに応じて領域毎に時間的・空間的な画像品質を設定する。そして、品質設定手段２３は、設定した画像品質の情報を領域品質情報２５として符号化変換手段２６に出力する。符号化変換手段２６は、領域品質情報２５をパラメータとして用いて、画像データ２２を符号化変換処理する。

符号化変換手段２６は、与えられた領域品質情報２５に基づいて、画像データ２２とは異なる画像品質や符号化形式を有する画像符号化データ２８に符号化変換する。特に、画像品質に関して、注目度合いの高い領域（注目領域）では、空間的な画像品質が高く、時間的な画像品質も高くなるよう符号化変換される。つまり、注目領域では、静止画として十分な解像度と、高いフレームレート有している。一方、注目領域以外の背景等の領域では、時間的・空間的な画像品質はともに低くなるよう符号化変換される。画像出力手段２７は、符号化変換手段２６で変換された画像符号化データ２８を受け取り、図示していないネットワークトランスコーダ６の送信手段を介してゲートウェイ７に出力する。

ネットワークトランスコーダ６は、ネットワークエンコーダ２からストリーム形式で配信される画像データ２２を受信し、逐次符号化変換を行ってネットワークに配信する。また、注目領域情報２４は、カメラ毎に予め定義されており、当該内容は設定ファイルに記述されている。なお、図２には、画像データ２２及び画像符号化データ２８の模式図も示されている。図２に示す画像データ２２は、空間的な画像品質が均一の７フレーム分のデータが示されている。また、図２に示す画像符号化データ２８は、画像中央部の注目領域は高い空間的な画像品質で、且つ高い時間的な画像品質（７フレーム分のデータ）を有しているが、注目領域以外の背景は低い空間的な画像品質で、且つ低い時間的な画像品質（ｔ０，ｔ３，ｔ６の３フレーム分のデータ）しか有していないことが示されている。

次に、本実施の形態に係る画像トランスコーダの動作について以下に説明する。まず、図３に注目領域情報２４の例を、図４に画像品質テーブルの例を、図５に領域品質情報２５の例をそれぞれ示す。図３に示す注目領域情報２４では、一つの注目領域と背景領域の２つの領域が定義されており、領域ＩＤ＝１が注目領域、領域ＩＤ＝２が背景を示している。また、図３に示す注目領域情報２４では、領域ＩＤ＝１に注目領域の左上と右下を示す座標情報（Ｘ１１，Ｙ１１）、（Ｘ１２， Ｙ１２）と注目度合い”５”の情報と、領域ＩＤ＝２に背景であることを示す座標情報と注目度合い”１”の情報とが格納されている。

品質設定手段２３は、図３に示す注目領域情報２４を読み込み、予め与えられた図４（ａ）の画像品質テーブル３２を参照して、図５に示す領域画質情報２５を作成する。例えば、領域ＩＤ＝１の注目領域は注目度合いが”５”であるので、時間的な画像品質は１５fps、空間的な画像品質はレベル５となり、領域ＩＤ＝２の背景領域は注目度合いが”１”であるので、時間的な画像品質は５fps、空間的な画像品質はレベル１と設定される。

ここで、時間的な画像品質とは、フレームレート（fps（frames per second））のことであり、１秒間に何フレームの画像で構成されているのかを示している。符号化変換手段２５では、入力された画像データ２２のフレームを間引くことで、時間的な画像品質の変換を実現している。なお、JPEGやJPEG２０００等のフレーム内で符号化を行う場合は、単純に必要なフレームのみを符号化変換し、不要なフレームは破棄している。しかし、MPEG-２/４等のフレーム間で符号化を行う場合は、全てのＢフレームあるいは全てのＢフレームとＰフレームを単純に間引く手法や、一部のフレームを間引いて再度動きベクトルを計算する手法など種々の手法が一般的に知られている。本実施の形態でも、一般的に知られた手法を用いるので、個々の手法についての詳細な説明は本明細書においては省略する。

一方、空間的な画像品質とは、例えば入力された画像の高周波成分を保存するレベルを示し、全て保存するレベル５から直流成分のみ保存するレベル１まで定義されている。なお、高周波成分の除去に関しては、符号化変換の再符号化における量子化ステップを変化させることにより実現することができる。

画像品質テーブル３２は、目的に応じて色々な定義が可能である。例えば、図４（ａ）では注目度合いに合わせて時間的な画像品質と空間的な画像品質の両方を変化させているのに対し、図４（ｂ）では空間的な画像品質を最高の５に固定し、時間的な画像品質を最高の１５fpsから１/５fps（５秒に１フレーム）まで変化させた空間的な画像品質を重視した画像品質テーブル３２となっている。また、図４（ｃ）は時間的な画像品質を１５fpsに固定し、空間的な画像品質をレベル５から１まで変化させた時間的な画像品質を重視した画像品質テーブル３２となっている。図４（ｃ）の画像品質テーブル３２は、特に動き重視する監視に適している。このように、本実施の形態に係る画像トランスコーダは、目的に応じて様々な時間的・空間的な画像品質を変化させられることが可能となる。

さらに、品質設定手段２３では、図３に示す注目領域情報２４と図４に示す画像品質テーブル３２とから、図５に示す領域品質情報２５を作成する。図５に示す領域品質情報２５では、領域ＩＤ、座標、注目度合い、時間的な画像品質、空間的な画像品質の情報が格納されている。例えば、領域ＩＤ＝１の注目領域では、座標（Ｘ１１，Ｙ１１）、（Ｘ１２， Ｙ１２）、注目度合い”５”、時間的な画像品質”１５fps”、空間的な画像品質”レベル５”となっている。

次に、図６から図１２の画面例を用いて画像トランスコーダの動作を具体的に説明する。図６は入力される６フレーム分の画像データ２２の画面例を示す。図７は、本実施の形態と対比される画面例であり、画像トランスコーダによって背景領域３４のみ空間的な画像品質を低下させた場合である。つまり、図７では、全ての画像フレームに対して、人物が移動している画面下半分の注目領域３３に高い空間的な画像品質を与え、建物等の背景領域３４に低い空間的な画像品質を与えて変換している。

図８は、本実施の形態に係る画像トランスコーダを用いて符号化変換を行った画面例である。図８（ａ）は、画像トランスコーダから出力される画像符号化データ２８である。具体的には、図５に示した領域品質情報２５に従っているので、注目領域３３は入力された画像データ２２と同じ時間的・空間的な画像品質（１５fps，レベル５）で、背景領域３４は入力された画像データ３４より低い時間的・空間的な画像品質（５fps，レベル１）で符号化変換されている。図８（ａ）からも分かるように、背景領域３４の画像データ２２は、３フレームのうち２フレームが間引かれている。

次に、表示端末の表示モジュールでは、画像トランスコーダによって符号化変換された画像符号化データ２８を受け取り、逐次フレーム毎に復号し合成表示して図８（ｂ）示すような画面例にする。つまり、最初のフレームは、注目領域３３と背景領域３４からなる画像の全領域を符号化したデータであり、表示モジュールはこれを復号し表示メモリに展開してディスプレイに表示する。２番目、３番目のフレームは注目領域のみ符号化したデータであるので、表示メモリの注目領域の位置に復号した部分画像データを上書きする。これを第４フレーム以降、繰り返す。

図７と図８に示した画面例の比較からも明らかなように、本実施の形態では背景領域３４のフレームを間引くことでより少ない画像符号化データ２８に変換することができ、且つ背景領域３４の動きが少ない場合に、ほぼ同じ画像の主観品質を得ることができる。また、背景領域３４に動きがあったとしてもその領域が監視対象として重要でない場合には、逆にユーザが余計な動きに目をとらわれることなく、重要な領域の観察に集中できる。

図９は、本実施の形態における別の画面例である。図９（ａ）は、画像トランスコーダから出力される画像符号化データ２８である。図９（ａ）に示す注目領域３３の時間的・空間的な画像品質は、図８（ａ）と同じであるが、背景領域３４の時間的な画像品質を５fps、空間的な画像品質を”レベル５”とし、背景領域３４の空間的な画像品質を高く設定している。つまり、図９（ａ）に示す例では、背景領域３４について少なくとも時間的な画像品質を低くして空間的な画像品質を向上させ、画像の主観品質を向上している。なお、図９（ａ）に示す例では、図８（ａ）で示した例に比べデータ量は増加する。また、図９（ｂ）は、表示モジュールで表示される合成表示画面であり、注目領域３３と背景領域３４の空間的な画像品質が同じであるため、領域の区別が視覚できるように注目領域３３の範囲を破線の矩形枠で重畳表示している。

図１０乃至図１２は、２箇所の注目領域３３を設定した場合の画面例である。そして、図１０は、本実施の形態と対比される画面例であり、背景領域３４のみ空間的な画像品質を低下させた場合である。図１１は、本実施の形態で注目領域３３の時間的・空間的な画像品質を（１５fps，レベル５）、背景領域３４を（５fps，レベル１）に設定した場合の画面例である。図１２は、注目領域３３の画像品質を（１５fps，レベル５）、背景領域３４を（５fps、レベル５）に設定した場合の画面例である。図１１（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図１１（ｂ）は、表示モジュールで表示される合成表示画面である。

図１２は、注目領域３３の画像品質を（１５fps，レベル５）、背景領域３４を（５fps、レベル５）に設定した場合の画面例である。なお、図１２（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図１２（ｂ）は、表示モジュールで表示される合成表示画面である。図７乃至図９において示した一つの注目領域３３を設ける場合の場合と同様、二つの注目領域３３を設ける場合も、背景領域３４のみ空間的な画像品質を低下させる場合と比べよりデータを圧縮することが可能となるとともに、背景領域３４の空間的な画像品質を高くしているので画像の主観品質が良くなる。

以上のように、本実施の形態１に記載の画像トランスコーダであれば、品質設定手段２３が注目領域情報２４に基づき、各領域の注目度合いに応じた時間的・空間的な画像品質を領域品質情報に設定し、符号化変換手段２６が領域品質情報に基づいて、注目度合いの高い領域は時間的・空間的な画像品質を高くし、背景等の注目度合いの低い領域は少なくとも時間的な画像品質が低くなるように符号化変換するため、画像の主観品質をより良くすることが可能となる。また、監視対象として重要でない領域の時間変化にとらわれず、重要な領域の観察に集中できるという効果もある。

なお、本実施の形態において、画像符号化データ２８の符号化変換のタイミングは、ストリーミングとして逐次変換する場合について説明したが、画像データ２２をファイルとして受信し、当該データを一括で変換する一括型変換など、アプリケーションに応じた種々のタイミングも考えられる。また、注目領域情報２５は、カメラ毎に予め設定されている場合について説明したが、観察しているユーザから対話的に変更できる場合や、撮影場所に配置された各種センサの検知結果に応じて変更できるなど外部から動的に与えられる場合もある。

さらに、時間的な画像品質を変化させる例として、入力する画像データ２２のフレームを間引く方法、空間的な画像品質を変化させる例として、量子化ステップを変える方法について上記で説明したが、本発明はこれに限定されるものではない。例えば、空間的な画像品質であれば画像の解像度を変化させる、輝度成分と色成分など色情報を変化させる方法もある。また、JPEG２０００のような符号化方式であれば、画像の解像度、周波数成分、色成分の必要な部分を領域毎に組み合わせて、高品質な画像符号化データから取り出すことができる。時間的な画像品質と空間的な画像品質の両方を同時に変化させるのであれば、MPEG-２/４等で用いられる動き補償を用いて、注目度合いに応じて予測誤差の量子化ステップを変える方法などが考えられる。

画像品質テーブル３２は、一つの注目度合いに対して同じ時間的・空間的な画像品質を定義しているが、一つの注目度合いに対して複数の時間的・空間的な画像品質の組を定義し、画像の内容により選択する方式であっても構わない。例えば、画像内容を動きのある場合と動きの少ない場合に分類し、前者の画像には（時間的な画像品質１５fps、空間的な画像品質レベル３）、後者の画像には（時間的な画像品質７fps、空間的な画像品質レベル５）を定義し、符号化変換手段２６が画像内容を解析しながら適切な時間的・空間的な画像品質を選択する。また、画像品質テーブル３２ではなく、注目度合いを変数ｘ、時間的な画像品質及び空間的な画像品質を各々変数ｙｔ，ｙｓとし、（ｙｔ，ｙｓ）＝Ｇ（ｘ）なる数式として定義してもよい。

（実施の形態２）
本実施の形態では、実施の形態１に係る画像トランスコーダに、ネットワークの帯域変動やユーザの指示に応じて符号化変換後のビットレートを動的に変更する機能を加えた構成である。なお、本実施の形態に係る画像トランスコーダも、図１に示した画像監視システムに適用できる。

図１３は、本実施の形態に係る画像トランスコーダの機能構成を示すブロック図である。以下、図２に示した実施の形態１に係る画像トランスコーダと異なる点を中心に説明する。まず、図１３に示す画像トランスコーダにおいては、ビットレート入力手段４１が新たに設けられている。このビットレート入力手段４１は、表示モジュールのGUI（Graphical User Interface）アプリケーションや帯域管理マネージャ等の外部モジュールから画像符号化データ２８のビットレート変更の指示を受付け、品質設定手段２３に新たな目標ビットレート値又は目標データ量（以下、単に目標ビットレート値という）を渡す。

品質設定手段２３では、受け取った新たな目標ビットレート値になるよう、注目領域情報２４と画像データ２２に基づき、画像データ２２の領域毎の時間的・空間的な画像品質を再設定して領域品質情報２５を変更する。符号化変換手段２６は、新たに更新された領域品質情報２５を受け取り、当該領域品質情報２５に従って画像データ２２の符号化変換を行う。例えば、本実施の形態では、ネットワークのトラフィックが中→大→小と時間的に変化する場合に、その変化に応じて３Mbpsの画像データ２２を１Mbps→５１２Kbps→２Mbpsの画像符号化データ２８と動的に変換させる。なお、図１３では、入力された画像データのビットレートが一定で、出力される画像符号化データ２８のビットレートが変化する様子が模式的に示されている。

本実施の形態に係る画像トランスコーダでのビットレート制御について説明する。まず、時間的な画像品質を変更する場合、画像トランスコーダは、画像データ２２のビットレートRinと目標ビットレートRoutの比Rin/Routをフレーム間引きの初期値として間引きを開始する。そして、画像トランスコーダは、ある一定時間経過後の最新ビットレートを測定し、当該ビットレートが目標ビットレートより高いか低いかで、間引き率を動的に変更する。

空間的な画像品質を変更する場合、画像トランスコーダは、例えば、予め画像の統計的性質に基づいて設定された目標ビットレート毎の量子化ステップを初期値として、画像データ２２の１フレーム内をマクロブロック単位に再量子化する。そして、画像トランスコーダは、再量子化後の累積データ量が目標のビットレートより高くなりそうか否かで、量子化ステップサイズを動的に調整する。本実施の形態に係るビットレート制御は、上記の時間的ビットレート制御と空間的ビットレート制御の技術を組み合わせて用いる。どのように組み合わせるかについては、種々のバリエーションがある。例えば、図１４（ａ）に示すように、ビットレート入力手段４１により入力した目標ビットレートと領域の注目度合いとに応じて、時間的な画像品質の初期値と空間的な画像品質の初期値を予め画像品質テーブル３２に設定しておく。なお、画像品質テーブル３２の最上段は、目標ビットレートを示している。

品質設定手段２３は、図１４に示す画像品質テーブル３２を参照して目標ビットレートに応じた領域品質情報２５を作成する。図１５に、目標ビットレートが５１２bpsの場合における領域品質情報２５の例を示す。次に、符号化変換手段２６は、領域品質情報２５の初期値を用いて、上記の時間的ビットレート制御と空間的ビットレート制御の両方を行う。なお、図１４（ｂ）に示す画像品質テーブル３２は、時間的な画像品質が目標ビットレート毎に固定され空間的ビットレート制御のみ行う場合の例であり、図１４（ｃ）に示す画像品質テーブル３２は、空間的な画像品質が目標ビットレート毎に固定され時間的ビットレート制御のみ行う。

画像品質テーブル３２の内容を変えることで、目的や用途により色々な制御が可能である。また、入力される画像データ２２の統計的性質がカメラ毎にかなり異なるような場合、カメラを分類して、その種類毎に適切な値が設定された画像品質テーブル３２を用意し、品質設定手段２３がビットレート入力手段４１により変更指示があったカメラに応じて品質設定手段２３を選択する。

次に、図１６乃至図１９の画面例を用いて本実施の形態に係る画像トランスコーダの動作について説明する。図１６乃至図１９の画面例は、いずれも図６で示した画面例の画像データ２２を本実施の形態の画像トランスコーダにより符号化変換した例である。まず、図１６乃至図１８は、図８の符号化変換と比べ注目領域３３の画像品質は変えずに、背景領域３４の画像品質のみを変更してビットレートを低減した場合の例である。具体的には、図１６では背景領域３４の時間的な画像品質のみを低下させた場合である。図８では３フレーム中２フレームを間引いていたのを、図１６では５フレーム中４フレームを間引いている。なお、図１６（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図１６（ｂ）は、表示モジュールで表示される合成表示画面である。

また、図１７では、背景領域３４の時間的・空間的な画像品質の両方を低下させた場合である。図１７では４フレーム中３フレームを間引き、且つ背景領域３４の空間的な画像品質を低下させている。なお、図１７（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図１７（ｂ）は、表示モジュールで表示される合成表示画面である。さらに、図１８では、背景領域３４の空間的な画像品質のみ低下させた場合である。なお、図８（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図８（ｂ）は、表示モジュールで表示される合成表示画面である。

図１８に示した画面例での背景領域３４の空間的な画像品質は、図１７に示した画面例の背景領域３４の空間的な画像品質より低下している。なお、図１６乃至図１８に示す画面例では、ハッチングにより空間的な画像品質のレベルを表現しており、より細かいハッチングが施されている例の方が空間的な画像品質が低いことを表している。さらに、図１９に示す画面例は、図８に示す画面例と比べ、背景領域３４の時間的な画像品質を向上させてビットレートを増加させている。図１９では、２フレーム中１フレームを間引いている。なお、図１９（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図１９（ｂ）は、表示モジュールで表示される合成表示画面である。

以上のように、本実施の形態に係る画像トランスコーダによれば、ビットレート入力手段４１が外部モジュールから受付けたビットレートの変更指示に応じて、新たな目標ビットレート値になるよう、品質設定手段２３において領域品質情報２５を変更するので、帯域の制約や変動があるネットワークにおいても、安定した品質で画像を配信することができる。

なお、ネットワークトランスコーダ２が、ビットレート変更に対応したタイミングに合わせて、変更されたビットレートや領域品質情報を、画像符号化データと同期して表示側に配信する構成であってもよい。これにより、GUIアプリケーションは画像の再生表示に合わせて、その画像品質を補足情報として表示することができる。

（実施の形態３）
図２０は、本実施の形態に係る画像トランスコーダを適用した画像監視システムのシステム構成図である。図２０に示す画像監視システムと図１に示す画像監視システムとで異なる点は、ネットワークトランスコーダ２をハードウェアとして別途設けずに、画像トランスコーダの機能を画像蓄積・配信サーバ５に実装している点である。画像蓄積・配信サーバ５は、ネットワークエンコーダ２から配信される画像ストリームを受信して、常時一定時間の最新画像をエンドレス記録している。そして、画像蓄積・配信サーバ５は、記録した画像ストリームのうち重要な時間区間について最新の画像ストリームが上書きされないようにイベント記録し、別の記録領域に移動して保存記録する等の目的にあった記録を行っている。

本実施の形態に係る画像蓄積・配信サーバ５では、さらに事務用端末９やモバイル端末１１等から画像蓄積・配信サーバに配信要求があると、ネットワークエンコーダ２から受信した画像ストリームあるいは保存記録した画像ストリームを画像トランスコーダにより符号化変換して低ビットレート化し、ゲートウェイ７経由で配信する。

次に、本実施の形態に係る画像トランスコーダの機能構成を示すブロック図を、図２１に示す。本実施の形態に係る画像トランスコーダと図２に示した画像トランスコーダとで異なる点は、注目領域情報生成手段５１が画像データ２２から注目すべき領域を抽出し、その抽出した領域の情報を用いて注目領域情報２４を生成する点である。具体的には、画像監視であれば人物や車両など移動する物体、土砂崩れや火災などの事象が重要であり、それら移動体や事象が写っている画像領域を注目度合いの高い注目領域、それ以外を背景領域と判別する必要がある。

図２１に示す注目領域情報生成手段５１は、画像データ２２を復号して、画像処理により移動体や事象発生の領域を抽出し、その抽出した領域の情報と、予め設定された規則に従って定義された各領域の注目度合いを示す情報とからなる注目領域情報２４を生成する。画像データ２２から移動体を追跡したり、事象を検知したりする手法については、従来より知られている技術であり、また画像データ２２を復号することなくシーン変化等を検出する技術も公表されているため、本明細書においては詳細な説明は省略する。

物体の移動や事象の発生により注目領域情報２４が更新され、その都度、品質設定手段２３は、更新された注目領域情報２４に基づき領域品質情報２５を更新する。そして、符号化変換手段は、更新された領域品質情報２５に従って画像データ２２を画像符号化データ２８に符号化変換を行う。本実施の形態に係る画像トランスコーダは、注目領域情報生成手段５１を設けることにより、人手を介さず自動的に移動体や事象発生の領域を抽出でき、画像の内容（コンテンツ）に応じた符号化変換を実現することができる。

次に、図２２乃至図２７の画面例を用いて本実施の形態に係る画像トランスコーダの動作について説明する。なお、いずれの画面例も、図６に示した画面例の画像データ２２を符号化変換した例である。まず、図２２は、本実施の形態と対比される画面例であり、歩行者含む領域を注目領域３３として高い空間的な画像品質で、背景領域３４を低い空間的な画像品質で符号化変換した場合である。

次に、図２３に示す画面例は、本実施の形態に係る画像トランスコーダで符号化変換した画面例である。なお、図２３（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図２３（ｂ）は、表示モジュールで表示される合成表示画面である。図２３（ａ）の最初のフレームでは、歩行者含む注目領域３３を高い空間的な画像品質で符号化したデータと、背景領域３４を低い空間的な画像品質で符号化したデータとで構成されている。しかし、図２３（ａ）の２番目、３番目のフレームでは、当該フレームにおける注目領域３３を高い空間的な画像品質で符号化したデータと、一つ前のフレームにおいて注目領域３３であった画像領域を背景領域３４と同じ低い空間的な画像品質で符号化したデータとから構成されている。本実施の形態に係る画像トランスコーダでは、２番目、３番目のフレームの背面領域３４を間引いて符号化変換を行っており、３フレーム中２フレームの背面領域３４を間引いている。

表示モジュールでは、図２３（ｂ）に示す画面例の画像符号化データを復号し、表示メモリに展開して表示している。なお、２番目、３番目のフレームにおける画像符号化データは、最初のフレームにおける画像符号化データの該当する位置に上書きする。本実施の形態では、４番目のフレーム以降も同様の動作を繰り返す。これにより、図２２に示した画面例の場合に比べて、同様の画像の主観品質を維持しつつより少ない画像符号化データに符号化変換している。

図２４に示す画面例は、背景領域３４の空間的な画像品質を注目領域３３と同じレベルに設定した本実施の形態に係る画像トランスコーダの画面例であり、図２２に示した画面例の場合に比べて、画像の主観品質を向上させたものである。なお、図２４（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図２４（ｂ）は、表示モジュールで表示される合成表示画面である。また、図２２乃至図２４に示す画面例では、歩行者を含む領域は全て注目領域３３として設定されており、右方向に移動する歩行者を含む注目領域３３と、左方向に移動する歩行者を含む注目領域３３とを含んでいた。

しかし、図２５乃至図２７に示す画面例では、右方向に移動する歩行者を含む領域のみを注目領域３３として設定した場合の画面例である。図２５は図２２に、図２６は図２３に、図２７は図２４にそれぞれ対応しており、図２６は本実施の形態に係る画像トランスコーダにおいて背景領域３４の時間的・空間的な画像品質を低く設定した場合、図２７は背景領域３４の時間的な画像品質のみ低く設定した場合である。図２６又は図２７の画面例となるように本実施の形態に係る画像トランスコーダを設定しても、図２３又は図２４の画面例となるように設定した場合と同様、画像の主観品質を維持しつつ、画像データをより圧縮することが可能となる。なお、図２６（ａ），図２７（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図２６（ｂ），図２７（ｂ）は、表示モジュールで表示される合成表示画面である。

以上のように、本実施の形態によれば、注目領域情報生成手段５１が画像データ２２から移動体や事象発生の領域を抽出して注目領域情報２４を生成・更新するように構成しているので、人手を介さず自動的に画像の内容（コンテンツ）に応じた符号化変換を実現することができる。

なお、画像蓄積・配信サーバ５が注目領域情報２４の更新タイミングに合わせて、その注目領域情報２４や領域品質情報２５を、画像符号化データ２８と同期して表示側に配信する構成であってもよい。これにより、GUIアプリケーションでは、画像の再生表示に合わせて、その注目領域やその画像品質を補足情報として表示することができるように構成することが可能となる。また、本実施の形態においても、ネットワークトランスコーダ２を設け、当該ネットワークトランスコーダ２に画像トランスコーダを設ける構成であっても良い。さらに、実施の形態１また実施の形態２においても、本実施の形態と同様に画像トランスコーダを画像蓄積・配信サーバ５に設けて、ネットワークトランスコーダ２を設けない構成であっても良い。

（実施の形態４）
本実施の形態に係る画像トランスコーダも、実施の形態３と同様、図２０の画像監視システムにおける画像蓄積・配信サーバに実装される。図２８に、本実施の形態に係る画像トランスコーダのブロック図を示す。本実施の形態に係る画像トランスコーダと実施の形態３に係る画像トランスコーダとで異なる点は、注目領域情報生成手段５１が背景画像データ６１を生成する点である。符号化変換手段２６は、当該背景画像データ６１と画像データ２２とを用いて符号化変換を行い、画像符号化データ２８を出力する。注目領域情報生成手段５１は、移動体追跡や事象検出に一般的に用いられている背景差分方式を採用しており、入力した画像データ２２から背景画像データ６１を生成することが可能である。

次に、図２９、図３０の画面例を用いて本実施の形態に係る画像トランスコーダの動作について説明する。いずれの画面例も、図６に示す画面例の画像データに対し、右方向へ移動する歩行者のみを含む領域を注目領域３３として符号化変換した場合の画面例である。図２９（ａ）に示す最初のフレームでは、注目領域情報生成手段５１で生成した背景画像データ６１を低い空間的な画像品質で符号化し、注目領域３３を高い空間的な画像品質で符号化している。図２９（ａ）に示す２番目、３番目のフレームでは、当該フレームにおける注目領域３３を高い空間的な画像品質で符号化変換している。

表示モジュールでは、符号化された背景画像データ６１と注目領域３３のデータとを復号し、作業メモリの各々別の領域に展開した後、表示メモリにコピーして図２９（ｂ）に示すように合成画面を表示する。なお、２番目、３番目のフレームについては、最初のフレームにおいて既に作業メモリ上に展開されている背景画像データ６１と、各フレームの注目領域３３のデータを復号して作業メモリに展開し、両データを表示メモリにコピーして合成表示している。以上の動作を第４フレーム以降も繰り返す。図３０では、注目領域情報生成手段５１で生成した背景画像データ６１を、注目領域３３と同じレベルの空間的な画像品質で符号化した例である。なお、図３０（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図３０（ｂ）は、表示モジュールで表示される合成表示画面である。

本実施の形態では、図２６及び図２７に示す画面例のように、実施の形態３に示すような一つ前のフレームにおいて注目領域３３であった画像領域のデータが不要となる分、より画像符号化データ２８のデータ量を低減することができ、より少ない出力ビットレートを達成することができる。また、左方向に移動する歩行者は背景画像に写らないため、注目する人や物以外を視覚的に除外した画像を表示することができる。

以上のように、本実施の形態によれば、注目領域情報生成手段５１が画像データ２２から背景画像データ６１を生成・更新し、符号化変換手段２６がその背景画像データ６１と画像データ２２を用いて符号化変換するので、画像の主観品質を維持しつつ、より一層画像データの圧縮率を向上することができる。さらに、本実施の形態では、背景領域における不要な移動体を消去でき、注目領域の監視に最適な画像を表示できる。

なお、本実施の形態では、注目領域情報生成手段５１が入力画像符号化データを用いて背景画像を生成する構成としたが、本発明はこれに限定されるものではない。例えば、カメラ設置時に予め移動体が存在しないシーンを撮影し、当該シーンを固定の背景画像データ６１として符号化変換手段２６に与える構成でも良い。固定の背景画像データ６１は一つではなく、時間帯や天候等の条件を変えて複数用意し符号化変換する画像符号化データの条件に合うものを選択して符号化変換手段に与えても良い。

また、注目領域情報生成手段５１が注目領域情報２４を生成・更新する場合のみ背景画像データ６１を用いる構成に限定されない。注目領域情報２４がカメラ毎に予め固定、ユーザーが対話的に変更、センサ信号等の外部から動的に変更する場合でも、背景画像データ６１を用いて本実施の形態と同様な効果が得られる。さらに、本実施の形態においても、ネットワークトランスコーダ２を設け、当該ネットワークトランスコーダ２に画像トランスコーダを設ける構成であっても良い。

（実施の形態５）
本実施の形態の画像トランスコーダも、実施の形態３と同様、図２０の画像監視システムにおける画像蓄積・配信サーバに実装されている。図３１、図３２は、本実施の形態の画像トランスコーダにより符号化変換を行った後の画面例である。図３１の画像例となる画像トランスコーダは、図２１に示した画像例となる実施の形態３の画像トランスコーダと同様の構成を有する。しかし、本実施の形態の画像トランスコーダは、実施の形態３の画像トランスコーダと異なり、符号化変換手段２６が最初のフレームにおける注目領域３３と背景領域３４のデータと、２番目及び３番目のフレームにおける注目領域３３のデータとを、図３１（ｂ）に示すように一つのフレームの静止画データとして符号化変換を行っている。

図３１（ｂ）に示す画面例のように符号化変換行うことで、表示モジュールでの再生において歩行者が移動していく様子（軌跡）が一枚の静止画像として観察することできる。なお、４番目のフレーム以降についても、同様の処理を繰り返し、軌跡を示す画像を更新して表示する。また、各フレームを合成する方法としては、種々のバリエーションが考えられる。例えば、単純に３つの画像符号化データを順番に並べて、一つのフレームとして符号化データとして定義し、表示モジュールにおいて順番に復号して表示メモリに展開し、注目領域３３のデータを対応する位置に上書きする。

また、別の方法としては、一つ前のフレームの画像符号化データから、現在のフレームにおける注目領域３３に相当する部分を画像符号化データから削除し、削除した部分を当該注目領域３３の画像符号化データに置き換える。具体的には、JPEG符号化であれば、マクロブロック単位に領域を設定し、ハフマン符号化を行う前のDCT（Discrete Cosine Transform）データの段階で、注目領域３３のDCTデータに置き換える。さらに、上書きするあるいは置き換える際に、注目領域３３の画像を半透明にし、α合成の重畳表示を行うことも可能である。

図３２に示す画面例の画像トランスコーダは、図２８に示す画面例となる実施の形態４の画像トランスコーダと同様の構成である。なお、図３２（ａ）は、画像トランスコーダから出力される画像符号化データ２８であり、図３２（ｂ）は、表示モジュールで表示される合成表示画面である。図３２の画面例となる画像トランスコーダと図３１の画面例となる画像トランスコーダとで異なる点は、背景画像データ６１と画像データ２２を用いて軌跡を示す画像を生成している点と、背景画像データ６１と注目領域３３とが同じ空間的な画像品質で符号化変換されている点である。

以上のように、本実施の形態では、符号化変換手段２６が連続する複数のフレームに対して、各フレームの注目領域３３の画像符号化データが一つのフレームの静止画データとして合成されるので、ある時間間隔における注目領域３３の変化を一枚の静止画像に凝縮して表示でき、変化の様子を短時間に把握することができる。なお、本実施の形態においても、ネットワークトランスコーダ２を設け、当該ネットワークトランスコーダ２に画像トランスコーダを設ける構成であっても良い。

（実施の形態６）
本実施の形態に係る画像トランスコーダも、実施の形態３と同様に、図２０の画像監視システムにおける画像蓄積・配信サーバ５に実装されている。本実施の形態に係る画像トランスコーダのブロック図を図３３に示す。この画像トランスコーダは、実施の形態４の画像トランスコーダに実施の形態２で説明したビットレート制御機能を付加したものである。つまり、本実施の形態では、注目領域情報生成手段５１にて抽出される注目領域３３は歩行者の出現・消滅等に合わせて時間的に変化し、それに合わせて注目領域の面積や注目度合いも変化する。この注目度合いの変化に対し、一定の時間的・空間的な画像品質で符号化変換を行うと出力される画像符号化データ２８のビットレートも変動することになる。

そこで、本実施の形態では、注目領域情報２４が更新された際に、ビットレート入力手段４１が受付けた目標ビットレート値になるよう品質設定手段２６において、注目度合いや注目領域３３の面積に基づき領域品質情報を更新し、符号化変換手段２６に渡す。符号化変換手段２６は、更新された領域品質情報２５に基づき、実施の形態２で説明したビットレート制御機能により、目標ビットレート値になるよう符号化変換処理を行う。

次に、図３４乃至図３６の画面例を用いて本実施の形態に係る画像トランスコーダの動作について説明する。図３４の画面例は、入力される画像データ２２を示しており、最初の４枚のフレームには一人の歩行者、次の４枚のフレームには二人の歩行者が写っている。歩行者を注目領域３３とすると、最初の４つの画像フレームと次の４つの画像フレームでは注目領域の面積がほぼ倍に変化することになる。そのため、与えられたビットレートを有効に利用し画像の内容に応じた高い画像品質で符号化変換するとすれば、最初の４フレームと次の４フレームとで各領域の時間的・空間的な画像品質の設定を変更する必要がある。

図３５の画面例では、注目領域３３の時間的・空間的な画像品質は変更せずに、背景領域３４の時間的な画像品質のみを変更することで対応している。例えば、最初の４フレームでは、背景領域３４のフレームレートが入力画像に対して１/２、つまり２フレームに１フレームの割合で間引いていたが、次の４フレームでは、背景領域３４のフレームレートが入力画像に対して１/４、つまり４フレームに１フレームの割合で間引いている。

逆に、図３６に示す画面例では、注目領域３３の時間的・空間的な画像品質は変更せずに、背景領域３４の空間的な画像品質のみを変更することで対応している。例えば、最初の４フレームでは、背景領域３４の空間的な画像品質はレベル２であるが、次の４フレームではレベル１とする。図３６では、空間的な画像品質のレベルをハッチングで表現しており、最初の４フレームは一方向の斜線によるハッチング、次の４フレームは両方向の斜線によるハッチングである。図３６に示す画面例では、図３４に示す画面例と比べ背景領域３４の空間的な画像品質は低下するが、背景領域３４に重要性はないが時間変化をぼんやりと観察したい場合に適している。

以上のように、本実施の形態では、画像内容の変化に伴い注目領域情報２４が変化した場合に、品質設定手段２３が目標ビットレート値になるよう領域品質情報を更新し、更新した領域品質情報に基づき符号化変換手段２６が符号化変換するので、画像内容の変化に伴い注目領域３３の数や面積が変化しても、限られた帯域を有効に利用して画像の主観品質の高い符号化変換を実現することができる。

また、本実施の形態においても、ネットワークトランスコーダ２を設け、当該ネットワークトランスコーダ２に画像トランスコーダを設ける構成であっても良い。

なお、上記の説明において、画像トランスコーダの入出力は、フレーム間隔の長い準動画像符号化データであっても構わない。また、複数の注目領域３３に対し同じ注目度合いを設定するとして説明したが、領域毎あるいは領域の種類（例えば右に移動する歩行者と左へ移動する歩行者）に異なる注目度合いを設定してもよい。

本発明の実施の形態１に係る画像監視システムのシステム構成図である。 本発明の実施の形態１に係る画像トランスコーダのブロック図である。 本発明の実施の形態１に係る注目領域情報を示す図である。 本発明の実施の形態１に係る画像品質テーブルを示す図である。 本発明の実施の形態１に係る領域品質情報を示す図である。 本発明の実施の形態１に係る画像トランスコーダに入力される画像データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダと対比する画像符号化データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダと対比する画像符号化データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態１に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態２に係る画像トランスコーダのブロック図である。 本発明の実施の形態２に係る画像品質テーブルを示す図である。 本発明の実施の形態２に係る領域品質情報を示す図である。 本発明の実施の形態２に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態２に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態２に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態２に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像監視システムのシステム構成図である。 本発明の実施の形態３に係る画像トランスコーダのブロック図である。 本発明の実施の形態３に係る画像トランスコーダと対比する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像トランスコーダと対比する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態３に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態４に係る画像トランスコーダのブロック図である。 本発明の実施の形態４に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態４に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態５に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態５に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態６に係る画像トランスコーダのブロック図である。 本発明の実施の形態６に係る画像トランスコーダに入力する画像データの画面例を示す図である。 本発明の実施の形態６に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。 本発明の実施の形態６に係る画像トランスコーダが出力する画像符号化データの画面例を示す図である。

符号の説明

１ カメラ、２ ネットワークエンコーダ、３ 防災ネットワーク、４ 画像表示端末、５ 画像蓄積・配信サーバ、６ ネットワークトランスコーダ、７ ゲートウェイ、８ 事務用ネットワーク、９ 事務用端末、１０ 公衆網、１１ モバイル端末、１２ パソコン、２１ 画像入力手段、２２ 画像データ、２３ 品質設定手段、２４ 注目領域情報、２５ 領域品質情報、２６ 符号化変換手段、２７ 画像出力手段、２８ 画像符号化データ、３２ 画像品質テーブル、３３ 注目領域、３４ 背景領域、４１ ビットレート入力手段、５１ 注目領域情報生成手段、６１ 背景画像データ。

Claims (5)

1. 符号化された画像データを入力する画像入力手段と、
   画像領域の情報と、前記画像領域毎にその注目度合いを示す情報とからなる注目領域情報に基づき、前記画像領域毎に少なくとも時間的な画像品質を設定する情報からなる領域品質情報を出力する品質設定手段と、
   入力された前記画像データを、前記画像領域毎に前記領域品質情報に基づく画像品質を持つ画像符号化データに変換する符号化変換手段と、
   前記画像符号化データを出力する画像出力手段とを備える画像トランスコーダ。
2. 前記符号化変換手段は、前記画像符号化データを構成する複数の連続フレームを当該連続フレームにおける少なくとも一部の画像領域の連続を含む一枚のフレームの静止画データに変換し、
   前記画像出力手段は、前記静止画データを一枚の静止画像、あるいは静止画像の時系列集合として出力することを特徴とする請求項１に記載の画像トランスコーダ。
3. 前記画像出力手段から出力される前記画像符号化データの目標ビットレート又は目標データ量を前記品質設定手段に入力するビットレート入力手段をさらに備え、
   前記品質設定手段は、前記目標ビットレート又は前記目標データ量に基づいて、前記領域品質情報における画像領域毎の画像品質に関する情報を更新することを特徴とする請求項１又は請求項２に記載の画像トランスコーダ。
4. 前記画像入力手段からの前記画像データに基づいて、注目する画像領域を抽出し、当該注目する画像領域の情報を用いて前記注目領域情報を生成して、前記品質設定手段に出力する注目領域情報生成手段をさらに備えることを特徴とする請求項１乃至請求項３のいずれか１つに記載の画像トランスコーダ。
5. 前記符号化変換手段は、注目する画像領域の前記画像データと背景画像のみからなる背景画像データとを組み合わせて、前記領域品質情報に基づき前記画像符号化データに符号化変換することを特徴とする請求項１乃至請求項４のいずれか１つに記載の画像トランスコーダ。
   

Images