JP5950605B2 - 画像処理システム、及び、画像処理方法 - Google Patents

Description

本発明は、画像処理システムに関し、特に、画像信号の符号化技術を用いる画像処理装置に関する。

ＩＴＵ−Ｔ Ｈ．２６４に代表される動画像符号化技術は、テレビ電話、遠隔会議、又は、ネットワーク監視カメラ等の動画像を伝送するアプリケーションにおいて欠かせない技術である。

このような動画像を伝送するアプリケーションは、必ずしも良好な通信環境によって提供されるとは限らず、通信環境が悪い、又は、伝送帯域の変動が激しい通信環境によって提供される場合が多い。そして、伝送帯域の狭い通信経路によって、伝送帯域の限界を上回る情報量の画像データが伝送された場合、動画像を伝送するアプリケーションには、通信エラー及びデータ遅延が生じ、受信画像の劣化及びフリーズ等が発生する。

従って、動画像を伝送するアプリケーションをユーザに提供する場合、アプリケーションを提供するシステムは、伝送帯域に従って画像を圧縮し、画像の情報量を削減しなければならない。しかし、一般的に画像の情報量と画質とは相反する関係にあり、情報量を減らすほど画質は劣化する。従って、情報量を落としてもユーザにとって所望の画質を維持することが動画像符号化技術では重要である。

このためのアプローチの一つとして、画像情報を、ユーザにとって重要な領域（重要領域）と重要でない領域（非重要領域）とに分割し、非重要領域の画質を劣化させることによって情報量を削減し、重要領域の情報量を増やすことによって画質を高める処理を行う方法がある。この方法によって、限られた伝送帯域を用いた場合も、アプリケーションを提供するシステムは、ユーザにとって所望の画質を提供することができる。

例えば、ＩＴＵ−Ｔ Ｈ．２６４等の動画像符号化方式では、画面全体を１６画素×１６画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。Ｈ．２６４を用いた方法は、符号化対象のマクロブロック内の画素値の予測値を、周辺の画素及び前後のピクチャを用いて決定する。そして、符号化対象の画素と予測値との予測誤差を量子化してエントロピー符号化する。

Ｈ．２６４の方法は、前述のマクロブロック内の予測誤差の量子化の際に、量子化パラメータ（以降、ＱＰ）をマクロブロック毎に制御することによって、マクロブロック内の画質と情報量を調整することができる。このため、重要領域の位置を含むマクロブロックの量子化ステップ幅を小さくすることによって画質を高め、代わりに重要領域以外の位置のマクロブロックの量子化ステップ幅を大きくすることによって情報量を削減することができる。

また、Ｈ．２６４の方法は、符号化前の入力画像の非重要領域に、ローパスフィルタ、モザイク処理、又は、ダイナミックレンジ縮小などの前処理を行うことによって、符号化前の入力画像の情報量を削減する。これによって、符号化後の非重要領域の情報量を削減することが可能である。

画像を重要領域と非重要領域とに分割する技術は、コンピュータビジョンの分野における領域分割として様々な技術が知られている。一般的に知られている領域分割の技術は、領域分割の対象として、例えば、人物、顔、又は、車両など、抽出する対象が限定されている場合、良好な精度で重要領域を抽出することができる。しかし、対象物又は背景に対して制約がない場合、重要領域と非重要領域とを精度よく、完全に、かつ、自動で、画像を分割することは容易ではない。

従って、実際の運用上、画像を分割する技術を備えるシステムは、重要領域の抽出を自動的に行うのみならず、ユーザが重要と判断する領域をユーザによって指定される機能を備えることが有用である。

従来の画像認識技術には、人物が写っていると判定される画像中の領域を自動的に検出し、さらに、表示端末を介して指定された重要領域に相当する範囲を、より高画質に伝送する技術が開示される（例えば、特許文献１参照）。

特開２００９−２６０８２０号公報

しかし特許文献１に記載された重要領域の指定方法は、重要領域に含まれる物体が固定されている場合のみしか、画像を分割する技術を備えるシステムに適用できない。すなわち、重要領域に含まれる物体が移動している場合、又は、カメラそのものが移動している場合、重要領域に含まれる物体の映像内の移動に追従して重要領域を指定し直すことはできない。

本発明の目的は、このような状況に鑑みてなされたものであり、映像内で物体が移動しているような場合でも、映像を受信する側でユーザが重要領域を指定し、さらに、重要領域の画質を高めた画像伝送を実現する技術を提供するものである。

本発明の代表的な一形態によると、被写体が撮像された複数のフレーム画像を受信する画像処理装置と、画像処理装置から送信されたフレーム画像を表示する表示装置とを備える画像処理システムであって、前記画像処理装置は、プロセッサ、メモリ、及び、ネットワークインタフェースと、前記表示装置に表示された第１のフレーム画像の表示前の画像を蓄積する蓄積装置と、を備え、前記フレーム画像が撮像された順番を示すフレーム時刻と、前記フレーム画像から前記被写体が撮像された領域として抽出された領域と、前記抽出された領域に付与された重要度と、を示す重要度情報を、前記メモリに保持し、前記表示装置に表示された第１の前記フレーム画像においてユーザが指定した第１の領域の位置情報と、前記表示前の第１のフレーム画像が撮像された順番を示す第１のフレーム時刻と、前記第１の領域の重要度に関する情報と、を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に基づいて、前記蓄積装置における前記第１のフレーム画像の表示前の画像を特定し、前記第１の領域の位置と同じ位置の領域を前記表示前の画像から特定し、前記特定した第１の領域の位置と同じ位置の領域から所定の範囲内の領域であり、かつ、前記ユーザが指定する前記被写体が撮像された領域を、指定領域として、前記表示前の画像から抽出し、前記第１のフレーム画像より後に撮像された第２のフレーム画像から、前記被写体が撮像された第２の領域を抽出し、前記第１のフレーム時刻から、前記第２のフレーム画像が撮像された順番を示す第２のフレーム時刻までの間に撮像された第３のフレーム画像と、前記第３のフレーム画像から抽出された第３の領域とを、前記重要度情報に基づいて特定し、前記指定領域が、前記第３のフレーム画像から抽出された第３の領域と対応付けられるか否かを判定し、前記判定の結果、前記指定領域が前記第３の領域と対応付けられる場合、前記重要度情報に示される前記第３の領域に付与された重要度を、前記第１の領域の重要度に関する情報に従って変更し、前記第３の領域と、前記第２のフレーム画像から前記被写体が撮像された領域として抽出された第２の領域とが対応付けられるか否かを判定し、前記判定の結果、前記第３の領域と前記第２の領域とが対応付けられる場合、前記指定領域が第２の領域に対応付けられると判定し、前記第３の領域に付与された重要度を前記第２の領域に付与することによって、前記領域情報に従って前記第２の領域に重要度を付与し、前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、前記画質を変更された第２のフレーム画像を前記表示装置に送信する。

本発明の一実施形態によると、ユーザが重要であると判断する領域の画質を維持しつつ、画像全体を必要に従って圧縮できる。

本発明の実施形態の画像符号化システムを示すブロック図である。 本発明の実施形態の画像符号化装置におけるフレーム毎の画像処理を示すフローチャートである。 本発明の実施形態のフレーム画像を示す説明図である。 本発明の実施形態の重要領域判定部によって抽出される領域を示す説明図である。 本発明の実施形態の過去のフレーム画像を示す説明図である。 本発明の実施形態の符号化対象フレームを示す説明図である。 本発明の実施形態の重要度を示す説明図である。 本発明の実施形態のマクロブロックによって分割されたフレーム画像を示す説明図である。 本発明の実施形態のユーザが重要領域であると判断する領域の指定処理を示す説明図である。 本発明の実施形態の画像符号化装置に送信される指定領域情報を示す説明図である。 本発明の実施形態の重要度再判定処理を示すフローチャートである。 本発明の実施形態の指定領域を特定する処理を示すフローチャートである。 本発明の実施形態のユーザによって指定された領域に、重要度が高い領域が含まれる場合の重要領域マップを示す説明図である。 本発明の実施形態のユーザによって指定された領域に、重要度が低い領域が含まれる場合の重要領域マップを示す説明図である。 本発明の実施形態のユーザによって指定された領域に、抽出された領域が含まれない場合の重要領域マップを示す説明図である。 本発明の実施形態の過去に撮像された複数のフレーム画像を示す説明図である。 本発明の実施形態の指定領域を含む重要領域マップを示す説明図である。 本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの一つ目の例を示す説明図である。 本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの二つ目の例を示す説明図である。 本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの三つ目の例を示す説明図である。 本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの四つ目の例を示す説明図である。

本発明は、映像内で物体が移動しているような場合でも、映像を受信する側でユーザが映像内の領域を指定し、システムが、指定された領域に対応する画像部分の画質を変更することによって、システムから映像を送信するための情報量を低減できる技術を提供するものである。

以下、添付図面を参照して実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。また、各図において共通の構成については同一の参照番号が付される。

図１は、本発明の第１の実施形態の画像符号化システムを示すブロック図である。

実施形態の画像符号化システムは、画像符号化装置１００１、撮像装置１００２、及び、画像表示装置１００３を含む。

撮像装置１００２は、例えば、ビデオカメラなどであり、被写体を撮像して映像データを生成する装置である。

画像符号化装置１００１は、撮像装置１００２によって生成された映像データを取得し、取得された映像データを符号化する。これによって生成された符号化ストリームを、画像表示装置１００３に送信する。

画像表示装置１００３は、画像符号化装置１００１から受信した符号化ストリームを復号し、これによって映像データを生成する。そして、生成された映像データをユーザに表示する。

撮像装置１００２は、画像符号化装置１００１に、有線又は無線によってデータを送信することができる。また、画像符号化装置１００１及び画像表示装置１００３は、ＬＡＮ、ＷＡＮ、又は、インターネットなどのネットワークを介して接続される。

画像符号化装置１００１は、制御部１００４、及び、蓄積装置１０１を備える。また、制御部１００４は、重要領域判定部１００５、前処理部１００６、符号化処理部１００７、受信部１００８、及び、送信部１００９を、有する。

制御部１００４、重要領域判定部１００５、前処理部１００６、符号化処理部１００７、受信部１００８、及び、送信部１００９は、各々プロセッサ及びメモリを備えてもよい。

制御部１００４は、制御部１００４は、画像符号化装置１００１において実装される処理全体を制御するための機能を有する。制御部１００４は、蓄積装置１０１に格納されたデータを各処理部に入力し、各処理部から出力されたデータを蓄積装置１０１に格納する。

蓄積装置１０１は、撮像装置１００２から送信された映像データ、及び、画像符号化装置１００１における処理によって生成された符号化ストリーム等のデータを格納するための記憶装置である。図１に示す蓄積装置１０１は、画像符号化装置１００１に備わるが、画像符号化装置１００１の各処理部が蓄積装置１０１からデータを取得できれば、いかなる場所に配置されてもよい。

受信部１００８は、撮像装置１００２から送信された映像データを受信するための機能を有する。受信部１００８は、撮像装置１００２及び画像表示装置１００３と通信するためのネットワークインタフェースを有する。

重要領域判定部１００５は、受信した映像データのフレーム画像毎に領域を抽出し、抽出された領域に重要度を割り当てる機能を有する。前処理部１００６は、重要ではないと判定された領域に、後述する前処理を行う機能を有する。

なお、本実施形態において、フレーム画像とは、映像データに含まれる画像である。映像データには、所定の時間の間に撮像された複数のフレーム画像が含まれる。

符号化処理部１００７は、前処理部１００６から出力された前処理後のフレーム画像を符号化することによって、符号化ストリームを生成する機能を有する。

送信部１００９は、生成された符号化ストリームを画像表示装置１００３に送信する機能を有する。送信部１００９は、画像表示装置１００３と通信するためのネットワークインタフェースを備える。

画像符号化装置１００１が有する各処理部は、プロセッサ及びメモリを各々備える物理的な装置として実装されてもよい。また、画像符号化装置１００１が有するプロセッサが、各処理部に相当するプログラムを実行することによって、各処理部が有する機能が画像符号化装置１００１に実装されてもよい。

また、画像符号化装置１００１が有する各処理部は、全ての処理部を一つの装置として実装されてもよく、各処理部が行う処理毎に分割されてもよい。各処理部の機能がプログラムによって実装された場合も、一つのプログラムによって全ての処理部の機能が実装されてもよく、また、複数のプログラムによって一つの処理部の機能が実装されてもよい。

画像表示装置１００３は、プロセッサ、メモリ、表示部１０２、及び、入力部１０３を備える。画像表示装置１００３は、プロセッサ及びメモリによって、送信された映像データを表示する。

表示部１０２は、例えば、コンピュータに備わるディスプレイであり、ユーザに映像データを表示するための出力装置である。入力部１０３は、ユーザからの指示を受けるための、ユーザインタフェースである。入力部１０３は、例えば、マウス又はタッチパネル等である。

図２は、本発明の実施形態の画像符号化装置１００１におけるフレーム毎の画像処理を示すフローチャートである。

図２に示す処理は、画像符号化装置１００１がフレーム画像を受信する毎に、実行される。図２に示すＳ２００１〜Ｓ２００７の処理は、フレーム画像毎に行われる。

受信部１００８から映像データを受信した場合、重要領域判定部１００５は、フレーム画像から領域を抽出する（Ｓ２００１）。重要領域判定部１００５は、Ｓ２００１において、重要であるとあらかじめ指定されている被写体が撮像された領域を抽出してもよい。また、一つの被写体が撮像されていると認識される領域を抽出してもよい。

領域の抽出方法として、撮像された被写体又は背景の特性、カメラの動き、若しくは、撮像条件の変動等によって様々な方法が、従来提案されている。Ｓ２００１において、重要領域判定部１００５は、これらの既知の技術を用いる。

例えば、被写体が人物又は顔であることを画像符号化装置１００１にあらかじめ指定されている場合、重要領域判定部１００５は、既知の人物検出アルゴリズム、又は、既知の顔検出アルゴリズムを用いて、フレーム画像から、人物又は顔が表示される領域を検出する。そして、重要領域判定部１００５は、検出された人物又は顔が表示される領域を抽出する。

このように被写体の種類が画像符号化装置１００１にあらかじめ指定されている場合、重要領域判定部１００５は、被写体に関する特徴又は形状などのあらかじめ蓄積された知識と、既知のアルゴリズムとを用いて、被写体を含む領域を抽出する。

一方、被写体の種類が画像符号化装置１００１に入力されてない場合、重要領域判定部１００５は、画像中に含まれる被写体に関する蓄積された知識を持たない。このため、重要領域判定部１００５は、エッジ又は色などの物理的な情報のみを用いて画像中に含まれる被写体の領域を、抽出すべきか否かを判定する。ここで、重要領域判定部１００５は、人間によってより重要であると推定される被写体を含む領域を抽出すると判定する。

このような、被写体を限定せずに、人間にとって何が重要であるか否かを推定する既知のアルゴリズムとして、例えば、非特許文献１（Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，Ｅ．Ｎｉｅｂｕｒ：“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．＆ Ｍａｃｈ．Ｉｎｔｅｌｌ．，ｖｏｌ．２０，ｐｐ．１２５４−１２５９，１９９８．）のような技術が提案されている。

非特許文献１は、人間の視覚的注意に基づいて顕著性の情報を取得し、顕著性が高い領域が重要であると推定する技術である。

以下に、Ｓ２００１における重要領域判定部１００５の処理の例を示す。以下の例において、重要領域判定部１００５には、船の形状を示す被写体を含む領域を抽出するものとして、あらかじめ入力されてもよい。

図３Ａは、本発明の実施形態のフレーム画像を示す説明図である。

図３Ａに示すフレーム画像は、二隻の船の形状を示す被写体Ａ及び被写体Ｂを含む。重要領域判定部１００５は、図３Ａに示すフレーム画像から領域を抽出する。

図３Ｂは、本発明の実施形態の重要領域判定部１００５によって抽出される領域を示す説明図である。

重要領域判定部１００５は、Ｓ２００１において、図３Ａに示すフレーム画像から被写体を含む領域を抽出するため、既知のセグメンテーション技術を用いる。具体的には、重要領域判定部１００５は、図３Ａに示すフレーム画像に含まれる被写体のエッジを抽出することによって、船の形状を特定し、被写体Ａを含む領域Ａと被写体Ｂを含む領域Ｂとを抽出する。

なお、重要領域判定部１００５は、Ｓ２００１において、フレーム画像に含まれ、かつ、領域を抽出できる全ての被写体に関して、領域を抽出してもよい。これは、後述する処理によってユーザが新たに領域を指定した場合、指定された領域に関する過去の情報を取得できるようにするためである。

Ｓ２００１の後、重要領域判定部１００５は、Ｓ２００１において抽出された領域と、過去に撮像されたフレーム画像から抽出された領域とを対応付ける（Ｓ２００２）。重要領域判定部１００５は、Ｓ２００２において、図２に示す処理を実行しているフレーム画像（符号化対象フレーム）より、一つ前に撮像されたフレーム画像を蓄積装置１０１から取得する。

なお、蓄積装置１０１には、フレーム画像が撮像された順番を示す情報と、過去に実行された図２に示す処理によって抽出された領域を示す情報と、各領域に付与された重要度を示す情報とが、格納される。

図４Ａ及び図４Ｂに、Ｓ２００２におけるフレーム画像の対応付けを示す。

図４Ａは、本発明の実施形態の過去のフレーム画像を示す説明図である。

図４Ａに示すフレーム画像は、（Ｎ−１）番目に撮像されたフレーム画像である。以下において、図４Ａに示すフレーム画像をフレーム画像（Ｎ−１）と記載する。

図４Ｂは、本発明の実施形態の符号化対象フレームを示す説明図である。

図４Ｂに示す符号化対象フレームは、Ｎ番目に撮像されたフレーム画像である。以下において、図４Ｂに示すフレーム画像をフレーム画像Ｎと記載する。

フレーム画像（Ｎ−１）は、過去に実行されたＳ２００１において抽出された領域Ａ’及び領域Ｂ’を含む。フレーム画像Ｎは、Ｓ２００１において抽出された領域Ａ及び領域Ｂを含む。

Ｓ２００２において、重要領域判定部１００５は、フレーム画像（Ｎ−１）に含まれる領域と、フレーム画像Ｎに含まれる領域とが同じ被写体を含む領域であるか否かを判定する。この判定の結果、領域Ａと領域Ａ’とが同じ被写体を含む領域であると判定された場合、重要領域判定部１００５は、領域Ａと領域Ａ’とを同一とみなし、領域Ａと領域Ａ’とに同一の識別子を付与する。

一方、前述の判定によって、領域Ａ’と領域Ａとが異なる被写体を含む領域であると判定された場合、領域Ａ’と領域Ａとに異なる識別子を付与する。このような対応付けを、フレーム画像Ｎに含まれる全ての領域に行う。

Ｓ２００２において、重要領域判定部１００５は、重要領域判定部１００５が領域Ａと領域Ａ’とが同一の被写体を含むか否かを判定する方法として、既知の様々な物体追跡技術を用いてよい。

例えば特許文献２（特開２０１０−１０２５８６号公報）のように、重要領域判定部１００５が、個々の領域の特徴量を保持し、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量とを、マッチングしてもよい。そしてマッチングの結果、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量との差が、所定の範囲内である場合、重要領域判定部１００５は、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量とが同一であると判定してもよい。

なお、前述の例において、符号化対象フレームであるフレーム画像Ｎと、フレーム画像（Ｎ−１）とを対応付けたが、重要領域判定部１００５は、Ｓ２００２において、被写体のオクルージョンを考慮し、複数のフレーム画像を用いてもよい。

すなわち、重要領域判定部１００５は、フレーム画像（Ｎ−１）から抽出された領域に、フレーム画像Ｎの領域と対応付けられる領域がない場合、フレーム画像（Ｎ−１）よりもさらに過去に撮像されたフレーム画像の領域とフレーム画像Ｎの領域とを対応付けてもよい。例えば、フレーム画像（Ｎ−３）から抽出された領域に、フレーム画像Ｎの領域と対応付けられる領域がある場合、フレーム画像（Ｎ−３）の領域の識別子を、フレーム画像Ｎの領域に付与してもよい。

Ｓ２００２において、符号化対象フレームの領域に付与された識別子は、重要領域判定部１００５が有するメモリに格納されてもよいし、蓄積装置１０１に格納されてもよい。重要領域判定部１００５が、符号化対象フレームの領域に付与された識別子を取得できれば、識別子はいずれに格納されてもよい。

Ｓ２００２によって領域を対応付けることによって、フレーム画像が含まれる映像データにおいて被写体が移動する場合も、重要領域判定部１００５は、符号化対象フレームより過去に撮像されたフレーム画像において指定された被写体を、符号化対象フレームにおいて特定することができる。

Ｓ２００２の後、重要領域判定部１００５は、ユーザから領域を新たに指定されたか否かを判定する（Ｓ２００３）。重要領域判定部１００５は、後述する指定領域情報を受信部１００８が受信したか否かを判定することによって、ユーザから領域を新たに指定されたか否かを判定する。

Ｓ２００３において、符号化対象フレームより一つ前に撮像されたフレーム画像に、図２に示す処理を実行した後、ユーザから領域を新たに指定されたと判定された場合、重要領域判定部１００５は、符号化対象フレームより過去に撮像されたフレーム画像における各領域の重要度を再度判定し直す（Ｓ２００４）。Ｓ２００４における処理は、後述する。

なお、Ｓ２００３の処理は、図２に示す処理の開始後、Ｓ２００５の前に実行されれば、いずれのタイミングにおいて実行されてもよい。これは、Ｓ２００３の処理が、符号化対象フレームよりも過去に撮像されたフレーム画像の重要度を変更する処理であり、これによって、Ｓ２００３の処理が、Ｓ２００３の後の処理において、符号化対象フレームの重要度にユーザの指示による重要度を付与させるための処理であるからである。

Ｓ２００３において、ユーザから領域を新たに指定されていないと判定された場合、又は、Ｓ２００４の後、重要領域判定部１００５は、各領域に関して重要度を判定する（Ｓ２００５）。そして、重要領域判定部１００５は、Ｓ２００１において抽出された各領域に重要度を付与する。

Ｓ２００５において重要領域判定部１００５は、Ｓ２００２において対応付けられた過去のフレーム画像における領域に付与された重要度と同じ重要度を、符号化対象フレームの領域に付与する。Ｓ２００５において重要領域判定部１００５は、Ｓ２００２において保持した領域の識別子に基づいて、蓄積装置１０１に格納された過去のフレーム画像の重要度を取得する。

また、Ｓ２００２において過去のフレーム画像に、符号化対象フレームの領域と対応付けられた領域がないと判定された場合、ユーザによって指定された任意の値を、重要度として符号化対象フレームの領域に付与してもよい。

例えば、ユーザが、２値（重要であれば１、非重要であれば０）の重要度を画像符号化装置１００１に指定し、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がない場合、重要領域判定部１００５は、図５に示すように、各領域に”１”又は”０”を付与してもよい。本実施形態において、重要度として”１”が付与された領域は、重要領域である。また、重要度として”０”が付与された領域は、非重要領域である。

また、重要領域判定部１００５はＳ２００５において、２値以上の重要度を各領域に付与してもよい。

図５は、本発明の実施形態の領域に付与された重要度を示す説明図である。

Ｓ２００５において、例えば、重要領域判定部１００５は、領域Ａに重要度として”１”を付与し、領域Ｂに重要度として０を付与する。

重要領域判定部１００５は、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がない場合、例えば、あらかじめ指定された領域の大きさ、又は、エッジ強度などに従って、重要度を付与してもよい。すなわち、領域の大きさが所定の閾値よりも大きい場合、重要度として最も高い値（例えば、３）を付与し、領域の大きさが所定の閾値よりも小さい場合、重要度として最も低い値（例えば、０）を付与してもよい。

また、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がなく、Ｓ２００１における処理の際に、被写体の種類が識別できる場合、重要領域判定部１００５は、識別された被写体の種類に従って重要度を付与してもよい。例えば、被写体が人又は顔である場合、重要領域判定部１００５は、被写体が含まれる領域に最高の重要度を付与し、それ以外の領域には低い重要度を付与してもよい。

また、重要領域判定部１００５は、フレーム画像から抽出された領域以外の領域（背景領域）に、最低の重要度を付与してもよい。すなわち、Ｓ２００２において対応する過去のフレーム画像の領域が検出されない場合、重要領域判定部１００５は、いかなる方法によって重要度を領域に付与してもよい。

なお、以下において、各領域のフレーム画像における位置情報と各領域に付与された重要度と各領域に付与された識別子とを含む情報を、重要領域マップと記載する。重要領域マップは、各フレーム画像に対応して蓄積装置１０１に格納される。重要領域マップは、フレーム画像が撮像された順番を示す値を含んでもよい。

Ｓ２００５において、符号化対象フレームの領域に、対応付けられた過去のフレームの領域の重要度と同じ重要度を付与することによって、重要領域判定部１００５は、同じ被写体が撮像される領域を、映像データにおいて同じ画質によってユーザに提供することができる。

Ｓ２００５の後、前処理部１００６は、符号化対象フレームに前処理を行う（Ｓ２００６）。Ｓ２００６における前処理は、重要領域マップに基づいて、Ｓ２００５において重要度が高いと判定された領域（重要領域）以外の領域（非重要領域）に行われる。

ここで、前処理部１００６は、所定の閾値よりも高い重要度を付与された領域を、重要領域と判定してよく、所定の閾値以下の重要度を付与された領域を、非重要領域と判定してよい。

符号化対象フレームの重要領域マップが図５に示す情報を保持する場合、非重要領域は、重要度が０であると判定された領域Ｂと、背景領域（すなわち、領域Ａ及び領域Ｂ以外の領域）とを含む。重要度が多値によって判定されている場合、本実施形態の非重要領域には、所定の値以下の重要度であると判定された領域が含まれてもよい。

前処理部１００６は、Ｓ２００６において、非重要領域の情報量を削減する。すなわち、非重要領域の画質を低下させる。前処理部１００６による処理によって、非重要領域における符号化後の情報量が大幅に削減される。

前処理部１００６は、Ｓ２００６において、例えば、ローパスフィルタ、モザイク処理、ダイナミックレンジ縮小、又は、輝度若しくは色情報の固定値への置換などの画像処理を行う。これらの処理によって、非重要領域の画質は、受信した際の映像データに比べて大きく劣化するが、非重要領域の情報量は削減される。

Ｓ２００６の後、符号化処理部１００７は、前処理後のフレーム画像に符号化処理を行う（Ｓ２００７）。符号化処理部１００７は、Ｓ２００７における符号化処理において、ＩＴＵ−Ｔ Ｈ．２６４等の既知の動画像符号化技術を用いてもよい。

図６は、本発明の実施形態のマクロブロックによって分割されたフレーム画像を示す説明図である。

Ｈ．２６４に代表される既知の動画像符号化技術を用いた場合、符号化処理部１００７は、符号化対象フレーム全体を１６画素×１６画素のマクロブロックと呼ばれる単位に分割して、単位毎に符号化する。Ｈ．２６４を用いた場合、符号化処理部１００７は、符号化処理の対象のマクロブロックに対して、周辺の画素又は前後に撮像されたフレーム画像を用いて対象マクロブロック内の画素値の予測値を決定する。符号化対象のマクロブロックの画素と、決定された予測値との予測誤差を量子化することによって、符号化対象のマクロブロックをエントロピー符号化する。

ここで、符号化処理部１００７は、マクロブロック内の予測誤差を量子化する際に、量子化パラメータ（ＱＰ）をマクロブロック毎に制御することによって、マクロブロック内の予測誤差の量子化ステップ幅を制御し、マクロブロック内の画質と情報量とを調整することができる。

図６は、図５に示す重要領域マップに基づいた、重要領域を含むマクロブロックと、非重要領域を含むマクロブロックとを示す。符号化処理部１００７は、重要領域内のマクロブロックの量子化ステップ幅を小さくすることによって、重要度が高いと判定された重要領域の画質を高めることができる。

また、符号化処理部１００７は、領域内のマクロブロックの量子化ステップ幅を大きくすることによって、重要度が低いと判定された非重要領域の符号量を削減することができる。

なお、符号化処理部１００７は、重要度が高いと判定された重要領域の量子化ステップ幅の下げ幅と、非重要領域の量子化ステップ幅の上げ幅とを、符号化ストリームが目標ビットレートに収まるように、重要領域と非重要領域との画像中における割合と、重要領域及び非重要領域に付与された各々の重要度に従って制御してもよい。ここで目標ビットレートとは、画像符号化装置１００１と画像表示装置１００３との間のネットワークにおいて定められたビットレートである。

前述の処理によると、重要領域判定部１００５が符号化対象フレームを重要領域と非重要領域とに分割し、前処理部１００６が非重要領域に前処理を行うことによって非重要領域における情報量を削減し、符号化処理部１００７がさらに非重要領域の量子化ステップ幅を大きく、かつ、重要領域の量子化ステップ幅を小さくする。これによって、画像符号化装置１００１は、画像表示装置１００３に送信する映像データの情報量を削減しながら、重要領域の画質を自動的に高める、又は、維持することができる。

しかし、画像符号化装置１００１がフレーム画像の中から人間にとってどの部分が重要であるかを完全に判定することは、一般的に容易ではない。被写体が人物、顔、又は車両など限定される場合、重要領域判定部１００５は、比較的良好に領域を抽出できる。しかし、被写体が限定されない場合、重要領域判定部１００５が領域を正確に抽出することは困難である。

例えば同じ映像であっても、ユーザによってどの領域を重要であると判断するかは異なり得る。また同じユーザであっても、その時々の目的又は状況によって、どの領域を重要と判断するかは異なり得る。

そこで、前述の図２に示す処理に、ユーザが重要領域を指定できる機能を加える。

図７は、本発明の実施形態のユーザが重要領域であると判断する領域が指定される処理を示す説明図である。

図７に示す画像は、画像表示装置１００３の表示部１０２によって表示される映像のうち、ユーザが領域を指定した際に表示されていたフレーム画像である。ユーザは、マウス又はタッチパネルなどのポインティング機能を備える入力部１０３を用いて、表示部１０２に表示されたフレーム画像から、ユーザが重要であると判断する被写体を含む領域７０１を指定する。

入力部１０３は、表示したフレーム画像において、領域７０１をユーザによって指定された場合、フレーム画像における指定された領域７０１の位置を示す位置情報を取得する。入力部１０３は、ユーザが領域７０１を指定する方法に従って、位置情報を取得する方法をあらかじめ有する。

例えば、入力部１０３は、重要であると判断する被写体をユーザが点によって指定した場合、指定された点を含む被写体を抽出し、抽出された被写体の領域を含む矩形を、領域７０１として取得してもよい。そして、フレーム画像における取得された領域７０１の位置情報を取得してもよい。

また、入力部１０３は、ユーザが重要であると判断する被写体を円形の範囲によって指定した場合、円形の範囲を領域７０１として取得してもよい。

ユーザによって指定された領域７０１の位置情報を含む指定領域情報８００は、画像表示装置１００３から、画像符号化装置１００１に送信される。

なお、ユーザは、領域７０１を指定する際、領域７０１に含まれる被写体がどの程度重要であるかを示す重要度を指定してもよい。入力部１０３は、ユーザが指定した重要度を取得し、領域７０１と対応させて指定領域情報８００に取得された重要度を格納してもよい。

図８は、本発明の実施形態の画像符号化装置１００１に送信される指定領域情報８００を示す説明図である。

図８に示す指定領域情報８００は、画像表示装置１００３から画像符号化装置１００１に送信されるパケットに含まれる。指定領域情報８００は、指定時刻８００１、領域数８００２、及び、位置情報８００３（８００３−１〜８００３−ｎ）を含む。

指定時刻８００１は、ユーザが領域７０１の指定を完了した時点における、画像表示装置１００３に表示されるフレーム画像の時刻である。

通常、画像符号化装置１００１から画像表示装置１００３に送信される符号化ストリームには、撮像された順番に各フレーム画像が再生されるように、フレーム画像毎に再生すべき順番を示すフレーム時刻が画像符号化装置１００１によって付与される。すなわち、フレーム時刻は、フレーム画像が撮像された順番を示す。

画像表示装置１００３は、ユーザが領域７０１を指定した際に表示されていたフレーム画像のフレーム時刻を、指定時刻８００１に格納する。

領域数８００２は、ユーザが指定した領域７０１の個数を示す。領域数８００２に格納される値は、位置情報８００３の数に対応する。

位置情報８００３は、ユーザによって指定された領域７０１のフレーム画像における位置情報を示す。位置情報８００３は、指定領域情報８００にいくつ含まれてもよい。

図８に示す位置情報８００３は、領域７０１が矩形として指定された場合の、領域７０１の位置を示す情報である。具体的には、図８に示す位置情報８００３は、”左上の位置座標”、”指定範囲の幅”、及び、”指定範囲の高さ”によって領域７０１を示す。

ただし、領域７０１の位置を特定できる情報が位置情報８００３に格納されていれば、いかなる情報が位置情報８００３に格納されてもよい。すなわち、位置情報８００３は、領域７０１が円形又は多角形などによって指定されている場合、円形又は多角形を示す情報を格納してもよい。

また、ユーザが領域７０１の重要度を指定した場合、各位置情報８００３には、各領域７０１の重要度が格納される。

次に、画像符号化装置１００１が指定領域情報８００を受信した場合の処理、すなわち、図２に示すＳ２００４の処理を説明する。

図９は、本発明の実施形態の重要度再判定処理を示すフローチャートである。

重要領域判定部１００５は、図２に示すＳ２００３において、指定領域情報８００を受信部１００８が受信し、ユーザから領域を新たに指定されたと判定した場合、図９に示す処理を開始する。図９に示す処理は、Ｓ２００４の処理に対応する。

図９に示す処理において、重要領域判定部１００５は、符号化対象フレームの各領域と対応付けられる過去のフレーム画像の領域を特定し、特定された領域に付与された重要度を再判定する。

重要領域判定部１００５は、まず、ユーザが重要であると判断した領域７０１に対応する指定領域を特定する（Ｓ９００１）。重要領域判定部１００５は、受信した指定領域情報８００の指定時刻８００１が示すフレーム時刻に対応する過去のフレーム画像を、蓄積装置１０１から特定し、特定された過去のフレーム画像から指定領域を特定する。

ここで特定される過去のフレーム画像は、領域７０１が指定された際に画像表示装置１００３に表示されていたフレーム画像の、前処理部１００６及び符号化処理部１００７による処理前のフレーム画像である。

重要領域判定部１００５は、Ｓ９００１において、指定時刻８００１が示すフレーム時刻に対応する過去のフレーム画像を、蓄積装置１０１から特定し、さらに、特定された過去のフレーム画像の重要領域マップを特定する。

以下において、指定時刻８００１が示す時刻が付与された過去のフレーム画像をフレーム画像ｐと記載する。

Ｓ９００１における指定領域の特定処理の詳細を、図１０及び図１１に示す。

図１０は、本発明の実施形態の指定領域を特定する処理を示すフローチャートである。

図１０に示す処理は、Ｓ９００１に示す処理に相当する。

重要領域判定部１００５は、指定領域情報８００の位置情報８００３と、フレーム画像ｐの重要領域マップとに基づいて、フレーム画像ｐの重要領域マップにおける領域７０１を特定する。そして、特定された領域７０１に、過去に行われたＳ２００１において抽出された領域が既に含まれるか否かを判定する（Ｓ１０００１）。Ｓ１０００１における判定の具体例を、図１１Ａ〜図１１Ｃを用いて説明する。

図１１Ａは、本発明の実施形態のユーザによって指定された領域７０１に、重要度が高い領域が含まれる場合の重要領域マップを示す説明図である。

図１１Ａに示す重要領域マップは、ユーザによって指定された領域７０１内に、Ｓ２００１において抽出された領域Ａ”が含まれることを示す。

図１１Ｂは、本発明の実施形態のユーザによって指定された領域７０１に、重要度が低い領域が含まれる場合の重要領域マップを示す説明図である。

図１１Ｂに示す重要領域マップは、ユーザによって指定された領域７０１内に、Ｓ２００１において抽出された領域Ｂ”が含まれることを示す。

図１１Ｃは、本発明の実施形態のユーザによって指定された領域７０１に、抽出された領域が含まれない場合の重要領域マップを示す説明図である。

図１１Ｃに示す重要領域マップは、ユーザによって指定された領域７０１内に、過去に行われたＳ２００１において抽出された領域が含まれないことを示す。

重要領域判定部１００５は、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ａに示すような位置であるか、図１１Ｂに示すような位置であるか、又は、図１１Ｃに示すような位置であるかを判定する。

そして、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ａが示すような位置又は図１１Ｂが示すような位置である場合、重要領域判定部１００５は、特定された重要領域マップにおける領域７０１に、既に抽出された領域が含まれると判定する。

そして、重要領域判定部１００５は、重要領域マップにおける領域７０１に含まれる領域を指定領域として特定し、指定領域があることを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００３）。

一方、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ｃが示すような位置である場合、重要領域判定部１００５は、領域７０１内に抽出された領域が存在しないため、領域７０１の近くに、抽出された領域が存在するか否かを判定する（Ｓ１０００２）。

重要領域判定部１００５は、Ｓ１０００２において、既に抽出された領域のエッジのフレーム画像ｐにおける位置と、重要領域マップにおける領域７０１のエッジとの距離を算出し、算出された距離が所定の値より小さい場合、領域７０１の近くに、既に抽出された領域が存在すると判定する。

Ｓ１０００２において、領域７０１の近くに、既に抽出された領域が存在すると判定された場合、重要領域判定部１００５は、領域７０１の近くに存在する、既に抽出された領域を指定領域として特定し、指定領域があることを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００３）。

Ｓ１０００２において、領域７０１の近くに抽出された領域が存在しないと判定された場合、重要領域判定部１００５は、指定領域はないことを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００４）。

Ｓ１０００３又はＳ１０００４の後、重要領域判定部１００５は、図１０に示すＳ９００１の処理を終了する。

図１０に示す処理によって、重要領域判定部１００５は、ユーザが重要であると判定した被写体が撮像された領域の、フレーム画像における位置を特定できる。また、Ｓ１０００２及びＳ１０００３において、ユーザによって指定された領域の近くの領域を指定領域として特定することよって、重要領域判定部１００５は、ユーザが誤って指定すべき箇所の近傍の領域を指定した場合も、正確に指定領域を特定できる。

Ｓ９００１の後、重要領域判定部１００５は、Ｓ９００１の処理によって出力された値が、指定領域があることを示すか否かを判定する（Ｓ９００２）。

Ｓ９００２において、Ｓ９００１の処理によって出力された値が、指定領域がないことを示す場合、重要領域判定部１００５は、ユーザが誤って領域を指定したと判定し、図９に示すＳ２００４の処理を終了する。この場合、重要領域判定部１００５は、図２に示すＳ２００５を実行する。

Ｓ９００２において、Ｓ９００１の処理によって出力された値が、指定領域があることを示す場合、重要領域判定部１００５は、Ｓ９００１において特定されたフレーム画像ｐにおける指定領域の重要度を変更する（Ｓ９００３）。

ここで、ユーザが画像表示装置１００３において、重要であると判断する領域７０１のみを指定でき、かつ、重要度が”０”又は”１”のみである場合、重要領域判定部１００５は、フレーム画像ｐにおける指定領域の重要度を”１”に変更する。

例えば、Ｓ９００３において重要領域判定部１００５は、Ｓ９００１において図１１Ａのように領域７０１が領域Ａ”を含むと判定された場合、領域Ａ”には最高の重要度である”１”が付されているため、領域Ａ”の重要度を変更しない。

しかし、Ｓ９００１において図１１Ｂのように領域７０１が領域Ｂ”を含むと判定された場合、Ｓ９００３において重要領域判定部１００５は、領域Ｂ”の重要度を”０”から”１”に変更する。また、図１１Ｃのように領域７０１が領域Ｂ”に近いと判定された場合、Ｓ９００３において重要領域判定部１００５は、領域Ｂ”の重要度を高い重要度に変更する。

なお、ユーザが画像表示装置１００３において、重要ではないと判断する領域７０１のみを指定でき、かつ、重要度が”０”又は”１”のみである場合、重要領域判定部１００５は、フレーム画像ｐにおける指定領域の重要度を”０”に変更する。

また、図１１Ａ〜図１１Ｃに示す重要領域マップは、重要度が”０”又は”１”の２値である場合の重要度を示すが、重要度が多値である場合、重要領域判定部１００５は、指定領域の重要度が上がるように（又は、下がるように）値を変更してもよい。変更によって上がる重要度（又は、下がる重要度の値）の値は、ユーザによって重要領域判定部１００５にあらかじめ格納されてもよい。

また、指定領域情報８００の位置情報８００３が、ユーザによって指定された重要度を含む場合、重要領域判定部１００５は、位置情報８００３に従って、フレーム画像ｐにおける指定領域の重要度を変更してもよい。

Ｓ９００３の後、重要領域判定部１００５は、フレーム画像ｐより一つ後に撮像された過去のフレーム画像から、符号化対象フレームより一つ前に撮像された過去のフレーム画像の重要度を変更する（Ｓ９００４〜Ｓ９００８）。

図１２は、本発明の実施形態の符号化対象フレームより過去に撮像された複数のフレーム画像を示す説明図である。

画像表示装置１００３と画像符号化装置１００１とは、本実施形態において異なる筐体に配置されており、画像表示装置１００３と画像符号化装置１００１との間には、データを送信するための遅延時間が発生する。

このため、ユーザが画像表示装置１００３において領域７０１を指定した際に画像表示装置１００３に表示されるフレーム画像は、符号化対象フレームよりも過去に撮像されたフレーム画像ｐに対応する。

なお、本実施形態においてフレーム画像ｐは、フレーム時刻がｐであり、すなわち、ｐ番目に撮像されたフレーム画像である。また、符号化対象フレームは、フレーム時刻がＮであり、Ｎ番目に撮像されたフレーム画像である。

すなわち、図１２に示すフレーム画像ｐと、符号化対象フレームとの間には、複数のフレーム画像（ｐ＋１）〜フレーム画像（Ｎ−１）が撮像されている。

このため、符号化対象フレームに含まれる領域に、ユーザの指定に従って重要度を付加する場合、重要領域判定部１００５は、領域７０１を指定した際のフレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像（ｐ＋１）〜フレーム画像（Ｎ−１）に含まれる領域の重要度を変更する必要がある。

しかし、フレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像において、指定領域と同じ識別子を付与された領域の位置が、フレーム画像において移動している場合がある。また、指定領域と同じ識別子を付与された領域が、フレーム画像から消えている場合がある。

このため、本実施形態の重要領域判定部１００５は、以下の処理によって、フレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像に、指定領域に対応する領域があるか否かを判定する。

Ｓ９００３の後、重要領域判定部１００５は、過去のフレーム画像を取得するためのパラメータｔに、初期値として”ｐ＋１”を代入する（Ｓ９００４）。

また、Ｓ９００４の後、重要領域判定部１００５は、フレーム画像ｔが、符号化対象フレームであるか否かを判定する。

フレーム画像ｔが符号化対象フレームであると、Ｓ９００５において判定された場合、重要領域判定部１００５は、図９に示すＳ２００４の処理を終了する。これは、重要領域判定部１００５は、Ｓ２００５において符号化対象フレームに含まれる領域の重要度を判定するために用いられる、過去のフレーム画像の領域の重要度を、全て変更し終わったためである。

なお、フレーム画像ｐと符号化対象フレームとの間に撮像されたフレーム画像がない場合、Ｓ９００５においてフレーム画像ｔ（フレーム画像（ｐ＋１））が符号化対象フレームであると判定される。

フレーム画像ｔが符号化対象フレームではないと、Ｓ９００５において判定された場合、重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域と対応付けられた領域が、フレーム画像ｐの次に撮像されたフレーム画像（ｐ＋１）、すなわち、フレーム画像ｔに存在するか否かを判定する（Ｓ９００６）。

具体的には、重要領域判定部１００５は、フレーム画像ｐに対応する重要領域マップと、フレーム画像ｔに対応する重要領域マップとを参照し、指定領域と同じ識別子を付加された領域があるか否かを判定する。これによって、重要領域判定部１００５は、Ｓ９００６において、指定領域がフレーム画像ｔに存在するか否かを判定する。

この判定処理を、図１３Ａ〜図１３Ｅを参照して説明する。

図１３Ａは、本発明の実施形態の指定領域を含む重要領域マップを示す説明図である。

図１３Ａは、フレーム画像ｐに対応する重要領域マップを示す。図１３Ａに示す領域Ｂが、Ｓ９００３において重要度を変更された。

図１３Ｂ〜図１３Ｅに示す重要領域マップは、フレーム画像ｐの次に撮像されたフレーム画像（ｐ＋１）に対応する重要領域マップの複数の例である。

図１３Ｂは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの一つ目の例を示す説明図である。

図１３Ｃは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの二つ目の例を示す説明図である。

図１３Ｄは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの三つ目の例を示す説明図である。

図１３Ｅは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの四つ目の例を示す説明図である。

図１３Ｂから図１３Ｅに示す重要領域マップの各領域は、図２に示すＳ２００２の処理によって、各々の過去のフレーム画像、すなわちフレーム画像ｐの各領域と既に対応付けられている。

図１３Ｂに示す領域Ｂ’は、図１３Ａに示す領域Ｂ”と対応付けられている。また、図１３Ｂに示す領域Ｂ’には、Ｓ９００６を行う前において、例えば、重要度として１（重要）が付与されている。

また、図１３Ｃに示す領域Ｂ’は、図１３Ａに示す領域Ｂ”と対応付けられている。図１３Ｃに示す領域Ｂ’には、Ｓ９００６を行う前において、例えば、重要度として０（非重要）が付与されている。

また、図１３Ｄに示す重要領域マップには、図１３Ａに示す領域Ｂ”と対応付けられる領域がない。図１３Ｄに示す重要領域マップは、重要度として１を付与された領域Ｄ’を含む。

また、図１３Ｅに示す重要領域マップには、図１３Ａに示す領域Ｂ”と対応付けられる領域がない。図１３Ｅに示す重要領域マップは、重要度として１を付与された領域Ａ’のみを含む。

Ｓ９００６において重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域が、フレーム画像ｔにおける領域と、図１３Ｂ又は図１３Ｃのように対応付けられている場合、指定領域と対応付けられた領域がフレーム画像ｔに存在すると判定する。

また、Ｓ９００６において、重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域が、フレーム画像ｔにおける領域と、図１３Ｄ又は図１３Ｅのように対応付けられていない場合、指定領域と対応付けられた領域がフレーム画像ｔに存在しないと判定する。

指定領域が対応付けられた領域がフレーム画像ｔに存在しないと、Ｓ９００６において判定された場合、重要領域判定部１００５は、Ｓ９００８の処理を実行する。

重要領域判定部１００５は、Ｓ９００５及びＳ９００８の処理によって、フレーム画像ｐから符号化対象フレームまでの過去のフレーム画像のすべてに、Ｓ９００６の処理を実行する。このため、一つのフレーム画像において、指定領域に対応付けられる領域がないと判定された場合も、他のフレーム画像において、指定領域に対応付けられる領域があるか否かを判定することができる。

すなわち、重要領域判定部１００５は、図１３Ｄ又は図１３Ｅのように、指定領域である領域Ｂ”に対応付けられる領域がない場合も、他のフレーム画像において、領域Ｂ”に対応付けられる領域が再び撮像されていることを検出することができる。

Ｓ９００６において、指定領域が対応付けられた領域がフレーム画像ｔに存在すると判定された場合、重要領域判定部１００５は、重要度を変更された指定領域と対応付けられたフレーム画像ｔにおける領域の重要度を、指定領域の重要度と一致させるように、変更する（Ｓ９００７）。

例えば、図１３Ｂに示す領域Ｂ’が図１３Ａに示す領域Ｂ”と対応付けられている場合、領域Ｂ’の重要度と領域Ｂ”の重要度とは同じである。この場合、重要領域判定部１００５は、Ｓ９００７において、領域Ｂ’の重要度の値を変更しない。

また、例えば、図１３Ｃに示す領域Ｂ’が図１３Ａに示す領域Ｂ”と対応付けられている場合、領域Ｂ’の重要度と領域Ｂの重要度とは異なる。このため、重要領域判定部１００５は、Ｓ９００７において、領域Ｂ’の重要度の値を、領域Ｂ”の重要度の値と一致させる。

指定領域が対応付けられた領域がフレーム画像ｔに存在しないとＳ９００６において判定された場合、又は、Ｓ９００７の後、重要領域判定部１００５は、パラメータｔに１を加算し（Ｓ９００８）、Ｓ９００５に戻る。

Ｓ９００５からＳ９００８の処理を繰り返すことによって、重要領域判定部１００５は、フレーム画像ｐから符号化対象フレームまでの過去のフレーム画像における、指定領域に対応付けられる領域の重要度をすべて変更できる。

そしてこれによって、重要領域判定部１００５は、Ｓ２００５において、符号化対象フレームの領域に、ユーザの指定に従った重要度を付与することができる。

なお、フレーム画像ｐから符号化対象フレームまでに撮像されたフレーム画像がない場合、重要領域判定部１００５は、Ｓ９００１〜Ｓ９００３のみの処理を行えばよい。

なお、前述の処理は、ユーザによって重要であると指定された領域の重要度を上げるための処理である。しかし、同様の方法によって、ユーザが重要ではない領域を指定した場合、画像符号化装置１００１が、Ｓ９００３において、指定領域の重要度を下げるように変更してもよい。これによって、ユーザは、重要領域と非重要領域とを、より柔軟に設定することができる。

この場合、指定領域情報８００の位置情報８００３には、重要度を上げるべき領域を示すフラグ、又は、重要度を下げるべき領域を示すフラグが含まれてもよい。

また、重要領域判定部１００５は、図９に示すＳ９００１において、フレーム画像ｐにおいてユーザが指定した指定領域を特定した際、特定された指定領域の特徴量を履歴として、蓄積装置１０１に保持してもよい。そして、重要領域判定部１００５は、以降に実行される図２に示すＳ２００１及びＳ２００５において、保持された指定領域の特徴量を用いてもよい。

具体的には、重要領域判定部１００５は、指定領域の色分布、又は、エッジ方向の分布等の特徴量を保持してもよい。そして、重要領域判定部１００５は、Ｓ２００１において、指定領域の特徴量を用いてフレーム画像から領域を抽出してもよい。また、重要領域判定部１００５は、Ｓ２００５において、指定領域の特徴量を用いて領域の重要度を判定してもよい。

すなわち、重要領域判定部１００５は、ユーザが指定した指定領域に関する特徴量を履歴として保持しておくことによって、将来画像符号化装置１００１が受信するフレーム画像において指定領域の特徴量と近い特徴量を有する領域が存在した場合、指定領域の特徴量と近い特徴量を有する領域を抽出し、抽出された領域にユーザの指定に従った重要度を付与することができる。

なお、重要領域判定部１００５は、前述の指定領域に関する特徴量の履歴を、ユーザが指示した際など、必要に応じて削除してもよい。

さらに、重要領域判定部１００５は、指定領域に対応付けられる領域を、指定領域に付与された識別子に基づいて、符号化対象フレームから抽出し、抽出された領域の位置情報を撮像装置１００２に送信してもよい。そして、領域の位置情報を送信された場合、撮像装置１００２は、送信された位置情報に従って、撮像している範囲を制御してもよい。

例えば、撮像装置１００２は、送信された位置情報が示す領域のみにズームする、又は、送信された位置情報が示す領域を画面の中心に表示されるように撮像装置１００２が向く方向を変更する、などを行ってもよい。これによって、画像符号化装置１００１は、符号化処理におけるビットレートを変えることなく、重要領域の情報量を増やすことができる。

なお、本実施形態の画像符号化装置１００１が有する各処理部の機能をプログラムによって実装する場合、プログラムのプログラムコードを画像符号化装置１００１にインストールするための記憶媒体として、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、又はＲＯＭなどが用いられてもよい。

また、画像符号化装置１００１が有する各処理部の機能を実装するためのプログラムコードを、ネットワークを介して画像符号化装置１００１に配信することによって、画像符号化装置１００１が備えるハードディスク若しくはメモリ等の記憶装置、又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に、プログラムコードを格納してもよい。そして、画像符号化装置１００１のプロセッサが、前述の記憶装置又は記憶媒体に格納されたプログラムコードを読み出して実行してもよい。

本実施形態によれば、画像符号化装置１００１は、ユーザが指定した内容に従って、重要でないと判定された領域の画質を下げることができる。重要でないと判定された領域（非重要領域）の画質を下げることによって、画像符号化装置１００１から画像表示装置１００３へ送信される符号化ストリームの帯域を、必要に応じて低減することができる。

また、非重要領域の画質を下げることによって下がった符号化ストリームの情報量を、符号化対象フレームにおける重要領域の画質を上げるために用いることができるため、表示装置１００３は、重要領域の画質を上げて映像をユーザに提供することができる。

また、ユーザが重要度を変更するよう指定した領域を、符号化対象フレームの領域と対応付けることによって、本実施形態の画像符号化装置１００１は、符号化対象フレームにおける非重要領域を、ユーザの指定に従って圧縮できる。さらに、符号化対象フレームにおける重要領域の画質を、ユーザの指定に従って上げることができる。

このため、本実施形態の画像符号化装置１００１は、ユーザが真に見たいと欲する被写体の映像を、画質を上げて、又は、画質を維持して、ユーザに提供することができる。

また、重要領域判定部１００５は、符号化対象フレームの領域と、過去のフレーム画像の領域とを対応付け、対応付けられた領域の重要度を一致させる。これによって、画像符号化装置１００１は、映像内で被写体が移動する場合も、被写体が撮像された領域を、同じ画質によってユーザに提供できる。

また、符号化対象フレームの領域と、過去のフレーム画像の領域とを特徴量等によって対応付けることによって、被写体が映像内で移動する場合も、重要領域判定部１００５は、過去のフレーム画像においてユーザによって指定された被写体を、符号化対象フレームにおいても特定することができる。すなわち、被写体が映像内で移動する場合も、ユーザが指定した被写体の領域を、高い画質、又は、低い画質によってユーザに提供し続けることができる。

１００１ 画像符号化装置
１００２ 撮像装置
１００３ 画像表示装置
１００４ 制御部
１００５ 重要領域判定部
１００６ 前処理部
１００７ 符号化処理部

Claims (12)

1. 被写体が撮像された複数のフレーム画像を受信する画像処理装置と、画像処理装置から送信されたフレーム画像を表示する表示装置とを備える画像処理システムであって、
   前記画像処理装置は、
   プロセッサ、メモリ、及び、ネットワークインタフェースと、
   前記表示装置に表示された第１のフレーム画像の表示前の画像を蓄積する蓄積装置と、を備え、
   前記フレーム画像が撮像された順番を示すフレーム時刻と、前記フレーム画像から前記被写体が撮像された領域として抽出された領域と、前記抽出された領域に付与された重要度と、を示す重要度情報を、前記メモリに保持し、
   前記表示装置に表示された第１の前記フレーム画像においてユーザが指定した第１の領域の位置情報と、前記表示前の第１のフレーム画像が撮像された順番を示す第１のフレーム時刻と、前記第１の領域の重要度に関する情報と、を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に基づいて、前記蓄積装置における前記第１のフレーム画像の表示前の画像を特定し、前記第１の領域の位置と同じ位置の領域を前記表示前の画像から特定し、
   前記特定した第１の領域の位置と同じ位置の領域から所定の範囲内の領域であり、かつ、前記ユーザが指定する前記被写体が撮像された領域を、指定領域として、前記表示前の画像から抽出し、
   前記第１のフレーム画像より後に撮像された第２のフレーム画像から、前記被写体が撮像された第２の領域を抽出し、
   前記第１のフレーム時刻から、前記第２のフレーム画像が撮像された順番を示す第２のフレーム時刻までの間に撮像された第３のフレーム画像と、前記第３のフレーム画像から抽出された第３の領域とを、前記重要度情報に基づいて特定し、
   前記指定領域が、前記第３のフレーム画像から抽出された第３の領域と対応付けられるか否かを判定し、
   前記判定の結果、前記指定領域が前記第３の領域と対応付けられる場合、前記重要度情報に示される前記第３の領域に付与された重要度を、前記第１の領域の重要度に関する情報に従って変更し、
   前記第３の領域と、前記第２のフレーム画像から前記被写体が撮像された領域として抽出された第２の領域とが対応付けられるか否かを判定し、
   前記判定の結果、前記第３の領域と前記第２の領域とが対応付けられる場合、前記指定領域が第２の領域に対応付けられると判定し、前記第３の領域に付与された重要度を前記第２の領域に付与することによって、前記領域情報に従って前記第２の領域に重要度を付与し、
   前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、
   前記画質を変更された第２のフレーム画像を前記表示装置に送信することを特徴とする画像処理システム。
2. 前記画像処理装置は、
   前記第２の領域の第２の特徴量と、前記第３の領域の第３の特徴量とを算出し、
   前記第２の特徴量と前記第３の特徴量との差が、所定の値以下である場合、前記第３の領域と前記第２の領域とが対応付けられると判定することを特徴とする請求項１に記載の画像処理システム。
3. 前記画像処理装置は、
   前記蓄積装置から特定した、前記第１の領域の位置と同じ位置の領域に、前記被写体が撮像された領域が含まれるか否かを判定し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域に前記被写体が撮像された領域が含まれる場合、前記被写体が撮像された領域を前記指定領域として抽出し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域に前記被写体が撮像された領域が含まれない場合、前記表示前の画像において、前記第１の領域の位置と同じ位置の領域から所定の距離の範囲内に前記被写体が撮像された領域が含まれるか否かを判定し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域から所定の距離の範囲内に被写体が撮像された領域が含まれる場合、前記被写体が撮像された領域を、前記指定領域として抽出することを特徴とする請求項１に記載の画像処理システム。
4. 前記画像処理装置は、
   前記指定領域の第１の特徴量を算出し、
   前記算出された特徴量に基づいて、前記第２のフレーム画像から前記第２の領域を抽出することを特徴とする請求項１に記載の画像処理システム。
5. 前記表示装置は、
   プロセッサ、及び、メモリを備え、
   前記ユーザに前記第１のフレーム画像を提示し、
   前記提示された第１のフレーム画像における前記第１の領域のユーザによる指定を、受け付けることを特徴とする請求項１に記載の画像処理システム。
6. 前記画像処理システムは、前記被写体を撮像するための撮像装置を、さらに備え、
   前記画像処理装置は、前記第２のフレーム画像における前記第２の領域の位置情報を、前記撮像装置に送信し、
   前記撮像装置は、前記送信された第２の領域の位置情報に従って、前記第２の領域に撮像される前記被写体を撮像する方法を変更することを特徴とする請求項１に記載の画像処理システム。
7. 被写体が撮像された複数のフレーム画像を受信する画像処理装置と、画像処理装置から送信されたフレーム画像を表示する表示装置とを備える画像処理システムによる画像処理方法であって、
   前記画像処理装置は、
   プロセッサ、メモリ、及び、ネットワークインタフェースと、
   前記表示装置に表示された第１のフレーム画像の表示前の画像を蓄積する蓄積装置と、を備え、
   前記メモリは、前記フレーム画像が撮像された順番を示すフレーム時刻と、前記フレーム画像から前記被写体が撮像された領域として抽出された領域と、前記抽出された領域に付与された重要度と、を示す重要度情報を保持し、
   前記方法は、
   前記画像処理装置が、前記表示装置に表示された第１の前記フレーム画像においてユーザが指定した第１の領域の位置情報と、前記表示前の第１のフレーム画像が撮像された順番を示す第１のフレーム時刻と、前記第１の領域の重要度に関する情報と、を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に基づいて、前記蓄積装置における前記第１のフレーム画像の表示前の画像を特定し、前記第１の領域の位置と同じ位置の領域を前記表示前の画像から特定し、
   前記画像処理装置が、前記特定した第１の領域の位置と同じ位置の領域から所定の範囲内の領域であり、かつ、前記ユーザが指定する前記被写体が撮像された領域を、指定領域として、前記表示前の画像から抽出し、
   前記画像処理装置が、前記第１のフレーム画像より後に撮像された第２のフレーム画像から、前記被写体が撮像された第２の領域を抽出し、
   前記画像処理装置が、前記第１のフレーム時刻から、前記第２のフレーム画像が撮像された順番を示す第２のフレーム時刻までの間に撮像された第３のフレーム画像と、前記第３のフレーム画像から抽出された第３の領域とを、前記重要度情報に基づいて特定し、
   前記画像処理装置が、前記指定領域が、前記第３のフレーム画像から抽出された第３の領域と対応付けられるか否かを判定し、
   前記画像処理装置が、前記判定の結果、前記指定領域が前記第３の領域と対応付けられる場合、前記重要度情報に示される前記第３の領域に付与された重要度を、前記第１の領域の重要度に関する情報に従って変更し、
   前記画像処理装置が、前記第３の領域と、前記第２のフレーム画像から前記被写体が撮像された領域として抽出された第２の領域とが対応付けられるか否かを判定し、
   前記画像処理装置が、前記判定の結果、前記第３の領域と前記第２の領域とが対応付けられる場合、前記指定領域が第２の領域に対応付けられると判定し、前記第３の領域に付与された重要度を、前記第２の領域に付与することによって、前記領域情報に従って前記第２の領域に重要度を付与し、
   前記画像処理装置が、前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、
   前記画像処理装置が、前記画質を変更された第２のフレーム画像を前記表示装置に送信することを特徴とする画像処理方法。
8. 前記方法は、
   前記画像処理装置が、前記第２の領域の第２の特徴量と、前記第３の領域の第３の特徴量とを算出し、
   前記画像処理装置が、前記第２の特徴量と前記第３の特徴量との差が、所定の値以下である場合、前記第３の領域と前記第２の領域とが対応付けられると判定することを特徴とする請求項７に記載の画像処理方法。
9. 前記方法は、
   前記画像処理装置が、前記蓄積装置から特定した、前記第１の領域の位置と同じ位置の領域に、前記被写体が撮像された領域が含まれるか否かを判定し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域に前記被写体が撮像された領域が含まれる場合、前記画像処理装置が、前記被写体が撮像された領域を前記指定領域として抽出し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域に前記被写体が撮像された領域が含まれない場合、前記画像処理装置が、前記表示前の画像において、前記第１の領域の位置と同じ位置の領域から所定の距離の範囲内に前記被写体が撮像された領域が含まれるか否かを判定し、
   前記判定の結果、前記第１の領域の位置と同じ位置の領域から所定の距離の範囲内に被写体が撮像された領域が含まれる場合、前記画像処理装置が、前記被写体が撮像された領域を、前記指定領域として抽出することを特徴とする請求項７に記載の画像処理方法。
10. 前記方法は、
    前記画像処理装置が、前記指定領域の第１の特徴量を算出し、
    前記画像処理装置が、前記算出された特徴量に基づいて、前記第２のフレーム画像から前記第２の領域を抽出することを特徴とする請求項７に記載の画像処理方法。
11. 前記表示装置は、プロセッサ及びメモリを備え、
    前記方法は、
    前記表示装置が、前記ユーザに前記第１のフレーム画像を提示し、
    前記表示装置が、前記提示された第１のフレーム画像における前記第１の領域のユーザによる指定を、受け付けることを特徴とする請求項７に記載の画像処理方法。
12. 前記画像処理システムは、前記被写体を撮像するための撮像装置を、さらに備え、
    前記撮像装置は、プロセッサ及びメモリを備え、
    前記方法は、
    前記画像処理装置が、前記第２のフレーム画像における前記第２の領域の位置情報を、前記撮像装置に送信し、
    前記撮像装置が、前記送信された第２の領域の位置情報に従って、前記第２の領域に撮像される前記被写体を撮像する方法を変更することを特徴とする請求項７に記載の画像処理方法。

Images