JP6896452B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、仮想視点画像の生成に関する。

近年、複数のカメラでそれぞれの異なる位置から同じ注視点を撮影した画像から、３次元空間上の任意に選択された視点（以降、仮想視点と呼ぶ）からの見え方を再現する仮想視点画像が注目されている。仮想視点画像を生成する場合、選択される仮想視点は無数に存在するため、それらに対応した画像を全て用意することは非現実的である。そこで従来は、撮影された被写体や背景を３次元空間上に再現することで任意の仮想視点からの見え方の再現を実現している。

ここで、背景を３次元空間上で再現する方法としては、あらかじめ用意された背景を表す形状データ（背景モデル）に撮影した複数の背景画像を対応する箇所に貼り付けることで実現される。動画が入力された場合は、背景画像が入力される度に背景モデルへ貼りつける画像を更新する処理が行われる。

また、近年の撮影画像の解像度の増大により、データ伝送の帯域の圧迫や処理負荷が増大し、複数の撮影画像からリアルタイムに仮想視点画像を生成するには、撮影画像を占める割合の高い背景画像を効率良く画像処理する必要がある。

画像を効率的に処理する技術として、特許文献１には、コンピュータの画面を部分領域に分割して時間的な変化が頻繁に生じる部分領域は動画圧縮してデータ量を削減することで処理負荷を低減させる技術が開示されている。

特開２０１１−２３８０１４号公報

しかしながら、特許文献１に記載の技術のように頻繁に変化する領域のデータ量を削減しても、自然画を用いた仮想視点画像では多くの領域で頻繁に変化は生じる。このため、データ量の削減効果は小さく処理負荷の低減は十分ではない。また、仮想視点から離れた領域など重要ではない領域の画像処理が十分に抑制されず、処理負荷の低減は十分ではない。

本発明は前述の問題点に鑑み、仮想視点画像を生成するための背景を、精度よくかつ処理負荷を低くして更新できるようにすることを目的としている。

本発明に係る画像処理装置は、例えば、以下の構成を有する。すなわち、入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得手段と、前記複数の部分領域毎に注目度に関する注目情報を判定する判定手段と、前記取得手段によって取得された変化情報と、前記判定手段によって判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定手段と、前記決定手段によって決定された重要度に応じて前記部分領域を更新する更新手段とを有する。

本発明によれば、仮想視点画像を生成するための背景を、精度よくかつ処理負荷を低くして更新することができる。

第１の実施形態における画像処理装置の機能構成例を示すブロック図である。 実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 複数の三角メッシュの直方体形状を表した形状データの例を示す図である。 ３台のカメラから撮影された、注視点を含む入力画像の例を示す図である。 第１の実施形態に係る背景画像を更新する処理手順の一例を示すフローチャートである。 入力画像を形状データで部分領域に分割した例を示す図である。 形状データにおける各部分領域の変化情報を取得した例を示す図である。 各部分領域の重心位置と注視点との距離を判定した例を示す図である。 第１の実施形態における重要度の決定条件の例を示す図である。 第１の実施形態で各部分領域の重要度を求めた例を示す図である。 第２の実施形態における画像処理装置の機能構成例を示すブロック図である。 第２の実施形態に係る背景画像を更新する処理手順の一例を示すフローチャートである。 仮想視点の画角および部分領域ごとの指標を説明するための図である。 第２の実施形態における重要度の決定条件の例を示す図である。 第２の実施形態で各部分領域の重要度を求めた例を示す図である。 第３の実施形態における画像処理装置の機能構成例を示すブロック図である。 第３の実施形態に係る背景画像を更新する処理手順の一例を示すフローチャートである。 注目被写体を含む背景を示す図である。 注目被写体との距離の判定結果の例を示す図である。 第３の実施形態で各部分領域の重要度を求めた例を示す図である。

（第１の実施形態）
以下、本発明を実施するための第１の実施形態について、図面を用いて詳細に説明する。本実施形態では、仮想視点画像を生成する前段階として背景を３次元空間上に再現するために、背景形状の部分領域毎に画像の更新を行い、３次元空間上で背景の変化に対応させる。具体的には、仮想視点画像の生成に係る注視点位置からの距離に着目し、注視点位置からの距離と時間的な変化とに基づいて重要度を決定し、重要度に応じて画像を更新処理する。これにより、ユーザが注目しない領域の画像処理を抑制し、処理負荷を低減するようにする。
なお、本実施形態における仮想視点画像とは、仮想的な視点から被写体を撮像した場合に得られる画像を模擬して生成される画像である。言い換えると、仮想視点画像は、仮想的な視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。仮想視点画像に似た概念の言葉として、自由視点画像や任意視点画像などが存在する。本実施形態のシステムは、仮想視点画像に限らず、自由視点画像や任意視点画像についても同様に処理できる。

図２は、本実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。
図２において、ＣＰＵ２０１は、画像処理装置１０全体を制御し、ＲＯＭ２０２に格納されたプログラムに従って各種処理を行う。ＲＯＭ２０２には、前述のプログラムやその他の情報が格納されている。ＲＡＭ２０３は、前述のプログラムが実行される場合に、該プログラムがＲＯＭ２０２から展開され、ＣＰＵ２０１のワークエリアとして利用される。

入力装置２０４は、ユーザの指示を入力するための操作部材等から構成される。通信Ｉ／Ｆ２０５は、外部装置との間でネットワーク等を介してデータの送受信を行うためのインターフェースである。外部Ｉ／Ｆ２０６は、記憶装置２０７に記憶されたデータをプリンタや表示装置などの外部装置に出力するためのインターフェースである。記憶装置２０７は例えば画像データを記憶するためのメモリ等であり、通信Ｉ／Ｆ２０５等から入力されたデータや、ＣＰＵ２０１により処理されたデータを記憶する。

次に、本実施形態に係る画像処理装置１０の機能構成について説明する。なお、本実施形態では、画像処理装置１０は、同じ注視点を画角の中心とする３つのカメラで撮影された画像データを入力するものとする。

図１は、本実施形態における画像処理装置１０の機能構成例を示すブロック図である。本実施形態において、図１で示す各機能は、図２のＣＰＵ２０１が所定のプログラムを実行して各部を制御することによって実現される。ただし、図１で示す各機能の一部又はすべてがＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）などの１つ以上のプロセッサーによる処理に基づいて実行されるようにしても良い。
図１において、入力部１０１は、背景の形状データ、注視点位置情報、複数の画像データ、およびカメラ情報を入力し、これらの情報を記憶装置２０７に格納する。ここで、背景の形状データとは、三角形や四角形のメッシュの集合であり、例えばスタジアムやコンサートホールなど撮影対象となる背景の形状を示したものでる。入力部１０１の機能は、図２の通信Ｉ／Ｆ２０５及び入力装置２０４のうち、少なくとも何れか一方と、ＣＰＵ２０１とを用いて実現される。

図３に、形状データの例として、複数の三角メッシュ３０１の集合で天井面のない直方体形状を表した形状データ３００を示す。三角メッシュは三角形の点の３次元座標で表され、座標系は底面の中心位置３０２を原点として表現される。以下、図３に示す直方体形状のメッシュモデルを例に説明する。なお、本実施形態では、形状データとしてメッシュの集合で表したがこれに限るものではない。また、形状データをメッシュの集合で表すとしても、三角メッシュに限るものでもない。つまり、形状データ３００は任意の形状の集合で表すことができる。

注視点位置情報とは、仮想視点画像の生成のために入力される複数の画像データにおける撮像範囲の中心位置の３次元座標である。注視点位置情報は、図３に示した形状データ３００と同じ座標系で表現され、座標系の中心からｘ軸方向に注視点が５０メートル離れている場合は、注視点の座標（ｘ，ｙ，ｚ）＝（５０，０，０）となる。
複数の画像データは、前述の３台のカメラでそれぞれ撮影された画像データ（以下、入力画像）である。

図４は、３台のカメラから撮影された、注視点を含む入力画像の例を示す図である。図４（ａ）は、異なる位置に配置された３台のカメラからそれぞれ異なる方向４０２〜４０３で同じ注視点４０１を画角の中心として撮影する状態を説明するための図である。また、図４（ｂ）〜図４（ｄ）は、それぞれのカメラで撮影された入力画像の例を示しており、各画像の中心は注視点４０１が位置する。図４（ｂ）〜図４（ｄ）における注視点の三次元空間上における位置は共通である。
また、カメラ情報とは、前述の入力画像を撮影した複数のカメラの位置、姿勢、及び設定値を示す情報である。

画像選択部１０２は、カメラ情報に基づき、入力画像と形状データとで対応する領域を特定し、入力画像を形状データに示される複数の部分領域に分割する。そして、分割された部分領域毎に画像処理の対象として用いる入力画像を選択し、形状データと分割した入力画像とを変化情報取得部１０３と注目度判定部１０４とに出力する。部分領域への分割と入力画像の選択方法とについては後述する。

変化情報取得部１０３は、部分領域毎に分割された入力画像と直前のフレームの該当する部分領域の入力画像とを比較して、部分領域内で変化のある領域の割合を取得し、各部分領域の変化情報として重要度決定部１０５に出力する。
注目度判定部１０４は、形状データと注視点位置情報とから、各部分領域の重心位置と注視点位置との距離を判定し、注視点距離情報（注目情報）として重要度決定部１０５に出力する。

重要度決定部１０５は、変化情報取得部１０３で取得した各部分領域の変化情報と注目度判定部１０４で算出した注視点距離情報とから各部分領域の重要度を決定する。決定方法については後述する。
画像更新部１０６は、部分領域毎に重要度から入力画像を更新するか否かを判定する。更新すると判定した場合は、該当する部分領域を入力画像で更新し、更新しないと判定した場合、その部分領域の更新は行わないようにする。更新方法については後述する。
画像出力部１０７は、部分領域の更新が行われた画像データを、仮想視点画像を生成する外部装置に出力する。画像出力部１０７の機能は、図２の通信Ｉ／Ｆ２０５と、ＣＰＵ２０１とにより実現される。

図５は、本実施形態に係る画像処理装置１０により背景画像を更新する処理手順の一例を示すフローチャートである。
Ｓ５０１において、画像選択部１０２は、カメラ情報に基づき、図３に示した複数の三角形の部分領域で表された形状データ３００の部分領域に入力画像を分割する。なお、本実施形態では入力画像の全体を部分領域に分割する例を中心に説明するが、必ずしも入力画像の全体を部分領域に分割しなくても良い。入力画像を撮影したカメラの位置や姿勢を示すカメラ情報を用いて、それぞれ撮影された入力画像が形状データのどの位置を撮影したか対応を判定することで入力画像を形状データで示した三角形の部分領域に分割することができる。図６（ａ）〜図６（ｃ）は、それぞれ図４（ｂ）〜図４（ｄ）に示した入力画像を、図３で示した形状データで部分領域に分割した例を示している。図６において、破線は部分領域の境界を示し、各部分領域は形状データに従って三角形で表現される。ただし上述の通り、形状データは必ずしも三角形の部分領域の集合で示されなければならないわけではなく、任意の形状の集合で表すことができる。

次に、Ｓ５０２において、画像選択部１０２は、形状データに貼りつける対象の入力画像を部分領域ごとに選択する。部分領域によっては、複数の入力画像で重複して存在する場合があり、部分領域の画像として用いる画像を選択する必要がある。選択方法として、該当する部分領域を含む割合が最も大きい入力画像を選択する。ただし最も大きい入力画像を選択する方法に限らず、予め定められた選択方針に沿って入力画像が選択されるようにすればよい。例えば、部分領域の予め定められた位置を含む入力画像が選択されるようにしても良いし、部分領域の頂点を最も多く含む入力画像を選択するようにしても良い。すべての部分領域について入力画像の選択が終了したら、次のＳ５０３に進む。

以下、図６を例に入力画像の選択方法について説明する。例えば、注視点４０１付近に存在する部分領域Ａが、図６（ａ）〜図６（ｃ）に示す３つの入力画像に含まれている。図６（ａ）及び図６（ｂ）に示す入力画像では、部分領域Ａの一部が入力画像からはみ出ているが、図６（ｃ）に示す入力画像では、部分領域Ａの略全部が存在している。したがって、部分領域Ａの場合は、部分領域Ａが含まれる割合が最も大きい図６（ｃ）の入力画像を該部分領域の画像として選択する。なお、本実施形態では、部分領域を含む割合が最大の入力画像を選択したが、これに限らず部分領域の解像度が最大の入力画像を選択するなど、他の基準によって入力画像を選択してもよい。

次に、以下に説明するＳ５０３〜Ｓ５０６の処理を部分領域ごとに繰り返す。まず、Ｓ５０３において、変化情報取得部１０３は、対象となる部分領域において、直前のフレームと差分のある画素数の割合（変化値）に基づいて変化情報を生成する。図７は、図３の形状データにおける各部分領域の変化値の例を示す図である。図７では、図３の形状データを展開して示しており、各部分領域に記された数字は直前のフレームからの差分のあった領域の割合（％）を示している。図７の例では、直方体の側面部での変化が大きく、底面部での変化が小さいことを示している。なお、本実施形態では変化値（変化情報）として直前のフレームと差分のある画素数の割合としたが、直前のフレームとの差分値の平均値や直前のフレームとの差分が一定期間継続した画素数を変化値とするなどとしてもよい。また、本実施形態では画像処理装置１０の変化情報取得部１０３が変化情報を算出する例を中心に説明しているが、例えば、他の装置から変化情報が取得される構成を採用しても良い。

次に、Ｓ５０４において、注目度判定部１０４は、対象となる部分領域の重心位置と注視点との距離を算出して距離情報を生成する。当該距離は、注視点位置情報と各部分領域の座標情報を含む形状データとから判定される。図８は、図３の形状データにおける各部分領域の重心位置と注視点４０１との距離を判定した例を示し、各部分領域に記された値が注視点からの距離を示す。なお、本実施形態では注視点と部分領域との距離として重心位置を用いたが、これに限らず、注視点に最も近い部分領域内の位置との距離などを用いてもよい。また、本実施形態では画像処理装置１０の注目度判定部１０４が距離を算出する例を中心に説明しているが、例えば、他の装置から距離に関する情報が取得される構成を採用しても良い。

次に、Ｓ５０５において、重要度決定部１０５は、Ｓ５０３で生成した変化情報とＳ５０４で生成した距離情報とから、対象となる部分領域の重要度を決定する。以下、重要度を決定する基準について説明する。

図９は、重要度の決定条件の例を示す図である。図９に示す条件の場合、変化値が１０％未満であれば、直前に更新した画像と変化が小さいため、画像の更新は不要とみなし、重要度「低」とする。また、変化値が１０％以上であるが、注視点からの距離が１２０以上の場合も、注視点からの距離が離れており、ユーザは仮想視点としてその領域を注目することは少ないとみなし、重要度「低」とする。

これに対して、変化値が１０％以上で注視点からの距離が８０以上１２０未満の場合、前回更新した画像から変化があり、かつ注視点からそれほど離れておらずユーザが注目する可能性があるとみなし、重要度「中」とする。さらに、変化値が１０％以上で注視点からの距離が８０未満の場合、前回更新した画像から変化があり、かつ注視点の近くでユーザが注目する可能性が高いとみなし、重要度「高」とする。なお、本実施形態では画像処理装置１０の重要度決定部１０５が重要度を決定する例を中心に説明しているが、例えば、他の装置から重要度に関する情報が取得される構成を採用しても良い。

図１０は、図９に示した条件より各部分領域の重要度を求めた例を示す図である。直前のフレームから変化が大きく、注視点から近い部分領域ほど重要度は高く設定されている。以上のように、変化値と注視点からの距離とによって各部分領域の重要度が決定される。なお、本実施形態では変化情報と注視点からの距離を各々閾値で判定して重要度を３段階に求めたがこれに限らず、数値などで表現してもよい。

次に、Ｓ５０６において、画像更新部１０６は、Ｓ５０５で決定された重要度に従い、画像を更新するか否かを判定して部分領域毎に処理する。ここでは、重要度が「高」の部分領域の場合、画像更新部１０６は、入力画像でその部分領域を更新し、その部分領域に係る画像を記憶装置２０７に格納する。重要度が「中」の部分領域では、更新頻度を半分に間引くようにし、更新する場合は、画像更新部１０６は、入力画像の解像度を３０％縮小した画像を用いて更新し、その部分領域に係る画像を記憶装置２０７に格納する。重要度が「低」の部分領域では、更新頻度を１秒に一度に下げ、更新する場合は、画像更新部１０６は、入力画像の解像度を５０％縮小した画像を用いて更新し、その部分領域に係る画像を記憶装置２０７に格納する。このように重要度に応じた処理を行うことにより、重要度の低い領域の更新頻度とデータ量とが低減され、画像処理装置１０の平均的な処理負荷は軽減される。

なお、画像出力部１０７は、部分領域を更新した場合に、その部分領域に係る画像を外部装置に出力する。外部装置では、更新した部分領域に係る画像を背景モデルに貼り付けて３次元空間上の背景を更新し、更新した３次元空間上の背景から仮想視点画像を生成することができる。このように、画像処理装置１０による送信の処理負荷も低減することができる。

なお、本実施形態では、重要度に応じて入力画像の更新頻度と解像度とを変更したが、これに限らず、更新する画像の色深度を低下させたり更新する画像を圧縮したりするなどを行ってもよい。以上のように本実施形態によれば、各部分領域の注視点位置からの距離と画像の変化値とから重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御する。これにより、外部装置では、ユーザが注目する領域で高品位に画像を生成し、かつ処理負荷を低減させることが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザにより選択された３次元空間上の任意の視点である仮想視点の画角に含まれるか否かを指標としている。そして、変化情報と、仮想視点に基づく指標値と、画像処理装置が過負荷な状態での画像処理を抑制するため負荷情報とを重要度の決定に用いる。なお、本実施形態に係る画像処理装置のハードウェア構成については図２と同様であるため、説明は省略する。

図１１は、本実施形態における画像処理装置１１００の機能構成例を示すブロック図である。以下、図１と異なる点についてのみ説明する。
入力部１０１は、背景の形状データ、仮想視点情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置２０７に格納する。ここで、仮想視点情報とは、カメラ情報と同様に仮想視点の位置や姿勢を示す情報であり、例えばユーザの操作により入力装置２０４から入力される。注目度判定部１０４は、入力される仮想視点情報を基に仮想視点の画角に含まれる部分領域を特定し、重要度決定部１０５に出力する。

処理負荷管理部１１０１は、画像処理装置１１００の処理負荷の状態を監視し、負荷状態を示す値を重要度決定部１０５に出力する。処理負荷の状態を示す値は、例えば画像処理装置１１００におけるＣＰＵ２０１の使用率に相当する。なお、本実施形態では処理負荷の状態を示す情報としてＣＰＵ２０１の使用率を用いるがこれに限定するものではなく、例えば、ＲＡＭ２０３の使用率を用いても良いし、ＣＰＵ２０１の使用率とＲＡＭ２０３の使用率の組合せを用いても良い。

図１２は、本実施形態において、画像処理装置１１００により背景画像を更新する処理手順の一例を示すフローチャートである。なお、第１の実施形態と同様の処理については説明を省略する。
Ｓ１２０１においては、注目度判定部１０４は、該当する部分領域が仮想視点の画角内に含まれるか否かを判定し、その部分領域の指標を決定する。仮想視点情報に基づき、仮想視点の画角を形状データに投影することで仮想視点の画角に含まれる部分領域が特定される。

図１３は、仮想視点の画角に含まれるか否かを判定して指標を決定する処理を説明するための図である。図１３（ａ）に示すように、ユーザの操作により入力装置２０４から矢印１３０１に示す方向の仮想視点を指定する仮想視点情報が入力部１０１により入力された場合、図１３（ｂ）に示す画角が想定される。そして、図３の形状データ３００に当てはめると、図１３（ｂ）に示す仮想視点の画角に３つの部分領域が存在することになる。また、仮想視点に含まれる部分領域の指標を２、仮想視点に含まれる部分領域に接する部分領域を１、それ以外の部分領域の指標を０とする。この場合、各部分領域の指標は図１３（ｃ）に示すような分布となる。なお、仮想視点に含まれる部分領域の隣接領域は仮想視点の画角判定の誤差を考慮して指標を１としている。

次に、Ｓ１２０２において、処理負荷管理部１１０１は、画像処理装置１１００の処理負荷を示す値であるＣＰＵ使用率を検出する。そして、Ｓ１２０３において、重要度決定部１０５は、該当する部分領域の変化情報、仮想視点による指標、およびＣＰＵ使用率より重要度を決定する。

図１４は、ＣＰＵ使用率が低い（所定値未満の）場合の変化情報と仮想視点に基づく指標とにより重要度を決定する条件の例を示す図である。例えば、各部分領域の変化情報が図７に示したものであり、各部分領域の仮想視点による指標が図１３（ｃ）に示したものである場合、各部分領域の重要度は、図１５（ａ）に示すような分布となる。また、画像処理装置１１００のＣＰＵ使用率が高い（所定値以上の）場合は、全体の処理負荷を低減させるため重要度は全て一段階下げる。つまり、図１５（ｂ）に示す重要度として画像処理の全体の処理負荷を低減し、画像処理装置１１００の過負荷状態を回避するようにする。

以上のように本実施形態によれば、ユーザによって入力された仮想視点の画角より重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御するようにした。これにより、ユーザが視聴している領域で高品位に画像を生成し、かつ処理負荷を低くすることが可能となる。なお、本実施形態では仮想視点が単一である場合について示したが、複数の仮想視点が入力される場合は、各部分領域が仮想視点の画角に含まれるか否かを仮想視点毎に判定する。そして、画角に部分領域が含まれる仮想視点の数を各部分領域の注目度の指標値としてもよい。例えば、仮想視点が３つ存在し、対象とする部分領域が３つのうち２つの仮想視点の画角に含まれている場合は、その部分領域の指標を２とする。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザが注目する被写体との距離に着目し、変化情報と、ユーザが注目する被写体との距離と、画像出力までに求められる処理時間である要求性能とを用いて部分領域毎に重要度を決定する。なお、本実施形態に係る画像処理装置のハードウェア構成については図２と同様であるため、説明は省略する。

図１６は、本実施形態における画像処理装置１６００の機能構成例を示すブロック図である。以下、図１と異なる点についてのみ説明する。
入力部１０１は、背景の形状データ、注目被写体情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置２０７に格納する。ここで、注目被写体情報とは、ユーザが注目する被写体の３次元空間上の位置座標を示す情報であり、例えばユーザの操作により入力装置２０４から入力される。注目度判定部１０４は、注目被写体情報に係る被写体と各部分領域との距離を判定し、重要度決定部１０５に出力する。

要求性能管理部１６０１は、ユーザの要求に応じて画像出力部１０７から出力されるまでの時間を要求性能値として管理し、要求性能値の情報を重要度決定部１０５に送る。例えば、ユーザがリアルタイム処理を要求した場合は、入力画像のフレームレートで出力する必要があり、６０ｆｐｓ（Frame Per Second）の場合１０００ｍ秒÷６０＝１６ｍ秒を要求性能値として管理する。

図１７は、本実施形態において、画像処理装置１６００により背景画像を更新する処理手順の一例を示すフローチャートである。なお、第１の実施形態と同様の処理については説明を省略する。
Ｓ１７０１においては、注目度判定部１０４は、注目被写体情報と形状データとから、注目する被写体の位置と各部分領域との距離を特定する。各部分領域との距離を計測する際の基準点は、第１の実施形態と同様に各部分領域の重心位置とする。

次に、Ｓ１７０２において、要求性能管理部１６０１は、現在の要求性能値を検出する。そして、Ｓ１７０３において、重要度決定部１０５は、該当する部分領域と注目する被写体との距離、変化情報および要求性能値より重要度を決定する。

例えば図１８に示す被写体１８０１を注目する被写体として指定した場合、各部分領域との距離は図１９に示すような距離が判定される。また、第１の実施形態と同様の基準で決定した重要度の結果を図２０に示す。図２０（ａ）は要求性能が閾値以下の場合、図２０（ｂ）は要求性能が閾値以上の場合であり、要求性能が大きい場合は重要度を下げることで処理負荷を低減させている。

以上のように本実施形態によれば、注目する物体の距離より重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御するようにした。これにより、ユーザが注目する領域で高品位に画像を生成し、かつ処理負荷を低くすることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ 変化情報取得部
１０４ 注目度判定部
１０５ 重要度決定部
１０６ 画像更新部

Claims (13)

1. 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得手段と、
   前記複数の部分領域毎に注目度に関する注目情報を判定する判定手段と、
   前記取得手段によって取得された変化情報と、前記判定手段によって判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定手段と、
   前記決定手段によって決定された重要度に応じて前記部分領域を更新する更新手段と、
   を有することを特徴とする画像処理装置。
2. 前記更新手段は、前記重要度に応じた更新頻度で前記部分領域毎に更新することを特徴とする請求項１に記載の画像処理装置。
3. 前記更新手段は、前記重要度に応じた解像度で前記部分領域毎に更新することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記判定手段は、前記注目情報として前記入力画像の注視点位置からの距離を前記部分領域毎に判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記判定手段は、前記注目情報として仮想視点の画角に含まれるか否かの指標を前記部分領域毎に判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
6. 前記判定手段は、前記注目情報として画角に部分領域が含まれる仮想視点の数を前記部分領域毎に判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記画像処理装置の処理負荷に応じて重要度を決定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記判定手段は、注目する物体からの距離を前記注目情報として前記部分領域毎に判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
9. 前記判定手段は、前記注目する物体の位置情報を入力して前記注目する物体からの距離を判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記画像処理装置の要求性能に応じて重要度を決定することを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記更新手段によって更新された部分領域に係る画像を外部装置に出力する出力手段をさらに有することを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
12. 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得工程と、
    前記複数の部分領域毎に注目度に関する注目情報を判定する判定工程と、
    前記取得工程において取得された変化情報と、前記判定工程において判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定工程と、
    前記決定工程において決定された重要度に応じて前記部分領域を更新する更新工程と、
    を有することを特徴とする画像処理方法。
13. 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得工程と、
    前記複数の部分領域毎に注目度に関する注目情報を判定する判定工程と、
    前記取得工程において取得された変化情報と、前記判定工程において判定された注目情報とから前記部分領域毎の重要度を決定する決定工程と、
    前記決定工程において決定された重要度に応じて前記部分領域を更新する更新工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images