JP7051365B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像されて取得された全方位画像を処理する技術に関する。

近年、撮像装置の一つである監視カメラにおいて、広範囲を俯瞰して監視・撮影することができる全方位カメラ（例えば水平および垂直画角が１８０度以上のレンズを備えた監視カメラ）がある。全方位カメラの場合、イメージサークルの外縁の一部が撮像素子の撮像範囲の内側に含まれるため、当該全方位カメラの撮像素子から出力される画像は、光が入射されたイメージサークルの領域と光入射のない領域の境界が存在した画像となる。

また、監視カメラを含むデジタルスチルカメラ、デジタルビデオカメラ等で撮像された画像には、いわゆるフリンジと呼ばれる色滲みが視認されることがある。フリンジとは、輝度差の大きな輪郭が撮像画像中に存在する場合に、その輪郭部分に青色や紫色の縁取りのような色滲みが発生してしまう現象を指す。前述の全方位カメラで撮像された画像のように、イメージサークルによる光入射のある領域と光入射のない領域との境界が存在する画像の場合、特にフリンジが発生しやすい。

フリンジの発生は、撮像センサー、レンズ、画像処理等の工程によって引き起こされるものであり、従来、この問題を解決する様々な手法が提案されている。例えば、特許文献１には、レンズの特性を予め計測して補正データをメモリに格納しておき、撮影時にその補正データを用いて補正処理を実行する手法が開示されている。また、特許文献２には、複数回の撮影を行って撮影条件の異なる複数の画像を取得し、それらの画像を合成することでフリンジの補正を行う手法が開示されている。

特開２００３－６０９８３号公報 特開２０１１－２１１３２９号公報

しかしながら、特許文献１の手法のようにレンズの特性を予め計測して色滲みの補正データをメモリに格納する手法では、メモリ容量が増大するとともに調整工程も増えて構成が複雑になり、さらにレンズに関わる全ての影響を正確に補正することが困難である。また、特許文献２の技術では、予め色滲みの補正データを格納する必要はないが、撮影を２回以上行う必要があり処理量が増大する。

そこで、本発明は、簡易な構成および少ない処理量で、撮像画像の色滲みを抑制可能にすることを目的とする。

本発明は、撮像された全方位画像のイメージサークル内の彩度を決定するための彩度パラメーターを取得する取得手段と、前記彩度パラメーター、および前記イメージサークル内の画素の位置に基づいて、彩度レベル補正処理により前記彩度を低下させる強度を決定するための彩度レベル補正パラメーターを算出する算出手段と、前記撮像された前記全方位画像の彩度を、前記彩度レベル補正パラメーターに応じた彩度に低下させる彩度レベル補正処理を行う処理手段と、を備え、前記算出手段は、前記イメージサークルの中心側よりも前記イメージサークル内の外縁側の前記画素の彩度が低下するように前記彩度レベル補正パラメーターを算出することを特徴とする。

本発明によれば、簡易な構成および少ない処理量で、撮像画像の色滲みを抑制可能となる。

本実施形態の撮像システムの概略構成例を示す図である。 本実施形態の撮像装置の概略内部構成例を示す図である。 画像処理部の構成例を示すブロック図である。 現像処理部の構成例を示すブロック図である。 彩度レベル補正処理部例の構成を示すブロック図である。 第１実施形態の彩度レベル補正パラメーター算出のフローチャートである。 撮像素子、イメージサークル、彩度レベル補正処理該当画素の関係を示す図である。 彩度レベル補正パラメーターと像高位置の関係を示す図である。 彩度レベル補正パラメーターと像高位置の複数変化点を示す図である。 第２実施形態の彩度レベル補正パラメーター算出のフローチャートである。 第２実施形態の色成分を加えた彩度レベル補正の説明図である。 全方位画像からパノラマ画像を生成する例を示した図である。 第３実施形態の彩度レベル補正パラメーター算出のフローチャートである。 第３の実施形態の表示モードを加えた彩度レベル補正の説明図である。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。
図１は本実施形態における撮像システムの概略的な構成を示す図である。
図１に示す撮像システムは、動画像の撮像および本実施形態に係る画像処理を行う画像処理装置としての監視カメラ１０１と、ＩＰネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置１０２とを有して構成されている。クライアント装置１０２は、例えばパーソナルコンピュータと表示装置とを有して構成されているとする。本実施形態では、監視カメラ１０１が画像処理装置の機能を有する例を挙げて説明するが、クライアント装置１０２において本実施形態に係る画像処理を行うことも可能である。また、本実施形態において、監視カメラ１０１は、例えば広範囲を俯瞰して監視・撮影することができる全方位カメラ（水平および垂直画角が１８０度以上のレンズを備えた監視カメラ）であるとする。

図２は、本実施形態の監視カメラ１０１の概略的な内部構成例を示す図である。
撮像光学系２０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター等を有して構成され、被写体等からの光を集光して、被写体等の光像を撮像センサー２０２の撮像素子の撮像面（センサー面）上に形成させる。本実施形態の場合、撮像光学系２０１のレンズは、水平および垂直画角が１８０度以上のレンズであるとする。撮像センサー２０２は、撮像光学系２０１により撮像面上に形成された光像を電流値へと変換する撮像素子を有する。撮像センサー２０２は、撮像素子の撮像面上にカラーフィルタが設けられていることでＲＧＢの色情報をも取得する。また、撮像センサー２０２は、撮像素子の全ての画素に対して、任意の露光時間を設定可能となされているとする。

ＣＰＵ２０３は、各構成の処理と制御のすべてに関わり、ＲＯＭ（リードオンリーメモリ）２０４や、ＲＡＭ（ランダムアクセスメモリ）２０５に格納された命令を順次に読み込み、解釈し、その結果に従って各処理と制御を実行する。撮像系制御部２０６は、ＣＰＵ２０３からの指示の下で、撮像光学系２０１に対し、フォーカスを合わせる制御、シャッターを開閉する制御、絞りを調整する制御など各種撮像制御を行う。制御部２０７は、クライアント装置１０２からの指示に応じた制御を行う。Ａ／Ｄ変換部２０８は、撮像センサー２０２からの撮像信号をデジタル信号値の画像データに変換する。画像処理部２０９は、Ａ／Ｄ変換部２０８からの画像データに対して本実施形態に係る画像処理を行う部分であり、その詳細については後述する。エンコーダ部２１０は、画像処理部２０９による画像処理後の画像データを、いわゆるＭｏｔｉｏｎ ＪｐｅｇやＨ２６４などのファイルフォーマットに変換処理（エンコード処理）する。エンコーダ部２１０によるエンコード処理後の画像データは、例えばクライアント装置１０２に出力される。

図３は、本実施形態の画像処理部２０９の概略的な内部構成を示すブロック図である。
画像入力部３０１は、前述した撮像センサー２０２にて撮像され、Ａ／Ｄ変換部２０８にてデジタル変換された画像データを取得する。前処理部３０２は、撮像センサー起因の固定パターンノイズ除去やゲイン調整などの補正処理を行う。現像処理部３０３は、前処理部３０２による補正処理後の画像データに現像処理を行う。後処理部３０４は、現像処理部３０３にて現像処理された画像に空間方向のＮＲフィルタおよび時間方向のＮＲフィルタを掛けることで、ランダムに発生するノイズを低減する処理を行う。画像出力部３０５は、後処理部３０４からの画像データを図１のエンコーダ部２１０に出力する。

図４は、現像処理部３０３の内部構成例を示したブロック図である。
現像処理部３０３は、デモザイク処理部４０１と、ホワイトバランス処理部４０２と、彩度レベル補正処理部４０３と、ガンマ処理部４０４とを有して構成されている。デモザイク処理部４０１は前処理部３０２から入力された画像データに対しデモザイク処理を行い、ホワイトバランス処理部４０２はデモザイク処理後の画像データに対しホワイトバランス処理を行う。彩度レベル補正処理部４０３の詳細については後述するが、彩度レベル補正処理部４０３が彩度差レベル補正処理を行うことによって、色滲みを目立たなくすることができる。ガンマ処理部４０４は、彩度レベル補正処理部４０３から入力された画像データに対しガンマ処理を行う。そして、ガンマ処理部４０４から出力された画像データは、図３の後処理部３０４へ送られる。

＜第１実施形態の彩度レベル補正処理＞
以下、第１実施形態における彩度レベル補正処理部４０３の構成と彩度レベル補正処理について説明する。
図５は、第１実施形態における彩度レベル補正処理部４０３の概略構成例を示すブロック図である。第１実施形態の彩度レベル補正処理部４０３は、動画信号の各フレームの画像に対して彩度レベル補正を行うための構成であるとする。彩度レベル補正処理部４０３は、入力信号取得部５０１、彩度強調処理パラメーター取得部５０２、彩度レベル補正パラメーター算出処理部５０３、彩度レベル補正実行処理部５０４を有して構成される。

図６は、第１実施形態の彩度レベル補正処理部４０３が実行する彩度レベル補正処理の流れを示すフローチャートである。以下、第１実施形態における彩度レベル補正処理の流れを、図６のフローチャートを参照しながら説明する。以下の説明では、図６のフローチャートの各処理ステップＳ６０１～ステップＳ６０４をＳ６０１～Ｓ６０４と略記する。この図６のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭに記憶されている本実施形態に係る画像処理のプログラムをＣＰＵ等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭに予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは後述する他のフローチャートにおいても同様であるとする。

まず、Ｓ６０１において、入力信号取得部５０１は、全方位カメラである本実施形態の監視カメラ１０１により撮像された動画信号のフレーム毎に画像（以下、全方位画像とする）を取得する。
次に、Ｓ６０２において、彩度強調処理パラメーター取得部５０２は、入力画像に対して彩度（色の濃さ）をどの程度強調するかを決定する彩度パラメーター（以下、彩度強調処理パラメーターとする。）を取得する。例えば、監視カメラの場合、ユーザーはクライアント装置１０２を介して指示を入力することで、彩度をどの程度強調するかを調整することができる。以下、彩度を調整する処理を彩度レベル補正処理とする。より具体的には、ユーザーが選択できる彩度レベル補正処理の調整幅が例えば"０～１００"の範囲であり、ユーザーが彩度レベル補正処理を"５０"の強度で指定した場合、彩度強調処理パラメーター取得部５０２は、彩度強調処理パラメーターとして"５０"値を取得する。なお、彩度強調処理パラメーターとして"５０"値は標準的な値であり、ユーザーから指定が無い場合にデフォルトで設定されている彩度レベルと同じ値であるものとする。

次に、Ｓ６０３において、彩度レベル補正パラメーター算出処理部５０３は、彩度強調処理パラメーター、および、撮像画像内の画素の位置に基づいて、彩度レベル補正パラメーターを算出する。本実施形態において、彩度レベル補正パラメーターを算出する際の撮像画像内の画素の位置は、撮像素子の撮像面の中心からの距離を表す像高、または座標位置として取得される。なお、イメージサークルの中心を正確に特定することができるのであれば、そのイメージサークルの中心からの距離を、画素の位置として取得してもよい。
その後、Ｓ６０４において、彩度レベル補正実行処理部５０４は、入力信号取得部５０１で取得された撮像画像に対し、Ｓ６０３で算出された彩度レベル補正パラメーターに応じた彩度レベル補正処理を実行する。

以下、前述のＳ６０３の彩度レベル補正パラメーターの算出処理について、図７～図９と下記の式（１）、式（２）を用いて、より具体的に説明する。
図７は、撮像センサー２０２が備えている撮像素子の撮像範囲７００と、撮像光学系２０１により形成されるイメージサークル７０１とを、模式的に示した図である。ここで、図７には、彩度レベル補正処理が実行される該当画素７０２の座標位置を（ｘ，ｙ）、撮像素子の撮像面の中心（以下、画面中心７０３とする。）の座標位置を（Ｘ，Ｙ）、イメージサークル７０１の中心から外縁までの距離をＲとして表している。なお、画面中心７０３とイメージサークル７０１の中心は一致しているとする。このとき、該当画素７０２が画面中心７０３からどの程度離れているかを表す像高指標Ｍ（ｘ，ｙ）は、下記の式（１）により算出される。
Ｍ（ｘ，ｙ）＝｛（Ｘ－ｘ）²＋（Ｙ－ｙ）²｝／Ｒ² 式（１）

ここで、像高指標Ｍ（ｘ，ｙ）が例えば０．０～１．０の値をとる場合、該当画素７０２はイメージサークル７０１の中に含まれる画素を表しているとする。一方、像高指標Ｍ（ｘ，ｙ）が例えば１．０よりも大きな値をとる場合、該当画素７０２は、イメージサークル７０１の外に存在する画素を表しているとする。
また、座標位置（ｘ，ｙ）の該当画素７０２に対する彩度レベル補正パラメーターを補正パラメーターＮ（ｘ，ｙ）として表すとする。ここで、例えば、彩度レベル補正処理の調整幅が"０～１００"の範囲であり、Ｓ６０２で取得される彩度強調処理パラメーターが"５０"であったとする。この場合、補正パラメーターＮ（ｘ，ｙ）は、式（１）で算出される画面中心７０３からどの程度離れているかの像高指標Ｍ（ｘ，ｙ）を用いて、下記の式（２）により算出できる。

図８は、式（２）で表される像高指標Ｍ（ｘ，ｙ）と補正パラメーターＮ（ｘ，ｙ）の関係の一例を実線８００により表した図である。図８の縦軸は補正パラメーターＮ、横軸は像高指標Ｍを表している。図８の実線８００に示すように、補正パラメーターＮ（ｘ，ｙ）は、イメージサークルの外縁に近いほど彩度レベルを小さくするような値に設定される。イメージサークルの中心部は例えばユーザーの監視対象等が撮影されている可能性が高いため、図８では彩度レベル補正処理の強度をユーザーの意図である彩度強調処理パラメーターに一致するような関係になされている。つまり、図８の例の場合、補正パラメーターＮ（ｘ，ｙ）は、イメージサークルの中心部に近づくほど、彩度強調処理パラメーターの"５０"に近い値となされる。これにより、この補正パラメーターＮ（ｘ，ｙ）を用いた彩度レベル補正処理が、彩度レベル補正実行処理部５０４にて実行された場合、イメージサークルの外縁に近いほど彩度レベルが小さくなる。そのため、外縁では彩度レベル処理を適用する前よりも彩度の大きさが小さくなり、フリンジの色が青色や紫色から無彩色に変更され、色滲みを抑制する（目立たなくする）ことが可能となる。一方、図８において、イメージサークルの外側に位置する光入射のない領域（像高指標Ｍが１．０より大きい領域）に対しては、Ｓ６０４で彩度レベルが０となるような補正パラメーターＮ（ｘ，ｙ）が設定される。あるいは、彩度レベル補正実行処理部５０４では、撮像素子の光入射のある領域に対してのみ彩度レベル補正処理が実行され、光入射のない領域に対しては彩度レベル補正処理が実行されないようにしてもよい。

なお、補正パラメーターＮは式（１）、式（２）によって算出される値に限るものではなく、例えば図９の実線９００に示すように、変化点９０１を複数設けることで、補正パラメーターＮの変化を滑らかに算出する方法を採用してもよい。図９は、図８同様に、縦軸が補正パラメーターＮ、横軸が像高指標Ｍを表している。また、補正パラメーターＮは彩度レベル補正処理の強度に限るものではなく、色成分に対するゲイン等の補正パラメーターを採用してもよい。

第１実施形態においては、以上のように補正パラメーターＮが設定されることで、中心部ではユーザーの意図した彩度を実現しつつ、イメージサークル外縁に発生するフリンジを抑制することが可能になる。すなわち、本実施形態の彩度レベル補正処理部４０３では、前述した図６のＳ６０１～Ｓ６０４の処理を動画の画像データに対して行うことで、簡易な構成および少ない処理量で、入力された画像に色滲みが生ずるのを抑制することができる。
第１実施形態では、監視カメラ１０１において彩度レベル補正処理を実行したが、彩度レベル補正処理が実行される対象には特に制限はない。例えば、魚眼レンズを使用した場合や、イメージサークルの外縁の一部が撮像素子の撮像範囲の内側に含まれるような広角レンズを使用した場合や、画像の四隅にケラレが発生している場合に対して、同様の処理を実行することが可能である。

＜第２実施形態の彩度レベル補正処理＞
前述した第１実施形態では、図６のＳ６０３において、彩度レベル補正パラメーター算出処理部５０３が、彩度強調処理パラメーターおよび画素の位置（像高または座標）に応じて彩度レベル補正処理パラメーターを算出する方法について説明した。以下の第２実施形態では、彩度レベル補正パラメーター算出処理部５０３において、彩度強調処理パラメーターおよび画素の位置に加え、色成分の情報を考慮して、彩度レベル補正パラメーターを算出する。なお、第２実施形態において、画像処理に係る構成は前述の第１実施形態と同様であるため、その図示および説明は省略する。第２実施形態においても第１実施形態と同じ構成については同じ符号を付し、それらの説明を省略する。

図１０は、第２実施形態の彩度レベル補正パラメーター算出処理部５０３における彩度レベル補正処理のパラメーター算出処理のフローチャートである。以下、第２実施形態の彩度レベル補正処理の流れについて図１０のフローチャートを参照して説明する。
まず、Ｓ１００１において、彩度レベル補正パラメーター算出処理部５０３は、色成分を取得するために、下記の式（３）のように、入力信号のＲＧＢ値を、輝度（Ｙ）成分と色（ＵＶ）成分に変換する。

Ｙ(x,y)＝0.299×Ｒ(x,y)＋0.587×Ｇ(x,y)＋0.114×Ｂ(x,y)
Ｕ(x,y)＝-0.169×Ｒ(x,y)－0.331×Ｇ(x,y)＋0.500×Ｂ(x,y) 式（３）
Ｖ(x,y)＝0.500×Ｒ(x,y)－0.419×Ｇ(x,y)－0.081×Ｂ(x,y)

ここで、式（３）のＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）は座標位置（ｘ，ｙ）のＲＧＢ信号値を表し、Ｙ（ｘ，ｙ）、Ｕ（ｘ，ｙ）、Ｖ（ｘ，ｙ）はＹＵＶ信号を表す。なお、色信号は式（３）によって算出される値に限るものではなく、Ｌａｂ変換によって得られるａ，ｂ値や、ＹＣｂＣｒ変換によって得られるＣｂ，Ｃｒ値を採用してもよい。

続いて、Ｓ１００２において、彩度レベル補正パラメーター算出処理部５０３は、イメージサークル外縁から画面中心にかけて、ＵＶ成分の大きさを像高別に取得し、その取得した値について０．０～１．０の値への正規化を行う。以下、ＵＶ成分の大きさを正規化した値をＵＶ強度Ｏ（ｘ，ｙ）と呼ぶ。
さらにステップＳ１００３において、彩度レベル補正パラメーター算出処理部５０３は、式（１）による像高指標Ｍ（ｘ，ｙ）と彩度強調処理パラメーターＬとＳ１００２によるＵＶ強度Ｏ（ｘ，ｙ）を用い、補正パラメーターＮ（ｘ，ｙ）を式（４）にて算出する。

図１１（ａ）と図１１（ｂ）は、式（４）を用いて補正パラメーターＮを算出する場合のＵＶ強度Ｏ、像高指標Ｍ、補正パラメーターＮの関係説明に用いる図である。図１１（ａ）は、撮像素子の撮像範囲１１００とイメージサークル１１０１を示した図である。図１１（ａ）に示すように、イメージサークル１１０１において、画面中心側の領域Ｃ１はＵＶ成分の高い被写体が多く分布（ＵＶ強度が大きい領域）し、中間位置の領域Ｃ２はほぼ無彩色の被写体が多く分布（ＵＶ強度が小さい領域）しているものとする。一方、イメージサークル１１０１の外縁部分の領域Ｃ３はＵＶ成分の高い被写体が比較的多く分布する領域とする。図１１（ｂ）は、第２実施形態の場合の像高指標Ｍと補正パラメーターＮの関係の一例を実線１１１１により表した図であり、前述の図８同様に、縦軸が補正パラメーターＮ、横軸が像高指標Ｍを表している。

この図１１（ａ）および図１１（ｂ）に示すように、領域Ｃ１や領域Ｃ３のような色成分が多く含まれる（ＵＶ成分の大きい）領域に対しては、彩度レベル補正パラメーターによる彩度レベル補正処理の強度の変化は緩やかになされる。例えば、画面中心のＵＶ成分が多く分布（ＵＶ強度が大きい）している領域Ｃ１では彩度レベル補正パラメーターの変化を略々無くして彩度の変化をより小さくする。また、イメージサークル外縁のＵＶ成分が比較的多く分布する領域Ｃ３では彩度レベル補正パラメーターの変化を小さくして彩度の段差が生じないようにする。一方、中間位置のように無彩色に近い領域Ｃ２については、彩度レベル補正パラメーターを大きく変化させて彩度の変化を大きくする。

このように、第２実施形態によれば、ＵＶ強度Ｏ（ｘ，ｙ）をも考慮して彩度レベル補正処理パラメーターを算出することで、像高位置ごとに異なる彩度レベル補正処理を実行する場合であっても、像高別の彩度の違いを目立たなくすることができる。
また、補正パラメーターＮは、式（４）によって算出される値に限るものではなく、例えば式（５）のように算出する方法を採用してもよい。

式（５）を用いて彩度レベル補正パラメーターを算出した場合、イメージサークル外縁に存在する色成分の大きな被写体に対して、彩度レベルの補正処理を実行した場合でも、ユーザーの意図した彩度を実現することが可能になる。なお、式（４）と式（５）の算出方法を像高位置に応じて組み合わせて算出する方法を採用してもよい。
以上説明したように、第２実施形態によれば、彩度レベル補正処理によって生じる像高別の彩度の違いを軽減しつつ、イメージサークル外縁に発生する色滲みを抑制することが可能になる。

＜第３実施形態の彩度レベル補正処理＞
第３実施形態では、彩度レベル補正パラメーター算出処理部５０３において、彩度強調処理パラメーターおよび画素の像高または座標に加えて、表示モードを考慮して、彩度レベル補正パラメーターを算出する例を説明する。なお、第３実施形態において、画像処理に係る構成は前述の第１実施形態と同様であるため、その図示および説明は省略する。第３実施形態においても第１実施形態と同じ構成については同じ符号を付し、それらの説明を省略する。

ここで、本実施形態の撮像システムでは、クライアント装置１０２の表示装置上に画像を表示させる際の表示方法をユーザーが任意に設定可能となされている。表示方法の設定は、一例として、複数の表示モードからユーザーが所望の表示モードを指定することにより行われる。表示モードとしては、例えば、全方位カメラで撮影された画像に対し、ユーザーが任意の領域を指定して、歪みのある全方位画像に対して歪曲補正を行わせた上でパノラマ画像のように表示させるモード（パノラマモードとする。）を挙げることができる。

図１２は、撮像素子の撮像範囲１２００とイメージサークル１２０１を示した図である。イメージサークル１２０１の全方位画像は、パノラマモードで表示される領域Ｐ１とパノラマモードで表示されない領域Ｐ２とに分けられる。パノラマモードでの表示が行われる場合、イメージサークル１２０１の全方位画像の中から、領域Ｐ１の画像が取り出され、歪曲補正を行った上で、パノラマ画像１２１０として表示される。この図１２に示すように、例えばユーザーがパノラマ画像を表示させたい場合、全方位画像の中心部分を除いた領域Ｐ１を用いてパノラマ画像１２１０が作成される。ここで、パノラマモードでは、図１２に示すように、イメージサークル１２０１の一部領域が表示されないため、ユーザーが例えば監視を行っている画像に彩度レベル補正処理の効果が反映されない領域が存在することになる。すなわち、表示モードによっては画像に彩度レベル補正処理の効果が反映されない領域が存在するため、第３実施形態の彩度レベル補正パラメーター算出処理では、表示モードに応じた彩度レベル補正パラメーターを算出する。

図１３は、第３実施形態における彩度レベル補正パラメーター算出処理のフローチャートである。以下、第３実施形態における彩度レベル補正処理の処理フローについて図１３のフローチャートを参照して説明する。
まず、Ｓ１３０１において、彩度レベル補正パラメーター算出処理部５０３は、例えばクライアント装置１０２を介してユーザーにより選択された表示モードを取得する。
続いて、ステップＳ１３０２において、彩度レベル補正パラメーター算出処理部５０３は、式（１）による像高指標Ｍ（ｘ，ｙ）と、彩度強調処理パラメーターＬと、Ｓ１３０１で取得した表示モードとに基づいて、彩度レベル補正パラメーターを算出する。

図１４（ａ）と図１４（ｂ）は、第３実施形態において、表示モードとしてパノラマモードが選択された場合の、像高指標Ｍ、彩度レベル補正パラメーター（補正パラメーターＮ）の関係説明に用いる図である。図１４（ａ）は、撮像素子の撮像範囲１４００とイメージサークル１４０１を示した図である。図１４（ａ）に示すように、イメージサークル１４０１において、画面中心側の領域Ｐ２はパノラマモードで表示されない領域であり、それ以外の領域Ｐ１はパノラマモードで表示される領域である。図１４（ｂ）は、第３実施形態の場合の像高指標Ｍと補正パラメーターＮの関係の一例を実線１４１１により表した図であり、前述の図８同様に、縦軸が補正パラメーターＮ、横軸が像高指標Ｍを表している。

第３実施形態の場合、図１４（ａ）および図１４（ｂ）に示すように、パノラマモードで表示されない領域Ｐ２では彩度レベル補正パラメーターが、彩度強調処理パラメーターから得られる値と同等の値に設定される。また、イメージサークル１４０１において、領域Ｐ２を除く、パノラマモードで表示される領域Ｐ１では、第１実施形態の図８で説明したのと同様に、像高指標Ｍに応じて彩度レベル補正処理の強度が徐々に弱まるように彩度レベル補正パラメーターが設定される。

このように、第３実施形態においては、表示モードに応じて彩度レベル補正処理パラメーターを算出することで、ユーザーが選択した表示モードに応じた最適な彩度レベル補正処理を実行することが可能になる。
なお、第３実施形態では、第１実施形態で説明した彩度強調処理パラメーターおよび画素の位置（像高または座標）に表示モードの情報を加えた例を挙げたが、さらに第２実施形態で説明した色成分の情報をも加えて彩度レベル補正処理パラメーターを算出してもよい。

以上説明したように、第１～第３実施形態においては、イメージサークル（結像範囲）の外縁の一部が撮像素子の撮像範囲内に含まれる画像に対し好適な彩度レベル補正処理を行うことで、色滲みを抑制することができる。第１～第３実施形態によれば、全方位画像を撮影可能な監視カメラにおいて、簡易な構成および少ない処理量で、撮像画像に発生する色滲み、特に、イメージサークルの外縁領域に発生するフリンジの発生を抑制するための彩度レベル補正処理を実現可能となる。

＜その他の実施形態＞
本実施形態の画像処理装置は、監視カメラに限定されない。例えば、広い画角範囲を撮影可能なデジタルカメラ、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末にも適用可能であり、さらには工業用カメラ、車載カメラ、医療用カメラ等にも本実施形態は適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：監視レンズ、１０１：クライアント装置、２０１：撮像光学系、２０２：撮像センサー、２０９：画像処理部、２０３：ＣＰＵ、４０３：彩度レベル補正処理部、５０３：彩度レベル補正パラメーター算出処理部、５０４：彩度レベル補正実行処理部

Claims (9)

1. 撮像された全方位画像のイメージサークル内の彩度を決定するための彩度パラメーターを取得する取得手段と、
   前記彩度パラメーター、および前記イメージサークル内の画素の位置に基づいて、彩度レベル補正処理により前記彩度を低下させる強度を決定するための彩度レベル補正パラメーターを算出する算出手段と、
   前記撮像された前記全方位画像の彩度を、前記彩度レベル補正パラメーターに応じた彩度に低下させる彩度レベル補正処理を行う処理手段と、
   を備え、
   前記算出手段は、前記イメージサークルの中心側よりも前記イメージサークル内の外縁側の前記画素の彩度が低下するように前記彩度レベル補正パラメーターを算出することを特徴とする画像処理装置。
2. 前記撮像された前記全方位画像は、前記イメージサークルの外縁の少なくとも一部が、撮像素子の撮像範囲の内側に含まれる画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記画素の位置として、撮像素子の撮像面の中心からの距離を表す像高、または座標を用いることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、複数の変化点を有する前記彩度レベル補正パラメーターを算出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記処理手段は、撮像素子への光入射のある領域に対して前記彩度レベル補正処理を実行し、前記光入射のない領域に対しては前記彩度レベル補正処理を実行しないことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記算出手段は、前記彩度パラメーター、前記イメージサークル内の画素の位置、及び前記撮像された全方位画像の色成分の情報に基づいて、前記彩度レベル補正パラメーターを算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記算出手段は、前記彩度パラメーター、および前記イメージサークル内の画素の位置、及び前記全方位画像が表示される際の表示方法の情報に基づいて、前記彩度レベル補正パラメーターを算出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 撮像された全方位画像を処理する画像処理装置が実行する画像処理方法であって、
   撮像された前記全方位画像のイメージサークル内の彩度を決定するための彩度パラメーターを取得する取得工程と、
   前記彩度パラメーター、および前記イメージサークル内の画素の位置に基づいて、彩度レベル補正処理により前記彩度を低下させる強度を決定するための彩度レベル補正パラメーターを算出する算出工程と、
   前記撮像された前記全方位画像の彩度を、前記彩度レベル補正パラメーターに応じた彩度に低下させる彩度レベル補正処理を行う処理工程と、
   を備え、
   前記算出工程は、前記イメージサークルの中心側よりも前記イメージサークル内の外縁側の前記画素の彩度が低下するように前記彩度レベル補正パラメーターを算出することを特徴とする画像処理方法。
9. コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images