JP2017118326A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】有効画像領域と無効画像領域を含む画像に対して画像処理が行われた場合の画質低下を低減可能にすることを課題とする。【解決手段】画像領域判断部（４００）と画像情報取得部（４０１）は、撮像画像からなる有効画像領域と、有効画像領域の周囲に位置する無効画像領域とを含む入力画像データ（１２１）から、有効画像領域の画像特性を取得する。画像特性判断部（４０２）は、有効画像領域の画像特性に応じたプレフィル用画素値を決定する。プレフィル部（４０３）は、無効画像領域の各画素値をプレフィル用画素値に設定する。画像処理部（４０４）は、無効画像領域が画像特性に応じた画素値に設定された画像に対し、フィルタ処理を行う。最終フィル部４０５は、フィルタ処理後の画像の無効画像領域の各画素値を黒色に設定する。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

画像を撮影するカメラ装置やカメラシステムは、例えば、公共の建物や場所、銀行、スーパーマーケット等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者或いは侵入物体を監視する目的等で数多く用いられている。そのような侵入者等の監視に用いられるカメラとしては、いわゆる３６０度全方位画像の撮影が可能な機能を備えたカメラ装置（以下、全方位カメラと表記する。）がある。全方位カメラにより撮影された３６０度全方位画像（以下、全方位画像と表記する。）は、例えば等分割されてディスプレイ装置などの画面表示機器の一画面上に表示される。これにより、監視者（ユーザ）は、全方位を一度に監視することができる。

ここで、全方位カメラのレンズは、いわゆる魚眼レンズが用いられることが多く、魚眼レンズのイメージサークルが撮像素子（イメージセンサ）の撮像面内に略々全てが収まるようにすることで、３６０度全方位画像の撮像が可能となされている。このため、撮像素子では、魚眼レンズのイメージサークルに応じた円形状の画像（以下、魚眼画像と表記する。）が撮像されることになる。魚眼画像を撮像した撮像素子からの出力画像は、魚眼画像の円形状内の画像領域が有効画像領域となり、一方、魚眼画像の円形状外の周辺画像領域が無効画像領域となる。そして、無効画像領域は、常に黒色などの同一色の画素値が埋め込まれる。以下、このように無効画像領域を同一色で埋める処理をフィル処理と表記する。

また、例えば、特許文献１には、魚眼画像の円形状外の無効画像領域をマスクすることで、有効画像領域の視認性を高めるようにする技術が開示されている。特許文献１の技術では、有効画像領域の視認性を高めるために、有効画像領域と無効画像領域との境目に相当する画像領域の輝度を抽出し、その輝度に基づいて有効画像領域に対する画像変換処理が行われている。

特開２００１−２３９８８２号公報

ここで、無効画像領域は、前述したように、撮像素子の撮像面上で魚眼レンズのイメージサークル外の周辺画像領域である。イメージサークル外には光が当たらないため、無効画像領域では電気的なノイズが目立つ場合がある。このため、無効画像領域の各画素に対しては、前述したように黒色などの同一色の画素値で埋めるようなフィル処理が行われている。ところが、無効画像領域の各画素値が予め決めた黒色等で埋められていると、例えば何らかの画像処理が行われた場合に、無効画像領域の黒色により有効画像領域が影響を受けて画質が低下してしまうことがある。

本発明はこのような問題点に鑑みてなされたものであり、有効画像領域とその周囲画像領域を含む画像に対して画像処理が行われた場合の画質低下を低減可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の画像処理装置は、撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得する取得手段と、前記有効画像領域の画像特性に応じた画素値を決定する決定手段と、前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定する第１の設定手段と、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行う処理手段と、前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定する第２の設定手段と、を有することを特徴とする。

本発明によれば、有効画像領域とその周囲画像領域とを含む画像に対して画像処理が行われた場合の画質低下を低減することが可能となる。

本実施形態の全方位カメラの概略構成例を示す図である。 カメラシステムの説明に用いる図である。 全方位カメラで撮影された画像領域の表示例の説明に用いる図である。 画像形成部の概略構成例を示す図である。 無効画像領域による有効画像領域への影響の説明に用いる図である。 第１の実施形態の画像形成部における処理のフローチャートである。 第２の実施形態の場合の画像分布の説明に用いる図である。 第２の実施形態のプレフィル用画素値の決定の説明に用いる図である。 第２の実施形態の画像形成部における処理のフローチャートである。

以下、図面を参照しながら本発明の好適な実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態の画像処理装置の一適用例である全方位カメラ（以下、単にカメラ１１１と表記する。）と、カメラ１１１に接続されるユーザインターフェース１１２からなるカメラシステムの概略構成を示す図である。レンズ１００は、入射した光の光像を撮像素子１０１の撮像面上に形成するための光学レンズであり、本実施形態の場合、３６０度全方位の撮影を可能にするいわゆる魚眼レンズとなされている。撮像素子１０１は、ＣＣＤセンサやＣＭＯＳセンサであり、レンズ１００により撮像面上に結像された光学像を撮像し、その撮像画像をアナログ画像信号に変換する。ここで、本実施形態のカメラ１１１は、魚眼レンズであるレンズ１００のイメージサークルが撮像素子１０１の撮像面内に略々全てが収まるようになされているため、３６０度全方位画像（魚眼画像）の撮像が可能となっている。撮像素子１０１の撮像面上では、魚眼レンズのイメージサークルに応じた円形状の撮像画像（魚眼画像）が有効画像領域となり、魚眼画像の円形状外の周辺画像領域が無効画像領域となる。なお、本実施形態では、レンズ１００として魚眼レンズを例に挙げているが、レンズ１００は魚眼レンズに限定されるものではない。このため、撮像素子１０１の撮像面上の撮像画像は円形状の魚眼画像には限定されず、例えば楕円形状等の画像であってもよい。この場合、楕円形状内の撮像画像が有効画像領域となり、楕円形状外が無効画像領域となる。

撮像素子１０１から出力されたアナログ画像信号は、Ａ／Ｄ変換処理部１０２に送られる。Ａ／Ｄ変換処理部１０２は、撮像素子１０１からのアナログ画像信号をデジタル信号に変換し、ＲＡＷ（生）画像データとして現像処理部１０３に出力する。現像処理部１０３は、Ａ／Ｄ変換処理部１０２からのＲＡＷ画像データに対し、ゲイン調整、色変換などの現像処理を行い、その現像処理後の画像データを画像形成部１０４とデータ記憶部１０５に出力する。データ記憶部１０５は、現像処理部１０３で現像処理された画像データを記憶する。

画像形成部１０４は、現像処理部１０３から出力された画像データや、データ記憶部１０５から読み出された画像データに対し、例えば無効画像領域の各画素値を所定の色（例えば黒色）で埋めるようなフィル処理を行う。また、本実施形態の場合の画像形成部１０４は、画像データに対して後述するようなフィルタ処理等の画像処理をも行う。フィル処理や、フィルタ処理等の画像処理の詳細については後述する。画像形成部１０４によりフィル処理やフィルタ処理等がなされた後の画像データは、配信部１０６に出力される。

配信部１０６は、画像形成部１０４から出力された画像データを、ユーザインターフェース１１２へ送信する。ユーザインターフェース１１２は、配信部１０６より送られてきた画像データを受信する。ユーザインターフェース１１２は、表示部１０７を有する。表示部１０７は、配信部１０６より送られてきた画像データから表示画像を生成して、ディスプレイ装置等の画面上に表示させる。これにより、ユーザ（監視者）は、カメラ１１１により撮影された全方位画像を見ることができる。ユーザインターフェース１１２は、全方位画像を表示するだけでなく、ユーザからの指示を受けて、カメラ１１１から配信された画像の表示変更やカメラ１１１の撮影条件の設定等をも行う。なお、本実施形態の場合、ユーザインターフェース１１２の表示部１０７は、ネットワークを介してカメラ１１１に接続されるパーソナルコンピュータ（ＰＣ）のディスプレイ等であってもよい。

図２は、本実施形態のカメラシステムの概要と、カメラ１１１により撮影された全方位画像（魚眼画像）と、その全方位画像の表示画像とを説明するための図である。図２において、カメラ１１１は、例えば建物の天井に設置されているとする。カメラ１１１と画像表示装置２０１は、ネットワーク２０２により接続されている。画像表示装置２０１は、例えば図１のユーザインターフェース１１２の表示部１０７を含み、表示部１０７により生成された表示画像を映し出す。画像表示装置２０１は、ネットワーク２０２に接続されたＰＣなどのホスト機器とつながるディスプレイ装置などである。

カメラ１１１は、前述したような円形状の魚眼画像を撮影する。魚眼画像は、前述したように、魚眼レンズのイメージサークルに応じた円形状の画像である。カメラ１１１の撮像素子１０１から出力された画像２０３は、魚眼画像の円形状内が有効画像領域となり、円形状外が無効画像領域となっている画像である。カメラ１１１は、無効画像領域を所定の色（黒色）で埋めるフィル処理を行い、また、後述するフィルタ処理等の画像処理を行う。さらに、カメラ１１１は、それらフィル処理や画像処理がなされた後の画像２０３を、特定数で等分割する。なお、画像の分割は、表示部１０７が行ってもよい。図２では、画像２０３が画像領域Ａ，Ｂ，Ｃ，Ｄに４分割された例を挙げている。なお、分割数は４に限定されず、例えば更に多くの分割数であってもよい。

画像表示装置２０１は、前述したように画像２０３が等分割された画像領域Ａ，Ｂ，Ｃ，Ｄの各画像を、画面２０４に分割表示する。なお、画像２０３の中の魚眼画像は、魚眼レンズによる円形状に歪んだ画像であるため、画像表示装置２０１は、その魚眼画像の円形状の歪みを補正するような画像補正処理を行った後の各画像領域Ａ，Ｂ，Ｃ，Ｄの画像を表示する。魚眼画像の歪みを補正する画像補正処理の説明は省略する。

図３は、カメラ１１１と、そのカメラ１１１により撮影されて出力された画像２０３の一例を示す図である。カメラ１１１により撮影されて出力された画像２０３は、魚眼レンズのイメージサークルに応じた魚眼画像である円形状内が有効画像領域３００であり、魚眼画像の円形状外が無効画像領域３０１となっている。無効画像領域３０１には前述したように例えば黒色によるフィル処理が施される。フィル処理は、撮像素子１０１の撮像面上で魚眼レンズのイメージサークル外となって光が当たらなかった領域である無効画像領域の電気的ノイズが、画像を表示した際にユーザに見えてしまうのを防ぐために行われる。

ところで、無効画像領域を黒色などで埋めるフィル処理が行われた画像２０３に対しては、一例としてノイズ除去や画質調整などのために、様々な画像処理が行われる場合がある。本実施形態のカメラ１１１は、フィル処理が行われた画像２０３に対する画像処理の一例として、フィルタ処理を行うようになされている。詳細については後述するが、フィルタ処理では、所定の大きさの参照ウインドウ内にある無効画像領域の画素と有効画像領域の画素との輝度の差分を求め、その差分値を分散して平均化するような処理が行われる。しかしながら、魚眼画像の円外縁部では、参照ウインドウ内に有効画像領域と無効画像領域の境界部分が含まれることになり、有効画像領域の各画素値が無効画像領域の画素値（黒の画素値）により影響を受けてしまう。例えば、魚眼画像が日中に撮影された輝度の高い画像である場合、魚眼画像である円外縁部の有効画像領域の各画素値は、周囲の無効画像領域の黒色の画素値（低輝度の値）に影響され、元の画素値よりも輝度が低い画素値に調整されてしまう。なお、魚眼画像の円外縁部の周囲の無効画像領域についても同様であり、円外縁部の有効画像領域の各画素の輝度に影響されて、元の画素値（黒の画素値）よりも高い輝度値に調整されてしまうことになる。このような場合、魚眼画像の円外縁部とその周囲が例えばボケたようになり、画質が低下してしまう。

上述したようなことから、本実施形態のカメラ１１１は、以下に説明する構成により、フィルタ処理などの画像処理によって有効画像領域と無効画像領域との境界付近の画質が低下するのを防いでいる。
図４は、図１の画像形成部１０４の詳細な構成を示している。画像形成部１０４は、画像領域判断部４００、画像情報取得部４０１、画像特性判断部４０２、プレフィル部４０３、画像処理部４０４、最終フィル部４０５を有して構成されている。なお、図４では図示を省略しているが、画像形成部１０４は、現像処理部１０３から出力された画像データやデータ記憶部１０５から読み出された画像データに対し無効画像領域を黒色で埋める初期フィル処理を行っているとする。このため、図４の画像領域判断部４００への入力画像データは、円形状の有効画像領域３００と初期フィル処理がなされた無効画像領域３０１とを含む画像データ１２１となされている。画像領域判断部４００と画像情報取得部４０１は、全方位画像の魚眼画像である有効画像領域と、有効画像領域の周囲に接するように位置する周辺画像領域である無効画像領域とを取得する取得手段の一例である。

画像領域判断部４００は、画像データ１２１の各画素について、有効画像領域３００（魚眼画像）の画素であるか、無効画像領域３０１の画素であるかを判断する。一例として、画像領域判断部４００は、画像データ１２１の輝度情報等に基づいて、各画素が有効画像領域３００であるか無効画像領域３０１であるか判断する。そして、画像領域判断部４００は、画像データ１２１と共に、それら各画素が有効画像領域３００と無効画像領域３０１であるかを示す判断情報を、画像情報取得部４０１へ送る。

画像情報取得部４０１は、画像データ１２１から、判断情報を基に有効画像領域３００（魚眼画像）のデータを取得する。そして、画像情報取得部４０１は、有効画像領域３００であると判断された各画素のデータから、その有効画像領域３００の画像特性を取得する。具体的には、画像情報取得部４０１は、有効画像領域３００の各画素のデータから、例えば輝度の情報やヒストグラム値などを取得する。そして、画像情報取得部４０１は、それら輝度やヒストグラム値から、有効画像領域３００の輝度分布を輝度特性として取得し、その有効画像領域３００の輝度特性を画像特性とする。画像情報取得部４０１は、画像データ１２１と共に、有効画像領域３００の画像特性の情報を、画像特性判断部４０２に送る。

画像特性判断部４０２は、有効画像領域３００の画像特性（この例では輝度特性）に応じた画素値を決定する決定手段の一例である。画像特性判断部４０２は、有効画像領域３００の輝度特性に基づいて、前述したように初期フィル処理がなされている状態の無効画像領域３０１の各画素に対して設定すべき画素値を決定する。本実施形態の場合、初期フィル処理がなされている状態の無効画像領域３０１の各画素に対して、更にフィル処理を行うための画素値を決定する。以下、この場合の画素値をプレフィル用画素値と表記し、プレフィル用画素値によるフィル処理をプレフィル処理と表記する。プレフィル用画素値の詳細は後述する。

また、画像特性判断部４０２は、有効画像領域３００の輝度特性に基づいて、有効画像領域３００の魚眼画像が、明るい環境で撮像された画像なのか、それとも夜間など暗い環境で撮像された画像なのかを判断する。そして、画像特性判断部４０２は、その判断結果に基づいて、後段のプレフィル部４０３においてプレフィル用画素値を用いたプレフィル処理を行わせるか否かを判断する。つまり、画像特性判断部４０２は、前述した初期フィル処理がなされている無効画像領域３０１の画素値を、プレフィル用画素値に変更するか否かを判断する。詳細は後述するが、画像特性判断部４０２は、例えば有効画像領域３００の魚眼画像が明るい環境で撮像された画像である場合には、初期フィル処理がなされている無効画像領域３０１の画素値を、プレフィル用画素値に変更するように判断する。一方、画像特性判断部４０２は、例えば魚眼画像が暗い環境で撮像された画像である場合には、初期フィル処理がなされている無効画像領域３０１の画素値を変更しないと判断する。画像特性判断部４０２は、無効画像領域３０１の画素値を変更すると判断した場合、画像データ１２１と共に前述したプレフィル用画素値の情報を、プレフィル部４０３に送る。一方、画像特性判断部４０２は、無効画像領域３０１の画素値を変更しないと判断した場合、画像データ１２１をプレフィル部４０３に送る。

プレフィル部４０３は、無効画像領域の各画素値を、有効画像領域の画像特性に応じた画素値（この例ではプレフィル用画素値）に設定する第１の設定手段の一例である。プレフィル部４０３は、画像特性判断部４０２において無効画像領域３０１の画素値を変更すると判断された場合、画像データ１２１に対し、無効画像領域３０１をプレフィル用画素値で埋めるようなプレフィル処理を行う。一方、画像特性判断部４０２において無効画像領域３０１の画素値を変更しないと判断された場合、プレフィル部４０３は、初期フィル処理がなされている無効画像領域３０１の画素値を変更しない。そして、プレフィル部４０３は、プレフィル用画素値により画素値が変更された画像データ１２１、又は、画素値が変更されていない画像データ１２１を、画像処理部４０４に送る。

画像処理部４０４は、無効画像領域の各画素値が、有効画像領域の画像特性に応じた画素値に設定された画像データに対して所定の画像処理を行う処理手段の一例である。本実施形態の場合、画像処理部４０４は、プレフィル部４０３を介して供給された画像データ１２１に対し、所定の画像処理の一例であるフィルタ処理を行う。フィルタ処理は、例えば図５（ａ）や図５（ｂ）に示すように、参照ウインドウ４１０を１画素ずつシフトしながら、その参照ウインドウ４１０内の各画素の差分値を分散して平均化するような処理となされている。

ここで、フィルタ処理の際の参照ウインドウ４１０の中の画素は、その中の全ての画素が有効画像領域３００の画素となる場合や、一部が無効画像領域３０１の画素となる場合がある。例えば図５（ａ）や図５（ｂ）の参照ウインドウ４１０は、一部の画素が無効画像領域３０１の画素となっている。このため、参照ウインドウ４１０内の無効画像領域３０１の画素と有効画像領域３００の画素との輝度差が大きい場合、フィルタ処理後の有効画像領域３００の画素の輝度値が、元の画素の輝度値と異なってしまうことがある。特に、図５（ｂ）に示すように、フィルタ処理後の有効画像領域３００の各画素のうち、無効画像領域３０１との境界部分４１１の各画素の輝度値は、元の各画素の輝度値とは異なってしまう。

このようなことから、前述の画像特性判断部４０２は、特に、有効画像領域３００の魚眼画像が明るい環境で撮像された画像であり、無効画像領域３０１との輝度差が大きい場合には、無効画像領域３０１の画素値をプレフィル用画素値に変更するように判断する。この場合のプレフィル用画素値は、有効画像領域３００の輝度と無効画像領域３０１の輝度との差が、所定の輝度差範囲内に収まるようになる画素値として決定される。すなわち、プレフィル用画素値として決定される画素値は、黒色等の輝度の低い画素値ではなく、有効画像領域３００の輝度特性に応じた輝度の画素値となされる。

画像処理部４０４によるフィルタ処理後の画像データ１２１は、最終フィル部４０５に送られる。最終フィル部４０５は、所定の画像処理が行われた後の入力画像の無効画像領域を所定の一意の画素値（例えば黒色）に設定する第２の設定手段の一例である。すなわち、最終フィル部４０５は、フィルタ処理後の画像データ１２１に対して、無効画像領域３０１の各画素を黒色などの一定の画素値で埋め直すような最終フィル処理を行う。この最終フィル処理は、前述したフィルタ処理が行われた場合、無効画像領域３０１の画素値も変化している可能性が高いため、その無効画像領域３０１の画素値を黒色で埋め直すことにより、フィルタ処理による影響を無くすために行われる。なお、最終フィル処理において無効画像領域３０１を埋める際の画素値は、例えば、ユーザインターフェース１１２を介して、ユーザから設定された画素値であってもよい。最終フィル部４０５による最終フィル処理後の画像データ１２２は、例えば図１の配信部１０６に送られる。

図６は、図４に示した画像形成部１０４における処理の流れを示すフローチャートである。図６のフローチャートの処理は、図４の画像形成部１０４で行われる処理であるが、例えばＣＰＵ等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。なお以下の説明では、図６の各処理のステップＳ４０１〜ステップＳ４０９を、Ｓ４０１〜Ｓ４０９と略記する。

図６のフローチャートの処理は、カメラ１１１にて全方位画像の撮像が開始されることでスタートする。カメラ１１１による全方位画像の撮像が開始されると、画像形成部１０４は、Ｓ４０１において、前述の現像処理部１０３を介して供給される画像データ１２１を取得する。Ｓ４０１の後、画像形成部１０４は、画像領域判断部４００にて行われるＳ４０２に処理を進める。

Ｓ４０２では、画像領域判断部４００は、供給された画像データ１２１の各画素について、前述した魚眼画像の有効画像領域３００の画素であるか、有効画像領域３００の円外縁部の周辺の無効画像領域３０１の画素であるかを判断する。Ｓ４０１の後、画像形成部１０４は、画像情報取得部４０１にて行われるＳ４０３に処理を進める。

Ｓ４０３では、画像情報取得部４０１は、前述した判断情報を基に、画像データ１２１から有効画像領域３００のデータを取得する。また、画像情報取得部４０１は、有効画像領域３００の各画素のデータから前述した輝度特性の情報を取得する。Ｓ４０３の後、画像形成部１０４は、処理を画像特性判断部４０２にて行われるＳ４０４に進める。

Ｓ４０４では、画像特性判断部４０２は、有効画像領域３００の輝度特性に応じた前述したプレフィル用画素値を決定する。Ｓ４０４の後、画像特性判断部４０２は、Ｓ４０５に処理を進める。Ｓ４０５では、画像特性判断部４０２は、有効画像領域３００の魚眼画像が明るい環境で撮像された画像か、又は暗い環境で撮像された画像なのかを判断して、プレフィル用画素値による無効画像領域３０１の画素値の変更が必要か否かを判断する。画像特性判断部４０２は、無効画像領域３０１と有効画像領域３００の画素値の輝度差が、予め決められた所定の閾値を超える場合には、無効画像領域３０１の画素値の変更が必要であると判断する。一方、画像特性判断部４０２は、無効画像領域３０１と有効画像領域３００の輝度差が、所定の閾値以下であれば、無効画像領域３０１の画素値の変更は必要ないと判断する。Ｓ４０５において、無効画像領域３０１の画素値の変更が必要であると判断された場合、画像形成部１０４は、画像処理部４０４で行われるＳ４０６に処理を進める。一方、Ｓ４０５において、無効画像領域３０１の画素値の変更が必要ないと判断された場合、画像形成部１０４は、画像処理部４０４で行われるＳ４０７に処理を進める。

Ｓ４０６の処理に進んだ場合、プレフィル部４０３は、Ｓ４０４で決定されたプレフィル用画素値により、無効画像領域３０１の画素値を埋めるプレフィル処理を行う。Ｓ４０６の後、画像形成部１０４は、画像処理部４０４にて行われるＳ４０７に処理を進める。
Ｓ４０７では、画像処理部４０４は、Ｓ４０６によるプレフィル処理後の画像データ１２１、又は、Ｓ４０６によるプレフィル処理が行われていない画像データ１２１に対し、前述したフィルタ処理を行う。このＳ４０７の後、画像形成部１０４は、最終フィル部４０５にて行われるＳ４０８に処理を進める。

Ｓ４０８では、最終フィル部４０５は、フィルタ処理後の画像データ１２１に対して、無効画像領域３０１の各画素を黒色の画素値で埋め直す最終フィル処理を行う。Ｓ４０８の後、画像形成部１０４は、Ｓ４０９に処理を進める。Ｓ４０９では、画像形成部１０４は、現像処理部１０３から新たな画像データ１２１が入力されたか否かを判断し、入力された場合には処理をＳ４０１に戻し、その入力された画像データ１２１による前述のＳ４０２〜Ｓ４０８の処理を行わせる。一方、Ｓ４０９において新たな画像データ１２１の入力が無ければ、この図６のフローチャートの処理を終了する。

以上説明したように、第１の実施形態のカメラ１１１は、有効画像領域３００の魚眼画像が明るい環境で撮像された画像であり、無効画像領域３０１との輝度差が大きい場合には、無効画像領域３０１の画素値を前述したプレフィル用画素値に変更する。このときのプレフィル用画素値は、有効画像領域３００の輝度特性に応じた画素値となされている。したがって、第１の実施形態によれば、有効画像領域３００と無効画像領域３０１の輝度差が大きい場合に、フィルタ処理等の画像処理が行われたとしても、無効画像領域３０１の影響を抑えた、画質低下が低減された画像データを得ることができる。
また、第１の実施形態によれば、フィルタ処理後の画像データ１２１に対し、最終フィル部４０５により、無効画像領域３０１の各画素が黒色の画素値で埋め直す最終フィル処理が行われる。このため、最終フィル処理後の画像データ１２２は、フィルタ処理による影響が無い画像データとされる。

＜第２の実施形態＞
第２の実施形態は、魚眼画像である有効画像領域内の画像分布を求め、その画像分布に基づいて、有効画像領域の周囲の無効画像領域のプレフィル用画素値を細かく設定可能にする例である。なお、第２の実施形態において、第１の実施形態と同様の構成や処理についてはその説明を省略し、以下、第１の実施形態との差分点のみについて述べる。

図７（ａ）と図７（ｂ）は、有効画像領域５００と無効画像領域５０１からなる画像の一例を示す図である。なお、図７（ａ）と図７（ｂ）の画像は同じであるとする。有効画像領域５００は前述同様の魚眼画像であり、無効画像領域５０１は例えば初期フィル処理により黒色の画素値が埋められている。
ここで、有効画像領域５００の魚眼画像は、様々な被写体が写されていることで、画像特性の異なる小領域が複数含まれているとする。すなわち、有効画像領域５００内には、明るい小領域や暗い小領域など、画像特性の異なる複数の小領域が混在しているとする。例えば、図７（ｂ）において、小領域５０２は明るい場所が写っており、小領域５０３，５０４は暗い場所が写っているとする。なお、これら各小領域５０２，５０３，５０４は一例であり、更に多くの小領域が存在していてもよい。

第２の実施形態の場合、画像形成部１０４の画像情報取得部４０１は、魚眼画像の有効画像領域の画像データ１２１の輝度特性から輝度分布を求める。これにより、例えば前述のような明るい小領域５０２、暗い小領域５０３，５０４のそれぞれの輝度特性が求められる。そして、画像情報取得部４０１は、画像データ１２１と共に、それら各小領域５０２，５０３，５０４の輝度特性の情報を、画像特性判断部４０２に送る。

第２の実施形態の場合の画像特性判断部４０２は、各小領域５０２，５０３，５０４の輝度特性に基づいて、無効画像領域５０１の各画素のプレフィル用画素値を決定する。
以下、図８を参照して、各小領域５０２，５０３，５０４の輝度特性に基づいて、無効画像領域５０１の各画素のプレフィル用画素値を決定する例について説明する。なお、図８は、図７（ａ）、図７（ｂ）に示した有効画像領域５００と無効画像領域５０１の一部を拡大して示す図である。

図８中の各正方形は、有効画像領域５００と無効画像領域５０１の境界部分及びその近傍の各画素を表している。それら各画素のうち、画素５１０，５１１は、略々無効画像領域５０１とみなせる画素であり、画素５１２，５１３，５１４は略々有効画像領域５００内とみなせる画素であるとする。画像特性判断部４０２は、着目画素５１０のプレフィル用画素値として、その着目画素５１０に対して有効画像領域５００内で近接する各画素との輝度差が、予め決めた所定輝度差範囲内に収まるようになる画素値を決定する。図８の例の場合、着目画素５１０に対し有効画像領域５００内で近接する各画素は、少なくとも各画素５１１，５１２，５１３，５１４である。着目画素５１１についても同様に、画像特性判断部４０２は、その画素５１１に対し有効画像領域５００内で近接する各画素との輝度差が、所定輝度差範囲内に収まる画素値をプレフィル用画素値として決定する。図８の例では、無効画像領域５０１の画素のプレフィル用画素値を決定する際、有効画像領域５００内で近接する数画素の画素値を見て判断しているが、例えばウインドウを設けてより広い範囲の複数画素の画素値を基にプレフィル用画素値を決定してもよい。

図９は、第２の実施形態の場合の画像形成部１０４における処理の流れを示すフローチャートである。図９のフローチャートの処理は、図４の画像形成部１０４で行われる処理であるが、例えばＣＰＵ等において第２の実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図９の各処理のステップＳ５０１〜ステップＳ５１３を、Ｓ５０１〜Ｓ５１３と略記する。なお、図９のフローチャートのＳ５０１〜Ｓ５０５は前述の図６のＳ４０１〜Ｓ４０５と略々同じ処理であり、また、Ｓ５１２、Ｓ５１３は前述した図６のＳ４０８、Ｓ４０９と略々同じ処理であるため、それら説明は省略する。

Ｓ５０５において、無効画像領域５０１の画素値の変更が必要であると判断された場合、画像特性判断部４０２は、Ｓ５０６に処理を進める。一方、Ｓ５０５において、無効画像領域５０１の画素値の変更が必要ないと判断された場合、画像形成部１０４は、画像処理部４０４で行われるＳ５１１に処理を進める。

Ｓ５０６の処理に進むと、画像特性判断部４０２は、無効画像領域５０１の画素値を、有効画像領域５００の輝度分布に応じたプレフィル用画素値に変更するか否かを判断する。例えば、画像特性判断部４０２は、有効画像領域５００の各輝度分布の輝度と無効画像領域５０１の画素の輝度との差に基づいて、無効画像領域５０１の画素値を有効画像領域５００の輝度分布に応じたプレフィル用画素値に変更するか判断する。画像特性判断部４０２は、Ｓ５０６において、無効画像領域５０１の各画素値を変更すると判断した場合にはＳ５０７に処理を進め、一方、変更しないと判断した場合にはＳ５０８に処理を進める。

Ｓ５０７に進んだ場合、画像特性判断部４０２は、無効画像領域５０１の各画素のプレフィル用画素値として、Ｓ５０４で求めたプレフィル用画素値から、有効画像領域５００の輝度分布に応じた画素値を求める。Ｓ５０７の後、画像特性判断部４０２は、Ｓ５０９に処理を進める。Ｓ５０９では、画像特性判断部４０２は、無効画像領域５０１の全ての画素値についてＳ５０７の処理が終了したか否か判断し、終了していないと判断した場合にはＳ５０７に処理を戻し、終了したと判断した場合にはＳ５１０に処理を進める。

一方、Ｓ５０８に進んだ場合、画像特性判断部４０２は、無効画像領域５０１の各画素のプレフィル用画素値として、Ｓ５０４で求めたプレフィル用画素値と同じ画素値を用いるようにする。Ｓ５０８の後、画像特性判断部４０２は、Ｓ５１０に処理を進める。

Ｓ５０７からＳ５１０に進んだ場合、プレフィル部４０３は、Ｓ５０７で決定された有効画像領域５００の輝度分布に応じたプレフィル用画素値により、無効画像領域５０１の各画素値を埋めるプレフィル処理を行う。一方、Ｓ５０８からＳ５１０に進んだ場合、プレフィル部４０３は、無効画像領域５０１の各画素値について、Ｓ５０４で決定されたプレフィル用画素値により一律に画素値を埋めるプレフィル処理を行う。Ｓ５１０の後、画像形成部１０４は、処理を画像処理部４０４にて行われるＳ５１１に進める。

Ｓ５１１では、画像処理部４０４は、Ｓ５１０によるプレフィル処理後の画像データ１２１、又は、Ｓ５１０によるプレフィル処理が行われていない画像データ１２１に対し、前述したフィルタ処理を行う。このＳ５１１の後、画像形成部１０４は、処理を最終フィル部４０５にて行われるＳ５１２に進める。

以上説明したように、第２の実施形態のカメラ１１１は、有効画像領域５００の輝度分布に応じたプレフィル用画素値により、無効画像領域５０１の各画素に対するプレフィル処理を行う。このため、第２の実施形態によれば、無効画像領域３０１の影響をより細かく抑えた、画質低下が低減された画像データ１２２を得ることができる。

＜その他の実施形態＞
上述の第１、第２の実施形態の説明において、有効画像領域の輝度特性に応じて無効画像領域に対するプレフィル用画素値を決定しているが、これに限定されず、有効画像領域の色度特性、彩度特性を考慮して決定してもよい。プレフィル処理後に画像に対して適用される画像処理の種類に応じて、プレフィル用画素値を決定するために参照する画像特性を選択するように構成してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ レンズ、１０１ 撮像素子、１０４ 画像形成部、４００ 画像領域判断部、４０１ 画像情報取得部、４０２ 画像特性判断部、４０３ プレフィル部、４０４ 画像処理部、４０５ 最終フィル部

Claims (10)

1. 撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得する取得手段と、
   前記有効画像領域の画像特性に応じた画素値を決定する決定手段と、
   前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定する第１の設定手段と、
   前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行う処理手段と、
   前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定する第２の設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記有効画像領域の輝度特性を前記画像特性として取得し、
   前記決定手段は、前記輝度特性に応じた前記画素値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が所定の輝度差範囲内に収まるようになる画素値を、前記輝度特性に応じた画素値として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の設定手段は、
   前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が、所定の閾値を超える場合には、前記輝度特性に応じた前記画素値の設定を行い、
   前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が、所定の閾値以下である場合には、前記輝度特性に応じた前記画素値の設定を行わず、
   前記処理手段は、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像、又は、前記有効画像領域と前記画像特性に応じた画素値の設定が行われなかった周辺画像領域とからなる画像に対して、前記所定の画像処理を行うことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記処理手段は、所定の画像処理として、所定の参照ウインドウ内にある周辺画像領域の画素と有効画像領域の画素との輝度の差分値を分散して平均化するフィルタ処理を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第２の設定手段は、予め決められた画素値、又は、ユーザにより決められた画素値を、前記所定の一意の画素値として前記周辺画像領域の各画素値に設定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記取得手段は、前記有効画像領域の画像特性の分布を取得し、
   前記決定手段は、前記有効画像領域の画像特性の分布ごとにそれぞれ応じた画素値を決定し、
   前記第１の設定手段は、前記周辺画像領域の各画素値を、前記有効画像領域の画像特性に分布ごとにそれぞれ応じた画素値に設定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記有効画像領域は、光学レンズによるイメージサークルが、撮像素子の撮像面に収まる場合の、前記イメージサークルにより形成された画像を撮像した画像領域であり、
   前記周辺画像領域は、前記イメージサークルの外の無効画像領域であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 取得手段が、撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得するステップと、
   決定手段が、前記有効画像領域の画像特性に応じた画素値を決定するステップと、
   第１の設定手段が、前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定するステップと、
   処理手段が、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行うステップと、
   第２の設定手段が、前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定するステップと、
   を含むことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images