JP2017118326A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2017118326A JP2017118326A JP2015251833A JP2015251833A JP2017118326A JP 2017118326 A JP2017118326 A JP 2017118326A JP 2015251833 A JP2015251833 A JP 2015251833A JP 2015251833 A JP2015251833 A JP 2015251833A JP 2017118326 A JP2017118326 A JP 2017118326A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- effective
- area
- image area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】有効画像領域と無効画像領域を含む画像に対して画像処理が行われた場合の画質低下を低減可能にすることを課題とする。【解決手段】画像領域判断部(400)と画像情報取得部(401)は、撮像画像からなる有効画像領域と、有効画像領域の周囲に位置する無効画像領域とを含む入力画像データ(121)から、有効画像領域の画像特性を取得する。画像特性判断部(402)は、有効画像領域の画像特性に応じたプレフィル用画素値を決定する。プレフィル部(403)は、無効画像領域の各画素値をプレフィル用画素値に設定する。画像処理部(404)は、無効画像領域が画像特性に応じた画素値に設定された画像に対し、フィルタ処理を行う。最終フィル部405は、フィルタ処理後の画像の無効画像領域の各画素値を黒色に設定する。【選択図】図4
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
画像を撮影するカメラ装置やカメラシステムは、例えば、公共の建物や場所、銀行、スーパーマーケット等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者或いは侵入物体を監視する目的等で数多く用いられている。そのような侵入者等の監視に用いられるカメラとしては、いわゆる360度全方位画像の撮影が可能な機能を備えたカメラ装置(以下、全方位カメラと表記する。)がある。全方位カメラにより撮影された360度全方位画像(以下、全方位画像と表記する。)は、例えば等分割されてディスプレイ装置などの画面表示機器の一画面上に表示される。これにより、監視者(ユーザ)は、全方位を一度に監視することができる。
ここで、全方位カメラのレンズは、いわゆる魚眼レンズが用いられることが多く、魚眼レンズのイメージサークルが撮像素子(イメージセンサ)の撮像面内に略々全てが収まるようにすることで、360度全方位画像の撮像が可能となされている。このため、撮像素子では、魚眼レンズのイメージサークルに応じた円形状の画像(以下、魚眼画像と表記する。)が撮像されることになる。魚眼画像を撮像した撮像素子からの出力画像は、魚眼画像の円形状内の画像領域が有効画像領域となり、一方、魚眼画像の円形状外の周辺画像領域が無効画像領域となる。そして、無効画像領域は、常に黒色などの同一色の画素値が埋め込まれる。以下、このように無効画像領域を同一色で埋める処理をフィル処理と表記する。
また、例えば、特許文献1には、魚眼画像の円形状外の無効画像領域をマスクすることで、有効画像領域の視認性を高めるようにする技術が開示されている。特許文献1の技術では、有効画像領域の視認性を高めるために、有効画像領域と無効画像領域との境目に相当する画像領域の輝度を抽出し、その輝度に基づいて有効画像領域に対する画像変換処理が行われている。
ここで、無効画像領域は、前述したように、撮像素子の撮像面上で魚眼レンズのイメージサークル外の周辺画像領域である。イメージサークル外には光が当たらないため、無効画像領域では電気的なノイズが目立つ場合がある。このため、無効画像領域の各画素に対しては、前述したように黒色などの同一色の画素値で埋めるようなフィル処理が行われている。ところが、無効画像領域の各画素値が予め決めた黒色等で埋められていると、例えば何らかの画像処理が行われた場合に、無効画像領域の黒色により有効画像領域が影響を受けて画質が低下してしまうことがある。
本発明はこのような問題点に鑑みてなされたものであり、有効画像領域とその周囲画像領域を含む画像に対して画像処理が行われた場合の画質低下を低減可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
本発明の画像処理装置は、撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得する取得手段と、前記有効画像領域の画像特性に応じた画素値を決定する決定手段と、前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定する第1の設定手段と、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行う処理手段と、前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定する第2の設定手段と、を有することを特徴とする。
本発明によれば、有効画像領域とその周囲画像領域とを含む画像に対して画像処理が行われた場合の画質低下を低減することが可能となる。
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
<第1の実施形態>
図1は、第1の実施形態の画像処理装置の一適用例である全方位カメラ(以下、単にカメラ111と表記する。)と、カメラ111に接続されるユーザインターフェース112からなるカメラシステムの概略構成を示す図である。レンズ100は、入射した光の光像を撮像素子101の撮像面上に形成するための光学レンズであり、本実施形態の場合、360度全方位の撮影を可能にするいわゆる魚眼レンズとなされている。撮像素子101は、CCDセンサやCMOSセンサであり、レンズ100により撮像面上に結像された光学像を撮像し、その撮像画像をアナログ画像信号に変換する。ここで、本実施形態のカメラ111は、魚眼レンズであるレンズ100のイメージサークルが撮像素子101の撮像面内に略々全てが収まるようになされているため、360度全方位画像(魚眼画像)の撮像が可能となっている。撮像素子101の撮像面上では、魚眼レンズのイメージサークルに応じた円形状の撮像画像(魚眼画像)が有効画像領域となり、魚眼画像の円形状外の周辺画像領域が無効画像領域となる。なお、本実施形態では、レンズ100として魚眼レンズを例に挙げているが、レンズ100は魚眼レンズに限定されるものではない。このため、撮像素子101の撮像面上の撮像画像は円形状の魚眼画像には限定されず、例えば楕円形状等の画像であってもよい。この場合、楕円形状内の撮像画像が有効画像領域となり、楕円形状外が無効画像領域となる。
<第1の実施形態>
図1は、第1の実施形態の画像処理装置の一適用例である全方位カメラ(以下、単にカメラ111と表記する。)と、カメラ111に接続されるユーザインターフェース112からなるカメラシステムの概略構成を示す図である。レンズ100は、入射した光の光像を撮像素子101の撮像面上に形成するための光学レンズであり、本実施形態の場合、360度全方位の撮影を可能にするいわゆる魚眼レンズとなされている。撮像素子101は、CCDセンサやCMOSセンサであり、レンズ100により撮像面上に結像された光学像を撮像し、その撮像画像をアナログ画像信号に変換する。ここで、本実施形態のカメラ111は、魚眼レンズであるレンズ100のイメージサークルが撮像素子101の撮像面内に略々全てが収まるようになされているため、360度全方位画像(魚眼画像)の撮像が可能となっている。撮像素子101の撮像面上では、魚眼レンズのイメージサークルに応じた円形状の撮像画像(魚眼画像)が有効画像領域となり、魚眼画像の円形状外の周辺画像領域が無効画像領域となる。なお、本実施形態では、レンズ100として魚眼レンズを例に挙げているが、レンズ100は魚眼レンズに限定されるものではない。このため、撮像素子101の撮像面上の撮像画像は円形状の魚眼画像には限定されず、例えば楕円形状等の画像であってもよい。この場合、楕円形状内の撮像画像が有効画像領域となり、楕円形状外が無効画像領域となる。
撮像素子101から出力されたアナログ画像信号は、A/D変換処理部102に送られる。A/D変換処理部102は、撮像素子101からのアナログ画像信号をデジタル信号に変換し、RAW(生)画像データとして現像処理部103に出力する。現像処理部103は、A/D変換処理部102からのRAW画像データに対し、ゲイン調整、色変換などの現像処理を行い、その現像処理後の画像データを画像形成部104とデータ記憶部105に出力する。データ記憶部105は、現像処理部103で現像処理された画像データを記憶する。
画像形成部104は、現像処理部103から出力された画像データや、データ記憶部105から読み出された画像データに対し、例えば無効画像領域の各画素値を所定の色(例えば黒色)で埋めるようなフィル処理を行う。また、本実施形態の場合の画像形成部104は、画像データに対して後述するようなフィルタ処理等の画像処理をも行う。フィル処理や、フィルタ処理等の画像処理の詳細については後述する。画像形成部104によりフィル処理やフィルタ処理等がなされた後の画像データは、配信部106に出力される。
配信部106は、画像形成部104から出力された画像データを、ユーザインターフェース112へ送信する。ユーザインターフェース112は、配信部106より送られてきた画像データを受信する。ユーザインターフェース112は、表示部107を有する。表示部107は、配信部106より送られてきた画像データから表示画像を生成して、ディスプレイ装置等の画面上に表示させる。これにより、ユーザ(監視者)は、カメラ111により撮影された全方位画像を見ることができる。ユーザインターフェース112は、全方位画像を表示するだけでなく、ユーザからの指示を受けて、カメラ111から配信された画像の表示変更やカメラ111の撮影条件の設定等をも行う。なお、本実施形態の場合、ユーザインターフェース112の表示部107は、ネットワークを介してカメラ111に接続されるパーソナルコンピュータ(PC)のディスプレイ等であってもよい。
図2は、本実施形態のカメラシステムの概要と、カメラ111により撮影された全方位画像(魚眼画像)と、その全方位画像の表示画像とを説明するための図である。図2において、カメラ111は、例えば建物の天井に設置されているとする。カメラ111と画像表示装置201は、ネットワーク202により接続されている。画像表示装置201は、例えば図1のユーザインターフェース112の表示部107を含み、表示部107により生成された表示画像を映し出す。画像表示装置201は、ネットワーク202に接続されたPCなどのホスト機器とつながるディスプレイ装置などである。
カメラ111は、前述したような円形状の魚眼画像を撮影する。魚眼画像は、前述したように、魚眼レンズのイメージサークルに応じた円形状の画像である。カメラ111の撮像素子101から出力された画像203は、魚眼画像の円形状内が有効画像領域となり、円形状外が無効画像領域となっている画像である。カメラ111は、無効画像領域を所定の色(黒色)で埋めるフィル処理を行い、また、後述するフィルタ処理等の画像処理を行う。さらに、カメラ111は、それらフィル処理や画像処理がなされた後の画像203を、特定数で等分割する。なお、画像の分割は、表示部107が行ってもよい。図2では、画像203が画像領域A,B,C,Dに4分割された例を挙げている。なお、分割数は4に限定されず、例えば更に多くの分割数であってもよい。
画像表示装置201は、前述したように画像203が等分割された画像領域A,B,C,Dの各画像を、画面204に分割表示する。なお、画像203の中の魚眼画像は、魚眼レンズによる円形状に歪んだ画像であるため、画像表示装置201は、その魚眼画像の円形状の歪みを補正するような画像補正処理を行った後の各画像領域A,B,C,Dの画像を表示する。魚眼画像の歪みを補正する画像補正処理の説明は省略する。
図3は、カメラ111と、そのカメラ111により撮影されて出力された画像203の一例を示す図である。カメラ111により撮影されて出力された画像203は、魚眼レンズのイメージサークルに応じた魚眼画像である円形状内が有効画像領域300であり、魚眼画像の円形状外が無効画像領域301となっている。無効画像領域301には前述したように例えば黒色によるフィル処理が施される。フィル処理は、撮像素子101の撮像面上で魚眼レンズのイメージサークル外となって光が当たらなかった領域である無効画像領域の電気的ノイズが、画像を表示した際にユーザに見えてしまうのを防ぐために行われる。
ところで、無効画像領域を黒色などで埋めるフィル処理が行われた画像203に対しては、一例としてノイズ除去や画質調整などのために、様々な画像処理が行われる場合がある。本実施形態のカメラ111は、フィル処理が行われた画像203に対する画像処理の一例として、フィルタ処理を行うようになされている。詳細については後述するが、フィルタ処理では、所定の大きさの参照ウインドウ内にある無効画像領域の画素と有効画像領域の画素との輝度の差分を求め、その差分値を分散して平均化するような処理が行われる。しかしながら、魚眼画像の円外縁部では、参照ウインドウ内に有効画像領域と無効画像領域の境界部分が含まれることになり、有効画像領域の各画素値が無効画像領域の画素値(黒の画素値)により影響を受けてしまう。例えば、魚眼画像が日中に撮影された輝度の高い画像である場合、魚眼画像である円外縁部の有効画像領域の各画素値は、周囲の無効画像領域の黒色の画素値(低輝度の値)に影響され、元の画素値よりも輝度が低い画素値に調整されてしまう。なお、魚眼画像の円外縁部の周囲の無効画像領域についても同様であり、円外縁部の有効画像領域の各画素の輝度に影響されて、元の画素値(黒の画素値)よりも高い輝度値に調整されてしまうことになる。このような場合、魚眼画像の円外縁部とその周囲が例えばボケたようになり、画質が低下してしまう。
上述したようなことから、本実施形態のカメラ111は、以下に説明する構成により、フィルタ処理などの画像処理によって有効画像領域と無効画像領域との境界付近の画質が低下するのを防いでいる。
図4は、図1の画像形成部104の詳細な構成を示している。画像形成部104は、画像領域判断部400、画像情報取得部401、画像特性判断部402、プレフィル部403、画像処理部404、最終フィル部405を有して構成されている。なお、図4では図示を省略しているが、画像形成部104は、現像処理部103から出力された画像データやデータ記憶部105から読み出された画像データに対し無効画像領域を黒色で埋める初期フィル処理を行っているとする。このため、図4の画像領域判断部400への入力画像データは、円形状の有効画像領域300と初期フィル処理がなされた無効画像領域301とを含む画像データ121となされている。画像領域判断部400と画像情報取得部401は、全方位画像の魚眼画像である有効画像領域と、有効画像領域の周囲に接するように位置する周辺画像領域である無効画像領域とを取得する取得手段の一例である。
図4は、図1の画像形成部104の詳細な構成を示している。画像形成部104は、画像領域判断部400、画像情報取得部401、画像特性判断部402、プレフィル部403、画像処理部404、最終フィル部405を有して構成されている。なお、図4では図示を省略しているが、画像形成部104は、現像処理部103から出力された画像データやデータ記憶部105から読み出された画像データに対し無効画像領域を黒色で埋める初期フィル処理を行っているとする。このため、図4の画像領域判断部400への入力画像データは、円形状の有効画像領域300と初期フィル処理がなされた無効画像領域301とを含む画像データ121となされている。画像領域判断部400と画像情報取得部401は、全方位画像の魚眼画像である有効画像領域と、有効画像領域の周囲に接するように位置する周辺画像領域である無効画像領域とを取得する取得手段の一例である。
画像領域判断部400は、画像データ121の各画素について、有効画像領域300(魚眼画像)の画素であるか、無効画像領域301の画素であるかを判断する。一例として、画像領域判断部400は、画像データ121の輝度情報等に基づいて、各画素が有効画像領域300であるか無効画像領域301であるか判断する。そして、画像領域判断部400は、画像データ121と共に、それら各画素が有効画像領域300と無効画像領域301であるかを示す判断情報を、画像情報取得部401へ送る。
画像情報取得部401は、画像データ121から、判断情報を基に有効画像領域300(魚眼画像)のデータを取得する。そして、画像情報取得部401は、有効画像領域300であると判断された各画素のデータから、その有効画像領域300の画像特性を取得する。具体的には、画像情報取得部401は、有効画像領域300の各画素のデータから、例えば輝度の情報やヒストグラム値などを取得する。そして、画像情報取得部401は、それら輝度やヒストグラム値から、有効画像領域300の輝度分布を輝度特性として取得し、その有効画像領域300の輝度特性を画像特性とする。画像情報取得部401は、画像データ121と共に、有効画像領域300の画像特性の情報を、画像特性判断部402に送る。
画像特性判断部402は、有効画像領域300の画像特性(この例では輝度特性)に応じた画素値を決定する決定手段の一例である。画像特性判断部402は、有効画像領域300の輝度特性に基づいて、前述したように初期フィル処理がなされている状態の無効画像領域301の各画素に対して設定すべき画素値を決定する。本実施形態の場合、初期フィル処理がなされている状態の無効画像領域301の各画素に対して、更にフィル処理を行うための画素値を決定する。以下、この場合の画素値をプレフィル用画素値と表記し、プレフィル用画素値によるフィル処理をプレフィル処理と表記する。プレフィル用画素値の詳細は後述する。
また、画像特性判断部402は、有効画像領域300の輝度特性に基づいて、有効画像領域300の魚眼画像が、明るい環境で撮像された画像なのか、それとも夜間など暗い環境で撮像された画像なのかを判断する。そして、画像特性判断部402は、その判断結果に基づいて、後段のプレフィル部403においてプレフィル用画素値を用いたプレフィル処理を行わせるか否かを判断する。つまり、画像特性判断部402は、前述した初期フィル処理がなされている無効画像領域301の画素値を、プレフィル用画素値に変更するか否かを判断する。詳細は後述するが、画像特性判断部402は、例えば有効画像領域300の魚眼画像が明るい環境で撮像された画像である場合には、初期フィル処理がなされている無効画像領域301の画素値を、プレフィル用画素値に変更するように判断する。一方、画像特性判断部402は、例えば魚眼画像が暗い環境で撮像された画像である場合には、初期フィル処理がなされている無効画像領域301の画素値を変更しないと判断する。画像特性判断部402は、無効画像領域301の画素値を変更すると判断した場合、画像データ121と共に前述したプレフィル用画素値の情報を、プレフィル部403に送る。一方、画像特性判断部402は、無効画像領域301の画素値を変更しないと判断した場合、画像データ121をプレフィル部403に送る。
プレフィル部403は、無効画像領域の各画素値を、有効画像領域の画像特性に応じた画素値(この例ではプレフィル用画素値)に設定する第1の設定手段の一例である。プレフィル部403は、画像特性判断部402において無効画像領域301の画素値を変更すると判断された場合、画像データ121に対し、無効画像領域301をプレフィル用画素値で埋めるようなプレフィル処理を行う。一方、画像特性判断部402において無効画像領域301の画素値を変更しないと判断された場合、プレフィル部403は、初期フィル処理がなされている無効画像領域301の画素値を変更しない。そして、プレフィル部403は、プレフィル用画素値により画素値が変更された画像データ121、又は、画素値が変更されていない画像データ121を、画像処理部404に送る。
画像処理部404は、無効画像領域の各画素値が、有効画像領域の画像特性に応じた画素値に設定された画像データに対して所定の画像処理を行う処理手段の一例である。本実施形態の場合、画像処理部404は、プレフィル部403を介して供給された画像データ121に対し、所定の画像処理の一例であるフィルタ処理を行う。フィルタ処理は、例えば図5(a)や図5(b)に示すように、参照ウインドウ410を1画素ずつシフトしながら、その参照ウインドウ410内の各画素の差分値を分散して平均化するような処理となされている。
ここで、フィルタ処理の際の参照ウインドウ410の中の画素は、その中の全ての画素が有効画像領域300の画素となる場合や、一部が無効画像領域301の画素となる場合がある。例えば図5(a)や図5(b)の参照ウインドウ410は、一部の画素が無効画像領域301の画素となっている。このため、参照ウインドウ410内の無効画像領域301の画素と有効画像領域300の画素との輝度差が大きい場合、フィルタ処理後の有効画像領域300の画素の輝度値が、元の画素の輝度値と異なってしまうことがある。特に、図5(b)に示すように、フィルタ処理後の有効画像領域300の各画素のうち、無効画像領域301との境界部分411の各画素の輝度値は、元の各画素の輝度値とは異なってしまう。
このようなことから、前述の画像特性判断部402は、特に、有効画像領域300の魚眼画像が明るい環境で撮像された画像であり、無効画像領域301との輝度差が大きい場合には、無効画像領域301の画素値をプレフィル用画素値に変更するように判断する。この場合のプレフィル用画素値は、有効画像領域300の輝度と無効画像領域301の輝度との差が、所定の輝度差範囲内に収まるようになる画素値として決定される。すなわち、プレフィル用画素値として決定される画素値は、黒色等の輝度の低い画素値ではなく、有効画像領域300の輝度特性に応じた輝度の画素値となされる。
画像処理部404によるフィルタ処理後の画像データ121は、最終フィル部405に送られる。最終フィル部405は、所定の画像処理が行われた後の入力画像の無効画像領域を所定の一意の画素値(例えば黒色)に設定する第2の設定手段の一例である。すなわち、最終フィル部405は、フィルタ処理後の画像データ121に対して、無効画像領域301の各画素を黒色などの一定の画素値で埋め直すような最終フィル処理を行う。この最終フィル処理は、前述したフィルタ処理が行われた場合、無効画像領域301の画素値も変化している可能性が高いため、その無効画像領域301の画素値を黒色で埋め直すことにより、フィルタ処理による影響を無くすために行われる。なお、最終フィル処理において無効画像領域301を埋める際の画素値は、例えば、ユーザインターフェース112を介して、ユーザから設定された画素値であってもよい。最終フィル部405による最終フィル処理後の画像データ122は、例えば図1の配信部106に送られる。
図6は、図4に示した画像形成部104における処理の流れを示すフローチャートである。図6のフローチャートの処理は、図4の画像形成部104で行われる処理であるが、例えばCPU等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。なお以下の説明では、図6の各処理のステップS401〜ステップS409を、S401〜S409と略記する。
図6のフローチャートの処理は、カメラ111にて全方位画像の撮像が開始されることでスタートする。カメラ111による全方位画像の撮像が開始されると、画像形成部104は、S401において、前述の現像処理部103を介して供給される画像データ121を取得する。S401の後、画像形成部104は、画像領域判断部400にて行われるS402に処理を進める。
S402では、画像領域判断部400は、供給された画像データ121の各画素について、前述した魚眼画像の有効画像領域300の画素であるか、有効画像領域300の円外縁部の周辺の無効画像領域301の画素であるかを判断する。S401の後、画像形成部104は、画像情報取得部401にて行われるS403に処理を進める。
S403では、画像情報取得部401は、前述した判断情報を基に、画像データ121から有効画像領域300のデータを取得する。また、画像情報取得部401は、有効画像領域300の各画素のデータから前述した輝度特性の情報を取得する。S403の後、画像形成部104は、処理を画像特性判断部402にて行われるS404に進める。
S404では、画像特性判断部402は、有効画像領域300の輝度特性に応じた前述したプレフィル用画素値を決定する。S404の後、画像特性判断部402は、S405に処理を進める。S405では、画像特性判断部402は、有効画像領域300の魚眼画像が明るい環境で撮像された画像か、又は暗い環境で撮像された画像なのかを判断して、プレフィル用画素値による無効画像領域301の画素値の変更が必要か否かを判断する。画像特性判断部402は、無効画像領域301と有効画像領域300の画素値の輝度差が、予め決められた所定の閾値を超える場合には、無効画像領域301の画素値の変更が必要であると判断する。一方、画像特性判断部402は、無効画像領域301と有効画像領域300の輝度差が、所定の閾値以下であれば、無効画像領域301の画素値の変更は必要ないと判断する。S405において、無効画像領域301の画素値の変更が必要であると判断された場合、画像形成部104は、画像処理部404で行われるS406に処理を進める。一方、S405において、無効画像領域301の画素値の変更が必要ないと判断された場合、画像形成部104は、画像処理部404で行われるS407に処理を進める。
S406の処理に進んだ場合、プレフィル部403は、S404で決定されたプレフィル用画素値により、無効画像領域301の画素値を埋めるプレフィル処理を行う。S406の後、画像形成部104は、画像処理部404にて行われるS407に処理を進める。
S407では、画像処理部404は、S406によるプレフィル処理後の画像データ121、又は、S406によるプレフィル処理が行われていない画像データ121に対し、前述したフィルタ処理を行う。このS407の後、画像形成部104は、最終フィル部405にて行われるS408に処理を進める。
S407では、画像処理部404は、S406によるプレフィル処理後の画像データ121、又は、S406によるプレフィル処理が行われていない画像データ121に対し、前述したフィルタ処理を行う。このS407の後、画像形成部104は、最終フィル部405にて行われるS408に処理を進める。
S408では、最終フィル部405は、フィルタ処理後の画像データ121に対して、無効画像領域301の各画素を黒色の画素値で埋め直す最終フィル処理を行う。S408の後、画像形成部104は、S409に処理を進める。S409では、画像形成部104は、現像処理部103から新たな画像データ121が入力されたか否かを判断し、入力された場合には処理をS401に戻し、その入力された画像データ121による前述のS402〜S408の処理を行わせる。一方、S409において新たな画像データ121の入力が無ければ、この図6のフローチャートの処理を終了する。
以上説明したように、第1の実施形態のカメラ111は、有効画像領域300の魚眼画像が明るい環境で撮像された画像であり、無効画像領域301との輝度差が大きい場合には、無効画像領域301の画素値を前述したプレフィル用画素値に変更する。このときのプレフィル用画素値は、有効画像領域300の輝度特性に応じた画素値となされている。したがって、第1の実施形態によれば、有効画像領域300と無効画像領域301の輝度差が大きい場合に、フィルタ処理等の画像処理が行われたとしても、無効画像領域301の影響を抑えた、画質低下が低減された画像データを得ることができる。
また、第1の実施形態によれば、フィルタ処理後の画像データ121に対し、最終フィル部405により、無効画像領域301の各画素が黒色の画素値で埋め直す最終フィル処理が行われる。このため、最終フィル処理後の画像データ122は、フィルタ処理による影響が無い画像データとされる。
また、第1の実施形態によれば、フィルタ処理後の画像データ121に対し、最終フィル部405により、無効画像領域301の各画素が黒色の画素値で埋め直す最終フィル処理が行われる。このため、最終フィル処理後の画像データ122は、フィルタ処理による影響が無い画像データとされる。
<第2の実施形態>
第2の実施形態は、魚眼画像である有効画像領域内の画像分布を求め、その画像分布に基づいて、有効画像領域の周囲の無効画像領域のプレフィル用画素値を細かく設定可能にする例である。なお、第2の実施形態において、第1の実施形態と同様の構成や処理についてはその説明を省略し、以下、第1の実施形態との差分点のみについて述べる。
第2の実施形態は、魚眼画像である有効画像領域内の画像分布を求め、その画像分布に基づいて、有効画像領域の周囲の無効画像領域のプレフィル用画素値を細かく設定可能にする例である。なお、第2の実施形態において、第1の実施形態と同様の構成や処理についてはその説明を省略し、以下、第1の実施形態との差分点のみについて述べる。
図7(a)と図7(b)は、有効画像領域500と無効画像領域501からなる画像の一例を示す図である。なお、図7(a)と図7(b)の画像は同じであるとする。有効画像領域500は前述同様の魚眼画像であり、無効画像領域501は例えば初期フィル処理により黒色の画素値が埋められている。
ここで、有効画像領域500の魚眼画像は、様々な被写体が写されていることで、画像特性の異なる小領域が複数含まれているとする。すなわち、有効画像領域500内には、明るい小領域や暗い小領域など、画像特性の異なる複数の小領域が混在しているとする。例えば、図7(b)において、小領域502は明るい場所が写っており、小領域503,504は暗い場所が写っているとする。なお、これら各小領域502,503,504は一例であり、更に多くの小領域が存在していてもよい。
ここで、有効画像領域500の魚眼画像は、様々な被写体が写されていることで、画像特性の異なる小領域が複数含まれているとする。すなわち、有効画像領域500内には、明るい小領域や暗い小領域など、画像特性の異なる複数の小領域が混在しているとする。例えば、図7(b)において、小領域502は明るい場所が写っており、小領域503,504は暗い場所が写っているとする。なお、これら各小領域502,503,504は一例であり、更に多くの小領域が存在していてもよい。
第2の実施形態の場合、画像形成部104の画像情報取得部401は、魚眼画像の有効画像領域の画像データ121の輝度特性から輝度分布を求める。これにより、例えば前述のような明るい小領域502、暗い小領域503,504のそれぞれの輝度特性が求められる。そして、画像情報取得部401は、画像データ121と共に、それら各小領域502,503,504の輝度特性の情報を、画像特性判断部402に送る。
第2の実施形態の場合の画像特性判断部402は、各小領域502,503,504の輝度特性に基づいて、無効画像領域501の各画素のプレフィル用画素値を決定する。
以下、図8を参照して、各小領域502,503,504の輝度特性に基づいて、無効画像領域501の各画素のプレフィル用画素値を決定する例について説明する。なお、図8は、図7(a)、図7(b)に示した有効画像領域500と無効画像領域501の一部を拡大して示す図である。
以下、図8を参照して、各小領域502,503,504の輝度特性に基づいて、無効画像領域501の各画素のプレフィル用画素値を決定する例について説明する。なお、図8は、図7(a)、図7(b)に示した有効画像領域500と無効画像領域501の一部を拡大して示す図である。
図8中の各正方形は、有効画像領域500と無効画像領域501の境界部分及びその近傍の各画素を表している。それら各画素のうち、画素510,511は、略々無効画像領域501とみなせる画素であり、画素512,513,514は略々有効画像領域500内とみなせる画素であるとする。画像特性判断部402は、着目画素510のプレフィル用画素値として、その着目画素510に対して有効画像領域500内で近接する各画素との輝度差が、予め決めた所定輝度差範囲内に収まるようになる画素値を決定する。図8の例の場合、着目画素510に対し有効画像領域500内で近接する各画素は、少なくとも各画素511,512,513,514である。着目画素511についても同様に、画像特性判断部402は、その画素511に対し有効画像領域500内で近接する各画素との輝度差が、所定輝度差範囲内に収まる画素値をプレフィル用画素値として決定する。図8の例では、無効画像領域501の画素のプレフィル用画素値を決定する際、有効画像領域500内で近接する数画素の画素値を見て判断しているが、例えばウインドウを設けてより広い範囲の複数画素の画素値を基にプレフィル用画素値を決定してもよい。
図9は、第2の実施形態の場合の画像形成部104における処理の流れを示すフローチャートである。図9のフローチャートの処理は、図4の画像形成部104で行われる処理であるが、例えばCPU等において第2の実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図9の各処理のステップS501〜ステップS513を、S501〜S513と略記する。なお、図9のフローチャートのS501〜S505は前述の図6のS401〜S405と略々同じ処理であり、また、S512、S513は前述した図6のS408、S409と略々同じ処理であるため、それら説明は省略する。
S505において、無効画像領域501の画素値の変更が必要であると判断された場合、画像特性判断部402は、S506に処理を進める。一方、S505において、無効画像領域501の画素値の変更が必要ないと判断された場合、画像形成部104は、画像処理部404で行われるS511に処理を進める。
S506の処理に進むと、画像特性判断部402は、無効画像領域501の画素値を、有効画像領域500の輝度分布に応じたプレフィル用画素値に変更するか否かを判断する。例えば、画像特性判断部402は、有効画像領域500の各輝度分布の輝度と無効画像領域501の画素の輝度との差に基づいて、無効画像領域501の画素値を有効画像領域500の輝度分布に応じたプレフィル用画素値に変更するか判断する。画像特性判断部402は、S506において、無効画像領域501の各画素値を変更すると判断した場合にはS507に処理を進め、一方、変更しないと判断した場合にはS508に処理を進める。
S507に進んだ場合、画像特性判断部402は、無効画像領域501の各画素のプレフィル用画素値として、S504で求めたプレフィル用画素値から、有効画像領域500の輝度分布に応じた画素値を求める。S507の後、画像特性判断部402は、S509に処理を進める。S509では、画像特性判断部402は、無効画像領域501の全ての画素値についてS507の処理が終了したか否か判断し、終了していないと判断した場合にはS507に処理を戻し、終了したと判断した場合にはS510に処理を進める。
一方、S508に進んだ場合、画像特性判断部402は、無効画像領域501の各画素のプレフィル用画素値として、S504で求めたプレフィル用画素値と同じ画素値を用いるようにする。S508の後、画像特性判断部402は、S510に処理を進める。
S507からS510に進んだ場合、プレフィル部403は、S507で決定された有効画像領域500の輝度分布に応じたプレフィル用画素値により、無効画像領域501の各画素値を埋めるプレフィル処理を行う。一方、S508からS510に進んだ場合、プレフィル部403は、無効画像領域501の各画素値について、S504で決定されたプレフィル用画素値により一律に画素値を埋めるプレフィル処理を行う。S510の後、画像形成部104は、処理を画像処理部404にて行われるS511に進める。
S511では、画像処理部404は、S510によるプレフィル処理後の画像データ121、又は、S510によるプレフィル処理が行われていない画像データ121に対し、前述したフィルタ処理を行う。このS511の後、画像形成部104は、処理を最終フィル部405にて行われるS512に進める。
以上説明したように、第2の実施形態のカメラ111は、有効画像領域500の輝度分布に応じたプレフィル用画素値により、無効画像領域501の各画素に対するプレフィル処理を行う。このため、第2の実施形態によれば、無効画像領域301の影響をより細かく抑えた、画質低下が低減された画像データ122を得ることができる。
<その他の実施形態>
上述の第1、第2の実施形態の説明において、有効画像領域の輝度特性に応じて無効画像領域に対するプレフィル用画素値を決定しているが、これに限定されず、有効画像領域の色度特性、彩度特性を考慮して決定してもよい。プレフィル処理後に画像に対して適用される画像処理の種類に応じて、プレフィル用画素値を決定するために参照する画像特性を選択するように構成してもよい。
上述の第1、第2の実施形態の説明において、有効画像領域の輝度特性に応じて無効画像領域に対するプレフィル用画素値を決定しているが、これに限定されず、有効画像領域の色度特性、彩度特性を考慮して決定してもよい。プレフィル処理後に画像に対して適用される画像処理の種類に応じて、プレフィル用画素値を決定するために参照する画像特性を選択するように構成してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 レンズ、101 撮像素子、104 画像形成部、400 画像領域判断部、401 画像情報取得部、402 画像特性判断部、403 プレフィル部、404 画像処理部、405 最終フィル部
Claims (10)
- 撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得する取得手段と、
前記有効画像領域の画像特性に応じた画素値を決定する決定手段と、
前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定する第1の設定手段と、
前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行う処理手段と、
前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定する第2の設定手段と、
を有することを特徴とする画像処理装置。 - 前記取得手段は、前記有効画像領域の輝度特性を前記画像特性として取得し、
前記決定手段は、前記輝度特性に応じた前記画素値を決定することを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が所定の輝度差範囲内に収まるようになる画素値を、前記輝度特性に応じた画素値として決定することを特徴とする請求項2に記載の画像処理装置。
- 前記第1の設定手段は、
前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が、所定の閾値を超える場合には、前記輝度特性に応じた前記画素値の設定を行い、
前記有効画像領域の輝度と前記周辺画像領域の輝度との差分が、所定の閾値以下である場合には、前記輝度特性に応じた前記画素値の設定を行わず、
前記処理手段は、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像、又は、前記有効画像領域と前記画像特性に応じた画素値の設定が行われなかった周辺画像領域とからなる画像に対して、前記所定の画像処理を行うことを特徴とする請求項2又は3に記載の画像処理装置。 - 前記処理手段は、所定の画像処理として、所定の参照ウインドウ内にある周辺画像領域の画素と有効画像領域の画素との輝度の差分値を分散して平均化するフィルタ処理を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記第2の設定手段は、予め決められた画素値、又は、ユーザにより決められた画素値を、前記所定の一意の画素値として前記周辺画像領域の各画素値に設定することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記取得手段は、前記有効画像領域の画像特性の分布を取得し、
前記決定手段は、前記有効画像領域の画像特性の分布ごとにそれぞれ応じた画素値を決定し、
前記第1の設定手段は、前記周辺画像領域の各画素値を、前記有効画像領域の画像特性に分布ごとにそれぞれ応じた画素値に設定することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 前記有効画像領域は、光学レンズによるイメージサークルが、撮像素子の撮像面に収まる場合の、前記イメージサークルにより形成された画像を撮像した画像領域であり、
前記周辺画像領域は、前記イメージサークルの外の無効画像領域であることを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。 - 取得手段が、撮像画像からなる有効画像領域と、前記有効画像領域の周囲に位置する周辺画像領域と、を含む画像から、前記有効画像領域の画像特性を取得するステップと、
決定手段が、前記有効画像領域の画像特性に応じた画素値を決定するステップと、
第1の設定手段が、前記周辺画像領域の各画素値を、前記画像特性に応じた前記画素値に設定するステップと、
処理手段が、前記有効画像領域と前記画像特性に応じた画素値に設定された周辺画像領域とからなる画像に対して、所定の画像処理を行うステップと、
第2の設定手段が、前記所定の画像処理が行われた後の画像の前記周辺画像領域の各画素値を、所定の一意の画素値に設定するステップと、
を含むことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至8の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015251833A JP2017118326A (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015251833A JP2017118326A (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017118326A true JP2017118326A (ja) | 2017-06-29 |
Family
ID=59231095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015251833A Pending JP2017118326A (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017118326A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019165372A (ja) * | 2018-03-20 | 2019-09-26 | 株式会社リコー | 撮像素子固定構造 |
-
2015
- 2015-12-24 JP JP2015251833A patent/JP2017118326A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019165372A (ja) * | 2018-03-20 | 2019-09-26 | 株式会社リコー | 撮像素子固定構造 |
JP7124366B2 (ja) | 2018-03-20 | 2022-08-24 | 株式会社リコー | 撮像素子固定構造及び撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
CN111684788A (zh) | 一种图像处理的方法和装置 | |
KR20150099302A (ko) | 전자 장치와, 그의 제어 방법 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6525543B2 (ja) | 画像処装置および画像処理方法、並びにプログラム | |
JP6935272B2 (ja) | ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム | |
JP2004222231A (ja) | 画像処理装置および画像処理プログラム | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2021505086A (ja) | 画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器 | |
CN108513062B (zh) | 终端的控制方法及装置、可读存储介质和计算机设备 | |
JP6124506B2 (ja) | 撮像装置及び撮像方法 | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
JP6513309B2 (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
JP2017118326A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP7051365B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN116266877A (zh) | 图像处理设备和方法、摄像设备和计算机可读介质 | |
JP7346077B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2004222233A (ja) | 画像処理装置および画像処理プログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP5520863B2 (ja) | 画像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200317 |