JP2016146546A - 画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】位置の違いで解像感の違いが生じないように欠陥画素を補間することを目的とする。
【解決手段】入力画像における欠陥画素の位置と、入力画像の歪曲収差情報と、に基づいて、欠陥画素の補間に利用される画素を決定する決定手段と、決定手段により、決定された画素、及びこの画素の重み付けに基づいて、欠陥画素を補間する補間手段と、歪曲収差情報を用いて、補間手段により補間された入力画像の歪曲収差を補正する補正手段と、を有する。
【選択図】図６

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

従来、ＣＣＤ、ＣＭＯＳセンサ等の撮像素子を用いた撮像装置においては、撮像素子の白欠陥や黒欠陥等の欠陥画素が発生することが一般的に知られている。欠陥画素とは入射光に対してまったく反応しないで、一定以下の黒レベル、一定以上の白レベルが出力される画素である。欠陥画素は、出力画像に対して白色、黒色の点状のキズとなり、画像劣化を引き起こす。そのため、欠陥画素の補間を行う機能を持つ撮像装置は、撮像素子から出力される画像信号を用いて、信号処理によって欠陥画素を検出して補間を行う欠陥画素補間を行っている。

一方、撮像素子に光を入射するレンズとして、魚眼レンズ等の歪曲収差をもったレンズを利用する撮像装置では、出力画像は、歪曲のある画像となってしまう。そのため、歪曲を補正する機能を持つ撮像装置は、レンズの歪曲収差情報に基づいて、歪曲収差補正を行っている。
例えば、魚眼レンズで撮影された画像は、１８０°の画角の画像となるが、周辺部分が歪んだ画像となってしまう。そのため、撮像装置は、魚眼レンズの歪曲収差情報を用いて、撮像素子から出力される画像信号に対して、信号処理によって歪曲収差を補正する歪曲収差補正を行う。

歪曲収差のある魚眼レンズを利用する撮像装置は、欠陥画素補間と歪曲収差補正との双方を行う場合、歪曲収差情報に基づいて、歪曲の影響を考慮した上で撮像素子の欠陥画素の補間を行う必要がある。
特許文献１には、欠陥画素の周囲の画素に基づく欠陥画素の補間処理において、欠陥画素の周囲の画素に基づく補間値に対して、歪曲収差特性に応じて補正係数を乗じる方法が開示されている。

特許第４７５４９３９号公報

しかしながら、特許文献１に開示された従来技術では、欠陥画素の補間値に対して歪曲収差特性に応じて補正係数を乗じるのみなので、補間された画素には画像内の位置に応じて解像感の違いが生じてしまう。
例えば、歪曲収差のある画像の周辺部分において、歪曲収差補正前では、本来直線状である部分は、歪んだ状態となってしまう。そのため、補間対象の画素の周囲の画素に基づいて、補間がそのまま行われると、歪曲収差のない画像の中心部分と、歪曲収差のある画像の周辺部分と、で補間に利用される周辺の画素の補間対象の画素に対する位置が異なることとなる。
したがって、補間された画像は、欠陥画素に対して、画像の中心部分、周辺部分で異なる補間が施されたこととなり、結果として画像内で場所により解像感が異なる違和感のある画像となってしまうという問題がある。

ここで、前記問題について図１を用いて説明する。
図１（Ａ）は、歪曲収差のある魚眼レンズで撮影した画像の一例を示す図である。対して、図１（Ｂ）は、図１（Ａ）の画像に対して、レンズの歪曲収差情報に基づく歪曲収差補正を行った画像を示す図である。
図１の例において、撮像装置は、撮像素子に欠陥画素があった場合の欠陥画素補間として、黒欠陥のある画素に対して前記欠陥画素の周辺の参照画素を用いて補間を行うこととする。
画像の中心部分に欠陥画素があった場合、欠陥画素と参照画素との位置関係は、歪曲収差補正の前後で変化することはない。画素群８０１は、歪曲収差補正の前における欠陥画素と参照画素との位置関係を表している。画素群８０３は、歪曲収差補正の後における欠陥画素と参照画素との位置関係を表している。画素群８０１及び画素群８０３における欠陥画素と参照画素との位置関係は、同じであり、歪曲収差補正の前後で変化していないことを表している。

一方、画像の周辺部分に欠陥画素があった場合、欠陥画素と参照画素との位置関係は、歪曲収差補正の前後で変化してしまう。画素群８０２は、歪曲収差補正の前における欠陥画素と参照画素との位置関係を表している。画素群８０４は、歪曲収差補正の後における欠陥画素と参照画素との位置関係を表している。画素群８０２に示すように、歪曲収差補正前では、欠陥画素と参照画素との位置関係は、欠陥画素の左右に参照画素が存在するものとなる。対して、画素群８０４に示すように、歪曲収差補正後における欠陥画素と参照画素との位置関係は、欠陥画素の左上及び右下に参照画素が存在するものとなる。
結果として、図１（Ｂ）の歪曲収差補正を行った画像は、中心部分と周辺部分とで参照画素からの補間の方法が異なってしまい、画像の位置によって解像感が異なる出力画像となってしまう。
そこで、本発明は、位置の違いで解像感の違いが生じないように欠陥画素を補間することを目的とする。

そこで、本発明の画像処理装置は、入力画像における欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素を決定する決定手段と、前記決定手段により、決定された前記画素、及び前記画素の重み付けに基づいて、前記欠陥画素を補間する補間手段と、前記歪曲収差情報を用いて、前記補間手段により補間された入力画像の歪曲収差を補正する補正手段と、を有することを特徴とする。

本発明によれば、位置の違いで解像感の違いが生じないように欠陥画素を補間することができる。

発明の解決しようとする課題を説明するための図である。 撮像装置のハードウェア構成の一例を示す図である。 歪曲補正の概念を説明する図である。 歪曲補正の概念を説明する図である。 歪曲補正の結果を説明する図である。 欠陥画素補間回路の処理の一例を示す図である。 歪曲補正を考慮した欠陥画素補正を説明するための図である。 歪曲補正を考慮した欠陥画素補正を説明するための図である。 画像の領域に応じた参照画素パターンの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
以下、図２を参照して、本実施形態における撮像装置のハードウェア構成について説明する。撮像装置は、画像処理装置の一例である。
レンズ群１０１は、１８０°の画角をもったレンズ群であり、１８０°の視野を一度に受光可能なレンズで構成される。
撮像素子１０２は、レンズを介して撮像素子面に受光された光学像を、電気的な信号に変換して、変換した電気的な信号を増幅器１０３に出力する。増幅器１０３は、撮像素子１０２から出力された電気的な信号を設定された信号レベルに増幅する。撮像素子１０２は、撮像素子のタイミングジェネレータからの信号等を受信することにより駆動し、前記信号等の受信のタイミングに合わせてサンプリングし、アナログ−デジタル信号変換を行い、変換した信号を出力する。

映像処理回路１０４は、増幅器１０３から出力された映像信号の映像信号処理を行う。映像処理回路１０４は、欠陥画素補間回路１０５、現像処理回路１０６、歪曲収差補正回路１０７等を含む。
欠陥画素補間回路１０５は、撮像素子１０２の欠陥画素の補間を行う。撮像素子は、一般的に白欠陥、黒欠陥といった欠陥画素を発生させる。欠陥画素は、撮像画面上において白、または黒の点状の傷となり、撮影画像の劣化を引き起こす。そこで、欠陥画素補間回路１０５は、欠陥画素の発生を検出したら、前記欠陥画素の周囲の正常な画素を用いて前記欠陥画素の補間を行い、画像劣化を防ぐ。

次に、現像処理回路１０６は、欠陥画素補間回路から出力された映像信号の現像処理を行う。増幅器１０３からの出力は、ＲＡＷ信号といわれる受光された光情報をそのままデジタル信号へと変換した信号である。現像処理回路１０６は、前記信号に対して、色相、彩度、コントラスト、ノイズ処理といった処理を施し、ＲＧＢ画像へと変換する。
次に、歪曲収差補正回路１０７は、現像処理回路１０６により現像された映像信号の歪曲収差補正を行う。レンズ群１０１で撮像された映像は、１８０°の画角の映像になるが、画面の周辺ほど極端に曲がって撮像されるように、歪曲収差のある映像となる。撮像装置は、レンズ群１０１の歪曲収差情報を予めメモリ１０８へと保存している。歪曲収差補正回路１０７は、メモリ１０８に保存されているレンズ歪曲収差情報に基づいて、歪曲収差のある映像を、歪曲のない画像へと変換する。そして、歪曲収差補正回路１０７は、撮像装置のフォーマット変換回路を介して、変換した歪曲のない画像を設定されたフォーマットへ変換して映像処理回路１０４の映像出力として出力する。

欠陥画素補間回路１０５は、メモリ１０８に記憶されたレンズ群１０１の歪曲収差情報を用いて、欠陥画素補正を歪曲に対して最適に行う。よって、撮像装置は、レンズ群１０１で撮影された画像に対して、解像感が一律で、違和感のない欠陥画素補正ができる。
メモリ１０８は、撮像装置の処理に利用される閾値等を設定ファイル等の形式で記憶しているものとする。また、撮像装置は、ユーザによる撮像装置のユーザインターフェース等を介した操作に基づいて、前記設定ファイル等の内容を変更することができる。

次に、図３〜５を参照して、本実施形態の撮像装置が行う歪曲画像から歪曲のない画像への変換処理について説明する。
図３（Ａ）は、レンズ群１０１を用いた撮影により撮像素子１０２上に形成される歪曲円形画像Ｓを示す斜視図である。
図３（Ａ）では、歪曲円形画像Ｓは、三次元ＸＹＺ直交座標系におけるＸＹ平面上に形成されている。歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径Ｒの円を形成する画像であり、Ｚ軸の負領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。仮想球面Ｈは、歪曲円形画像Ｓの上面（Ｚ軸の負領域側）に半径Ｒをもったドーム状の球面であるとして想定される。レンズ群１０１の画角内の像は、仮想球面Ｈを介して、歪曲円形画像Ｓに投影されるものとみなすことができる。仮想球面Ｈ上の任意の点Ｐ１（ｘ、ｙ、ｚ）に対して法線方向から仮想球面Ｈに入射する環境光の入射光線Ｌ１は、Ｚ軸に平行な光線Ｌ２として、ＸＹ平面上の点Ｐ２（ｘ、ｙ）へ向かう。そして撮像素子１０２は、点Ｐ２で受光した光を電気信号に変換する。

次に、歪曲円形画像Ｓを歪みのない正しい画像へと変換する処理について説明する。図３（Ｂ）は、歪曲円形画像Ｓを含むＸＹ座標系と、平面平則画像Ｔを含むＵＶ座標系と、の関係を示す斜視図である。切り出し中心点Ｐ３（ｘ０、ｙ０）は、歪曲円形画像Ｓ上に定義される。交点Ｐ４は、切り出し中心点Ｐ３を通りＺ軸に平行な直線と、仮想球面Ｈと、の交点である。交点Ｐ４は、切り出し中心点Ｐ３（ｘ０、ｙ０）の真上の点であり、位置座標は（ｘ０、ｙ０、ｚ０）である。交点Ｐ４（ｘ０、ｙ０、ｚ０）において、仮想球面Ｈに接する接平面を定義する。そして、定義された接平面上に二次元ＵＶ直交座標系を定義する。ＵＶ座標系の原点は、仮想球面ＨとＵＶ座標系のＵＶ平面との接点となる。
ＵＶ座標系の原点となる交点Ｐ４（ｘ０、ｙ０、ｚ０）の位置は、半径Ｒと方位角αと天頂角βとによって特定される。方位角α（０≦α＜３６０°）は、切り出し中心点Ｐ３とＸＹ座標系の原点Ｏとを結ぶ線分とＸ軸とのなす角である。天頂角β（０≦α≦９０°）はＵＶ座標系の原点となる交点Ｐ４とＸＹ座標系の原点とを結ぶ線分とＺ軸とのなす角である。

ＵＶ座標系を決定するには、更に、平面傾斜角φ（交点Ｇを中心とした接平面上でのＵ軸の向き）が指定される必要がある。平面傾斜角φは、交点Ｇを通り、ＸＹ平面に平行で、かつ線分ＯＧに直交する軸を基準軸Ｘ'として、基準軸Ｘ'とＵ軸とのなす角として定義される。Ｘ'軸は、交点Ｐ４（ｘ０、ｙ０、ｚ０）を通り、Ｘ軸に平行な軸である。即ち、平面傾斜角φは、ＵＶ座標系においてＵ軸方向を向いたベクトルＶＵと、ＸＹ座標系においてＸ軸方向を向いたベクトルＶＸとを定義したときに、ベクトルＶＵとベクトルＶＸとのなす角として定義される。
以上より、図３（Ｂ）に示す平面平則画像Ｔを形成するためのＵＶ座標系の位置及び向きは、方位角α、天頂角β、平面傾斜角φの３つの角度からなるパラメータにより決定される。方位角α、天頂角β、平面傾斜角φの３つの角度は、一般的にオイラー角と呼ばれる。

図４（Ａ）は、ＵＶ座標系上に定義された平面平則画像Ｔを示す平面図である。平面平則画像Ｔ上の任意の点は、ＵＶ座標系の座標値ｕ、ｖを用いて点Ｐ６（ｕ、ｖ）と表される。ＵＶ座標系の原点Ｐ５（０、０）の位置は、交点Ｐ４（ｘ０、ｙ０、ｚ０）と一致する。
一方、図４（Ｂ）は、ＸＹ座標系上に定義された歪曲円形画像Ｓを示す平面図である。歪曲円形画像Ｓ上の任意の点をＸＹ座標系の座標値ｘ、ｙを用いて点Ｐ２（ｘ、ｙ）と示す。図４（Ｂ）の点Ｐ２は、図３（Ａ）の点Ｐ２と同じ点である。
撮像装置は、歪曲円形画像Ｓ上の切り出し中心点Ｐ３（ｘ０、ｙ０）が切り出しの中心点として指定されると、切り出し中心点Ｐ３の近傍の切り出し領域Ｅの歪曲した画像を正則画像に変換する。そして、撮像装置は、変換した正則画像を図４（Ａ）に示すＵＶ座標系上に定義された平面平則画像Ｔとして出力する。

よって、ＵＶ座標系上の１点Ｐ６（ｕ、ｖ）とＸＹ座標系上の１点Ｐ２（ｘ，ｙ）の関係は、以下の式で表わすことができる。

ここで、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、以下の式で表わされる。

また、ｗは以下の式で表わされる。
ｗ＝ｍＲ
Ｒは、歪曲円形画像Ｓの半径である。ｍは、変換倍率である。変換倍率ｍは、座標値ｕ、ｖのスケーリングと、座標値ｘ、ｙのスケーリングと、の関係を示す。変換倍率ｍが大きくなるほど、歪曲円形画像Ｓの切り出し領域Ｅは、小さくなる。

次に、歪曲円形画像Ｓから、平面平則画像Ｔへの変換式を用いた歪曲補正を図５に示す。図５（Ａ）は、レンズ群１０１を用いて撮影された歪曲のある歪曲円形画像の一例を示す。撮像装置は、図５（Ａ）の画像に対して歪曲収差補正を行うことで、図５（Ｂ）のような周辺部分を含めて歪みのない画像を出力する。図５（Ｂ）は、平面平則画像Ｔをつなぎ合わせて、画角１８０°分とした画像となる。
図５は、美術館を魚眼レンズで撮影した映像である。図５（Ａ）は、画面周辺の建造物が曲がって撮影された画像である。対して、図５（Ｂ）は、図５（Ａ）の画像に対して歪曲収差補正が施された画像であり、画像の周辺部分の建造物について歪みもなく、違和感もない。

次に、本実施形態における歪曲収差情報を用いた最適な欠陥画素補正の処理方法に関して図６〜８を用いて詳しく説明する。図６は、欠陥画素補間回路１０５の機能構成及び処理の一例を示す図である。図７、図８は、歪曲補正を考慮した欠陥画素補正を説明するための図である。
欠陥画素補間回路１０５は、欠陥画素検出部５０１、欠陥画素情報記憶部５０２、欠陥画素切り替えスイッチ５０３、参照画素決定部５０４、バッファ５０５、レンズ歪曲収差情報記憶部５０６、欠陥画素補間値算出部５０７、欠陥画素置換部５０８等を含む。
欠陥画素検出部５０１は、増幅器１０３から順次送られてくる増幅された画素信号に対して、欠陥画素情報記憶部５０２に記憶された欠陥画素のアドレス情報に基づいて、白欠陥、黒欠陥等の欠陥画素の検出を行う。欠陥画素情報記憶部５０２には、予め検出された白欠陥や黒欠陥等の欠陥画素に関するアドレス情報が記憶されている。欠陥画素の検出方法としては、設定された一様な明るさで予め撮像装置により撮影された被写体の画像の各画素について、画素信号レベルが設定された第１の閾値よりも高ければ白欠陥、設定された第２の閾値よりも低ければ黒欠陥とする方法がある。
欠陥画素切り替えスイッチ５０３は、欠陥画素検出部５０１で入力画素が欠陥画素として検出された場合、欠陥画素側へスイッチを切り替え、通常画素として検出された場合、通常画素側へスイッチを切り替える。欠陥画素補間回路１０５は、入力画素が通常画素である場合、欠陥画素切り替えスイッチ５０３の後で、何の処理も行わずに、入力画素をそのまま出力する。欠陥画素補間回路１０５は、入力画素が欠陥画素である場合、欠陥画素切り替えスイッチ５０３の次の処理を欠陥画素の補間ルーチンへと移行する。

参照画素決定部５０４は、歪曲収差情報に基づいて、欠陥画素に対する補間を行う上で参照する周囲の画素を決定する。参照画素決定部５０４は、レンズ歪曲収差情報記憶部５０６に記憶されたレンズ群１０１の歪曲収差情報に基づいて、バッファ５０５に蓄えられた欠陥画素の周囲の画素の情報から、欠陥画素の補間処理のために参照する画素である参照画素の情報を決定する。また、参照画素決定部５０４は、レンズ群１０１の歪曲収差情報に基づいて、前記参照画素それぞれの重み付けを決定する。レンズ歪曲収差情報記憶部５０６は、予め、レンズ群１０１の歪曲収差情報を記憶しているものとする。バッファ５０５は、欠陥画素補間回路１０５に入力された画素の情報を記憶する。
欠陥画素補間値算出部５０７は、参照画素決定部５０４により決定された参照画素と、前記参照画素の重み付けと、に基づいて、欠陥画素を補間するための補間値の算出を行う。欠陥画素補間回路１０５は、欠陥画素置換部５０８にて、算出された前記補間値を欠陥画素の画素値と置き換えることで、欠陥画素のない画像を出力できる。

図７を参照して、参照画素決定部５０４による歪曲収差情報に基づいた参照画素及び前記参照画素の重み付けの決定処理を説明する。
図７（Ａ）は、レンズ群１０１を用いて撮影された歪曲収差のある画像の一例を示す図である。図７（Ｂ）は、図７（Ａ）の画像に歪曲収差補正が施された画像を示す図である。
画素群６０１は、歪曲収差補正の前における欠陥画素と参照画素の位置関係を表している。画素群６０１に対応する欠陥画素は、画像の中心にあるとする。画像の中心には歪曲収差がないので、参照画素決定部５０４は、欠陥画素に対する参照画素を欠陥画素の左右の画素に決定する。画素群６０３は、歪曲収差補正の後における画素群６０１に対応する欠陥画素と参照画素との位置関係を表している。歪曲補正後の画像においての欠陥画素と参照画素との位置関係は、画素群６０３に示すように欠陥画素の左右に参照画素が位置するものとなり、歪曲補正前の画像においての欠陥画素と参照画素との位置関係と同様となる。また、参照画素決定部５０４は、画素群６０１における２つの参照画素の重み付けをそれぞれ１／２に決定する。

図８（Ａ）は、画素群６０１に対応する欠陥画素と、前記欠陥画素の周辺の画素と、を示す図である。Ｒ（ｎ）（ｍ）は、座標（ｎ、ｍ）における画素の画素値を示す。図７（Ａ）の画素群６０１の欠陥画素の場合、欠陥画素補間値算出部５０７は、補間値ＲＩを、図８（Ａ）に示される欠陥画素の左右の画素の画素値及び参照画素決定部５０４により決定された各画素の重み付けから、以下の式で算出する。

欠陥画素置換部５０８は、補間値ＲＩで欠陥画素を置き換えることで、欠陥画素の補間を行う。

一方、画像の周辺部分に欠陥画素がある場合について説明する。画像の周辺部分は、歪曲収差の影響が画像の中心部分に比べて大きい部分となる。そのため、参照画素決定部５０４は、歪曲収差情報を考慮して、欠陥画素に対する参照画素を欠陥画素の斜め方向に存在する画素として決定する。画素群６０２は、歪曲収差補正の前における欠陥画素と参照画素の位置関係を表している。参照画素決定部５０４は、画素群６０２に示すように、欠陥画素の左下の画素と右上の画素とを参照画素として決定する。また、参照画素決定部５０４は、欠陥画素の補間に利用される２つの参照画素の重み付けをそれぞれ１／２に決定する。画素群６０４は、歪曲収差補正の後における画素群６０２に対応する欠陥画素と参照画素との位置関係を表している。歪曲補正後の画像においての欠陥画素と参照画素との位置関係は、画素群６０４に示すように欠陥画素の左右に参照画素が位置するものとなる。
図８（Ｂ）は、画素群６０２に対応する欠陥画素と、前記欠陥画素の周辺の画素と、を示す図である。Ｒ（ｎ）（ｍ）は、座標（ｎ、ｍ）における画素の画素値を示す。図７（Ａ）の画素群６０２の欠陥画素の場合、欠陥画素補間値算出部５０７は、補間値ＲＩを、図８（Ｂ）に示されるように欠陥画素の左下、右上の画素の画素値及び参照画素決定部５０４により決定された各画素の重み付けから、以下の式で算出する。

欠陥画素置換部５０８は、補間値ＲＩで欠陥画素を置き換えることで、欠陥画素の補間を行う。
参照画素決定部５０４は、図７の例のように、入力画像の欠陥画素それぞれについて、前記欠陥画素の位置における歪曲収差情報を考慮して、補間処理に利用される参照画素を決定する。また、本実施形態では、参照画素決定部５０４は、決定した参照画素の重み付けを、それぞれ同じ値に決定することとした。欠陥画素補間値算出部５０７は、参照画素の画素値と参照画素の重み付けとから加重平均値を算出することとした。欠陥画素置換部５０８は、欠陥画素補間値算出部５０７により算出された前記加重平均値で、欠陥画素の画素値を置き換えることで、欠陥画素の補間を行うこととした。

以上、本実施形態の処理により、撮像装置は、魚眼レンズ等の歪曲収差があるレンズを用いた撮影の場合でも、以下のことができる。即ち、撮像装置は、欠陥画素の補間後の画像において、欠陥画素の位置における解像感の違いが生じないように、欠陥画素の補間に利用される参照画素及び参照画素の重み付けを決定し、欠陥画素を補間することができる。撮像装置は、歪曲収差情報を考慮した上で欠陥画素の補間を行う。そのため、歪曲収差補正後の画像は、欠陥画素に対して常に同一方向の参照画素から補間された画像となり、正しい欠陥画素の補正が行われる。結果として、撮像装置の出力画像は、欠陥画素補正に対して解像感のばらつきもなく、違和感のない画像となる。

＜実施形態２＞
本実施形態における撮像装置のハードウェア構成、各ハードウェア構成の詳細等は、実施形態１と同様とする。
実施形態１では、参照画素決定部５０４は、入力画像のそれぞれの欠陥画素について、前記欠陥画素の位置における歪曲収差情報を考慮して、補間処理に利用される参照画素を決定し、決定した参照画素の重み付けをそれぞれ同じ重み付けに決定することとした。
本実施形態では、撮像装置は、予め、入力画像中の欠陥画素の存在する領域に応じた、欠陥画素と参照画素との位置関係及び各参照画素の重み付けの情報を含む参照画素パターンをメモリ１０８等に記憶している。参照画素パターンは、対応する領域における歪曲収差の影響を考慮した欠陥画素と参照画素との位置関係及び各参照画素の重み付けの情報を含んでいる。そして、参照画素決定部５０４は、入力画像のそれぞれの欠陥画素について、欠陥画素の存在する領域と参照画素パターンとに基づいて、欠陥画素の補間に利用される参照画素及び参照画素の重み付けを決定する。

図９は、画像の領域に応じた参照画素パターンの一例を示す図である。
欠陥画素が歪曲収差のある撮影画像の左上の領域（図９の領域１）に存在している場合の参照画素を決定する処理について説明する。
参照画素決定部５０４は、メモリ１０８等から領域１に対応する参照画素パターン１を取得する。そして、参照画素決定部５０４は、参照画素パターン１に基づいて、欠陥画素の左、右、上、下、右上、左下の６つの画素を欠陥画素の補間に利用される参照画素として決定する。また、参照画素決定部５０４は、参照画素パターン１に基づいて、６つの参照画素の重み付けを決定する。参照画素パターン１は、例えば、各参照画素の重み付けを左、右、上、下、右上、左下の画素の順に、５／１００、２０／１００、２０／１００、５／１００、３０／１００、２０／１００として記憶しているとする。
欠陥画素と周辺の画素との画素値は、図８（Ａ）と同様とする。欠陥画素補間値算出部５０７は、補間値ＲＩを、以下の式のとおり算出する。

以上、本実施形態の処理により、参照画素決定部５０４は、参照画素パターンを利用して参照画素を決定することで、参照画素の決定処理の負荷を軽減することができる。

＜実施形態３＞
実施形態１、２では、映像処理回路１０４が欠陥画素の参照画素の決定、前記参照画素の重み付けの決定、前記欠陥画素の補間、歪曲収差の補正等の処理を行うこととした。しかし、撮像装置がＣＰＵを含む情報処理装置等で構成されるものとして、撮像装置のＣＰＵが、メモリ１０８等に記憶されたプログラムに基づき処理を実行することによって、撮像装置の機能及び実施形態１、２の処理が実現されることとしてもよい。

実施形態１では、撮像装置は、欠陥画素の補間処理として欠陥画素の左右の画素を用いて補間するものとして説明した。しかし、撮像装置は、左右方向以外の画素を用いて補間してもよい。例えば、撮像装置は、欠陥画素の補間処理として欠陥画素の上下の画素を用いて補間することとしてもよい。更に、撮像装置は、欠陥画素の補間処理として欠陥画素の上下左右の画素を用いて補間することとしてもよい。
また、撮像装置は、レンズの歪曲収差情報のみではなく、撮像装置の撮影向き、取り付け方向も考慮に入れて、欠陥画素の補間に利用する参照画素を決定することもできる。撮像装置の撮影向き、取り付け方向によっては、撮影画像における被写体は、例えば、被写体が正面から撮影された画像に比べて、ある傾きを持つこととなる。その場合、撮像装置は、欠陥画素の左右の画素を利用して前記欠陥画素を補間するよりも、欠陥画素に対して前記撮影画像における被写体の前記傾き方向の両隣に存在する画素を用いて前記欠陥画素を補間した方が、解像感を向上させることができる場合がある。

実施形態１、２では、撮像装置は、欠陥画素の補間処理を、レンズの歪曲収差情報に基づいて補間するものとした。しかし、撮像装置は、ノイズリダクション等のノイズ補正を、レンズの歪曲収差情報に基づいて、実行することもできる。
実施形態１では、参照画素決定部５０４は、参照画素の重み付けをそれぞれ同じ重み付けに決定することとした。しかし、参照画素決定部５０４は、欠陥画素及び参照画素の位置の歪曲収差情報に基づいて、参照画素の重み付けをそれぞれ異なる重み付けに決定することとしてもよい。例えば、参照画素決定部５０４は、欠陥画素及び参照画素の位置の歪曲収差情報に基づいて、前記参照画素の重み付けを、歪曲が一番少ない参照画素の重み付けが一番大きくなるように決定してもよい。その場合、欠陥画素補間値算出部５０７は、参照画素の画素値と、歪曲が一番少ない参照画素の重み付けが一番大きくなるように決定された参照画素の重み付けと、から加重平均値を算出する。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 映像処理回路、１０５ 欠陥画素補間回路、１０８ メモリ

Claims (7)

1. 入力画像における欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素を決定する決定手段と、
   前記決定手段により、決定された前記画素、及び前記画素の重み付けに基づいて、前記欠陥画素を補間する補間手段と、
   前記歪曲収差情報を用いて、前記補間手段により補間された入力画像の歪曲収差を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記入力画像における前記欠陥画素の位置と、前記入力画像の歪曲収差情報に対応する参照画素パターンと、に基づいて、前記欠陥画素の補間に利用される画素を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記入力画像の撮影の際の撮像装置の方向、及び傾きと、前記入力画像における前記欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、前記入力画像における欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素の重み付けを決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記欠陥画素、及び前記欠陥画素の周辺の画素の位置における歪曲収差情報に基づいて、前記欠陥画素の補間に利用される画素の重み付けを、歪曲が一番少ない画素の重み付けを一番大きくするように決定し、
   前記補間手段は、前記決定手段により決定された前記画素の画素値、及び前記画素の重み付けから前記画素の加重平均値を取得し、前記加重平均値で前記欠陥画素の画素値を置き換えることで、前記欠陥画素を補間することを特徴とする請求項４に記載の画像処理装置。
6. 画像処理装置が実行する情報処理方法であって、
   入力画像における欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素を決定する決定ステップと、
   前記決定ステップにより、決定された前記画素、及び前記画素の重み付けに基づいて、前記欠陥画素を補間する補間ステップと、
   前記歪曲収差情報を用いて、前記補間ステップにより補間された入力画像の歪曲収差を補正する補正ステップと、
   を含むことを特徴とする情報処理方法。
7. コンピュータに、
   入力画像における欠陥画素の位置と、前記入力画像の歪曲収差情報と、に基づいて、前記欠陥画素の補間に利用される画素を決定する決定ステップと、
   前記決定ステップにより、決定された前記画素、及び前記画素の重み付けに基づいて、前記欠陥画素を補間する補間ステップと、
   前記歪曲収差情報を用いて、前記補間ステップにより補間された入力画像の歪曲収差を補正する補正ステップと、
   を実行させるためのプログラム。

Images