JP2016184776A - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents
画像処理装置と画像処理方法とプログラムおよび撮像装置 Download PDFInfo
- Publication number
- JP2016184776A JP2016184776A JP2015062708A JP2015062708A JP2016184776A JP 2016184776 A JP2016184776 A JP 2016184776A JP 2015062708 A JP2015062708 A JP 2015062708A JP 2015062708 A JP2015062708 A JP 2015062708A JP 2016184776 A JP2016184776 A JP 2016184776A
- Authority
- JP
- Japan
- Prior art keywords
- color mixture
- color
- target pixel
- pixel
- correction target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】混色補正を精度よく行えるようにする。【解決手段】混色情報記憶部32は、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報、例えば混色補正対象画素への混色の割合に応じた混色補正率を記憶する。混色情報は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像したときの撮像信号を用いて、混色補正対象画素を含む学習領域の理想信号と撮像信号から生成する。混色補正部31は、混色補正対象画素の色と位置および撮像設定状態例えば焦点距離や絞りに応じた混色情報を混色情報記憶部32から取得して、取得した混色情報と近傍画素を用いて混色補正対象画素の混色補正を行う。画素毎に混色補正を精度よく行えるようになる。【選択図】 図4
Description
この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、混色補正を精度よく行えるようにする。
近年、撮像素子の高画素化によって画素間隔が狭くなり、近接画素のカラーフィルタを透過した光が混入することによって生ずる混色を補正する技術の重要性が増している。
混色を補正する技術では、撮像素子で混色を補正する技術と撮像素子で生成された画像信号を用いた信号処理によって混色を補正する技術が知られている。例えば、特許文献1では、選択的な波長を透過させる可変フィルタを撮像素子の受光面上に設けて、可変フィルタの透過波長を時分割的に切り換えつつ撮像信号を取得する。このように、可変フィルタにおける透過波長に対応する画素信号を時間的に連続して取得することで、混色のない信号が生成されている。
また、特許文献2では、画面内の座標に依存しない一律の補正式で緑色画素に対する混色補正を行い、混色補正で用いる混色補正係数を、絞り値、焦点距離および撮影感度による補正関数で補正することが開示されている。
ところで、選択的な波長を透過させる可変フィルタを撮像素子の受光面上に設ける構成では汎用性の低下およびコストアップ等を招いてしまう。また、画面内の座標に依存しない一律の補正式で混色補正を行う場合、近接画素からの混色量が異なると精度よく混色を補正することができない。
そこで、この技術では混色補正を精度よく行える画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。
この技術の第1の側面は、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置にある。
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置にある。
この技術においては、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像したときの撮像信号を用いて、例えば混色補正対象画素を含む学習領域の理想信号と撮像信号に基づき、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報が混色情報生成部で生成されて混色情報記憶部に記憶される。混色補正部は、混色補正対象画素の色と位置、焦点距離と絞り値の少なくともいずれかの設定状態を含む撮像設定状態に応じた混色情報を混色情報記憶部から取得する。また、混色補正部は、取得した混色情報と混色補正対象画素に隣接した画素または混色補正対象画素を基準とした所定領域の画素である近傍画素を用いて混色補正対象画素の混色補正を行う。また、混色補正部は、混色補正対象画素の位置に応じて混色補正で用いる近傍画素の画素範囲を変更する。
この技術の第2の側面は、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から混色補正部が取得することと
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を前記混色補正部が行うこと
を含む画像処理方法にある。
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から混色補正部が取得することと
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を前記混色補正部が行うこと
を含む画像処理方法にある。
この技術の第3の側面は、
撮像画の混色補正をコンピュータで実行させるプログラムであって、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から取得する手順と、
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を行う手順と
を前記コンピュータで実行させるプログラムにある。
撮像画の混色補正をコンピュータで実行させるプログラムであって、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から取得する手順と、
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を行う手順と
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第4の側面は、
撮像光学部を介した入射した被写体光に応じて撮像信号を生成する撮像部と、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記撮像部における前記混色補正対象画素の色と位置および前記撮像光学系の設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と、
を有する撮像装置にある。
撮像光学部を介した入射した被写体光に応じて撮像信号を生成する撮像部と、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記撮像部における前記混色補正対象画素の色と位置および前記撮像光学系の設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と、
を有する撮像装置にある。
この技術では、撮像光学部を介した入射光に応じて撮像信号を撮像部で生成する。混色情報記憶部には、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像部で撮像したときの撮像信号を用いて、例えば混色補正対象画素を含む学習領域の理想信号と撮像信号に基づいて生成された混色情報、すなわち混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報が記憶されている。混色補正部では、混色補正対象画素の色と位置および撮像光学系の設定状態に応じた混色情報を混色情報記憶部から取得して、取得した混色情報と近傍画素を用いて混色補正対象画素の混色補正が行われる。また、混色補正部は、制御部によって、当該撮像装置の動作モードに応じて混色補正で用いる近傍画素の画素範囲が変更される。
この技術によれば、混色補正対象画素の色と位置および撮像設定状態に応じた混色情報が混色情報記憶部から取得されて、この取得した混色情報と混色補正対象画素の近傍画素を用いて混色補正が行われる。このため、画素毎に精度よく混色補正を行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う 1.実施の形態の構成
2.実施の形態の動作(混色補正動作)
3.他の実施の形態について
2.実施の形態の動作(混色補正動作)
3.他の実施の形態について
<1.実施の形態の構成>
図1は、混色を説明するための図である。撮像素子21では、素子分離部211によってフォトダイオード212が分離して設けられており、受光面側の素子分離部211の位置には遮光膜213が形成されている。さらに、遮光膜213が形成されている受光面側に平坦化膜214が形成されて、その平坦化膜214とオンチップレンズ216との間にカラーフィルタ215が形成される。カラーフィルタは例えば図2に示すように、赤色Rと緑色Gと青色Bの画素がベイヤ−配列とされている。
図1は、混色を説明するための図である。撮像素子21では、素子分離部211によってフォトダイオード212が分離して設けられており、受光面側の素子分離部211の位置には遮光膜213が形成されている。さらに、遮光膜213が形成されている受光面側に平坦化膜214が形成されて、その平坦化膜214とオンチップレンズ216との間にカラーフィルタ215が形成される。カラーフィルタは例えば図2に示すように、赤色Rと緑色Gと青色Bの画素がベイヤ−配列とされている。
ここで、画面上の中心位置の画素では、フォトダイオード212への被写体光の入射角が小さいことから混色が少ない。また、画素の位置が画面上の中心位置から離れるに伴い、フォトダイオード212への被写体光の入射角が大きくなり混色が増加する。さらに、画素の位置が画面上の中心位置から離れて側端の位置となると、フォトダイオード212への被写体光の入射角がさらに大きくなることから混色がさらに増加する。なお、図1では、赤色Rの画素に対する緑色Gの画素からの混色を例示している。
また、フォトダイオード212への被写体光の入射角は、撮像設定状態に応じて変化する。図3は、撮像設定状態と入射角の関係を例示した図である。例えば被写体光の入射角は、被写体光を撮像素子に集光するレンズの焦点距離に応じて変化して、図3の(A)に示す焦点距離が長い場合に比べて、図3の(B)に示すように焦点距離が短くなると入射角が大きくなる。また、図3の(C)に示す絞りの状態に比べて、図3の(D)に示すように絞りが開いた状態となると入射角が大きくなる。また、カラーフィルタ215では色毎に光の屈折率は異なるため、被写体光がカラーフィルタ215のいずれの色を通るかによっても入射角が異なる。また、光の入射角は画素の位置により異なるため、注目画素の位置に応じて上下左右の画素からの混色量が異なる。例えば画面上の左上の画素では右下側からの光による混色が多く、画面上の右下の画素では左上側からの光による混色が多くなる。なお、光軸から注目画素までの距離を像高とした場合、像高に応じて上下左右の画素からの混色量が異なる。
したがって、この技術の画像処理装置では、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報を、予め画素位置と焦点距離等の撮像設定状態に応じて色毎に記憶しておく。また、撮像時には、記録している混色情報から、画素位置と焦点距離等の撮像設定状態に応じた混色情報を色毎に取得して、取得した混色情報に基づき各色の画素毎に混色の補正を行う。
図4は、実施の形態の構成を示した図であり、この技術の画像処理装置を適用した撮像装置を例示している。撮像装置10は、撮像光学部15、撮像部20、前処理部25、画像処理部30、後処理部40、制御部50を有している。また、撮像装置10は、混色情報生成部70を接続できる構成とされている。なお、画像処理部30は、この技術の画像処理装置に相当する。また、混色情報生成部70は画像処理装置に含まれる。
撮像光学部15は、フォーカスレンズやズームレンズ、絞り等を用いて構成されており、フォーカス調整やズーム調整、光量調整を行い、撮像部20における撮像素子21の撮像面に被写体光学像を所望のサイズおよび明るさで結像させる。
撮像部20は、上述の撮像素子21と撮像素子21を駆動する素子駆動部(図示せず)を有している。撮像素子21はCMOS(Complementary Metal Oxide Semiconductor)撮像素子またはCCD(Charge Coupled Device)等を用いて構成されている。撮像素子21は、素子駆動部からの駆動信号に基づいて光電変換処理等を行い、被写体光学像に応じた撮像信号を生成して前処理部25に出力する。
前処理部25は、撮像部20から出力された撮像信号に対して、利得調整処理、A/D変換処理、撮像素子における欠陥画素の補正処理、黒レベルを一定とする黒レベル補正処理、シェーディング補正処理等を行う。前処理部25は、前処理後の撮像信号を画像処理部30へ出力する。
画像処理部30は、混色補正部31と混色情報記憶部32を有している。混色補正部31は、混色情報記憶部32から読み出された混色情報を用いて混色補正を行い、補正後の撮像信号を後処理部40へ出力する。
混色情報記憶部32は、画素位置や焦点距離等の撮像設定状態に応じた混色情報を色毎に記憶しており、後述する制御部50からの制御信号に基づき混色情報を色毎に読み出して混色補正部31へ出力する。
後処理部40は、画像処理部30でデモザイク処理、輪郭補正処理、ガンマ補正処理、ホワイトバランス補正処理等を行う。
制御部50は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されている。制御部50は、ROM等に記憶されたプログラムを実行して、図示していない操作部あるいは外部コントローラ等からの操作信号に応じて制御信号の生成を行う。制御部50は、生成した制御信号を各部に出力して、撮像装置がユーザ操作に応じた動作となり、混色の補正された撮像画の画像信号を生成するように制御する。また、制御部50は、撮像光学部15の撮像設定状態や撮像装置の動作モード等に応じて画像処理部30の動作を制御する。
混色情報生成部70は、理想信号生成部71と情報生成処理部72を有している。理想信号生成部71は、混色計測用チャートを撮像した場合における混色を生じていない理想的な撮像信号を生成して、情報生成処理部72へ出力する。情報生成処理部72は、混色計測用チャートを撮像部20で撮像して前処理部25から得られた撮像信号と、理想信号生成部71で生成された理想的な撮像信号に基づいて混色情報を、画素位置や焦点距離等の撮像設定状態に応じて色毎に生成する。情報生成処理部72は、生成した混色情報を画像処理部30の混色情報記憶部32に記憶させる。
なお、撮像装置10の構成は上述の構成に限られず、他の機能を有するブロック、例えば撮像画の表示を行う表示部や記録媒体に対して撮像画の記録または再生を行う記録再生部等が設けられてもよい。また、前処理部25および後処理部40では、上述の処理の一部を行う構成であってもよく、上述していない新たな処理を行う構成であってもよい。
<2.実施の形態の動作>
次に、実施の形態の動作について説明する。この技術では、混色の補正対象画素に対し、近傍画素からある割合で光が漏れこんでいることを想定して、漏れこんだ量は近傍画素の画素値と混色補正率との積算値とする。すなわち、画像処理装置は、混色情報として混色補正率を生成して、混色補正では、近傍画素の画素値と混色補正率との積算値を補正対象画素の画素値から減算することで混色を補正する。
次に、実施の形態の動作について説明する。この技術では、混色の補正対象画素に対し、近傍画素からある割合で光が漏れこんでいることを想定して、漏れこんだ量は近傍画素の画素値と混色補正率との積算値とする。すなわち、画像処理装置は、混色情報として混色補正率を生成して、混色補正では、近傍画素の画素値と混色補正率との積算値を補正対象画素の画素値から減算することで混色を補正する。
図5は、実施の形態の動作を示すフローチャートである。ステップST1で画像処理装置は混色情報を生成する。画像処理装置は、例えば補正対象画素の画素値から混色を除去するために近傍画素毎に光の漏れ込みに対応した混色補正率を算出する。画像処理装置は、算出した混色補正率を混色情報としてステップST2に進む。
ステップST2で画像処理装置は、混色補正を行う、画像処理装置は、ステップST1で生成した混色情報である混色補正率を用いて、補正対象画素の周囲に位置する画素毎に混色量を算出する。また、画像処理装置は、算出した混色量を補正対象画素の画素値から減算することで、混色を生じていない状態の画素値を算出する。
次に、混色情報の生成動作について具体的に説明する。図6は、混色補正率の算出動作を示すフローチャートである。また、混色情報の生成動作では、撮像装置10に混色情報生成部70を接続する。
ステップST11で撮像装置は理想信号を生成する。撮像装置10に接続された混色情報生成部70の理想信号生成部71は、撮像部20の撮像素子21で混色を生じていない理想的な状態で混色計測用チャートを所定の焦点距離で撮像したときに前処理部25から出力される撮像信号に相当する理想信号を生成する。理想信号生成部71は、生成した理想信号を情報生成処理部72に出力してステップST12に進む。
ステップST12で撮像装置は混色計測用チャートを撮像する。撮像装置10の撮像部20は、理想信号を生成した場合と等しい焦点距離で混色計測用チャートを撮像する。また、撮像装置10は、混色計測用チャートを撮像して前処理部25から出力される撮像信号を、情報生成処理部72に出力してステップST13に進む。
ステップST13で撮像装置は混色補正率を算出する。混色補正率は、上下左右等の方向毎に異なる値を持つ自由度がある。このため、補正対象画素に近接する複数のサンプル点を用いて統計的に最適な混色補正率を学習により算出する。また、画素位置が変わると混色補正率も変わることから、最適な混色補正率は画素毎に算出する。撮像装置は、後述するように、混色補正対象画素を含む局所領域を学習領域として設定する。また、撮像装置は、学習領域内の複数のサンプル点で理想信号における注目画素の画素値と混色補正後の映像信号における注目画素の画素値との誤差が最小となるように近傍画素毎の混色補正率を算出する。
撮像装置10に接続された混色情報生成部70の情報生成処理部72は、ステップST11で生成された理想信号とステップST12で生成された撮像信号を用いて演算を行い、混色補正対象画素の混色補正率を算出する。
ここで、局所領域内における注目画素の混色補正後の画素値y’は、注目画素の混色補正前の画素値yとn個の近傍画素の画素値xnと混色補正率wnを用いて式(1)に示す関数で表すことができるとする。また、式(2)は、理想信号おける注目画素の画素値Yと注目画素の混色補正後の画素値y’との誤差eを示しており、混色補正では誤差eが最小となるように注目画素の画素値を補正する。すなわち、情報生成処理部72は局所領域内に複数のサンプル点を設定する。さらに、情報生成処理部72は、式(3)に示す各サンプル点についての誤差eの二乗和Eが最小となるように、注目画素の近傍に位置する複数の近傍画素毎の混色補正率wnを算出する。
情報生成処理部72は、算出した混色補正率wnを画像処理部30の混色情報記憶部32に記憶させる。
また、撮像装置10は、図6に示す処理を画素位置および焦点距離毎に行い、画素位置および焦点距離毎に算出した混色補正率wnを画像処理部30の混色情報記憶部32に記憶させる。
さらに、撮像装置10は、混色計測用チャートを切り換えて撮像素子21における色配列で用いられた色毎、例えば赤色と青色と緑色の画素のそれぞれについて、画素位置および焦点距離毎の混色補正率wnを混色情報記憶部32に記憶させる。
撮像装置10は、緑色画素を注目画素として、赤色画素に対する混色補正率wnを算出する場合、例えば緑色画素に対して赤色画素からの混色のみを生じさせる混色計測用チャートを用いる。また、緑色画素を注目画素として、青色画素に対する混色補正率wnを算出する場合、例えば緑色画素に対して青色画素からの混色のみを生じさせる混色計測用チャートを用いる。さらに、他の色の画素を注目画素とする場合にも同様に、注目画素とは異なる色の画素からの混色のみを生じさせる混色計測用チャートを用いる。このように、撮像装置10は、注目画素の色に対して他の色の画素からの混色のみを生じさせる混色計測用チャートを用いて、混色計測用チャートを撮像したときの撮像信号と混色計測用チャートに対する混色を生じていない理想信号に基づき混色を検出して混色補正率を算出する。
次に、混色補正動作について具体的に説明する。図7は、混色補正動作を示すフローチャートである。なお、混色補正動作では、画像処理部30の混色情報記憶部32に混色補正率が記憶されていればよく、撮像装置10に混色情報生成部70が接続されている必要はない。
ステップST21で撮像装置は焦点距離に応じた混色補正率を取得する。制御部50は、撮像部20を制御して撮像信号を前処理部25に出力させる場合、撮像時におけるレンズの焦点距離を示す情報を混色補正部31に出力する。混色補正部31は、制御部50からの情報で示された焦点距離に対応する各色および局所領域毎の混色補正率を混色情報記憶部32から取得してステップST22に進む。
ステップST22で撮像装置は混色補正演算を行う。混色補正部31は、補正対象画素の色であって補正対象画素の画素位置を含む局所領域の混色補正率を用いて補正演算を行い、混色補正後の画素値を画素毎に算出する。
一般的に混色では、注目画素からの距離が近い画素からの混色が支配的である。このため、補正対象画素について上下左右の近傍4画素からの混色を補正する方法が有用である。図8は、上下左右に隣接した近傍画素を用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「y」、上下左右に隣接した4つの近傍画素の画素値を「x0〜x3」、混色補正率を「w0〜w3」とする。この場合、混色補正部31は、式(4)に示す線形一次式の演算を行い、補正対象画素の補正後の画素値「y’」を算出する。
このような実施の形態によれば、混色情報を利用して、画素の色、画素位置や焦点距離等を考慮した混色補正を行うことができるので、精度よく混色補正を行うことができる。また、混色補正用のテストチャートの撮像画から混色情報を生成できるので、特別なセンサ等を用いる必要がなく、容易に精度よく混色補正を行うことができる。また、混色情報の生成に用いた撮像装置と混色情報を用いて混色補正を行う撮像装置が同一であれば、撮像装置が個体差を有するような場合でも、個体差の影響を受けることなく精度よく混色補正を行うことができる。
<3.他の実施の形態について>
ところで、上述の実施の形態では、上下左右に隣接した近傍画素を用いて混色補正を行う場合を例示したが、計算コストに余裕がある場合、混色の補正は、上下左右に隣接した近傍画素に限らず斜め方向に隣接した画素を用いてもよい。図9は、上下左右および斜め方向に隣接した近傍画素を用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「y」、上下左右および斜め方向に隣接した8つの近傍画素の画素値を「x0〜x7」、混色補正率を「w0〜w7」とした場合、混色補正部31は、式(5)の演算を行い補正対象画素の補正後の画素値「y’」を算出する。このように、上下左右および斜め方向に隣接した近傍画素を用いれば、上下左右に隣接した近傍画素のみを用いる場合に比べて混色補正を精度よく行うことができる。
ところで、上述の実施の形態では、上下左右に隣接した近傍画素を用いて混色補正を行う場合を例示したが、計算コストに余裕がある場合、混色の補正は、上下左右に隣接した近傍画素に限らず斜め方向に隣接した画素を用いてもよい。図9は、上下左右および斜め方向に隣接した近傍画素を用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「y」、上下左右および斜め方向に隣接した8つの近傍画素の画素値を「x0〜x7」、混色補正率を「w0〜w7」とした場合、混色補正部31は、式(5)の演算を行い補正対象画素の補正後の画素値「y’」を算出する。このように、上下左右および斜め方向に隣接した近傍画素を用いれば、上下左右に隣接した近傍画素のみを用いる場合に比べて混色補正を精度よく行うことができる。
さらに、混色の補正に用いる近傍画素自体が混色している影響も考慮して、補正対象画素を基準とした所定範囲に含まれる近傍画素を用いて補正を行うようにしてもよい。なお、補正対象画素を基準とした所定範囲は、計算コストと補正効果とのバランスで決定する。図10は、補正対象画素を基準とした所定範囲に含まれる画素を近傍画素として用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「y」、所定範囲に含まれる24個の近傍画素の画素値を「x0〜x23」、混色補正率を「w0〜w23」とした場合、混色補正部31は、式(6)の演算を行い補正対象画素の補正後の画素値「y’」を算出する。このように、補正対象画素を基準とした所定範囲に含まれる近傍画素を用いれば、隣接した近傍画素のみを用いる場合に比べて混色補正を精度よく行うことができる。
また、撮像素子21におけるフォトダイオード212への被写体光の入射角は、上述のように画素位置と焦点距離等により異なることから、画素位置や焦点距離等に応じて、混色の補正に用いる近傍画素を切り換える構成としてもよい。
例えば、光軸位置(撮像画の中心位置)を基準として水平方向または垂直方向に位置する領域では、斜め方向に隣接する画素からの被写体光の入射が少ないと想定される。したがって、混色補正部31は、上下左右に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部32から取得して混色補正を行う。また、光軸位置を基準として水平方向または垂直方向に対して傾きを生じた位置では、斜め方向に隣接する画素からも被写体光が入射すると想定される。したがって、混色補正部31は、上下左右および斜め方向に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部32から取得して混色補正を行う。
また、焦点距離が長い場合はフォトダイオード212への被写体光の入射角が小さい。したがって、混色補正部31は、例えば上下左右および斜め方向に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部32から取得して混色補正を行う。また、焦点距離が短い場合はフォトダイオード212への被写体光の入射角が小さい。したがって、混色補正部31は、補正対象画素を基準とした所定範囲に含まれる画素を近傍画素として用いる場合の混色補正率を混色情報記憶部32から取得して混色補正を行う。
このように、画素位置や焦点距離等に応じて、混色補正に用いる近傍画素を切り換えるようにすれば、精度のよい混色補正を少ない計算コストで効率よく行うことができるようになる。
さらに、被写体光の入射角は、絞りによっても変化することから、混色情報は、画素位置や焦点距離毎に限らず絞り値毎に記憶して、絞り値に応じた混色情報を用いて混色補正を行ってもよい。このように、撮像設定状態には、焦点距離と絞り値の少なくともいずれかの設定状態を含めるようにしてもよい。
また、混色補正部31は、撮像装置10の動作モードに応じて近傍画素の画素範囲を変更してもよい。例えば人物を撮像する動作モードである場合、注目被写体は撮像画の中央となることが多い。したがって、周辺部分よりも中央部分で精度よく混色補正を行うことができるように近傍画素の画素範囲を設定する。また、例えば風景を撮像する動作モードである場合、注目被写体は撮像画の全体となることが多い。したがって、周辺部分と中央部分で同等な混色補正効果を得られるように近傍画素の画素範囲を設定する。このように、動作モードに応じて近傍画素の画素範囲を変更すれば、計算コストに余裕がないような場合でも混色補正を被写体に応じて最適化できる。
また、混色補正で用いる近傍画素の画素範囲は、混色補正対象画素の画素位置等に応じてに変更してもよい。例えば混色補正対象画素の画素位置が画面上の左上である場合、左上側からの光による混色は少ないと考えられるので、例えば図10に示す近傍画素における画素値「x0,x1,x5」を用いることなくと混色補正を行うようにしてもよい。なお、混色補正で用いる近傍画素の画素範囲を変更する場合、混色情報は変更可能な画素範囲毎に予め生成して混色情報記憶部32に記憶させておく。
また、撮像装置の個体差が少ない場合、混色情報の生成に用いた撮像装置と混色情報を用いて混色補正を行う撮像装置は同一でなくともよい。この場合、基準とする撮像装置を用いて生成された混色情報を他の撮像装置の混色情報記憶部に記憶させればよく、他の撮像装置で個々に混色補正用のテストチャートの撮像等を行わなくともよい。また、記録媒体や通信路等を利用して、混色情報を更新することも容易である。
また、混色情報は、画素毎に設ける場合に限らず、画面を複数領域に区分して、領域毎に設けてもよい。この場合、混色補正対象画素が含まれる領域に対応した混色情報を用いる。このようにすれば、混色情報の情報量を削減できる。
また、混色が少ない撮像設定状況では領域サイズを大きくしたり、混色が多くなる撮像設定状況では、領域毎の混色情報から画素毎の混色情報に変更して、撮像設定状況に応じて混色情報を適応的に切り換えるようにしてもよい。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
(1) 混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置。
(2) 前記近傍画素は、前記混色補正対象画素に隣接した画素である(1)に記載の画像処理装置。
(3) 前記近傍画素は、前記混色補正対象画素を基準とした所定領域の画素である(1)または(2)に記載の画像処理装置。
(4) 前記撮像設定状態は、焦点距離と絞り値の少なくともいずれかの設定状態を含む(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記混色補正部は、前記混色補正対象画素に対して前記近傍画素として用いる画素範囲を前記混色補正対象画素の位置に応じて前記混色補正で用いる近傍画素の範囲を変更する(1)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記混色情報を生成する混色情報生成部をさらに備え、
前記混色情報生成部は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを撮像したときの撮像信号を用いて、前記混色補正対象画素の前記混色情報を生成する(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記混色情報生成部は、前記混色補正対象画素を含む学習領域の前記理想信号と前記撮像信号から前記混色補正対象画素の前記混色情報を生成する(6)に記載の画像処理装置。
(1) 混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置。
(2) 前記近傍画素は、前記混色補正対象画素に隣接した画素である(1)に記載の画像処理装置。
(3) 前記近傍画素は、前記混色補正対象画素を基準とした所定領域の画素である(1)または(2)に記載の画像処理装置。
(4) 前記撮像設定状態は、焦点距離と絞り値の少なくともいずれかの設定状態を含む(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記混色補正部は、前記混色補正対象画素に対して前記近傍画素として用いる画素範囲を前記混色補正対象画素の位置に応じて前記混色補正で用いる近傍画素の範囲を変更する(1)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記混色情報を生成する混色情報生成部をさらに備え、
前記混色情報生成部は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを撮像したときの撮像信号を用いて、前記混色補正対象画素の前記混色情報を生成する(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記混色情報生成部は、前記混色補正対象画素を含む学習領域の前記理想信号と前記撮像信号から前記混色補正対象画素の前記混色情報を生成する(6)に記載の画像処理装置。
この技術の画像処理装置と画像処理方法とプログラムおよび撮像装置では、混色補正対象画素の色と位置および撮像設定状態に応じた混色情報が混色情報記憶部から取得されて、この取得した混色情報と混色補正対象画素の近傍画素を用いて混色補正が行われる。したがって、画素毎に精度よく混色補正を行えるようになる。このため、複数色の画素で構成されている撮像素子によって取得された撮像画を用いて種々の処理を行う機能を有した機器に適している。
10・・・撮像装置
15・・・撮像光学部
20・・・撮像部
21・・・撮像素子
25・・・前処理部
30・・・画像処理部
31・・・混色補正部
32・・・混色情報記憶部
40・・・後処理部
50・・・制御部
70・・・混色情報生成部
71・・・理想信号生成部
72・・・情報生成処理部
211・・・素子分離部
212・・・フォトダイオード
213・・・遮光膜
214・・・平坦化膜
215・・・カラーフィルタ
216・・・オンチップレンズ
15・・・撮像光学部
20・・・撮像部
21・・・撮像素子
25・・・前処理部
30・・・画像処理部
31・・・混色補正部
32・・・混色情報記憶部
40・・・後処理部
50・・・制御部
70・・・混色情報生成部
71・・・理想信号生成部
72・・・情報生成処理部
211・・・素子分離部
212・・・フォトダイオード
213・・・遮光膜
214・・・平坦化膜
215・・・カラーフィルタ
216・・・オンチップレンズ
Claims (12)
- 混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置。 - 前記近傍画素は、前記混色補正対象画素に隣接した画素である
請求項1記載の画像処理装置。 - 前記近傍画素は、前記混色補正対象画素を基準とした所定領域の画素である
請求項1記載の画像処理装置。 - 前記撮像設定状態は、焦点距離と絞り値の少なくともいずれかの設定状態を含む
請求項1記載の画像処理装置。 - 前記混色補正部は、前記混色補正対象画素の位置に応じて前記混色補正で用いる近傍画素の画素範囲を変更する
請求項1記載の画像処理装置。 - 前記混色情報を生成する混色情報生成部をさらに備え、
前記混色情報生成部は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを撮像したときの撮像信号を用いて、前記混色補正対象画素の前記混色情報を生成する
請求項1記載の画像処理装置。 - 前記混色情報生成部は、前記混色補正対象画素を含む学習領域の前記理想信号と前記撮像信号から前記混色補正対象画素の前記混色情報を生成する
請求項6記載の画像処理装置。 - 混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から混色補正部が取得することと
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を前記混色補正部が行うこと
を含む画像処理方法。 - 撮像画の混色補正をコンピュータで実行させるプログラムであって、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から取得する手順と、
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を行う手順と
を前記コンピュータで実行させるプログラム。 - 撮像光学部を介した入射光に応じて撮像信号を生成する撮像部と、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記撮像部における前記混色補正対象画素の色と位置および前記撮像光学系の設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と、
を有する撮像装置。 - 前記混色情報記憶部に記憶されている前記混色情報は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを前記撮像部で撮像したときの撮像信号を用いて生成された情報である
請求項10記載の撮像装置。 - 前記混色補正部の動作を制御する制御部をさらに備え、
前記制御部は、当該撮像装置の動作モードに応じて前記混色補正で用いる近傍画素の画素範囲を変更する
請求項10記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062708A JP2016184776A (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062708A JP2016184776A (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016184776A true JP2016184776A (ja) | 2016-10-20 |
Family
ID=57241886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062708A Pending JP2016184776A (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016184776A (ja) |
-
2015
- 2015-03-25 JP JP2015062708A patent/JP2016184776A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5361535B2 (ja) | 撮像装置 | |
JP5200955B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2010062640A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP5887465B2 (ja) | 撮像装置、撮像装置駆動方法、撮像装置制御プログラム | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009219096A (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
JP2013021615A (ja) | 撮像装置 | |
JP5223912B2 (ja) | 撮像装置、および焦点判定プログラム | |
US9749520B2 (en) | Imaging device and image processing method | |
JP5786355B2 (ja) | デフォーカス量検出装置および電子カメラ | |
JP2014036262A (ja) | 撮像装置 | |
JP2015087543A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2015035782A (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム | |
JP2014215436A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2014155071A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
US12047680B2 (en) | Image pickup apparatus | |
JP2012256964A (ja) | 撮像装置 | |
JP5407314B2 (ja) | 焦点検出装置および撮像装置 | |
JP2010273282A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2015080125A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2016184776A (ja) | 画像処理装置と画像処理方法とプログラムおよび撮像装置 | |
JP5359814B2 (ja) | 画像処理装置 | |
JP2019208214A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2016201600A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |