JP2015076754A5

JP2015076754A5 -

Info

Publication number: JP2015076754A5
Application number: JP2013212284A
Authority: JP
Filing date: 2013-10-09
Publication date: 2016-11-17
Anticipated expiration: 2033-10-09

Description

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置であって、複数の前記画素出力を混合する画素混合部と、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記混合された画素出力を補正する画像処理部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理方法であって、複数の前記画素出力を混合し、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力を補正することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理プログラムであって、複数の前記画素出力を混合する機能と、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力を補正する機能とをコンピュータに実現させる。

図２を用いて撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列の例を示した図である。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

比率計算処理部３１２１は、位相差検出画素の画素出力とその周辺の撮像画素の画素出力との比率を計算することにより、各位相差検出画素の画素出力をゲイン補正するための遮光量を算出する。遮光率算出処理部３１２２は、撮像制御回路２３による読み出しモード及び撮像素子２１における位相差検出画素の配置に応じた開口向きの異なる位相差検出画素の画素出力の混入数に従って、位相差検出画素の開口向き毎の遮光率（又は採光率）を算出する。遮光率の算出の詳細については後で説明する。

画素データの選択後、画像処理部３１のＷＢ補正処理部３１１は、画素データに対してホワイトバランス補正処理を施す（ステップＳ１０４）。ここで、ホワイトバランス補正処理は、ループ処理の外で行われてもよい。続いて、ゲイン量推定部３１２の比率計算処理部３１２１は、比率計算処理を行う（ステップＳ１０５）。比率計算処理においては、現在の比率計算処理の対象となる位相差検出画素（画素混合が行われている場合には位相差検出画素の画素出力を含む画素）の画素出力とこの位相差検出画素の周辺の同色の撮像画素（画素混合が行われている場合には位相差検出画素の画素出力を含まない画素）の画素出力との比が算出される。例えば、撮像画素の画素出力をＮとし、位相差検出画素（例えば右開口位相差検出画素）の画素出力をｒとしたとき、画素出力の比Ｄｉｆ＿ｐｉは、以下の（式１）に従って算出される。
Ｄｉｆ＿ｐｉ＝ｒ/Ｎ（式１）

位相差検出画素の混入数が１個である画素については、ステップＳ１０５で計算された比率が遮光率として用いられる。例えば、２×２画素混合読み出しの場合、位相差検出画素の画素出力が混入される場合には、必ず１個の位相検出画素の画素出力が混入される。したがって、位相差検出画素の画素出力が混入されるすべての画素についてステップＳ１０５で計算された比率を遮光率として利用することができる。例えば、図７（ｂ）の画素ｒ１の遮光率は、画素ｒ１の画素出力をｒ１とし、画素ｒ１の周辺の同色画素Ｎの画素出力をＮとしたとき、以下の（式２）に従って算出される。画素ｌ１についても同様にして遮光率を算出することができる。さらに、３×３画素混合読み出しの場合、画素ｒ１と画素ｌ１については（式１）と同様に遮光率を算出することができる。
画素ｒ１の遮光率＝ｒ１／Ｎ（式２）

（式２）から画素ｌ２の遮光率は、以下の（式３）で示すように算出される。
画素ｌ２の遮光率＝ｌ２／Ｎ１（式３）
ここで、（１−遮光率）で計算される値を採光率と定義すると、画素ｌ２の採光率は、
以下の（式４）で示すように算出される。
画素ｌ２の採光率＝１−画素ｌ２の遮光率（式４）
光束の入射のし難さを示す遮光率に対し、採光率は光束の入射のし易さを示す。ところで、（式４）は２個の位相差検出画素が混入された状態の採光率である。これから位相差検出画素の混入数が１個だったとしたときの採光率は、２個の位相差検出画素が混入された状態の採光率の平均値として算出される。したがって、１個の画素ｌの採光率は、以下の（式５）で示すように算出される。
画素ｌの採光率＝画素ｌ２の採光率／２（式５）
したがって、前述の採光率の定義から、１個の画素ｌの遮光率は、以下の（式６）で示すように算出される。
画素ｌの遮光率＝１−画素ｌの採光率（式６）

位相差検出画素の混入数が１個である画素については、ステップＳ１０５で計算された比率が遮光率として用いられる。一方、位相差検出画素の混入数が２個以上である画素の遮光率は、例えば混合に用いられた画素の遮光率の相加平均値である。ただし、撮像画素の採光率は１であるとする。この場合、例えば画素ｌ２の遮光率は、以下の（式１０）で示すようにして算出される。また、画素ｒ２ｌ１の遮光率は、以下の（式１１）で示すようにして算出される。
補正量換算処理の後、ゲイン補正部３１３のゲイン乗算処理部３１３２は、ゲイン補正処理を行う（ステップＳ１０９）。ゲイン補正処理においては、ステップＳ１０８の補正量換算処理で得られた遮光率から求められるゲイン補正量を位相差検出画素の画素出力に乗じる処理が行われる。これにより、位相差検出画素の画素出力が混入された画素における光量低下が補正される。したがって、画質劣化が補正される。

Claims

撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置であって、
複数の前記画素出力を混合する画素混合部と、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記混合された画素出力を補正する画像処理部と、
を具備することを特徴とする画像処理装置。
前記画像処理部は、前記画素出力の補正として前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力をゲイン補正するゲイン補正部を有することを特徴とする請求項１に記載の画像処理装置。
前記画像処理部は、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように前記ゲイン補正部における前記ゲイン補正の際のゲイン補正量を推定するゲイン推定部を有することを特徴とする請求項２に記載の画像処理装置。
前記位相差検出画素の開口向き毎の画素出力の混入数の情報及び前記撮像画素の画素出力の混入数の情報は、前記位相差検出画素の配置周期と前記画素混合部による前記画素出力の混合手法とによって定まることを特徴とする請求項１に記載の画像処理装置。
前記画素出力の混合手法は、前記画素出力の表示形態又は記録形態によって定まることを特徴とする請求項４に記載の画像処理装置。
前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、該開口向きの異なる前記位相差検出画素の画素出力を用いずに前記ゲイン補正量を推定することを特徴とする請求項３に記載の画像処理装置。
前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、連立方程式を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項３に記載の画像処理装置。
前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、四則演算を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項３に記載の画像処理装置。
撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理方法であって、
複数の前記画素出力を混合し、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力を補正する、
ことを特徴とする画像処理方法。
前記画素出力の補正は、ゲイン補正であることを特徴とする請求項９に記載の画像処理方法。
前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定することを特徴とする請求項１０に記載の画像処理方法。
撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理プログラムであって、
複数の前記画素出力を混合する機能と、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力を補正する機能と、
をコンピュータに実現させるための画像処理プログラム。
前記画素出力の補正は、ゲイン補正であることを特徴とする請求項１２に記載の画像処理プログラム。
前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定する機能をさらにコンピュータに実現させるための請求項１３に記載の画像処理プログラム。