WO2018181163A1

WO2018181163A1 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: WO2018181163A1
Application number: PCT/JP2018/012108
Authority: WO
Inventors: 田中　康一; 田中　誠二; 小林　誠; 智行河合
Original assignee: 富士フイルム株式会社
Priority date: 2017-03-30
Filing date: 2018-03-26
Publication date: 2018-10-04
Also published as: US10939058B2; CN110463184A; JP6622945B2; US20200007799A1; CN110463184B; JPWO2018181163A1

Abstract

本発明は、リアルタイム性が求められる表示用画像の生成を行う場合であっても、ゲイン値を使用して位相差検出用画素の画素値のゲインを補間することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。画像処理装置（６０）は、動画の時系列順の各フレーム画像を順次取得して、取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出する。そして画像処理装置（６０）は、ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。

Description

画像処理装置、画像処理方法、およびプログラム

　本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に位相差検出用画素から出力された画素値の補間を行う技術に関する。

　従来より、像面位相差ＡＦ(Auto focus)技術により合焦を行う撮像装置が知られている。面位相差ＡＦ技術により合焦を行う撮像装置には、通常画素と共に位相差検出用画素が離散的に配列された撮像素子が備えられている。

　位相差検出用画素は、遮光膜開口の面積が通常の画素よりも小さくなっているため、位相差検出用画素の出力値に基づいて画像を生成する場合には、位相差検出用画素の画素値を補正して使用する必要がある。そこで、位相差検出用画素の画素値の補正に関する技術が提案されている。

　例えば特許文献１には、レンズ装置が着脱可能な撮像装置において、レンズ装置から取得するレンズ情報に含まれるレンズＩＤ（identification)に対応する補正ゲイン値がある場合には、全ての位相差検出用画素の出力信号をゲイン補正処理により補正する方法が選択され、レンズＩＤに対応する補正ゲイン値がない場合には、全ての位相差検出用画素の出力信号を補間補正処理により補正する方法が選択されることが記載されている。ここで補間補正処理とは、補正対象画素の出力信号（画素値）を、補正対象画素の周囲にある補正対象画素と同一色を検出する撮像用画素の出力信号を用いて生成した信号に置き換えて補正することである。

　また例えば特許文献２には、位相差検出用画素と通常画素とを有する撮像素子において、位相差検出用画素の画素データの混入率に応じて、ゲイン調整された位相差検出画素の画素データの重み付け係数を変化させて補正処理を行う技術が記載されている。

特開２０１６－７６９９８号公報特開２０１４－１８００００号公報

　ここで、位相差検出用画素の画素値を補間する代表的な方法として、平均値補間（周辺画素補間）およびゲイン補間がある。

　平均値補間は、補間を行う位相差検出用画素の周辺にある複数の通常画素の画素値の加重平均値を使用して補間を行う方法である。位相差検出の精度向上のためには、位相差検出用画素を高密度に配置する必要があるが、一方で位相差検出用画素の密度を増やしてしまうと加重平均値の算出で用いる通常画素の数が減ってしまうため、平均値補間の精度が低下してしまう。

　ゲイン補間は、位相差検出用画素の画素値にゲイン値をかけて周囲の通常画素の画素値と信号レベルを合わせる補間方法である。位相差検出用画素の画素値は像高、F値、デフォーカス量等に依存して変動するため、予め高精度にゲイン値を算出しておくことは困難であり、実際に補正をかけるRAWデータを解析し、位相差検出用画素と通常画素の信号比（＝ゲイン値）を算出する必要がある。しかし、被写体を撮像した後に直ぐに撮像画像を表示する必要がある（リアルタイム性が求められる）動画等のライブビューの表示用画像の生成においては、ゲイン値を算出する時間的な余裕がない。

　リアルタイム性が求められる表示用画像を生成する場合においても、ゲイン補間が行えることにより、位相差検出用画素が高密度に配置された撮像素子からの画像データに対しても精度の高い位相差検出用画素の画素値の補間を実現することができる。

　特許文献１および２には、リアルタイム性が求められる表示用画像を生成する場合における、位相差検出用画素の画素値のゲイン補間については言及されていない。

　本発明はこのような事情に鑑みてなされたもので、その目的は、リアルタイム性が求められる表示用画像の生成を行う場合であっても、ゲイン値を使用して位相差検出用画素の画素値のゲインを補間することができる画像処理装置、画像処理方法、およびプログラムを提供することである。

　上記目的を達成するために、本発明の一の態様である画像処理装置は、二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子と、動画の撮像中に撮像素子から複数の位相差検出用画素の画素値および複数の通常画素の画素値を有するフレーム画像であって、動画の時系列順の各フレーム画像を順次取得する画像取得部と、画像取得部により取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するゲイン値算出部と、ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する第１のゲイン補間部と、第１のゲイン補間部で補間された現在フレーム画像の位相差検出用画素の画素値および通常画素の画素値に基づいて、現在フレーム画像の表示用画像を生成する表示用画像生成部と、を備える。

　本態様によれば、時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値が算出され、その算出されたゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値が補間される。これにより本態様は、リアルタイム性が求められる表示用画像を生成する場合においても位相差検出用画素の画素値をゲイン補間することができるので、良好な画質の表示用画像を生成することができる。

　好ましくは、画像処理装置は、現在フレーム画像の位相差検出用画素の周辺領域にある通常画素の画素値に基づいて周辺画素値を算出する周辺画素値算出部と、周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値の補間をする周辺画素補間部と、を備える。

　本態様によれば、現在フレーム画像の位相差検出用画素の周辺領域にある通常画素の画素値に基づいて周辺画素値が算出され、算出された周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値が補間される。これにより本態様は、現在フレームの位相差検出用画素の画素値に対して、ゲイン補間だけでなく周辺画素補間も行うことができるので、良好な画質の表示用画像を生成することができる。

　好ましくは、画像処理装置は、第１のゲイン補間部と周辺画素補間部との動作を制御する補間制御部と、を備え、補間制御部は、ゲイン値算出部がゲイン値を算出した場合には第１のゲイン補間部に補間をさせ、ゲイン値算出部がゲイン値を算出していない場合には周辺画素補間部に補間をさせる。

　本態様によれば、ゲイン値算出部がゲイン値を算出した場合には第１のゲイン補間部に補間をさせ、ゲイン値算出部がゲイン値を算出していない場合には周辺画素補間部に補間をさせる。これにより本態様は、ゲイン補間ができない場合には、周辺画素補間が行われるので、良好な画質の表示用画像を安定的に生成することができる。

　好ましくは、表示用画像生成部は、ゲイン値算出部がゲイン値を算出しない場合には、現在フレーム画像の表示用画像を生成しない。

　本態様によれば、ゲイン値が算出されずゲイン補間がされない現在フレーム画像の表示用画像は生成されない。これにより本態様は、ゲイン補間が行われない現在フレーム画像の表示用画像が生成されず、ゲイン補間がされたフレーム画像で表示用画像が構成されることになるので、違和感のない良質な画像を安定的に生成することができる。

　好ましくは、画像処理装置は、ゲイン値を推定するための情報であるゲイン値推定パラメータを取得するパラメータ取得部と、パラメータ取得部で取得されたゲイン値推定パラメータに基づいて、推定ゲイン値を算出する推定ゲイン値算出部と、推定ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する第２のゲイン補間部と、を備え、補間制御部は、推定ゲイン値算出部が推定ゲイン値を算出した場合には、第２のゲイン補間部に補間をさせる。

　本態様によれば、ゲイン値を推定するための情報であるゲイン値推定パラメータが取得され、取得されたゲイン値推定パラメータに基づいて推定ゲイン値が算出され、推定ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値が補間される。これにより本態様は、ゲイン値が算出されない場合であっても推定された推定ゲイン値によりゲイン補間が行われるので、ゲイン補間をされるフレーム画像が増えることにより安定的な画質となり違和感のない表示用画像を生成することができる。

　好ましくは、表示用画像生成部は、パラメータ取得部がゲイン値推定パラメータを取得していない場合には、現在フレーム画像の表示用画像は生成しない。

　本態様によれば、ゲイン値推定パラメータが取得されていない場合には、現在フレーム画像の表示用画像が生成されない。これにより本態様は、ゲイン値推定パラメータが取得できずにゲイン補正が行われないフレーム画像は表示されないので、表示用画像の画質が安定的となり違和感のない表示用画像を提供することができる。

　好ましくは、パラメータ取得部が取得するゲイン値推定パラメータは、撮像素子が受光する光束が通過するレンズ瞳の形状に関する情報、および位相差検出用画素と通常画素との入射光線角度特性に関する情報のうち少なくとも一方を含む。

　本態様によれば、パラメータ取得部が取得するゲイン値推定パラメータは、撮像素子が受光する光束が通過するレンズ瞳の形状に関する情報、および位相差検出用画素と通常画素との入射光線角度特性に関する情報のうち少なくとも一方を含む。これにより本態様は、ゲイン値を正確に推定することができ、より良質な画像を提供することができる。

　好ましくは、画像処理装置は、現在フレーム画像および過去フレーム画像に関して、撮像条件に関する情報を取得する撮像条件取得部を備え、補間制御部は、現在フレーム画像および過去フレーム画像において、撮像条件に関する情報の変化量が閾値以上である場合には、周辺画素補間部に補間をさせる。

　本態様によれば、現在フレームおよび過去フレームに関して、撮像条件に関する情報が取得され、取得された撮像条件に関する情報の変化量が閾値以上である場合には、周辺画素補間部により補間が行われる。これにより本態様は、過去フレームの撮像条件と現在フレームの撮像条件との違いが大きく、過去フレームに基づいて算出されたゲイン値を現在フレームの補間に適用してしまうと画質をかえって低下させてしまうことを防ぐことができる。

　好ましくは、ゲイン値算出部は、複数の過去フレーム画像の位相差検出用画素と通常画素との信号比を算出することによりゲイン値を算出する。

　本態様によれば、複数の過去フレーム画像の位相差検出用画素と通常画素との信号比に基づいてゲイン値が算出されるので、より連続性がある安定的な画質の違和感のない表示用画像を生成することができる。

　好ましくは、撮像素子は、ローリングシャッタ方式またはグローバルシャッタ方式である。

　本態様によれば、撮像素子はローリングシャッタ方式またはグローバルシャッタ方式であるので、様々な方式の撮像素子から出力される位相差検出用画素の画素値に対して、適切な補間を行うことができる。

　好ましくは、画像処理装置は、表示用画像生成部で生成された表示用画像を表示する表示部を備える。

　本態様によれば、表示部に表示用画像生成部で生成された表示用画像が表示されるので、ユーザにリアルタイム性がある位相差検出用画素の画素が適切に補間された画像を提供することができる。

　本発明の他の態様である画像処理方法は、二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子により、動画の撮像中に撮像素子から複数の位相差検出用画素の画素値および複数の通常画素の画素値を有するフレーム画像であって、動画の時系列順の各フレーム画像を順次取得するステップと、取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するステップと、ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間するステップと、補間された現在フレーム画像の位相差検出用画素の画素値および通常画素の画素値に基づいて、現在フレーム画像の表示用画像を生成するステップと、を含む。

　好ましくは、画像処理方法は、現在フレーム画像の位相差検出用画素の周辺領域にある通常画素の画素値に基づいて周辺画素値を算出するステップと、周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値の補間をするステップと、を含む。

　好ましくは、画像処理方法は、ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する第１のゲイン補間部と、周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値の補間をする周辺画素補間部との動作を制御するステップであって、ゲイン値が算出された場合には第１のゲイン補間部に補間をさせ、ゲイン値が算出されてない場合には周辺画素補間部に補間をさせるステップを含む。

　本発明の他の態様である画像処理工程をコンピュータに実行させるプログラムは、二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子により、動画の撮像中に撮像素子から位相差検出用画素の画素値および複数の通常画素の画素値を有するフレーム画像であって、動画の時系列順の各フレーム画像を順次取得するステップと、取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の複数の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するステップと、ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間するステップと、補間された現在フレーム画像の位相差検出用画素の画素値および通常画素の画素値に基づいて、現在フレーム画像の表示用画像を生成するステップと、を含む画像処理工程をコンピュータに実行させる。

　本発明によれば、時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値が算出され、その算出されたゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値が補間されるので、リアルタイム性が求められる表示用画像を生成する場合においても位相差検出用画素の画素値をゲイン補間することができ、良好な画質の表示用画像を生成することができる。

図１は撮像装置の一例を示す斜視図である。図２は図１に示した撮像装置の背面図である。図３は図１に示した撮像装置の内部構成の一例を示すブロック図である。図４は撮像素子のカラーフィルタ配列を示す図である。図５は一対の第１の位相差検出用画素ＺＡ及び第２の位相差検出用画素ＺＢを模式的に示した平面図である。図６は第１の位相差検出用画素ＺＡ及び第２の位相差検出用画素ＺＢの構成を示す要部拡大図である。図７は、画像処理装置の機能構成例を示すブロック図である。図８は、時系列順の各フレームを示す図である。図９は、画像処理装置の機能構成例を示すブロック図である。図１０は、露光から画像の表示のシーケンス図である。図１１は、画像処理装置の表示動作フローを示した図である。図１２は、露光から画像の表示のシーケンス図である。図１３は、画像処理装置の表示動作フローを示した図である。図１４は、画像処理装置の機能構成例を示すブロック図である。図１５は、画像処理装置の表示動作フローを示した図である。図１６は、画像処理装置の表示動作フローを示した図である。図１７は、画像処理装置の機能構成例を示すブロック図である。図１８は、画像処理装置の表示動作フローを示す図である。図１９は、露光から画像の表示のシーケンス図である。図２０は、撮像装置の一実施形態であるスマートフォンの外観を示す図である。図２１は、図２０に示したスマートフォンの内部構成を示すブロック図である。

　以下、添付図面にしたがって本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

　図１および図２は、それぞれ撮像装置の一例（デジタルカメラ）を示す斜視図および背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画または動画の画像データとして記録メディアに記録するデジタルカメラである。

　図１に示すように撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源および／またはモードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、液晶モニタ（ＬＣＤ：Liquid Crystal Display)３０、ズームボタン５、十字ボタン６、ＭＥＮＵおよび／またはＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

　撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源および／またはモードスイッチ３によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体にストロボ光を照射するものである。

　シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。

　撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタン２が「半押し」されると、ＡＦおよび／またはＡＥ（Auto Exposure)制御を行う撮影準備動作を行い、シャッタボタン２が「全押し」されると、静止画の撮像および記録を行う。

　また、撮像装置１０は、撮影モードとして動画撮影モードが選択され、シャッタボタン２が「全押し」されると、動画の録画を開始し、シャッタボタン２が再度「全押し」されると、録画を停止して待機状態になる。

　電源および／またはモードスイッチ３は、撮像装置１０の電源をＯＮまたはＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源および／またはモードスイッチ３をスライドさせて、「再生位置」または「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源および／またはモードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

　モードダイヤル４は、撮像装置１０の撮影モードを設定するモード切替部として機能し、このモードダイヤル４の設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

　液晶モニタ３０は、撮影モード時のライブビュー画像、プレビュー画像、ポストビュー画像の表示、再生モード時の静止画または動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェイスの一部として機能する。

　ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

　十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左および右キーは再生モード時のコマ送り（順方向および逆方向送り）ボタンとして機能する。

　ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

　再生ボタン８は、撮影記録した静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

　ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

　なお、本実施形態にかかる撮像装置１０において、ボタンおよびスイッチ類に対して固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタンおよびスイッチ類の機能を実現するようにしてもよい。

　図３は撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

　撮像装置１０には、シャッタボタン２、電源および／またはモードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮像素子１６の駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録および／または再生制御、および液晶モニタ３０の表示制御などを行う。

　電源および／またはモードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

　撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである撮像素子１６に結像される。なお、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、またはＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。

　撮像素子１６は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換され、撮像素子１６内のＡ／Ｄ（Analog/Digital）変換器を介してデジタル信号に変換されて出力される。

　撮像素子１６は、水平方向および垂直方向に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、以下に例示する第１の周期的色配列でカラーフィルタが配設されている。また、撮像素子１６は、複数の位相差検出用画素と撮像用の複数の通常画素（位相差検出用画素以外の画素）が配置されている。

　位相差検出用画素は、図５に示すように瞳分割用の開口部を有し、水平方向に対する開口部の位置が互いに異なる第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとからなり、一対の第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとは互いに開口部が向き合って隣接配置されている。なお、第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢの構造の詳細については後述する。

　図４は、撮像素子１６のカラーフィルタ配列および位相差検出用画素の配置を示す図である。

　図４に示すように撮像素子１６の複数の通常画素には、第１の色（緑色）に対応する第１のフィルタ、緑色以外の２色以上の各色（赤色および青色）にそれぞれ対応する複数の第２のフィルタのうちのいずれかのカラーフィルタが、第１の周期的色配列で配置されている。第１の実施形態の撮像素子１６のカラーフィルタの第１の周期的色配列は、一般的なベイヤ配列である。なお、第１のフィルタは、緑色の波長帯域の光を透過させるＧフィルタであり、複数の第２のフィルタは、赤色の波長帯域の光を透過させるＲフィルタと、青色の波長帯域の光を透過させるＢフィルタである。

　ベイヤ配列を有する撮像素子１６において、通常画素のみが水平方向（行方向）に配置された通常画素行は、Ｒフィルタを有する画素（Ｒ画素）とＧフィルタを有する画素（Ｇ画素）とが行方向に交互に配置されたＲＧ行と、Ｇ画素とＢフィルタを有する画素（Ｂ画素）とが行方向に交互に配置されたＧＢ行とがある。また、ＲＧ行とＧＢ行とは、垂直方向（列方向）に交互に配置されている。

　また、本例の第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢには、それぞれＧフィルタが配置されている。なお、第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢには、例えば、Ｇフィルタを配置せずに、Ｇフィルタの透過波長域よりも広い波長域の光が入射できるようにしてもよい。

　撮像素子１６の第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢと通常画素とが周期的に行方向に配置された位相差検出用画素行は、複数行置きのＧＢ行に設けられており、位相差検出用画素行に隣接する少なくとも２行には通常画素行のみが配置される。

　また、本例の位相差検出用画素行は、一対の第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢと１つの通常画素の３画素を１周期として周期的に配列されている。したがって、位相差検出用画素行には、Ｇ画素とＢ画素とが行方向に２画素（一対の第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢ）置きに交互に配置されている。

　なお、本例の位相差検出用画素行は、ベイヤ配列のＧＢ行に設けられているが、これに限らず、ＲＧ行に設けるようにしてもよい。

　動画を構成する１フレームの画像（フレーム画像）は、フル画素の静止画に比べて画像サイズを小さくしてもよい。すなわち動画撮影モードでは、撮像素子１６は間引き駆動され、これにより低電力および高速処理を可能にする。また、ライブビュー表示を行う場合にも、画像サイズを小さくしてもよい。なお本説明のフレーム画像に対応する画像データは、位相差検出用画素の画素値を含んでいる。

　図５は、一対の第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢを模式的に示した平面図である。

　図５に示すように第１の位相差検出用画素ＺＡは、画素の右半分に開口部を有し、第２の位相差検出用画素ＺＢは、画素の左半分に開口部を有している。即ち、一対の第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとは、互いに開口部が向き合っている。

　通常画素と位相差検出用画素とで画素特性が異なることから、良質な画質を得るためには、位相差検出用画素を適切に補正した上で、表示用画像を生成する必要がある。

　図６は第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢの構成を示す要部拡大図である。

　図６に示すように第１の位相差検出用画素ＺＡのフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、第２の位相差検出用画素ＺＢのフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬおよび遮光部材１６Ａ、１６Ｂは瞳分割機能を有し、図６上で、遮光部材１６Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差検出用画素ＺＡには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。また、本例では、カラーフィルタＣＦとして、ＧフィルタがマイクロレンズＬの下方に配置されている。

　遮光部材１６Ｂは、第２の位相差検出用画素ＺＢのフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差検出用画素ＺＢには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割機能を有するマイクロレンズＬおよび遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢに入射する。

　図３に戻って、動画または静止画の撮影時に撮像素子１６から読み出された画像信号（画像データ）は、画像入力コントローラ２２を介してメモリ（ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)）４８に一時的に記憶され、あるいはＡＦ処理部４２、ＡＥ検出部４４等に取り込まれる。

　ＣＰＵ４０は、操作部３８での操作に基づいて撮像装置１０の各部を統括制御するが、ライブビュー画像の撮影（表示）、および動画の撮影（記録）中には、常時ＡＦ動作およびＡＥ動作を行う。

　位相差検出部として機能するＡＦ処理部４２は、位相差ＡＦ処理を行う部分であり、画像入力コントローラ２２を介して取得される第１の位相差検出用画素ＺＡ、第２の位相差検出用画素ＺＢの各出力信号を使用して位相差を検出する。

　ＣＰＵ４０は、ＡＦ処理部４２から位相差を示す位相差データが入力されると、位相差データに基づいて位相差ＡＦを行う焦点調節部として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。なお、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＡＥ検出部４４は、画像入力コントローラ２２を介して取得される画像データ（例えば、画面全体のＧ画素の画素値）を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データ（Ｇ画素の画素値）を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力される積算値より被写体の明るさ（撮影Ｅｖ値（exposure value））を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、前述のＡＦ制御を再度行い、シャッタボタン２の全押しがあると、被写体の明るさ（撮影Ｅｖ値）を算出し、算出した撮影Ｅｖ値に基づいて絞り１４のＦ値およびメカシャッタ１５による露光時間（シャッタ速度）をプログラム線図にしたがって決定し、静止画の撮影（露出制御）を行う。

　一方、撮影モードが動画撮影モードの場合には、シャッタボタン２の全押しがあると、ＣＰＵ４０は、動画の撮影および記録（録画）を開始させる。なお、動画撮影時には、メカシャッタ１５を開放し、撮像素子１６から画像データを連続的に読み出し（例えば、フレームレートとして３０フレーム／秒、６０フレーム／秒）、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、シャッタ駆動部３３によりシャッタ速度（ローリングシャッタによる電荷蓄積時間）および／または絞り駆動部３４による絞り１４を制御する。

　ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

　また、ＲＯＭ４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているＲＯＭ（Read Only Memory）、またはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。

　画像処理部２４は、動画または静止画の撮影時に画像入力コントローラ２２を介して取得され、メモリ４８に一時的に記憶された未処理の画像データ（ＲＡＷデータ）を読み出す。画像処理部２４は、読み出したＲＡＷデータに対してオフセット処理、画素補間処理（位相差検出用画素、傷画素等の補間処理）、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、同時化処理（「デモザイク処理」ともいう）、輝度および色差信号生成処理、輪郭強調処理、および色補正等を行う。

　画像処理部２４により処理された画像データであって、ライブビュー画像として処理された画像データは、ＶＲＡＭ（Video RAM Random access memory）５０に入力される。

　ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

　ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力される。

　画像処理部２４により処理された画像データであって、記録用の静止画または動画として処理された画像データ（輝度データ(Ｙ)および色差データ(Ｃｂ),(Ｃｒ)）は、再びメモリ４８に記憶される。

　圧縮伸張処理部２６は、静止画または動画の記録時に、画像処理部２４により処理され、メモリ４８に格納された輝度データ(Ｙ)および色差データ(Ｃｂ),(Ｃｒ)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。

　また、圧縮伸張処理部２６は、再生モード時にメディアコントローラ５２を介してメモリカード５４から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ５２は、メモリカード５４に対する圧縮画像データの記録および読み出しなどを行う。

　オートフォーカス制御部として機能するＣＰＵ４０は、位相差ＡＦを行う場合、撮像素子１６の少なくともＡＦ領域内の位相差検出用画素行の画像データを読み出す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から対応する画像データを読み出す。

　動画（ライブビュー画像を含む）の撮影および表示時には、ＣＰＵ４０は、撮像素子１６から画像データを間引き読み出しするための間引き率を取得する。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。なお、間引き読み出しする行には、位相差検出用画素行が含まれるようにする。

　ＣＰＵ４０は、間引き率に応じた間引きパターン（抽出パターン）を示す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から画像データを間引き読み出しする。

　ＡＦ処理部４２は、読み出された位相差検出用画素行からＡＦ領域内の位相差検出用画素（第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢ）の出力データを抽出し、第１の位相差検出用画素ＺＡの出力データと第２の位相差検出用画素ＺＢの出力データとの位相差を検出する。例えば、一対の第１の位相差検出用画素ＺＡの第１の位相差検出用画素ＺＡの出力データと第２の位相差検出用画素ＺＢの第２の位相差検出用画素ＺＢの出力データとの相関が最大になるとき（一対の位相差検出用画素の各画素値の差分絶対値の積算値が最小になるとき）の第１の位相差検出用画素ＺＡの出力データと第２の位相差検出用画素ＺＢの出力データとの間の左右方向のシフト量から位相差を求める。

　そして、求めたシフト量を、一対の第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとの水平方向の位置ずれ分だけ補正した値を位相差データとして算出することができる。なお、位相差の算出方法は、上述の方法に限らず、種々の方法を適用することができる。

　続いて、ＣＰＵ４０は、ＡＦ処理部４２により検出された位相差データに基づいて撮影レンズ１２（撮像光学系）によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出する。なお、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＣＰＵ４０は、算出したデフォーカス量に基づいてデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させ、これにより位相差ＡＦを行う。

　撮像素子１６は、一対の第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差検出用画素ＺＡと第２の位相差検出用画素ＺＢとの間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差検出用画素と第２の位相差検出用画素とが通常画素を挟んで離れて配置されているものに比べて高精度に行うことができる。

　なお、動画生成時に撮像素子１６から間引き読み出しされる行には、位相差検出用画素（第１の位相差検出用画素ＺＡおよび第２の位相差検出用画素ＺＢ）を有する位相差検出用画素行を含めることができ、動画の撮影中においても適切に位相差ＡＦを行うことができる。

　＜第１の実施形態＞
　本発明の第１の実施形態に関して説明する。図７は、本実施形態の画像処理装置６０の機能構成例を示すブロック図である。なお、画像処理装置６０は、撮像装置１０に設けられている。

　本実施形態の画像処理装置６０は、センサ６１、インターフェイス６３、メモリ４８、ゲイン値算出部６７、位相差画素補間部６９、表示用画像生成部７３、および表示部７５を備えている。

　センサ６１は撮像素子１６で実現され、撮像素子１６は上述したように二次元的に複数の位相差検出用画素と複数の通常画素とが配置されている。

　インターフェイス６３は、画像取得部として機能し、画像入力コントローラ２２で実現される。インターフェイス６３は、動画の撮像中に撮像素子１６から複数の位相差検出用画素の画素値および複数の通常画素の画素値を有するフレーム画像であって、動画の時系列順の各フレーム画像を順次取得する。インターフェイス６３は、センサ６１から出力された画素データをメモリ４８に置く（記憶させる）ことができ、また、メモリ４８を介在することなく後段の回路に画素データを受け渡すこともできる。また、メモリ４８に置いた画素データを読み込み、後段の回路に送ることもできる。ライブビュー画像を生成する場合、リアルタイム性を確保するために、インターフェイス６３はセンサ６１から出力された画素データをメモリ４８を介在することなく後段処理に受け渡すことが望ましい。したがって、ライブビュー画像を生成する場合には、メモリ４８に画素データを置いてゲイン値を算出し、ゲイン補間を行う時間的な余裕がない。

　図８は、インターフェイス６３に入力される動画の時系列順の各フレームを概念的に示した図である。インターフェイス６３に入力されたフレーム画像は、第１フレーム２０１、第２フレーム２０２、および第３フレーム２０３と順次連続して続く。例えば、第２フレーム２０２の位相差検出用画素の画素値を補間する場合には、第２フレーム２０２が現在フレームとなり、第１フレーム２０１が過去フレームとなる。また、第３フレーム２０３の位相差検出用画素の画素値を補間する場合には、第３フレーム２０３が現在フレームとなり、第２フレーム２０２が過去フレームとなる。一方、第１フレーム２０１の位相差検出用画素の画素値を補間する場合には、第１フレーム２０１が現在フレームとなるが、第１フレーム２０１が最初のフレームとなるために過去フレームは存在しないことになる。

　図７に戻って、メモリ４８は、上述したようにＳＤＲＡＭで構成されている。

　ゲイン値算出部６７は、画像取得部により取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出する。

　ゲイン値は像高（画面内の位置）に応じて変化する。そこで、ゲイン値算出部６７は、例えば、フレーム画像面をＫ×Ｌエリアに分割し、各エリアでゲイン値を算出する。なお、便宜上、1つのフレームに対する複数のゲイン値をゲイン値セットと呼ぶ。

　ゲイン値算出部６７が、直前のフレーム（過去フレーム）のみでゲイン値を算出する場合には、ゲイン値算出部６７が、直前のフレーム（過去フレーム）で算出したゲイン値セットをそのまま現在のフレームに用いる。

　またゲイン値算出部６７は、複数の過去フレーム画像の位相差検出用画素と通常画素との信号比を算出し、ゲイン値を算出してもよい。

　この場合、ゲイン値算出部６７は、過去Ｎフレームそれぞれで算出したＮセットのゲイン値を、エリア毎に平均化して現在のフレームに用いる。

　具体的には、フレーム番号をｋ（現在フレームが０、過去に遡るにしたがって１、２、３、…）、ゲイン値を算出するエリアの座標を（ｘ，ｙ）とし、ｋフレームの（ｘ，ｙ）のゲイン値をＧ（ｋ，ｘ，ｙ）と定義する。過去Ｎフレームに亘って同一エリアのゲイン値を平均化するので、現フレームに適用するゲイン値セットＧ’（ｘ，ｙ）は次のように算出される。

　より好ましい態様としては、フレーム別の重みｗ（ｋ）を用意しておき

とする。ｗ（ｋ）は、平均化に用いないフレームで０、平均化に用いるフレームで１とする。例えば、現在のフレーム露光時の絞りＦ１と、ｋ番目の過去フレーム露光時の絞りＦ２が所定以上異なっている場合には、ｋ番目のｗ（ｋ）を０とする。なお、現在フレームの撮像条件と過去フレームの撮像条件との変化量によって、ゲイン値の算出を変える態様は、図１６において詳細に説明する。

　ゲイン値算出部６７は、ＲＡＷデータを解析することでゲイン値を算出する。具体的には、ＲＡＷデータをＫ×Ｌエリアに分割し、各エリアにおいて、Ｇ画素の平均値Ｇａｖｅと位相差検出用画素の平均値Ｐａｖｅを算出し、ゲイン値はＧａｖｅ／Ｐａｖｅとして算出する。このとき、エリア内が黒つぶれしている場合、ＧａｖｅやＰａｖｅが極端に小さな値になりゲイン値を精度よく算出することができない。また、エリア内が飽和している場合にもゲイン値を精度よく算出できない。そこで、そのようなエリアのゲイン値は、上述した（式１）および（式２）で示した平均化に用いないほうが好ましい。

　したがって、（式２）における重みｗ（ｋ）をエリア毎に設ける。つまり、重みをｗ（ｋ，ｘ，ｙ）と表現し、ｋ番目のフレームにおいて、（ｘ，ｙ）のエリアのゲイン値の精度が低いと考えられる場合においてｗ（ｋ，ｘ，ｙ）＝０とする。より具体的には、ゲイン値算出を行うエリア内のＧ画素のうち、そのレベルが閾値ＴＨ１以上閾値ＴＨ２以下の画素の数が閾値ＴＨ３より小さい場合はゲイン値の精度が低いと考え、ｗ（ｋ，ｘ，ｙ）の値を調整する。

　位相差画素補間部６９は、画像処理部２４により実現され、第１のゲイン補間部７１を備える。第１のゲイン補間部７１は、ゲイン値算出部６７で算出されたゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち、第１のゲイン補間部７１は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値にゲイン値算出部６７で算出されたゲイン値を掛けることで、通常画素と信号レベルを合わせる補間を行う。

　表示用画像生成部７３は、画像処理部２４により実現され、第１のゲイン補間部７１で補間された現在フレーム画像の位相差検出用画素の画素値および通常画素の画素値に基づいて、現在フレーム画像の表示用画像を生成する。すなわち、表示用画像生成部７３は、位相差検出用画素の画素値が補間された現在フレームの表示用画像を生成する。

　表示部７５は、表示用画像生成部７３で生成された表示用画像を表示する。表示部７５は、液晶モニタ３０に表示用画像を表示させる。例えば表示部７５は、液晶モニタ３０にライブビュー画像、プレビュー画像、またはポストビュー画像を表示する。

　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。本実施形態では、位相差検出用画素の画素値に対して、ゲイン補間ともに周辺画素値に基づいて行われる周辺画素補間が行われる。

　図９は、本実施形態の画像処理装置６０の機能構成例を示すブロック図である。なお、図７で既に説明を行った箇所は、同じ符号を付し説明を省略する。

　周辺画素値算出部７７は、ＣＰＵ４０で実現され、現在フレーム画像の位相差検出用画素の周辺領域にある通常画素の画素値に基づいて周辺画素値を算出する。例えば、周辺画素値算出部７７は、補間を行う注目画素（位相差検出用画素）の周辺画素の画素値を加重平均することにより、周辺画素値を算出する。ここで周辺画素とは、補間の精度や撮像条件に応じて適宜決定されるものであるが、例えば注目画素を中心にして３×３、５×５、７×７の範囲の通常画素である。なお、周辺画素値算出部７７は、加重平均以外の公知の方法により、周辺画素値を算出することができる。

　位相差画素補間部６９は、第１のゲイン補間部７１、補間制御部７９、および周辺画素補間部８１を備える。

　周辺画素補間部８１は、周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち周辺画素補間部８１は、注目画素（位相差検出用画素）の周辺の通常画素の画素値を加重平均されて求められた周辺画素値を注目画素の画素値とすることにより、注目画素の画素値を補間する。

　補間制御部７９は、第１のゲイン補間部７１と周辺画素補間部８１との動作を制御する。例えば補間制御部７９は、ゲイン値算出部６７がゲイン値を算出した場合には第１のゲイン補間部７１に補間をさせ、ゲイン値算出部６７がゲイン値を算出していない場合には周辺画素補間部８１に補間をさせる。

　（表示例１）
　次に、第２の実施形態における液晶モニタ３０への表示用画像の表示例に関して説明する。表示例１では、第１フレームに使用される位相差検出用画素の画素値を周辺画素補間のみで補間する場合である。

　図１０は、撮像素子１６への露光からライブビュー画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。

　図１０には、（Ａ）ＶＤ同期信号、（Ｂ）露光および読み出し、（Ｃ）ライブビュー画像生成処理、（Ｄ）ゲイン値算出、および（Ｅ）液晶モニタ３０への表示のシーケンスがそれぞれ記載されている。

　図１０に示す場合は、ローリングシャッタ方式の撮像素子１６に対して露光が行われる。露光後、ＶＤ（Vertical Driving）同期信号に合わせて（図１０（Ａ））、各ラインの画素値を含む画素データは順次ＡＳＩＣ（Application specific integrated circuit）へと転送される（図１０（Ｂ）の「読み出し」）。ここでＡＳＩＣは、インターフェイス６３、ゲイン値算出部６７、周辺画素値算出部７７、位相差画素補間部６９（補間制御部７９、第１のゲイン補間部７１、および周辺画素補間部８１）、表示用画像生成部７３の機能を有する。

　ＡＳＩＣは、センサ６１から受けた画素データを処理し、ライブビュー画像を生成する。ＡＳＩＣの処理には、位相差画素補間部６９が行う位相差検出用画素の画素値の補間と、表示用画像生成部７３により行われるその他処理がある（図１０（Ｃ））。ここでその他処理とは、デモザイクやノイズ低減、および輪郭強調などライブビュー画像生成に用いる一般的な信号処理のことを示す。ここで、ＡＳＩＣの補間制御部７９は、現在処理を行っているフレームが第１フレームである場合には、周辺画素補間部８１に位相差検出用画素の画素値の補間を行わせる。

　次にＡＳＩＣにより、センサからの読み出しが全て終了した後に、読み出した画素値に基づいてゲイン値が算出される（図１０（Ｄ））。この算出されたゲイン値は、現在フレーム画像の液晶モニタ３０の表示に間に合わないので、次フレーム画像の補間処理に使用される。

　ここで、位相画素密度が高い場合は周辺画素補間の精度が低下するため、積極的にゲイン補間を用いて補間を行うことが好ましい。一方、ゲイン補間を行うためには、位相差検出用画素と通常画素との信号比(=ゲイン補間に用いるゲイン値)を算出しておく必要がある。信号比算出はライブビュー処理と比較して多くのラインデータを用いる必要があるため、一旦メモリ４８に画素データを展開した上で信号比を算出しなければならず、タイミング的に、算出した信号比を現在のフレームに適用することは困難である。

　すなわち、表示用画像の画質を良くするという観点からは、ゲイン値を算出した後に現在フレーム画像に対する位相差検出用画素の補間を行うことが好ましい。しかし、ライブビュー表示に要求されるリアルタイム性を確保するためには、ゲイン値算出にかかる時間が問題となってしまう。すなわち、ゲイン値を算出してゲイン補間を行うとライブビュー表示のリアルタイム性を確保することが困難となる。したがって、本発明では、ライブビュー表示を開始して第１フレームの表示画像を生成する際には、適切なゲイン値が存在しない場合には、周辺画素補間のみで位相差検出用画素の画素値を補間し表示画像を生成する。

　なお、本発明は電源がＯＮになった場合に表示されるライブビュー表示以外にも、再生モードから撮影モードに切り替えた直後のライブビュー表示時や、位相差検出用画素を含むラインを出力対象としない駆動モードから、当該ラインを出力対象とする駆動モードに切り替えた後のライブビュー表示にも適用することが可能である。

　図１１は、画像処理装置６０のライブビュー画像の表示動作フローを示した図である。

　先ず、ライブビュー表示開始指示が出力される（ステップＳ１０１）。例えば、撮像装置１０の電源スイッチおよび／またはモードスイッチ３がＯＮにされたと同時に、ライブビュー表示開始指示がＣＰＵ４０より出力される。カメラ起動後や静止画撮影を行った後などにライブビュー表示を開始するとき、ライブビュー表示の露光量を決定するために測光が行われる（初回測光）（ステップＳ１０２）。ただし、例えば、ライブビュー表示を開始する直前の静止画撮影時の測光結果を、初回測光の代替とすることも可能である。

　その後、初回測光の結果を受け、ライブビュー表示の露光パラメータ（絞り、ISO感度、シャッタ速度、ライブビュー時のセンサフレームレート）を設定し（ステップＳ１０３）、ＶＤ同期信号で（フレーム毎に）露光および画素データの読み出しが行われる（ステップＳ１０４）。なお、測光は撮像装置１０の内部に備えられる測光センサにより行われ、露光パラメータの設定はＣＰＵ４０、読み出しはインターフェイス６３により行われる。

　取得された画素データを用いて測光を行い（ステップＳ１０５）、次フレーム用の露光パラメータがＣＰＵ４０により決定される（ステップＳ１０６）。さらに、画素データを用いて、ゲイン値算出部６７によりゲイン補間用のゲイン値を算出する（ステップＳ１０７）。

　その後、補間制御部７９により現在のフレームが第１フレームであるか否かが判定され（ステップＳ１０８）、現在のフレームが第１フレームである場合、すなわちゲイン値算出部６７がゲイン値を算出していない場合には、補間制御部７９により周辺画素補間部８１により周辺画素補間が行われ、周辺画素補間のみで位相差検出用画素を補間する（ステップＳ１０９）。

　一方、現在のフレームが第１フレームでない場合、すなわちゲイン値算出部６７がゲイン値を算出している場合には、補間制御部７９により周辺画素補間部８１またはゲイン補間で位相差検出用画素が補間する（ステップＳ１１０）。なお、この場合の位相差検出用画素の補間は撮像状況、フレーム画像の状態が考慮されて行われ、補間制御部７９が、第１のゲイン補間部７１のみ補間を行わせたり、第１のゲイン補間部７１および周辺画素補間部８１に補間を行わせたりする。例えば補間制御部７９は、フレーム画像の周波数成分に応じて、および／または合焦の程度に応じて、第１のゲイン補間部７１と周辺画素補間８１との動作を制御する。

　その後、表示用画像生成部７３により、ライブビュー画像の生成が行われ（ステップＳ１１１）、液晶モニタ３０またはＥＶＦ（Electric viewfinder）への表示用画像が表示される（ステップＳ１１２）。その後、例えばＣＰＵ４０によりライブビュー表示を継続するか否かの判定が行われ（ステップＳ１１３）、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。

　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　（表示例２）
　次に、第１の実施形態および第２の実施形態における液晶モニタ３０へのライブビュー画像の表示例に関して説明する。表示例２では、第１フレーム画像はゲイン値が算出されずゲイン補間ができないので、第１フレーム画像を表示させない。

　図１２は、図９と同様に、撮像素子１６への露光からライブビュー画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。図１１のシーケンス図は、図９のシーケンス図と比較すると、第１フレームが液晶モニタ３０に表示されてない点で異なる。

　第１フレーム画像に関して、センサ６１から受けた画素データを処理し、ゲイン値算出部６７によりゲイン値が算出される（図１０（Ｄ））。しかしながら、第１フレーム画像は表示を行わないため、周辺画素補間部８１による補間および表示用画像生成部７３により第１フレームの表示用画像の生成は行われない。

　第２フレーム画像以降では、図１０で説明したように、ゲイン値算出部８７で算出されたゲイン値に基づいて補間が行われ、液晶モニタ３０に対応するライブビュー画像の表示が行われる。

　図１３は、画像処理装置６０の表示動作フローを示した図である。

　先ず、ライブビュー表示開始指示がＣＰＵ４０により、出力される（ステップＳ２０１）。その後、初回測光が行われ（ステップＳ２０２）、露光パラメータが設定される（ステップＳ２０３）。測光は撮像装置１０の内部に備えられる測光センサにより行われ、露光パラメータの設定はＣＰＵ４０により行われる。

　そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス６３により行われ（ステップＳ２０４）、測光が測光センサにより行われ（ステップＳ２０５）、次フレーム用の露光パラメータがＣＰＵ４０により決定され（ステップＳ２０６）、次フレーム用の位相差検出用画素と通常画素の信号比がゲイン値算出部８７により算出される（ステップＳ２０７）。

　その後、補間制御部７９により現在のフレームが第１フレームであるか否かが判定され（ステップＳ２０８）、現在のフレームが第１フレームでない場合、すなわちゲイン値算出部６７がゲイン値を算出している場合には、補間制御部７９により周辺画素補間部８１またはゲイン補間で位相差検出用画素が補間する（ステップＳ２０９）。

　その後、表示用画像生成部７３により、ライブビュー画像の生成が行われ（ステップＳ２１０）、液晶モニタ３０またはＥＶＦへの表示用画像が表示される（ステップＳ２１１）。

　一方で、補間制御部７９により、現在のフレームが第１フレームである場合、すなわちゲイン値算出部６７がゲイン値を算出していない場合には、表示用画像生成部７３により表示用画像の生成が行われない。すなわち、第１フレームは液晶モニタ３０に表示されない。

　その後、例えばＣＰＵ４０によりライブビュー表示を継続するか否かの判定が行われ（ステップＳ２１２）、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。

　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、位相差検出用画素の画素値に対して、推定されたゲイン値に基づいて補間が行われる。

　図１４は、本実施形態の画像処理装置６０の機能構成例を示すブロック図である。なお、図７で既に説明を行った箇所は、同じ符号を付し説明を省略する。

　本実施形態の画像処理装置６０は、センサ６１、インターフェイス６３、メモリ４８、ゲイン値算出部６７、位相差画素補間部６９、表示用画像生成部７３、表示部７５、周辺画素値算出部７７、パラメータ取得部８５、および推定ゲイン値算出部８７を備えている。

　パラメータ取得部８５は、ＣＰＵ４０で実現され、ゲイン値を推定するための情報であるゲイン値推定パラメータを取得する。例えばパラメータ取得部８５は、撮像装置１０がレンズ交換式のカメラである場合に、レンズ側とボディ側とで通信が行われ、レンズ側からレンズの特性およびゲイン値を推定するためのゲイン値パラメータを取得する。

　パラメータ取得部８５が取得するゲイン値推定パラメータは、撮像素子１６が受光する光束が通過するレンズ瞳の形状に関する情報、および位相差検出用画素と通常画素との入射光線角度特性に関する情報のうち少なくとも一方を含む。ゲイン値はレンズ瞳形状の影響を大きく受け、レンズ瞳形状は、F値およびフォーカスレンズ位置等によって変化する。レンズ瞳の形状に関する情報として、例えば絞り１４の状態を示すF値またはフォーカスレンズ位置があげられる。

　推定ゲイン値算出部８７は、パラメータ取得部８５で取得されたゲイン値推定パラメータに基づいて、推定ゲイン値を算出する。例えば推定ゲイン値算出部８７は、レンズ瞳形状と位相差検出用画素と通常画素との入射光線角度特性に基づいて、推定ゲイン値を算出する。

　第２のゲイン補間部８３は、推定ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち、補間制御部７９は、推定ゲイン値算出部８７が推定ゲイン値を算出した場合には、第２のゲイン補間部８３に補間をさせる。これにより、第１フレームのようにゲイン値算出部６７がゲイン値を算出していない場合であっても、推定ゲイン値に基づいて、位相差検出用画素の画素値がゲイン補間される。

　（表示例３）
　次に第３の実施形態における液晶モニタ３０へのライブビュー画像の表示例に関して説明する。表示例３は、表示例１と同様に、第１フレームに使用される位相差検出用画素の画素値を周辺画素補間のみで補間する場合である。

　図１５は、第３の実施形態の画像処理装置６０の表示例３の表示動作を示すフロー図である。

　先ず、ライブビュー表示の開始指示がＣＰＵ４０により出力される（ステップＳ３０１）。その後、初回測光が行われ（ステップＳ３０２）、露光パラメータが設定される（ステップＳ３０３）。測光は撮像装置１０の内部に備えられる測光センサにより行われ、露光パラメータの設定はＣＰＵ４０で行われる。

　そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス６３により行われ（ステップＳ３０４）、測光が行われ（ステップＳ３０５）、次フレーム用の露光パラメータがＣＰＵ４０により決定され（ステップＳ３０６）、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部８７により算出される（ステップＳ３０７）。

　その後、補間制御部７９により現在のフレームが第１フレームであるか否かが判定され（ステップＳ３０８）、現在のフレームが第１フレームでない場合、すなわちゲイン値算出部６７がゲイン値を算出している場合には、パラメータ取得部８５によりレンズ通信が可能であるか否かが判定される（ステップＳ３０９）。

　レンズ通信が可能でない場合には、補間制御部７９は周辺画素補間部８１に位相差検出用画素の画素値を補間させて（ステップＳ３１０）、表示用画像生成部７３は表示用画像を生成する（ステップＳ３１１）。

　一方、パラメータ取得部８５によりレンズ通信が可能であると判定（ステップＳ３０９）され、パラメータ取得部８５によりゲイン値推定パラメータが取得可能と判定（ステップＳ３１４）された場合には、推定ゲイン値算出部８７により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される（ステップＳ３１５）。その後、補間制御部７９は第２のゲイン補間部８３または周辺画素補間部８１により、位相検出用画素の画素値を補正させ（ステップＳ３１６）、表示用画像生成部７３に表示用画像を生成させる（ステップＳ３１１）。

　その後、表示部７５により、生成された表示用画像を液晶モニタ３０またはＥＶＦへ表示される（ステップＳ３１２）。

　その後、例えばＣＰＵ４０によりライブビュー表示を継続するか否かの判定が行われ（ステップＳ３１３）、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。

　（表示例４）
　次に、第３の実施形態における液晶モニタ３０へのライブビュー画像の表示例に関して説明する。表示例４では、レンズ第１フレーム画像はゲイン値が算出されずゲイン補間ができないので、第１フレーム画像を表示させない。

　サードパーティ製のレンズが装着された場合や何かしらの不具合によりカメラボディとレンズと間の通信が不可能な場合や、通信はできても、ゲイン値を推定するために必要なパラメータがレンズ側に格納されていない場合は、推定ゲイン値算出部８７は、推定ゲイン値を算出することができない。このような場合には、第１フレーム画像の表示を行わない。すなわち表示用画像生成部７３は、パラメータ取得部８５がゲイン値推定パラメータを取得していない場合には、現在フレーム画像のみの表示用画像を生成する。

　図１６は、第３の実施形態の画像処理装置６０の表示例４の表示動作を示すフロー図である。

　先ず、ライブビュー表示の開始指示がＣＰＵ４０により出力される（ステップＳ４０１）。その後、初回測光が行われ（ステップＳ４０２）、露光パラメータが設定される（ステップＳ４０３）。測光は撮像装置１０の内部に備えられる測光センサにより行われ、露光パラメータの設定はＣＰＵ４０で行われる。

　そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス６３により行われ（ステップＳ４０４）、測光が行われ（ステップＳ４０５）、次フレーム用の露光パラメータがＣＰＵ４０により決定され（ステップＳ４０６）、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部８７により算出される（ステップＳ４０７）。

　その後、補間制御部７９により現在のフレームが第１フレームであるか否かが判定され（ステップＳ４０８）、現在のフレームが第１フレームでない場合、すなわちゲイン値算出部６７がゲイン値を算出している場合には、パラメータ取得部８５によりレンズ通信が可能であるか否かが判定される（ステップＳ４０９）。

　レンズ通信が可能でない場合には、第１フレームに対応するは表示用画像を生成しない。

　一方、パラメータ取得部８５によりレンズ通信が可能であると判定（ステップＳ４０９）され、パラメータ取得部８５によりゲイン値推定パラメータが取得可能と判定（ステップＳ４１０）された場合には、推定ゲイン値算出部８７により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される（ステップＳ４１１）。その後、補間制御部７９は第２のゲイン補間部８３または周辺画素補間部８１により、位相検出用画素の画素値を補間させ（ステップＳ４１２）、表示用画像生成部７３に表示用画像を生成させる（ステップＳ４１３）。

　その後、表示部７５により、生成された表示用画像を液晶モニタ３０またはＥＶＦへ表示される（ステップＳ４１４）。

　その後、例えばＣＰＵ４０によりライブビュー表示を継続するか否かの判定が行われ（ステップＳ４１５）、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。

　＜第４の実施形態＞
　次に、本発明の第４の実施形態に関して説明する。本実施形態では、フレーム間の撮像条件の変化量に応じて、位相差検出用画素の画素値に対して補間がされる。

　図１７は、本実施形態の画像処理装置６０の機能構成例を示すブロック図である。なお、図７で既に説明を行った箇所は、同じ符号を付し説明を省略する。

　本実施形態の画像処理装置６０は、センサ６１、インターフェイス６３、メモリ４８、ゲイン値算出部６７、位相差画素補間部６９、表示用画像生成部７３、表示部７５、周辺画素値算出部７７、パラメータ取得部８５、推定ゲイン値算出部８７、および撮像条件取得部８９で構成されている。

　撮像条件取得部８９は、ＣＰＵ４０で実現され、現在フレーム画像および過去フレーム画像に関して、撮像条件に関する情報を取得する。例えば撮像条件取得部８９は、撮像素子１６が受光する光束が通過した光学系の絞り１４に関する情報を取得する。

　補間制御部７９は、現在フレーム画像および過去フレーム画像において、撮像条件に関する情報の変化量が閾値以上である場合には、周辺画素補間部８１に補間をさせる。例えば補間制御部７９は、次のように制御を行う。露出追従のために、過去フレーム画像と現在フレーム画像との間でＦ値が大きく変化した場合には、過去フレームのゲイン値を用いたゲイン補間を行うべきではない。このような場合には、周辺画素補間のみで位相差画素補間を行うことが望ましい。よって、補間制御部７９は、例えば過去フレーム露光時の瞳径ｒ１、現在フレーム露光時の瞳径ｒ２、で算出される変化量が予め決められた閾値ｔｈが以下（式３）の条件を満たす場合、瞳形状の変化が大きいと判定し周辺画素補間部８１に補間を行わせる。

　（表示例５）
　図１８は、第４の実施形態の画像処理装置６０の表示例５の表示動作を示すフロー図である。

　先ず、ライブビュー表示の開始指示がＣＰＵ４０により出力される（ステップＳ５０１）。その後、初回測光が行われ（ステップＳ５０２）、露光パラメータが設定される（ステップＳ５０３）。測光は撮像装置１０の内部に備えられる測光センサにより行われ、露光パラメータの設定はＣＰＵ４０で行われる。

　そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス６３により行われ（ステップＳ５０４）、測光が行われ（ステップＳ５０５）、次フレーム用の露光パラメータがＣＰＵ４０により決定され（ステップＳ５０６）、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部８７により算出される（ステップＳ５０７）。

　その後、補間制御部７９により現在のフレームが第１フレームであるか否かが判定され（ステップＳ５０８）、現在のフレームが第１フレームでない場合、すなわちゲイン値算出部６７がゲイン値を算出している場合には、撮像条件取得部８９により現在フレーム画像および過去フレーム画像の撮像条件に関する情報が取得され、補間制御部７９により変換量が閾値より大きいか否かが判定される（ステップＳ５１６）。変化量が閾値以上である場合には、過去フレーム画像に基づいて算出されたゲイン値を現在フレームのゲイン補間には使用できないため、パラメータ取得部８５によりレンズ通信が可能であるか否かが判定される（ステップＳ５０９）。一方、変化量が閾値以下である場合には、過去フレーム画像に基づいて算出されたゲイン値を現在フレームのゲイン補間には使用できるため、算出されたゲイン値を使用して補間が行われる。

　レンズ通信が可能でない場合には、補間制御部７９は周辺画素補間部８１に位相差検出用画素の画素値を補間させて（ステップＳ５１０）、表示用画像生成部７３は表示用画像を生成する（ステップＳ５１１）。

　その後、表示部７５により、生成された表示用画像を液晶モニタ３０またはＥＶＦへ表示される（ステップＳ５１２）。

　その後、例えばＣＰＵ４０によりライブビュー表示を継続するか否かの判定が行われ（ステップＳ５１３）、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。

　一方、パラメータ取得部８５によりレンズ通信が可能であると判定（ステップＳ５０９）され、パラメータ取得部８５によりゲイン値推定パラメータが取得可能と判定（ステップＳ５１４）された場合には、推定ゲイン値算出部８７により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される（ステップＳ５１５）。その後、補間制御部７９は第２のゲイン補間部８３または周辺画素補間部８１により、位相検出用画素の画素値を補間させ（ステップＳ５１７）、表示用画像生成部７３に表示用画像を生成させる（ステップＳ５１１）。

　＜その他の例＞
　次に本発明のその他の例に関して説明する。上述の説明ではローリングシャッタ方式の例に関して説明してきたが、本例ではグローバルシャッタ方式の例に関して説明する。

　図１９は、図９と同様に、撮像素子１６への露光から画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。図１９のシーケンス図は、図９のシーケンス図と比較すると、グローバルシャッタ方式により画素値が読み出される点で異なる。

　グローバルシャッタ方式のセンサ６１では、ローリングシャッタ方式のセンサ６１と異なり全ライン（全画素）の露光が同時に開始され同時に完了する（図１９（Ｂ））。ただし、露光完了後、蓄積された信号の読み出しおよびＡＳＩＣへの転送は、１番目のラインから順次転送となり、読み出し（図１９（Ｃ））、転送およびそれ以降の処理シーケンスは、ローリングシャッタ方式の場合（図１０）と同様となる。

　すなわち、読み出しが終了したラインの画素値から順次位相差検出用画素の画素値の補間およびその他の処理が行われ、また、１枚目のフレーム画像は、例えば周辺画素補間部８１により位相差検出用画素の画素値の補間が行われる（図１９（Ｄ））。また、ゲイン値算出部６７により、ゲイン値の算出が行われるが算出されたゲイン値は、次のフレーム画像において使用される（図１９（Ｅ））。

　なお、図１９では画素データの読出しのタイミングと次の露光のタイミングとが重なっている。つまり、露光と読出しは並列に行われている。グローバルシャッタ方式のセンサ６１の場合、露光中に電荷が貯まるフォトダイオードとは別に、フォトダイオードに貯まった信号を蓄積しておく蓄積部（不図示）が全画素に備わっている。露光完了後、全てのフォトダイオードに貯まった信号は蓄積部に移される。蓄積部の信号が順次読出され、ASICへと転送される。したがって、蓄積部に信号が移されれば、フォトダイオードは信号が空の状態となるため、次の露光を開始することが可能である。

　＜スマートフォンの例＞
　図２０は、撮像装置１０の一実施形態であるスマートフォンの外観を示す図である。

　図２０に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１（撮像部）とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図２１は、図２０に示したスマートフォン１００の内部構成を示すブロック図である。図２１に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１０１の指示にしたがって、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データおよび画像データ等の各種ファイルデータや電子メールデータなどの送受信、およびウェブデータやストリーミングデータなどの受信が行われる。

　表示入力部１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネルであり、主制御部１０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。なお、操作パネル１２２を便宜上、タッチパネルとも称す。

　表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)またはＯＥＬＤ(Organic Electro-Luminescence Display）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１または複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　図２０に例示されるスマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」という）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」という）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分およびそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、および静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

　通話部１３０は、スピーカ１３１およびマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２０に示すように、例えば、スピーカ１３１およびマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２０に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、およびダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。

　また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１および外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭなどの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェイスの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、無線ＬＡＮ(Local Area Network)、ブルートゥース(Bluetooth)（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、赤外線通信(Infrared Data Association：ＩｒＤＡ）、ＵＷＢ(Ultra Wideband)（登録商標）、ジグビー(ZigBee)（登録商標）など）により他の外部機器に直接的または間接的に接続する。

　スマートフォン１００に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオビデオＩ／Ｏ(Input/Output)端子を介して接続される外部オーディオビデオ機器、有線／無線接続される外部オーディオビデオ機器、スマートフォン、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、およびイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達したり、スマートフォン１００の内部のデータが外部機器に伝送されたりするように構成されてもよい。

　ＧＰＳ受信部１７０は、主制御部１０１の指示にしたがって、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度および高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０および／または外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。

　電源部１９０は、主制御部１０１の指示にしたがって、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

　主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信およびデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１０１が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、およびウェブページを閲覧するウェブブラウジング機能の他、本発明にかかる画像処理機能などがある。

　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。また、画像処理機能には、図３に示した画像処理部２４により行われる画像処理を含む。

　さらに、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

　表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２０に示すようにスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮像が行われてもよいし、或いは複数のカメラ部１４１を同時に使用して撮像が行われてもよい。

　また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示されてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮像取得される画像が利用されてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、およびモーションセンサ部１８０により取得された姿勢情報等などを静止画または動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１　　　　ストロボ
　２　　　　シャッタボタン
　３　　　　電源および／またはモードスイッチ
　４　　　　モードダイヤル
　５　　　　ズームボタン
　６　　　　十字ボタン
　７　　　　ＭＥＮＵ／ＯＫボタン
　８　　　　再生ボタン
　９　　　　ＢＡＣＫボタン
　１０　　　撮像装置
　１２　　　撮影レンズ
　１４　　　絞り
　１５　　　メカシャッタ
　１６　　　撮像素子
　１６Ａ　　遮光部材
　１６Ｂ　　遮光部材
　２２　　　画像入力コントローラ
　２４　　　画像処理部
　２６　　　圧縮伸張処理部
　２８　　　ビデオエンコーダ
　３０　　　液晶モニタ
　３２　　　センサ駆動部
　３３　　　シャッタ駆動部
　３４　　　絞り駆動部
　３６　　　レンズ駆動部
　３８　　　操作部
　４０　　　ＣＰＵ
　４２　　　ＡＦ処理部
　４４　　　ＡＥ検出部
　４７　　　ＲＯＭ
　４８　　　メモリ
　５０　　　ＶＲＡＭ
　５２　　　メディアコントローラ
　５４　　　メモリカード
　６０　　　画像処理装置
　６１　　　センサ
　６３　　　インターフェイス
　６７　　　ゲイン値算出部
　６９　　　位相差画素補間部
　７１　　　第１のゲイン補間部
　７３　　　表示用画像生成部
　７５　　　表示部
　７７　　　周辺画素値算出部
　７９　　　補間制御部
　８１　　　周辺画素補間部
　８３　　　第２のゲイン補間部
　８５　　　パラメータ取得部
　８７　　　推定ゲイン値算出部
　８９　　　撮像条件取得部
　１００　　スマートフォン
　１０１　　主制御部
　１０２　　筐体
　１１０　　無線通信部
　１２０　　表示入力部
　１２１　　表示パネル
　１２２　　操作パネル
　１３０　　通話部
　１３１　　スピーカ
　１３２　　マイクロホン
　１４０　　操作部
　１４１　　カメラ部
　１５０　　記憶部
　１５１　　内部記憶部
　１５２　　外部記憶部
　１６０　　外部入出力部
　１７０　　受信部
　１７０　　ＧＰＳ受信部
　１８０　　モーションセンサ部
　１９０　　電源部
　Ｓ１０１－Ｓ１１３　表示例１を示す画像処理工程
　Ｓ２０１－Ｓ２１２　表示例２を示す画像処理工程
　Ｓ３０１－Ｓ３１６　表示例３を示す画像処理工程
　Ｓ４０１－Ｓ４１５　表示例４を示す画像処理工程
　Ｓ５０１－Ｓ５１７　表示例５を示す画像処理工程

Claims

　二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子と、
　動画の撮像中に前記撮像素子から前記複数の位相差検出用画素の画素値および前記複数の通常画素の画素値を有するフレーム画像であって、前記動画の時系列順の各フレーム画像を順次取得する画像取得部と、
　前記画像取得部により取得した前記時系列順の過去フレーム画像に基づいて、現在フレーム画像の前記位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するゲイン値算出部と、
　前記ゲイン値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値を補間する第１のゲイン補間部と、
　前記第１のゲイン補間部で補間された前記現在フレーム画像の前記位相差検出用画素の画素値および前記通常画素の画素値に基づいて、前記現在フレーム画像の表示用画像を生成する表示用画像生成部と、
　を備える画像処理装置。
　前記現在フレーム画像の前記位相差検出用画素の周辺領域にある前記通常画素の画素値に基づいて周辺画素値を算出する周辺画素値算出部と、
　前記周辺画素値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値の補間をする周辺画素補間部と、を備える請求項１に記載の画像処理装置。
　前記第１のゲイン補間部と前記周辺画素補間部との動作を制御する補間制御部と、を備え、
　前記補間制御部は、前記ゲイン値算出部が前記ゲイン値を算出した場合には前記第１のゲイン補間部に補間をさせ、前記ゲイン値算出部が前記ゲイン値を算出していない場合には前記周辺画素補間部に補間をさせる請求項２に記載の画像処理装置。
　前記表示用画像生成部は、前記ゲイン値算出部が前記ゲイン値を算出しない場合には、前記現在フレーム画像の前記表示用画像を生成しない請求項３に記載の画像処理装置。
　前記ゲイン値を推定するための情報であるゲイン値推定パラメータを取得するパラメータ取得部と、
　前記パラメータ取得部で取得された前記ゲイン値推定パラメータに基づいて、推定ゲイン値を算出する推定ゲイン値算出部と、
　前記推定ゲイン値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値を補間する第２のゲイン補間部と、を備え、
　前記補間制御部は、前記推定ゲイン値算出部が前記推定ゲイン値を算出した場合には、前記第２のゲイン補間部に補間をさせる請求項３または４に記載の画像処理装置。
　前記表示用画像生成部は、前記パラメータ取得部が前記ゲイン値推定パラメータを取得していない場合には、前記現在フレーム画像の前記表示用画像は生成しない請求項５に記載の画像処理装置。
　前記パラメータ取得部が取得する前記ゲイン値推定パラメータは、前記撮像素子が受光する光束が通過するレンズ瞳の形状に関する情報、および前記位相差検出用画素と前記通常画素との入射光線角度特性に関する情報のうち少なくとも一方を含む請求項５または６に記載の画像処理装置。
　前記現在フレーム画像および前記過去フレーム画像に関して、撮像条件に関する情報を取得する撮像条件取得部を備え、
　前記補間制御部は、前記現在フレーム画像および前記過去フレーム画像において、前記撮像条件に関する情報の変化量が閾値以上である場合には、前記周辺画素補間部に補間をさせる請求項３から７のいずれか１項に記載の画像処理装置。
　前記ゲイン値算出部は、複数の前記過去フレーム画像の前記位相差検出用画素と前記通常画素との信号比を算出することにより前記ゲイン値を算出する請求項１から８のいずれか１項に記載の画像処理装置。
　前記撮像素子は、ローリングシャッタ方式またはグローバルシャッタ方式である請求項１から９のいずれか１項に記載の画像処理装置。
　前記表示用画像生成部で生成された前記表示用画像を表示する表示部を備える請求項１から１０のいずれか１項に記載の画像処理装置。
　二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子により、動画の撮像中に前記撮像素子から前記複数の位相差検出用画素の画素値および前記複数の通常画素の画素値を有するフレーム画像であって、前記動画の時系列順の各フレーム画像を順次取得するステップと、
　取得した前記時系列順の過去フレーム画像に基づいて、現在フレーム画像の前記位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するステップと、
　前記ゲイン値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値を補間するステップと、
　補間された前記現在フレーム画像の前記位相差検出用画素の画素値および前記通常画素の画素値に基づいて、前記現在フレーム画像の表示用画像を生成するステップと、
　を含む画像処理方法。
　前記現在フレーム画像の前記位相差検出用画素の周辺領域にある前記通常画素の画素値に基づいて周辺画素値を算出するステップと、
　前記周辺画素値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値の補間をするステップと、を含む請求項１２に記載の画像処理方法。
　ゲイン値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値を補間する第１のゲイン補間部と、周辺画素値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値の補間をする周辺画素補間部との動作を制御するステップであって、前記ゲイン値が算出された場合には前記第１のゲイン補間部に補間をさせ、前記ゲイン値が算出されてない場合には前記周辺画素補間部に補間をさせるステップを含む請求項１３に記載の画像処理方法。
　二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子により、動画の撮像中に前記撮像素子から前記位相差検出用画素の画素値および前記複数の通常画素の画素値を有するフレーム画像であって、前記動画の時系列順の各フレーム画像を順次取得するステップと、
　取得した前記時系列順の過去フレーム画像に基づいて、現在フレーム画像の前記複数の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出するステップと、
　前記ゲイン値を使用して、前記現在フレーム画像の前記位相差検出用画素の画素値を補間するステップと、
　補間された前記現在フレーム画像の前記位相差検出用画素の画素値および前記通常画素の画素値に基づいて、前記現在フレーム画像の表示用画像を生成するステップと、
　を含む画像処理工程をコンピュータに実行させるプログラム。
　請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。