JP5153293B2

JP5153293B2 - 画像処理装置及び画像処理プログラム

Info

Publication number: JP5153293B2
Application number: JP2007275672A
Authority: JP
Inventors: 裕也江幡; 佳宣佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-10-23
Filing date: 2007-10-23
Publication date: 2013-02-27
Anticipated expiration: 2027-10-23
Also published as: JP2009105681A

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来、メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が市販されている。

これらの電子カメラには、撮像素子から出力されたままの画素データで構成される未加工の画像データ（以下「ＲＡＷデータ」という。）を撮影画像として記録媒体に記録するものがある。

このＲＡＷデータは、そのままではパーソナルコンピュータ等の情報処理装置の表示部に表示できず、その表示には画素の補間処理などの画像処理が必要となる。そのため、ＲＡＷデータに撮影時の情報を画像パラメータとして付加し（特許文献１を参照）、情報処理装置にインストールされた画像処理プログラムによって表示可能となる。

また、電子カメラ等の画像処理装置では、ＡＥ（オートエクスポージャ：自動露出）、ＡＦ（オートフォーカス：自動焦点）等の自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。焦点検出方式にはいくつかの方法があり、例えば、特許文献２や特許文献３に開示されている。

特許文献２に記載の撮像装置は、光電変換部群の一部が撮影レンズの瞳の特定領域を透過する光束を受光するように構成されている。そして、これらの特定の光電変換部の出力から得られた第一の像信号と第二の像信号の位相差に基づいて、撮影レンズの焦点状態を検出している。ここで、位相差とは２つの像信号の相対的な位置関係のことである。また、通常の画像を撮像する場合は、撮影レンズの特定領域を透過する光束を受光する光電変換部を除いた光電変換部群で画像を生成している。そして、撮像素子の測距用の画素を周辺の色画素から補間した後、信号処理及び画像圧縮処理を行い、ＪＰＥＧ形式やＴＩＦＦ形式のデータを生成し記録している。

特許文献３にも、瞳分割方式の焦点検出を行う撮像装置が開示されている。この撮像装置では、隣接して１列に並んだ同色の色フィルタを有する画素のマイクロレンズ中心を通る直線上に並び、隣接画素同士でマイクロレンズ中心に対して逆向きにずれた画素で、撮影レンズの瞳の特定領域を透過する光束を受光する。そして、これら特定の光電変換部の出力から得られる第一の像信号と第二の像信号の位相差に基づいて撮影レンズの焦点状態を検出している。
特開２００３−３２４７４５号公報特開２０００−１５６８２３号公報特開２００５−３０３４０９号公報

特許文献２では、焦点検出用画素をＧ色のフィルタに相当する画素で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間している。

また、特許文献３では、焦点検出用画素をＧ色のフィルタ部分で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタで受光した映像信号として、画像信号を形成している。そのため、合焦近傍にあるときには、焦点検出用画素に光束を受光するが、合焦近傍にないときには焦点検出用画素に光束を受光しないという問題がある。そのため、合焦近傍にない焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間を行っている。

このように、ＲＡＷデータ記録時には、焦点検出画素はユーザーにとって傷であるため、補間後のＲＡＷデータを記録することが望ましい。しかしながら、従来の技術では、傷補正後のＲＡＷデータを記録するとＲＡＷデータの記録時に測距の情報は残らないことになる。

本発明は、上記の問題に鑑みてなされたものであり、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の距離情報を確保することを目的とする。

本発明の第１の側面は、画像処理装置に係り、撮影レンズの射出瞳を通過した光束を受光する第１の画素と前記撮影レンズの射出瞳の一部が遮光された光束を受光する第２の画素とが配列された撮像素子と、前記撮像素子の出力信号から前記第２の画素の画素信号を分離する分離手段と、前記第２の画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記第２の画素の位置の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された前記第２の画素の画素信号からオートフォーカス処理に用いる焦点情報を作成する焦点情報作成手段と、前記第２の画素の画素信号と当該第２の画素の位置情報とを、生成された前記ＲＡＷデータに関連付けてファイルとして記録する記録手段と、を備えることを特徴とする。

本発明の第２の側面は、画像処理装置に係り、撮影レンズの射出瞳を通過した光束を受光する第１の画素と前記撮影レンズの射出瞳の一部が遮光された光束を受光する第２の画素とが配列された撮像素子と、前記撮像素子の出力信号から前記第２の画素の画素信号を分離する分離手段と、前記撮像素子の出力信号のうち前記第２の画素の位置の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離され、複数の領域に分けられた前記第２の画素の画素信号に基づいて、前記複数の領域にそれぞれ対応する焦点情報を作成する焦点情報作成手段と、前記第２の画素の画素信号と当該第２の画素の位置情報とを、生成された前記ＲＡＷデータに関連付けてファイルとして記録する記録手段と、を備えることを特徴とする。

本発明の第３の側面は、画像処理プログラムに係り、上記の焦点情報作成手段により作成された焦点情報を処理し、その結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする。

本発明によれば、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の測距情報又は距離情報を確保することできる。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。レンズ１００を通って入射した被写体像は、撮像素子１０１で電気信号に光電変換される。ここで、撮像素子１０１には、図３に示すように画像データを形成するための撮像用画素（Ｒ、Ｇ、Ｂ）と位相差ＡＦを行うための焦点検出用画素（ａ、ｂ）とが配置されている。

Ａ／Ｄ変換部１０３は、撮像素子１０１から出力された電気信号（出力信号）をデジタル信号に変換する。デジタル信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号を、ＹＵＶデータ形式の画像データに変換する。Ａ／Ｄ変換部１０３は、ＷＢ回路、γ補正回路及びマトリクス変換回路などで構成されうる。

ＣＰＵ１０８は、画像処理装置の各部を制御する。例えば、ＣＰＵ１０８は、ＣＰＵ１０８内のＲＯＭに記録された焦点検出用画素の位置情報に基づいて、Ａ／Ｄ変換部１０３から出力されたデジタル信号から焦点検出用画素（ａ、ｂ）の画素信号を分離する分離手段として機能しうる。また、ＣＰＵ１０８は、焦点検出用画素の位置情報に基づいてＡ／Ｄ変換部１０３から出力されたデジタル信号のうち焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段としても機能しうる。このような補間処理は、焦点検出用画素の位置情報に基づいて、焦点検出用画素の位置を判断し、この部分の画素信号を周辺の画素より補間することにより行われる。例えば、図３のａを補間する場合には、周辺のＲ画素の画素信号を用いて、公知のバイキュービック法などを用いればよい。また、ＣＰＵ１０８は、分離した焦点検出用画素の画素信号と焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、分離された焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、ＲＡＷデータと測距情報からＲＡＷファイルを生成したりするファイル生成手段や、メモリＩ／Ｆ１０６を介して記録媒体などのメモリ１０７に測距情報、ＲＡＷファイルを記録する記録手段としても機能しうる。

なお、ＣＰＵ１０８で機能する焦点検出用画素（ａ、ｂ）の画素信号とを分離する分離手段をデジタル信号処理部１０４に持たせてもよい。また、焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段、測距情報を作成する測距情報作成手段、距離情報を作成する距離情報作成手段などの機能をデジタル信号処理部１０４に持たせてもよい。

位相差検出部１０５は、デジタル信号処理部１０４あるいはＣＰＵ１０８で分離した焦点検出用画素（ａ、ｂ）の画素信号に基づいて周知の方法により位相差検出を行う。位相差検出部１０５で得られた位相差検出結果は、ＣＰＵ１０８に送られる。ＣＰＵ１０８は、位相差検出部１０５から送られた検出結果に基づいて、鏡筒制御部１１１に制御信号を出力する。

操作部１１２は、撮影モードを静止画撮影と動画撮影に切り替えるボタンやシャッタースイッチ等の設定スイッチなどを含む。ＣＰＵ１０８は、操作部１１２で設定される撮影モードに応じて、タイミング制御部１０９に制御信号を送る。タイミングジェネレータ１１０は、タイミング制御部１０９からの制御信号に基づいて、画像データの読み出し駆動信号を生成する。

デジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データは、ＥＶＦ表示用としてメモリＩ／Ｆ１０６を介して、メモリ１０７に一時的に記憶される。ＬＣＤＩ／Ｆ１１３は、メモリ１０７に保存されたＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して表示部としてのＬＣＤ１１４の表示フォーマットに変換する。ＬＣＤ１１４は、ＬＣＤＩ／Ｆ１１３から出力される画像データに基づいてＥＶＦ表示を行う。

また、画像記録時はデジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して圧縮記録部１１５においてＪＰＥＧなどの規格に従って圧縮処理し、メモリ１１６に記憶する。

図２は、本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。

Ｓ１００では、操作部１１２により電源がＯＮされる。

Ｓ１０１では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ１の半押しの判定を行う。Ｓ１０１でシャッターＳＷ１が押されたと判定されると（Ｓ１０１で「ＹＥＳ」）、Ｓ１０２に進む。

Ｓ１０２では、ＣＰＵ１０８は、ＡＦ処理を行うよう位相差検出部１０５を制御する。ＡＦ処理としては、例えば、特許文献２に記載された技術を用いることが好ましい。特許文献２に記載のＡＦ処理を図３及び図４を用いて説明する。図３は、ＣＣＤやＣＭＯＳ等の撮像素子の画素配列である。この画素配列を構成する基本画素配列は、緑画素、赤画素、青画素のベイヤ配列で構成されている。各画素は、開口部を有し、この開口部を通過した光束が光電変換部で受光される。

図３では、緑画素をＧ、赤画素をＲ、青画素をＢとしている。緑画素Ｇには緑色光束を通過させる色フィルターが、赤画素Ｒには赤色光束を通過させる色フィルターが、そして青画素Ｂには青色光束を通過させる色フィルターがそれぞれ配置されている。各画素の開口部の下方には光電変換部が配置されている。このように１つの画素は、１つの光電変換部と、その上に配置された色フィルターと、更にその上に配置されたマイクロレンズとで構成されている。また、斜めに一列に並ぶ緑画素のうち、少なくとも一列は焦点検出用画素列となっており、その他の画素は撮像用画素となっている。なお、焦点検出用画素列には色フィルターが配置されていない。隣接して一列に並ぶ焦点検出用画素の開口部の一部に遮光層を設けることで、光電変換部の射出瞳が撮影レンズの光軸に対して偏りを持つように構成されている。偏りの向きは隣り合う焦点検出用画素同士で逆向きとなっている。また、ａ、ｂは焦点検出用画素であり、ａ、ｂを通過した光束を受光して得られる信号がＡ像信号とＢ像信号となる。

このＡ像信号−Ｂ像信号を受光する焦点検出用画素は、図３に示すように同一ラインに並んでいる。Ａ像信号−Ｂ像信号は、被写体の同一ラインから発せられた光による像信号である。そのため、焦点検出状態を検出する際に、Ａ像信号−Ｂ像信号はほぼ一致した形状が得らる。焦点検出を行うには、このＡ像信号−Ｂ像信号に対して相関演算を行い、２つの像信号のずれ量から撮影レンズのデフォーカス量が算出される。デフォーカス量算出で算出されたデフォーカス量に基づいて、撮影レンズを駆動しピント合わせを行う。

ここで、デフォーカス量算出における相関演算処理について説明する。図４に示すようなＡ像信号、Ｂ像信号が得られたとすると、生成した２つの像信号の位相差は撮影レンズの結像状態（合焦状態、前ピン状態、後ピン状態）により変化する。撮影レンズが合焦状態において２つの像信号の位相差は無くなり、前ピン状態と後ピン状態では異なる方向の位相差が生じる。更にこの２つの像信号の位相差は撮影レンズのデフォーカス量と一定の関係がある。ここでデフォーカス量とは撮影レンズにより被写体像が結像している位置とマイクロレンズ上面との距離である。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。

２つの像信号の位相差は、２つの像信号の相関を取ることで求められる。相関の取り方は“ＭＩＮアルゴリズム”と呼ばれるもので、Ａ像信号の出力データをＡ［１］〜Ａ［ｎ］とし、Ｂ像信号の出力データをＢ［１］〜Ｂ［ｎ］とすると、相関量Ｕ０は数式１のように表される。

…（数式１）
ここでｍｉｎ（ａ、ｂ）はａ、ｂの小さい方の値のことである。まずこのＵ０を計算する。次に図４に示すように、Ａ像信号を信号電圧の１ビットシフトしたデータとＢ像信号のデータの相関量Ｕ１を計算する。このＵ１は数式２のように表される。

…（数式２）
このように１ビットずつシフトした相関量を次々に計算する。２つの像信号が一致していればこの相関量は最大値をとるので、その最大値をとるシフト量を求め、その前後のデータから相関量の真の最大値を補間して求め、そのシフト量を２つの像信号の位相差とする。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。ＡＦ処理後、被写体にピントが合った状態となる。

Ｓ１０３では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ２が半押し状態から全押し状態になったと判定すると、Ｓ１０４に進む。Ｓ１０３でシャッターＳＷ１及びシャッターＳＷ２がＯＦＦとなると、Ｓ１０１へ戻り、ＣＰＵ１０８は、再びシャッターＳＷ１がＯＮになるのを待つ。Ｓ１０４では、ＣＰＵ１０８は、図５を参照して後述する撮影処理を行う。

図５は、図２のステップ１０４に示す撮影処理を示すフローチャートである。

Ｓ４０１では、ＣＰＵ１０８は、タイミング制御部１０９及びタイミングジェネレータ１１０を制御し、焦点検出用画素のあるＣＣＤやＣＭＯＳ等の撮像素子からの画素信号を出力させる。

Ｓ４０２では、Ａ／Ｄ変換器１０３は、画素信号をＡ／Ｄ変換し、焦点検出用画素データを含んだ画像データを生成する。焦点検出用画素データを含んだ画像データを図６に示す。

図６は、通常のベイヤ配列Ｇ、Ｒ、Ｂとの焦点検出用画素を複数もつラインで構成された画像データである。Ｇは緑画素、Ｒは赤画素、Ｂは青画素であり、これらでベイヤ配列が構成される。ａ１、ａ２、ａ３、ａ４、ｂ１、ｂ２、ｂ３、ｂ４は焦点検出用画素である。

Ｓ４０３では、ＣＰＵ１０８は、ＲＡＷデータ撮影であるか否かを判断する。ＲＡＷデータ撮影以外であれば（Ｓ４０３で「ＮＯ」）、Ｓ４０７に進む。Ｓ４０３でＲＡＷデータ撮影であると判断された場合は（Ｓ４０３で「ＹＥＳ」）、Ｓ４０４に進む。

Ｓ４０４では、ＣＰＵ１０８は、焦点検出用画素の分離処理（以下「焦点検出用画素分離処理」という。）を行う。焦点検出用画素分離処理については後述する。

Ｓ４０５では、ＣＰＵ１０８は、焦点検出用画素を含めて傷補正処理を行う。傷補正処理時には、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）に調整工程等によって予め格納された焦点検出領域の位置情報や、撮像素子の不良画素の位置情報に基づいて近傍の緑画素から傷補正を行う。傷補正後の画像データを図７に示す。図７においてＧａ１、Ｇａ２、Ｇａ３、Ｇａ４、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４は、その近傍の画素から傷補正した緑画素である。

Ｓ４０６では、ＣＰＵ１０８は、ファイル処理を行う。ファイル処理では、画像パラメータとして撮影時の情報を付加する。撮影時の情報には、ホワイトバランス、シャープネス、コントラストなどのデータが含まれる。画像処理プログラムは、ＲＡＷファイルを表示部に表示する時に必要な情報を全て含むものとする。

Ｓ４０７では、ＣＰＵ１０８は、焦点検出用画素を傷として補正する。

Ｓ４０８では、デジタル信号処理部１０４は、画像の信号処理（ホワイトバランスやシャープネス等）を行い、例えばＪＰＥＧ形式やＴＩＦＦ形式等で圧縮処理を行う。

Ｓ４０９では、ＣＰＵ１０８は、記録処理を行う。Ｓ４０９では、ＲＡＷデータと測距情報を図８に示すように、現状のＲＡＷフォーマットの互換を保ち、次の２つのどちらかの形式で記録する。まず、最初のファイルフォーマットを７０１に示すように、ＲＡＷファイルとは別に測距情報を別ファイルとして記録する。次のファイルフォーマットを７００に示すように、ＲＡＷデータの後に測距情報を付加する。どちらのファイル形式で記録するかはユーザーにより任意に設定されうる。また、７００では、ＲＡＷファイルのヘッダに、測距情報の有無を示す情報が付加されうる。また、７０１では、ＲＡＷファイルのヘッダに、対となる測距情報ファイルがあることを示す情報（例えば、測距情報ファイル名など）が付加されうる。ファイルフォーマット７００は同一ファイル内にＲＡＷデータと測距情報があるため、ユーザーにとってファイル管理がしやすいといった利点がある。ファイルフォーマット７０１は、パーソナルコンピュータ内に保存する時に、ユーザーが測距情報を使用しないと判断した場合、パーソナルコンピュータ内の記録媒体の使用量を抑えることが出来る。

次に、図５のＳ４０４に示した焦点検出用画素分離処理について説明する。図９は焦点検出用画素分離処理のフローチャートである。

Ｓ８０１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。

Ｓ８０２では、ＣＰＵ１０８は、Ｓ８０１で読み込んだ位置情報から焦点検出用画素を読み出す。

Ｓ８０３では、ＣＰＵ１０８は、メモリ１０７へ焦点検出用画素の画素情報とその位置情報とを格納する。

Ｓ８０４では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか運否かを判定する。読み込みが未終了であれば（Ｓ８０４で「ＮＯ」）、Ｓ８０１に戻る。焦点検出用画素を全て読み終えたら（Ｓ８０４で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。

焦点検出用画素分離処理が終了すると、図１０に示す測距情報が生成される。図１０に示すように、この測距情報は、図６の焦点検出用画素の画素信号とその位置情報（センサ情報）とを関連付けたものである。本実施形態では、行番号が同じ焦点検出用画素毎に測距情報を生成しているが、焦点検出用画素の画素信号と位置情報とが関連付けられていれば、これに限定されない。

（第２の実施形態）
次に、本発明の好適な第２の実施形態を図１１及び図１２を用いて説明する。第２の実施形態は、焦点検出用画素分離処理が第１の実施形態と相違する。その他については第１の実施形態と同様であるため、それらの説明を省略する。

Ｓ１００１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。

Ｓ１００２では、ＣＰＵ１０８は、Ｓ１００１で読み込んだ位置情報からＳ１００３の距離演算で使用する焦点検出用画素の画素情報（画素信号）を読み出す。

Ｓ１００３では、ＣＰＵ１０８は、焦点検出用画素情報を複数画素（例えば、Ｘ（行）方向に８画素、Ｙ（列）方向に６画素）の小ブロックに分ける。そして、第１の実施形態のＡＦ処理のように、デフォーカス量と方向とを算出し、撮影レンズのレンズ繰り出し量を決定する。この小ブロックにおける被写体距離をＤ、撮影レンズの繰り出し量、焦点距離をそれぞれＰ、ｆとすると、近似的にＤ≒ｆ^２／Ｐの関係より、小ブロックに対応する撮影画像の被写体距離を求めることができる。なお、被写体距離の算出方法は別の算出方法を用いてもよい。

Ｓ１００４では、ＣＰＵ１０８は、小ブロックの演算結果と小ブロックのマップ上のアドレスをメモリ１０７へ格納する。

Ｓ１００５では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか否かを判定する。読み込みが未終了であれば（Ｓ１００５で「ＮＯ」）、Ｓ１００１に戻る。焦点検出用画素を全て読み終えたら（Ｓ１００５で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。

焦点検出用画素分離処理が終了すると、図１２に示す測距情報が生成される。図１２に示すように、この測距情報（マップ情報）は、撮像素子を複数画素で構成されるブロックに分割し、ブロック毎に被写体までの距離とブロックの位置情報（マップアドレス）とを関連付けたものである。図１２は、図６の焦点検出用画素列からの測距情報により生成されている。本実施形態では、小ブロックを８×６画素としているが、更に小さいブロックや処理負荷軽減のために大きいブロックを単位としてもよい。

（第３の実施形態）
本発明の好適な第３の実施形態は、第１の実施形態で生成されたＲＡＷファイル又はＲＡＷファイルと測距情報ファイルとを合わせたファイルを用いた画像処理プログラムであり、図１３を用いて説明する。なお、本プログラムの各ステップＳ１２０１〜１２１４は、ＣＰＵ（コンピュータ）１０８あるいはパーソナルコンピュータ等の情報処理装置により実行される。

Ｓ１２０１では、画像ファイルが選択される。

Ｓ１２０２では、ＲＡＷデータを画像パラメータにより画像処理して表示する。

Ｓ１２０３では、画像編集が行われる否かを判定する。画像編集が行われる場合（Ｓ１２０３で「ＹＥＳ」）、Ｓ１２０４に進む。画像編集が行われない場合（Ｓ１２０３で「ＮＯ」）、Ｓ１２１２に進む。

Ｓ１２０４では、編集内容判定を行う。画像編集の編集内容がマップ表示であればＳ１２０５に進み、画像編集の編集内容がフォーカス枠表示であればＳ１２０９に進む。

Ｓ１２０５では、マップ表示のＯＮ／ＯＦＦを判定する。ＯＮの場合は（Ｓ１２０５で「ＯＮ」）、Ｓ１２０６に進み、ＯＦＦの場合は（Ｓ１２０５で「ＯＦＦ」）、Ｓ１２０８に進む。

Ｓ１２０６では、マップ情報作成処理を行う。マップ情報は、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様にして行われる。この場合、被写体距離の算出で使用される電子カメラ等の画像処理装置に固有の情報は、画像プログラムに含んでおくか、又は、ＲＡＷファイルの機種情報に保持しておいてもよい。

また、第２の実施形態で生成されたＲＡＷファイル又はＲＡＷファイル＋測距情報ファイルを用いる場合は、Ｓ１２０６のマップ情報作成処理を行わない。

Ｓ１２０７では、マップ情報を表示部としてのＬＣＤ１１４に表示する。表示されるマップ情報を図１４に示す。１３０１はＳ１２０６で算出した小ブロックのマップ情報の例を示す。各小ブロックに表示された値は、便宜上簡略化した被写体までの距離（単位はメートル）である。ただし、値が表示されていない小ブロックは距離無限大を意味するものとする。

Ｓ１２０５でマップ表示がＯＦＦと判断された場合には、Ｓ１２０８でマップ情報の表示をクリアする。この場合、画像表示は残したままにする。

Ｓ１２０９では、フォーカス枠表示のＯＮ／ＯＦＦ判定を行う。フォーカス枠表示がＯＮであれば、Ｓ１２１０に進む。フォーカス枠表示がＯＦＦであれば、Ｓ１２１１に進む。

Ｓ１２１０では、フォーカス枠表示を行う。フォーカス枠表示は、測距情報により、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様に位相差を算出し、位相差のないブロック枠を画面に表示する。

フォーカス枠表示の例を図１５に示す。１４０１がフォーカス枠であり、撮影時にピントが合っている。本例では、１枠しか表示されていないが、複数の枠が表示されてもよい。

Ｓ１２１１では、Ｓ１２０９でフォーカス枠表示がＯＦＦと判定された場合に、フォーカス枠表示クリアを行う。この場合、画像表示は残したままにする。また、Ｓ１２０４の編集内容判定には、不図示ではあるが、Ｓ１２０５のマップ表示判定やＳ１２０９のフォーカス枠表示判定以外に画像編集機能全般が含まれる。このような画像編集機能としては、例えば、拡大／縮小、ホワイトバランス／シャープネス／コントラスト調整、印刷、画像データを記録メディア（ハードディスク、ＳＤカードなど）に記録する機能などがある。また、距離マップやフォーカス枠を表示することで、シャープネスやコントラスト、ホワイトバランスなどの調整が行いやすく、細かい調整が可能となる。

Ｓ１２１２では、画像編集終了判定を行う。未終了であれば（Ｓ１２１２で「ＮＯ」）、Ｓ１２０３の画像編集判定へ戻り、処理を繰り返し行う。Ｓ１２１２で画像編集が終了したと判定された場合には（Ｓ１２１２で「ＹＥＳ」）、Ｓ１２１３に進む。

Ｓ１２１３では、表示されている画像データをクリアする。

Ｓ１２１４では、画像処理プログラムの終了判定を行う。終了していれば（Ｓ１２１４で「ＹＥＳ」）、画像処理プログラムを終了する。未終了であれば（Ｓ１２１４で「ＮＯ」）、Ｓ１２０１の画像選択へ戻り繰り返し処理を行う。

以上、本発明を実施形態１から実施形態３に基づいて具体的に説明したが、本発明は、上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲内において、種々の変更が可能である。

本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。本発明の好適な第１の実施形態に係る撮像素子の画素配列を示す図である。本発明の好適な第１の実施形態に係る相関演算処理の説明図である。本発明の好適な第１の実施形態に係る撮影処理のフローチャートである。本発明の好適な第１の実施形態に係る撮像素子信号の画像データ概念図である。本発明の好適な第１の実施形態に係る傷補正後の画像データ概念図である。本発明の好適な第１の実施形態に係るＲＡＷファイルフォーマットを示す図である。本発明の好適な第１の実施形態に係る焦点検出用画素分離処理のフローチャートである。本発明の好適な第１の実施形態に係る測距情報ファイルフォーマットを示す図である。本発明の好適な第２の実施形態に係る焦点検出用分離処理（マップ情報）のフローチャートである。本発明の好適な第２の実施形態に係る測距情報（マップ情報）ファイルフォーマットを示す図である。本発明の好適な第３の実施形態に係る画像処理プログラムのフローチャートである。本発明の好適な第３の実施形態に係る被写体距離表示の概念図である。本発明の好適な第３の実施形態に係るフォーカス枠表示の概念図である。

符号の説明

１０１撮像素子
１０７メモリ
Ｒ、Ｇ、Ｂ撮像用画素
ａ、ｂ焦点検出用画素

Claims

撮影レンズの射出瞳を通過した光束を受光する第１の画素と前記撮影レンズの射出瞳の一部が遮光された光束を受光する第２の画素とが配列された撮像素子と、
前記撮像素子の出力信号から前記第２の画素の画素信号を分離する分離手段と、
前記第２の画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記第２の画素の位置の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離された前記第２の画素の画素信号からオートフォーカス処理に用いる焦点情報を作成する焦点情報作成手段と、
前記第２の画素の画素信号と当該第２の画素の位置情報とを、生成された前記ＲＡＷデータに関連付けてファイルとして記録する記録手段と、
を備えることを特徴とする画像処理装置。
撮影レンズの射出瞳を通過した光束を受光する第１の画素と前記撮影レンズの射出瞳の一部が遮光された光束を受光する第２の画素とが配列された撮像素子と、
前記撮像素子の出力信号から前記第２の画素の画素信号を分離する分離手段と、
前記撮像素子の出力信号のうち前記第２の画素の位置の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離され、複数の領域に分けられた前記第２の画素の画素信号に基づいて、前記複数の領域にそれぞれ対応する焦点情報を作成する焦点情報作成手段と、
前記第２の画素の画素信号と当該第２の画素の位置情報とを、生成された前記ＲＡＷデータに関連付けてファイルとして記録する記録手段と、
を備えることを特徴とする画像処理装置。
前記ファイルを記録媒体へ記録する記録手段を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
請求項１又は請求項２に記載の焦点情報作成手段により作成された焦点情報を処理し、その結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする画像処理プログラム。