JP2008288706A - 撮像装置、画像処理装置、画像ファイル及び階調補正方法 - Google Patents

Abstract

【課題】画面の全体に焦点のあった画像を、奥行き感のある立体的なものとする。
【解決手段】画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得する。その距離情報に基づいて領域毎に階調補正特性を設定し、その階調補正特性によって領域毎に階調補正を施す。これによって、画像内の被写体の距離の違いを強調することができる。
【選択図】図７

Description

本発明は画像の階調補正が可能な撮像装置及び画像処理装置に関し、特に撮像装置からの距離が異なる複数の被写体の画像の階調補正に関する。

現在広く普及しているデジタルカメラやデジタルビデオなどといった撮像装置では、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の画素数の向上により高精細な画像が撮影できるようになっている。さらに、撮影した画像の階調を自動的に補正して、記録される画像を見栄えのよいものとする撮像装置も既に提案されている。従来の一般的な階調補正は、例えば、撮影画像の全体に鮮明な画像にするため、近景も遠景も同じように鮮明な画像とするものである。

ところで、コンパクトサイズのデジタルカメラのような小型の撮像装置においては、レンズの口径が小さいため撮影された画像は被写界深度の深いものとなっており、焦点が全体に合ったものとなっている。しかし、撮影者に実際に見えている光景では、撮影者からの距離が近い物体ほど鮮明であり、距離が遠い物体ほどぼやけている。つまり、撮影者の肉眼には奥行き感のある立体的な画像が見えている。

そこで、特許文献１では撮影レンズの焦点距離又は被写体の撮影距離の少なくとも一方を利用して階調の変換を変化させる方法が提案されている。マクロ撮影のように焦点距離が長く、撮影距離が短い場合は中間域の階調変化を強調して白とびや黒つぶれを抑制して画面全体の階調表現を視覚的に滑らかなものとし、一方、風景撮影のように焦点距離が短く、撮影距離が長い場合は中間域の階調変化を弱めて階調を変換し、中間域に集中した階調変化域を拡げてメリハリのある画像に変換させている。
特開２００４−２１５１００号公報

しかし、近景、遠景が混在し、焦点が全体に合った画像に対して特許文献１で提案された階調の変換方法を適用する場合、上述のマクロ撮影用の変換方法又は風景撮影用の変換方法のいずれかが適用されることとなる。マクロ撮影用の変換方法では画面全体の階調表現が視覚的に滑らかなものとなり、風景撮影用の変換方法では画面全体がメリハリのあるものとなる。

しかし、いずれにしても、近景、遠景の区別なく画面全体に同一の変換条件を適用するため、画面内では近景が遠景に埋もれてしまい、実際に撮影者に見えているような奥行き感は得られない。

そこで、本発明は、小型の撮像装置のように焦点が全体に合った画像しか撮影できない撮像装置でも撮影した画像を奥行き感のある立体的な画像とすることができる撮像装置並びに焦点が全体に合った画像でも、奥行き感のある立体的なものとする画像処理装置及び画像処理方法を提供することを目的とする。又、焦点が全体に合った画像を奥行き感のある立体的なものとするための被写体までの距離情報を、その画像とともに関連づけて記録できる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の被写体が含まれる撮像画像を取得する撮像部と、前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、前記各被写体の撮像距離に応じた階調補正特性に基づいて、前記撮像画像に階調補正を施す階調補正部と、を、備えることを特徴とする。

又、前記階調補正特性は、さらに前記撮像画像に含まれる各被写体の平均輝度に応じてなるものとしても構わない。

又、本発明の撮像装置は、複数の被写体が含まれる撮像画像を取得する撮像部と、前記撮像画像を複数の分割領域に分割する領域分割部と、前記各分割領域を、前記撮像部から当該分割領域に含まれる被写体までの距離である撮像距離を検出する撮像距離検出部と、前記各撮像距離に応じた階調補正特性に基づいて、前記分割領域ごとに階調補正を施す階調補正部と、を、備えることを特徴とする。

又、前記検出された撮像距離に基づいて、前記複数の分割領域を複数の距離グループに区分する距離グループ生成部を備え、前記階調補正部では、前記各距離グループに応じた階調補正特性に基づいて、前記分割領域を属する前記各距離グループごとに階調補正を施すものとしても構わない。

又、前記階調補正特性は、前記撮像距離が所定の距離より長い場合はコントラストが低くなるように変換し、所定の距離より短い場合はコントラストが高くなるように変換するものとしても構わない。又、前記階調補正特性は、さらに前記各分割領域の平均輝度に応じてなるものとしても構わない。又、近接する領域で適用される階調補正特性が異なる場合は、近接する領域の中心点で囲まれた画素については、近接する領域で適用される階調補正特性をその画素から近接する領域の中心点までの距離に基づいて線形補完した階調補正特性を適用しても構わない。又、複数の特定の距離について階調補正特性を設定し、前記領域の前記被写体までの距離が前記特定の距離以外の距離である場合は、隣接する前記特定距離に設定された階調補正特性を前記領域の前記被写体までの距離について線形補完した階調補正特性を適用しても構わない。

又、本発明の撮像装置は、複数の被写体が含まれる撮像画像を取得する撮像部と、前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、前記撮像画像と前記各被写体の撮像距離に関する情報を互いに関連づけて記録する記録部と、を、備えることを特徴とする。

又、本発明の画像処理装置は、複数の被写体を含む撮像画像に階調補正を施す画像処理装置であって、前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に応じた階調補正特性に基づいて、前記撮像画像に階調補正を施す階調補正部を備えることを特徴とする。

又、本発明の画像ファイルは、複数の被写体が含まれる撮像画像と、前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に関する情報とが、互いに関連づけて構成されることを特徴とする。

又、本発明の階調補正方法は、被写体までの距離である撮像距離を検出する撮像距離検出ステップと、複数の前記被写体が含まれる撮像画像を取得する撮像ステップと、前記撮像距離検出ステップで検出した前記各被写体の撮像距離に応じた階調補正特性に基づいて、前記撮像ステップで取得した前記撮像画像に階調補正を施す階調補正ステップと、を、備えることを特徴とする。

本発明によると、従来のように画面全体に同一の条件で階調を補正するのではなく、画面を区分した領域に含まれる被写体までの距離に基づいて、領域毎に補正の条件を設定するため、焦点が全体に合った画像でも奥行き感のある立体的なものとすることができる。

本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるレンズとレンズの焦点を合わせるためのモータを有するレンズ部１８と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して、階調補正を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、静止画を撮影する場合は画像処理部４からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式や、動画を撮影する場合は画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各部ロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。レンズ部１８は、画像処理部４で検出した画像信号に応じてＣＰＵ１３が、モータを駆動して焦点、絞りの制御を行うものである。

（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードについて階調補正モードが選択されているかどうかを検出する（ＳＴＥＰ２０２）。階調補正モードについては後述する。階調補正モードが選択されていない場合、イメージセンサ１の駆動モードを自動的にプレビューモードに設定する（ＳＴＥＰ２１５）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２においてデジタル信号に変換されて、画像処理部４で画像処理が施され、圧縮処理部６で圧縮された現時点の画像に対する画像信号が外部メモリ２０に一時的に記録される。この圧縮信号は、ドライバ部７を経て、伸長処理部８で伸長され、現時点の画像がディスプレイ部９に表示される。

続いて、画像処理部４に入力された画像信号を基にＣＰＵ１３によってレンズ部１８を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２１６）。ユーザが撮影画角、構図を決定し、操作部１５のシャッターボタンを半押しすると（ＳＴＥＰ２１７）、ＡＥ及びＡＦの最適化処理を行う（ＳＴＥＰ２１８）。

撮影用のＡＥ・ＡＦが設定された後、シャッターボタンが全押しされると（ＳＴＥＰ２１９）、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、画像処理部４及び圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２２０）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ２でデジタル信号に変換して一旦画像処理部４内のフレームメモリに書き込む（ＳＴＥＰ２２１）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部４において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２２２）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ２１４）、撮影を完了する。その後、撮影待機状態とするため階調補正モードが選択されているかどうかの検出状態に戻る（ＳＴＥＰ２０２）。

（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。

そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。

このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

又、外部メモリ２０に記録された動画を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。

画像を再生することが指示された場合は、外部メモリ２０に記録された圧縮信号が伸長処理部８において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生される。

（階調補整モード）
次に階調補正モードについて説明する。本発明の撮像装置では、画像処理部４に、画像中の被写体の距離情報と輝度情報を算出してそれに基づいた階調補正を撮影した画像に施すことができる距離依存階調補正部４０を備え、このような撮影モードを階調補正モードと呼ぶ。距離依存階調補正部４０の構成及びその階調補正モードにおける動作について以下に説明する。

図３は距離依存階調補正部４０の構成を示すブロック図である。距離依存階調補正部４０は、シャッターボタンを半押した際にＡＦＥ２でデジタル信号とされた距離検出用画像及びシャッターボタンを全押しした際にＡＦＥ２でデジタル信号とされた記録用画像を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された距離検出用画像（デジタル信号）を所定の領域に区分し各領域における撮像装置から被写体までの距離を検出する距離情報検出部４２と、距離情報検出部４２で検出した各領域の被写体までの距離を記憶する距離情報記憶部４４と、フレームメモリ４１に記憶された記録用画像のデジタル信号を読み込んで上述の所定の領域に区分し各領域の平均輝度を算出する輝度情報算出部４５と、輝度情報算出部４５で算出された各領域の平均輝度を記憶する輝度情報記憶部４６と、距離情報記憶部４４に記憶された各領域の被写体までの距離と輝度情報記憶部４６に記憶された各領域の平均輝度とメモリ１４に記憶された階調補正テーブルに基づいてフレームメモリ４１から読み込んだ記録用画像信号（デジタル信号）に対して階調補正を施す階調補正部４７と、階調補正部４７で階調補正が施された記録用画像信号より輝度信号及び色差信号を生成する信号処理部４８と、を備える。

次にこのように構成される距離依存階調補正部４０の動作について説明する。図２のＳＴＥＰ２０２で階調補正モードが選択されていることを検出し、シャッターボタンが半押しにされていることを検出する（ＳＴＥＰ２０３）と、距離検出用画像を撮影し、フレームメモリ４１に記憶させる。距離情報検出部４２ではフレームメモリ４１に記憶された距離検出用画像を所定の領域に区分し各領域の撮像装置から被写体までの距離を検出し、距離情報記憶部４４では距離情報検出部４２で検出した各領域における被写体までの距離（以下距離情報とする場合もある）を記憶する（ＳＴＥＰ２０４）。

ここで、距離情報検出部４２の構成及び動作の一例について図を用いて説明する。図４は距離情報検出部の構成を示すブロック図、図５は距離情報を検出する動作を説明するためのフローチャートである。距離情報検出部４２は、図４に示すように、合焦距離を変化させて撮影された複数枚の画像からなる距離検出用画像（デジタル信号）をフレームメモリ４１から合焦距離の長いものの順に読み込んで所定の領域に区分し各領域の輝度信号の高周波成分の強度を検出する高周波成分検出部４２ａと、高周波成分検出部４２ａで検出されたある合焦距離での画像信号の各領域での高周波成分の強度とそれより長い合焦距離での画像信号の各領域での高周波成分の最高強度とを比較する高周波成分比較部４２ｂとを備える。

次に動作について説明する。図５に示すように、階調補正モードでシャッターボタンを半押しされていることを検出する（ＳＴＥＰ２０３）と、レンズ部１８の全合焦範囲で無限遠から最短距離まで所定の間隔（１段階）毎に合焦距離を変化させて複数枚の距離検出用画像を撮影し、ＡＦＥ２でデジタル信号に変換してフレームメモリ４１に書き込む（ＳＴＥＰ５０１）。高周波成分検出部４２ａでは、フレームメモリ４１に記憶された距離検出用画像のデジタル信号を無限遠から最短距離まで合焦距離の長いものの順に読み込んで所定の領域に区分し各領域の輝度信号の高周波成分の強度を検出する（ＳＴＥＰ５０２）。

高周波成分比較部４２ｂでは、最初に合焦距離が無限遠の画像の各領域の高周波成分の強度を高周波成分検出部４２ａから読み込み（ＳＴＥＰ５０３）、続いて１段階合焦距離の短い画像の各領域の高周波成分の強度を読み込み（ＳＴＥＰ５０４）、各領域での高周波成分の強度を比較し、各領域について高い方の強度及びその合焦距離を記憶する（ＳＴＥＰ５０５）。ある領域について、無限遠での高周波成分の強度をｈ₁、１段階短い合焦距離での高周波成分の強度をｈ₂とするとき、ｈ₁≧ｈ₂であればｈ₁、ｈ₁＜ｈ₂であればｈ₂を、その合焦距離範囲での最高の強度Ｈとして合焦距離とともに記憶する。

次に、さらに１段階合焦距離の短い画像があるかどうかを確認する（ＳＴＥＰ５０６）。このとき１段階合焦距離の短い画像があれば（ＳＴＥＰ５０６でＹｅｓ）、その各領域の高周波成分の強度を読み込み（ＳＴＥＰ５０４）、記憶しているそれより長い合焦距離範囲（それまでに読み込んだ合焦距離範囲）での各領域の高周波成分の最高強度Ｈと比較する。そして、各領域について高い方の強度及びその合焦距離を記憶する。ある領域について、ある合焦距離での高周波成分の強度をｈ_nとするとき、ｈ_n≧Ｈであればｈ_n、を新たにＨの値としてその合焦距離とともに更新し、ｈ_n＜ＨであればそれまでのＨの値と合焦距離とを維持する。

高周波成分の強度は撮像装置から被写体までの距離と合焦距離とが近いほど高くなる。この比較動作を全ての段階の画像について完了する（ＳＴＥＰ５０６でＮｏ）と、高周波成分比較部４２ｂには各領域について高周波成分の最高の強度Ｈとその強度を示した合焦距離が記憶されており、これは各領域における撮像装置から被写体までの距離情報である。距離情報記憶部４４では、各領域における最高強度を示した合焦距離を高周波成分比較部４２ｂから読み込む（ＳＴＥＰ２０４）。

図６は距離検出用画像及び記録用画像の一例である。図７は図６の画像を所定の領域に区分した一例であり、所定の領域を縦１６列、横１６行の合計２５６個からなるものとしている。各領域は複数の画素からなる。又、図８は縦軸を高周波成分の強度、横軸を合焦距離とした各領域の高周波成分の強度と合焦距離との関係を示すグラフである。図８の１本の曲線が１個の領域に対応する。上述のように、高周波成分は撮像装置から被写体までの距離と合焦距離とが近いほど強度が高くなる。

近景部分に最大強度を有する３本の曲線ａ１〜ａ３はいずれも図６の画像中の右側の人物を含む３個の領域のものである。曲線ａ１〜ａ３では、高周波成分が最大強度となる合焦距離は同じであるものの、最大強度の大きさは異なる。いずれの領域も被写体の位置が同じであるため最大強度となる合焦距離は同じとなる。しかし、領域に被写体のエッジを含んでいる、領域の全面を被写体が覆っているなど、領域毎に含まれる被写体の状態が異なるため、最大強度が異なるものとなる。

同様に、中景部分に最大強度を有する曲線ｂ１〜ｂ３は図６の画像中の路面電車を含む３個の領域、遠景部分に最大強度を有する曲線ｃ１〜ｃ５は図６の画像中の建物を含む５個の領域のものであり、いずれも最大強度の合焦距離は同じであるが、最大強度が異なっている。

図９は１個の領域中に撮像装置からの距離の異なる複数の被写体が存在している場合の画像の一例であり、図１０は撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。図９では領域中に近景であるうちわ及び人物と、中景である路面電車が含まれている。このような領域では、図１０に示すように、近景の範囲と中景の範囲の２箇所に高周波成分の強度の極大値が現れることとなる。このように１個の領域中に高周波成分の強度の極大値が２箇所以上現れた場合、最大の強度となる合焦距離をその領域での被写体までの距離として採用してもよい。

又、所定の閾値以上の極大値を検出し、そのうち合焦距離の最も短いもの又は最も長いものを採用してもよい。又、所定の閾値以上の極大値を合焦距離の順に並べた際に中心となるものを合焦距離を採用してもよい。所定の閾値以上の極大値が偶数個の場合は中心がないため、中心に近い２個の閾値のうちいずれかを採用してもよい。

ＳＴＥＰ２０４において、距離情報記憶部４４で距離情報を記憶した後、階調補正部４７では、距離情報記憶部４４で記憶された距離情報を読み込んで、各領域を被写体までの距離によって複数のグループにグループ化する（ＳＴＥＰ２０５）。例えば近景、中景、遠景からなる３個のグループにグループ化し、近景は例えば被写体までの距離が０〜４ｍ、中景は４ｍ〜１０ｍ、遠景は１０ｍ以遠とすることができる。尚、本実施形態では各領域のグループ化は階調補正部４７で行うものとしたが、距離依存階調補正部４０に各領域のグループ化を行う距離グループ生成部を階調補正部４７の他に設けてもよい。

図１１は図６の画像を距離情報記憶部４４に記憶された、各領域における最高強度を示した合焦距離に基づいて、各領域を近景、中景、遠景の３個のグループにグループ化した例であり、近景を右下がりの斜線、中景を縦線、遠景を右上がりの斜線で網掛けしている。

階調補正部４７で各領域を距離別にグループ化した後、構図、画角が変化したかどうかを検出する（ＳＴＥＰ２０６）。構図、画角が変化したことを検出した場合については後述する。構図、画角が変化したことを検出せず、シャッターボタンが全押しされていることを検出する（ＳＴＥＰ２０７）と、ＡＥ及びＡＦの最適化処理を行い、イメージセンサ１から出力されるアナログ信号である記録用画像をＡＦＥ２でデジタル信号に変換してフレームメモリ４１に記憶させる（ＳＴＥＰ２０８）。輝度情報算出部４５ではフレームメモリ４１に記憶された記録用画像（デジタル信号）を読み込んで、上述の距離情報検出部４２で区分したものと同じ所定の領域に区分して各領域について平均輝度を算出し、輝度情報記憶部４６では輝度情報算出部４５で算出された平均輝度を記憶する（ＳＴＥＰ２０９）。

階調補正部４７では、輝度情報記憶部４６から各領域の平均輝度を読み込んで、各領域を平均輝度によってグループ化する。例えば平均輝度がＬａ以上の高輝度、平均輝度がＬｂ以上Ｌａ未満の中輝度、平均輝度がＬｂ未満の低輝度の３個のグループにグループ化する。ここで、Ｌａ、Ｌｂは撮像装置に応じて設定可能な任意の値である。さらに、メモリ１４に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当てる（ＳＴＥＰ２１０）。

続いて、フレームメモリ４１に記憶された記録用画像を読み込んで各領域にこの階調補正テーブルを適用して階調補正を行う（ＳＴＥＰ２１１）。階調補正を行った画像について、圧縮処理部６においてＪＰＥＧ形式に圧縮（ＳＴＥＰ２１２）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ２１４）、撮影を完了する。その後、撮影待機状態とするため階調補正モードが選択されているかどうかの検出状態に戻る（ＳＴＥＰ２０２）。

ＳＴＥＰ２１２で階調補正を行った画像信号を圧縮処理部６において圧縮する際に、階調補正を行った画像信号のみならず階調補正を行っていない画像信号についても圧縮し、図１２に示すように、外部メモリ２０に書き込むファイル８０には圧縮した階調補正を行っていない画像信号８１に付加したヘッダ部８２に、ＳＴＥＰ２０４で距離情報記憶部４４に記憶された各領域における最高強度を示した合焦距離情報８２ａ及びＳＴＥＰ２０９で輝度情報記憶部４６に記憶された各領域についての平均輝度情報８２ｂを併せて書き込んでもよい。このようなヘッダ部８２に合焦距離情報及び平均輝度情報を書き込む形式としては例えばｅｘｉｆ形式を用いることができる。なお、外部メモリ２０には、圧縮した階調補正を行った画像信号については書き込まず、ヘッダ部に合焦距離情報及び平均輝度情報を有する圧縮した階調補正を行っていない画像信号のみを書き込むことをユーザが選択できるようにしても構わない。又、合焦距離情報の代わりに属する距離範囲のグループ情報をヘッダ部に書き込んでもよい。又、階調補正を行っていない画像信号では平均輝度情報は改めて算出することができるためヘッダ部８２に書き込まなくてもよい。又、合焦距離情報や属する距離範囲のグループ情報、平均輝度情報は、圧縮符号としてヘッダ部８２に書き込んでもよい。

（構図、画角が変化したことを検出した場合）
ここで、ＳＴＥＰ２０６で構図、画角が所定量以上変化したことを検出した場合、ユーザに対して画角が変化したこと及びシャッターボタンを開放して半押しし直すことをディスプレイ部９での表示やスピーカ部１１からの音声によって通知し、シャッターボタンが半押しし直されたかどうかを検知する（ＳＴＥＰ２１３）。半押しし直された場合は再び距離検出用画像を撮影して各領域における最高強度を示した合焦距離を検出し、記憶する（ＳＴＥＰ２０４）。ここで、構図、画角の変化の検出は、ＣＰＵ１３で逐次算出されているＡＥ評価値の変化や、逐次取り込まれてＡＦＥ２でデジタル信号化されるイメージセンサ１上の画像からＣＰＵ１３で検出した被写体の動きベクトルの変化、又は加速度センサのような動きを検出するセンサによって検出することができる。

ＳＴＥＰ２１３で半押しし直されず、全押しされた場合はＳＴＥＰ２０７以降の処理を階調補正を省略して続けてもよい。又、動きベクトルの変化や加速度センサによってシャッターボタンの半押しから全押しまでの間に構図、画角の変化した量を検出している場合は、その検出した変化量に基づいて変化する前の画像の距離情報を変化した後の画像に適合するようにシフトさせ、変化した後の画像の各領域に階調補正の入出力特性を割り当て（ＳＴＥＰ２１０）、階調補正を行ってもよい（ＳＴＥＰ２１１）。この場合、距離情報のない領域については階調補正は行わないでもよい。

（階調補正テーブル）
次に、階調補正テーブルについて説明する。本実施形態の階調補正テーブルは、近景、中景、遠景の３個の距離グループ及び高輝度、中輝度、低輝度の３個の平均輝度グループに対して割り当てられた図１３（ａ）〜図１３（ｉ）のグラフに示す９個の入出力特性からなる。各グラフは横軸を階調補正前の入力輝度値、縦軸を階調補正後の出力輝度値とするものである。この入出力特性に基づいて各領域を構成する各画素は輝度が変換される。

まず、中景のグループに属する領域に対して割り当てられた入出力特性について説明する。図１３（ｄ）〜図１３（ｆ）はいずれも中景のグループに属する領域に対して割り当てられた入出力特性であり、領域内の画素の輝度にかかわらずグラフの傾きｋは例えば１として一定とし、特に変換しない。これにより、補正後の近景及び遠景の中間的な輝度の画像となる。

次に近景のグループに属する領域に対して割り当てられた入出力特性について説明する。近景に属する領域は、画像中で中景、遠景よりも強調するように補正する。

図１３（ａ）は近景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を低く変換するもので、輝度がＬ１１以上の部分のグラフの傾きをｋ１１、Ｌ１１以下の部分の傾きをｋ１３とすると、ｋ１３＜ｋ＜ｋ１１として（ｋは中景のグループに属する領域に対して割り当てられた入出力特性の傾き）、輝度の高い部分では階調幅を広げるように変換する。ここでは輝度Ｌ１１と、平均輝度で画面の各領域をグループ化する際の基準としたＬａとの関係をＬ１１＜Ｌａとして、対象となる領域の属する高輝度範囲全体で階調幅を広げるように変換することとしている。

図１３（ｂ）は近景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ２１以上の部分でのグラフの傾きをｋ２１、Ｌ２２以上Ｌ２１以下の部分の傾きをｋ２２、Ｌ２２以下の部分での傾きをｋ２３とすると、ｋ２１（ｋ２３）＜ｋ＜ｋ２２として、輝度の高い部分ではより輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。傾きｋ２１とｋ２３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ２１及びＬ２２とＬａ及びＬｂとの関係をＬ２２＜Ｌｂ＜Ｌａ＜Ｌ２１として対象となる領域の属する中輝度範囲全体の階調幅を広げるように変換することとしている。

図１３（ｃ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くして強調するもので、輝度がＬ３２以上の部分の傾きをｋ３１、Ｌ３２以下の部分の傾きをｋ３３とすると、ｋ３１＜ｋ＜ｋ３３として、低輝度部分の階調幅を広げるように変換する。ここでは輝度Ｌ３２とＬｂとの関係をＬｂ＜Ｌ３２として、対象となる領域の属する低輝度範囲全体の階調幅を広げるように変換することとしている。

次に遠景のグループに属する領域に対して割り当てられた入出力特性について説明する。遠景に属する領域は、画像中で近景、中景よりも目立たないように補正する。

図１３（ｇ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ７１以上の部分の傾きをｋ７１、Ｌ７１以下の部分の傾きをｋ７３とすると、ｋ７１＜ｋ＜ｋ７３として、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。ここでは輝度Ｌ７１とＬａとの関係をＬ７１＜Ｌａとして対象となる領域の属する高輝度範囲全体で階調幅を狭くするように変換している。

図１３（ｈ）は遠景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ８１以上の部分での傾きをｋ８１、Ｌ８２以上Ｌ８１以下の部分での傾きをｋ８２、Ｌ８２以下の部分での傾きをｋ８３とすると、ｋ８２＜ｋ＜ｋ８１（ｋ８３）として、輝度の高い部分では輝度を低くし、輝度の低い部分では輝度を高くするように変換し、中輝度部分では階調幅を狭くするように変換して全体的に輝度を平均化しコントラストを低くする。傾きｋ８１とｋ８３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ８１及びＬ８２とＬａ及びＬｂとの関係をＬ８２＜Ｌｂ＜Ｌａ＜Ｌ８１として対象となる領域の属する中輝度範囲全体の階調幅を狭くするように変換することとしている。

図１３（ｉ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、輝度がＬ９２以上の部分のグラフの傾きをｋ９１、Ｌ９１以下の部分の傾きをｋ９３とすると、ｋ９３＜ｋ＜ｋ９１として、高輝度部分の階調幅を広くするように変換し、低輝度部分の階調幅を狭くするように変換してコントラストを低くする。ここでは輝度Ｌ９２とＬｂとの関係をＬｂ＜Ｌ９２として、対象となる領域の属する低輝度範囲全体の階調幅を広くするように変換しすることとしている。

以上のような階調補正テーブルを用いて距離依存階調補正を行うことにより、近景はコントラストが高く、遠くなるにしたがってコントラストが低くなり、奥行き感のある立体的な画像を得ることができる。

（入出力特性の補完１）
しかし、領域間で階調補正に用いる入出力特性が異なると、領域の境界では画像に特性の違いによって境界が現れることとなる。そこで、領域間で境界をぼかして目立たなくするように、入出力特性の異なる隣接する領域を構成する画素の階調補正に用いる入出力特性にグラデーションを与える。

図１４に４個の領域の模式図を示す。領域７１〜７４の中心をそれぞれ７１ａ〜７４ａ、領域７１〜７４の４個の領域が共有する点を原点Ｏ、図面横方向をｘ軸、縦方向をｙ軸とし、各領域の１辺の長さを２ａとする。このとき中心７１ａの座標は（ａ，ａ）、中心７２ａの座標は（−ａ，ａ）、中心７３ａの座標は（−ａ，−ａ）、中心７４ａの座標は（ａ，−ａ）である。

各領域の中心に位置する画素では各領域に設定された入出力特性を階調補正に用い、原点Ｏを共有する４個の領域の中心に囲まれた画素では各領域に設定された入出力特性をその画素から各領域の中心までの距離で線形補完したものを階調補正に用いる。ここでは、図１４に示す領域７１に属し、中心７１ａ〜７４ａに囲まれた画素７１ｂについて考える。領域７１〜７４に設定された入出力特性の或る入力輝度値での出力輝度値をそれぞれＡ、Ｂ、Ｃ、Ｄとし、その入力輝度値での画素７１ｂにおける出力輝度値をＺ、画素７１ｂの中心座標を（ｘ，ｙ）とすると、
Ｚ＝［｛（ａ＋ｘ）Ａ＋（ａ−ｘ）Ｂ｝／２ａ］（ａ＋ｙ）／２ａ
＋［｛（ａ＋ｘ）Ｃ＋（ａ−ｘ）Ｄ｝／２ａ］（ａ−ｙ）／２ａ
となる。なお、隣接する２個の領域の中心を結ぶ線上の画素ではこれらの２個の領域に設定された入出力特性を線形補完したものを階調補正に用いる。

図１５は異なる入出力特性の間を線形補完によりグラデーションを与えて変化させた入出力特性のグラフである。図１５に５本の入出力特性のグラフｐ１〜ｐ５を示す。ｐ２〜ｐ３は、ｐ１とｐ５の間を等間隔で線形補完したものである。ｐ１は図１４の領域７１の入出力特性であり、図１３（ｃ）である。ｐ５は領域７２の入出力特性であり、図１３（ｆ）である。中心７１ａにはｐ１、中心７２ａにはｐ２が適用される。ｐ２〜ｐ４はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにして入出力特性を補完して画素毎にグラデーションを与えて変化させることにより、距離依存階調補正後の画像は領域間での境界がぼかされ目立たないものとなる。

（入出力特性の補完２）
尚、本実施形態において、各領域を属する距離範囲によってグループ化せず、各領域の被写体までの距離によって階調補正に適用する入出力特性を変化させてもよい。複数の特定の距離の領域に対して入出力特性を設定し、特定の距離の間の距離の領域については、入出力特性としてその距離に隣接する特定の距離の領域に設定された入出力特性から補完したものを適用する。距離ｓと距離ｔは入出力特性が設定されており、距離ｓについて設定された入出力特性がＳ、距離ｔについて設定された入出力特性がＴであるとき、距離ｓと距離ｔの間の入出力特性が設定されていない距離ｕについての入出力特性Ｕは、入出力特性Ｔ、Ｓを距離ｕに対して線形補完して、
Ｕ＝｛Ｓ（ｔ−ｕ）＋Ｔ（ｕ−ｓ）｝／（ｔ−ｓ） …（１）
とすることができる。尚、入出力特性が設定された最も短い距離より短い距離については最も短い距離に設定された入出力特性を適用し、入出力特性が設定された最も長い距離より長い距離については最も長い距離に設定された入出力特性を適用する。

例として図１３の階調補正テーブルの図１３（ａ）〜図１３（ｃ）を被写体までの距離が２ｍ、図１３（ｄ）〜図１３（ｆ）を距離が６ｍ、図１３（ｇ）〜図１３（ｉ）を距離が１０ｍの領域に適用する入出力特性とする。このとき、被写体までの距離が５ｍであり、平均輝度が中輝度である領域については、図１３（ｂ）と図１３（ｅ）を線形補完した入出力特性を適用する。図１３（ｂ）の入出力特性をＳ、図１３（ｅ）の入出力特性をＴとして上述の数式（１）を適用すると、この領域に適用する入出力特性Ｕは、ｓ＝２、ｔ＝６、ｕ＝５より、Ｕ＝（Ｓ＋３Ｔ）／４となる。図１６にこのときの入出力特性Ｕのグラフを示す。図１６において、ｑ１は図１３（ｂ）、ｑ２は図１３（ｅ）、ｑ３は入出力特性Ｕのグラフである。

このようにすることで、各領域を属する距離範囲によってグループ化する必要がなくなる。この場合においても、（入出力特性の補完１）で説明したように、ある点を共有する領域の４個の中心に囲まれた画素について、入出力特性を線形補完しても構わない。

（撮影後に距離依存階調補正を行う場合）
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１７に、本発明における画像処理方法（距離依存階調補正）を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。

図１７に示す表示装置は、図１に示す撮像装置と同様、ドライバ部７、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、ＴＧ１２、ＣＰＵ１３、メモリ１４、操作部１５、バス回線１６，１７、及び外部メモリ２０を備える。そして、図１と異なり、画像処理部４に代えて伸長処理部８で取得した画像信号を処理する画像処理装置４ａを備える。画像処理装置４ａは、図３に示す距離依存階調補正部４０を有する。外部メモリ２０では、本実施形態の撮像装置において撮影時に階調補正を行っていない画像信号に領域毎の距離情報及び平均輝度情報を有するヘッダを有する画像ファイルを保持している。

図１８は、本実施形態の表示装置において距離依存階調補正を行う場合のフローチャートである。ユーザが表示装置を階調補正モードにし（ＳＴＥＰ１８０１）、ディスプレイ部９に表示する画像を選択する（ＳＴＥＰ１８０２）と、選択した画像の信号が外部メモリ２０からドライバ部７を経て、伸長処理部８で伸長され、画像処理装置４ａでディスプレイ部９に表示可能な信号に変換して、ディスプレイ部９に選択した画像を表示する。次にユーザが距離依存階調補正の実行を選択するかどうかを検出する（ＳＴＥＰ１８０３）。距離依存階調補正の実行を選択すると、ヘッダに書き込まれた画像の各領域の合焦距離情報が階調補正部４７に読み込まれ、各領域を属する合焦距離範囲毎にグループ化する（ＳＴＥＰ１８０４）。ヘッダに各領域の属する距離範囲のグループ情報が記憶されている場合はそれを読み込んでもよい。合焦距離情報や属する距離範囲のグループ情報は、外部メモリ２０から直接読み込んでもよいし、圧縮符号として記憶されている場合は伸張処理部８で伸張してから与えられるものとしてもよい。これは、後述の平均輝度情報についても同様である。

続いて、輝度情報算出部４５で画像情報から画像の各領域の平均輝度を算出し、輝度情報記憶部４６でそれを記憶し、階調補正部４７で輝度情報記憶部４６に記憶された各領域の平均輝度情報を読み取る（ＳＴＥＰ１８０５）。ヘッダに各領域の平均輝度情報が書き込まれている場合は、階調補正部４７で直接それを読み込んでもよい。

階調補正部４７では、輝度情報記憶部４６又は外部メモリ２０から直接読み込んだ各領域の平均輝度に基づいて、各領域を例えば高輝度、中輝度、低輝度にグループ化する。次に、メモリ１４に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当て（ＳＴＥＰ１８０６）、各領域に割り当てられた入出力特性によって階調補正部４７で階調を補正した画像の信号を保持する（ＳＴＥＰ１８０７）。

次に階調補正の入出力特性の強度を変更する補正強度値の入力待ち状態となる。ユーザが補正強度値を入力し、その値が画像処理部４ａに読み込まれる（ＳＴＥＰ１８０８）。図１９に補正強度値を入力する表示の例を示す。表示装置のパネル上にディスプレイ部９と、上下左右及び中央の５個のボタンからなる操作部１５の入力ボタン１５ａとが設けられており、左右の入力ボタン１５ａを押下することでディスプレイ部９に表示された選択した画像上のスライドバーによる補正強度値の表示を目安として補正強度値の強弱を変更することができる。

補正強度値が入力されると、階調補正部４７において、保持された通常の階調補正が施された画像の信号と、階調補正が施されていない画像の信号とを入力された補正強度値で荷重加算し、その荷重加算された画像をディスプレイ部９に表示する。（ＳＴＥＰ１８０９）。

ここで、画像を構成する各画素における荷重加算について説明する。荷重加算後の画素の輝度をＹ、階調補正が施されていない画素の輝度をＹｉｎ、通常の階調補正が施された画素の輝度をＹｃｏｎｖ、荷重加算係数をＫとする。このとき、Ｙは
Ｙ＝（１−Ｋ）Ｙｉｎ＋Ｋ・Ｙｃｏｎｖ
と表すことができる。荷重加算係数と補正強度値とは図２０に示すように線形の関係を有し、最も強い補正強度に対応する加重加算係数Ｋ＿ｍａｘは１以下の正の数であればよい。

その後ユーザが階調補正の終了を指示せず（ＳＴＥＰ１８１０）、左右の入力ボタン１５ａを押下して補正強度値を変更する（ＳＴＥＰ１８０８）とその補正強度値に基づいて強度を変更した入出力特性によって階調補正をし、補正した画像をディスプレイ部９に表示する。つまり、ディスプレイ部９で階調補正の度合いを確認しながら階調補正の強度を変更することができる。そして、階調補正の終了を指示する（ＳＴＥＰ１８１０）と終了する（ＳＴＥＰ１８１１）。

尚、本実施形態において、階調補正テーブルは３段階の輝度範囲及び３段階の距離範囲に対する９個の入出力特性からなるものに限られず、距離範囲が２段階以上であればよく、更には輝度範囲及び距離範囲の少なくとも一方が２段階以上であってもよい。又、輝度範囲と距離範囲とは同数でなくてもよく、輝度範囲は単数であってもよい。又、入出力特性は図１３に示したような直線からなるものではなく、曲線からなるものであってもよい。

図２１に、高輝度と低輝度の２段階の輝度範囲及び近景と遠景の２段階の距離範囲に対する４個の入出力特性からなる階調補正テーブルの例を示す。この場合も、近景に属する領域は画像中で遠景よりも強調するように補正し、遠景に属する領域は画像中で近景よりも目立たないように補正する。

図２１（ａ）は、近景かつ高輝度領域のグループに属する領域に対して割り当てられた入出力特性である。これは、より輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。図２１（ａ）に示す右上がりの破線で表される入力と出力が等しい直線の傾き（＝１）と比較すると、輝度がＬａ１よりも高い部分とＬａ２よりも低い部分では曲線の接線の傾きは１よりも小さい。輝度がＬａ２よりも高くＬａ１よりも低い部分では曲線の接線の傾きは１よりも大きく、階調幅を広くするように変換する。

図２１（ｂ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くするもので、輝度がＬｂ１より高い部分では接線の傾きを１より小さく、Ｌｂ１より低い部分では１より大きくして、低輝度部分の階調幅を広くするように変換する。

図２１（ｃ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬｃ１より高い部分では接線の傾きを１より小さく、Ｌｃ１より低い部分では１より大きくして、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。

図２１（ｄ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、接線の傾きを全体に１より小さいものとして、コントラストを低くするように変換する。

このような階調補正テーブルを用いることにより、近景は明るく鮮鋭感を持つように、遠景ではコントラストの低い眠たいものとなるように変換することによって、奥行き感のある画像に変換することができる。

又、図２１の階調補正テーブルにおいて、遠景かつ高輝度のグループに属する領域に対しては図１３（ｃ）に代えて図２２に示す入出力特性を、遠景かつ低輝度のグループに属する領域に対しては図１３（ｄ）に代えて図２３に示す入出力特性を適用してもよい。

図２２は、Ｓ字状のカーブの膨らみを図２１（ａ）よりも小さくしてコントラストの強調を抑えたものである。図２３は、輝度がＬｄ１以下の部分を真っ黒なものとし、カーブの膨らみを図２１（ｂ）よりも小さくして全体の輝度の高め方を抑えたものである。このような階調補正テーブルを用いることにより、コントラストの強調を近景では強め、遠景では弱めることによって、自然に近景の被写体を強調した画像に変換することができる。

本発明は、オートフォーカス機能及び階調補正機能を有する撮像装置に適用することができる。

は、本発明の撮像装置の内部構成を示すブロック図である。 は、本発明の撮像装置の基本動作及び階調補正モードの動作を説明するためのフローチャートである。 は、距離依存階調補正部の構成を示すブロック図である。 は、距離情報検出部の構成を示すブロック図である。 は、距離情報を検出する動作を説明するためのフローチャートである。 は、距離検出用画像及び記録用画像の一例である。 は、図６の画像を所定の領域に区分した一例である。 は、画像を区分した領域の高周波成分の強度と合焦距離との関係を示すグラフである。 は、１個の領域中に撮像装置からの距離の異なる複数の被写体が存在している場合の画像の一例である。 は、撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。 は、図６の画像の各領域を被写体までの距離毎にグループ化した例である。 は、本発明の画像ファイルの模式図である。 は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の一例である。 は、画像を区分した領域のうち４個の模式図である。 は、異なる入出力特性の間を線形補完によりグラデーションを与えて変化させた入出力特性のグラフである。 は、２個の所定の距離に設定された入出力特性及びその間の距離に適用される入出力特性のグラフである。 は、本発明の表示装置の内部構成を示すブロック図である。 は、本実施形態の表示装置において距離依存階調補正を行う場合のフローチャートである。 は、補正強度値を入力する表示の例である。 は、荷重加算係数と補正強度値の関係を示すグラフである。 は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の別の例である。 は、遠景かつ高輝度のグループに属する領域に適用する入出力特性の別の例である。 は、遠景かつ低輝度のグループに属する領域に適用する入出力特性の別の例である。

符号の説明

１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
４ａ 画像処理装置
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６ バス回線
１７ バス回線
１８ レンズ部
２０ 外部メモリ
４０ 距離依存階調補正部
４１ フレームメモリ
４２ 距離情報検出部
４４ 距離情報記憶部
４５ 輝度情報算出部
４６ 輝度情報記憶部
４７ 階調補正部
４８ 信号処理部
８０ ファイル
８１ 画像信号
８２ ヘッダ部
８２ａ 距離情報
８２ｂ 平均輝度情報

Claims (10)

1. 複数の被写体が含まれる撮像画像を取得する撮像部と、
   前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
   前記各被写体の撮像距離に応じた階調補正特性に基づいて、前記撮像画像に階調補正を施す階調補正部と、
   を、備えることを特徴とする撮像装置。
2. 前記階調補正特性は、さらに前記撮像画像に含まれる各被写体の平均輝度に応じてなることを特徴とする請求項１に記載の撮像装置。
3. 複数の被写体が含まれる撮像画像を取得する撮像部と、
   前記撮像画像を複数の分割領域に分割する領域分割部と、
   前記各分割領域を、前記撮像部から当該分割領域に含まれる被写体までの距離である撮像距離を検出する撮像距離検出部と、
   前記各撮像距離に応じた階調補正特性に基づいて、前記分割領域ごとに階調補正を施す階調補正部と、
   を、備えることを特徴とする撮像装置。
4. 前記検出された撮像距離に基づいて、前記複数の分割領域を複数の距離グループに区分する距離グループ生成部を備え、
   前記階調補正部では、前記各距離グループに応じた階調補正特性に基づいて、前記分割領域を属する前記各距離グループごとに階調補正を施すことを特徴とする請求項３に記載の撮像装置。
5. 前記階調補正特性は、前記撮像距離が所定の距離より長い場合はコントラストが低くなるように変換し、所定の距離より短い場合はコントラストが高くなるように変換するものであることを特徴とする請求項１〜４のいずれかに記載の撮像装置。
6. 前記階調補正特性は、さらに前記各分割領域の平均輝度に応じてなることを特徴とする請求項３〜５のいずれかに記載の撮像装置。
7. 複数の被写体が含まれる撮像画像を取得する撮像部と、
   前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
   前記撮像画像と前記各被写体の撮像距離に関する情報を互いに関連づけて記録する記録部と、
   を、備えることを特徴とする撮像装置。
8. 複数の被写体を含む撮像画像に階調補正を施す画像処理装置であって、
   前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に応じた階調補正特性に基づいて、前記撮像画像に階調補正を施す階調補正部を備えることを特徴とする画像処理装置。
9. 複数の被写体が含まれる撮像画像と、
   前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に関する情報とが、互いに関連づけて構成されることを特徴とする画像ファイル。
10. 被写体までの距離である撮像距離を検出する撮像距離検出ステップと、
    複数の前記被写体が含まれる撮像画像を取得する撮像ステップと、
    前記撮像距離検出ステップで検出した前記各被写体の撮像距離に応じた階調補正特性に基づいて、前記撮像ステップで取得した前記撮像画像に階調補正を施す階調補正ステップと、
    を、備えることを特徴とする階調補正方法。

Images