JP5138521B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明はデジタルカメラ等の撮像装置に関し、特に独立に駆動制御可能な２種類の受光素子を有する撮像素子を備えてなる撮像装置及び撮像方法に関するものである。

近年、デジタルカメラに用いられる撮像素子であるＣＣＤは、銀塩フイルムと比較してダイナミックレンジが狭いため、撮像した画像中に白とびや黒つぶれが生じやすい。そこで広ダイナミックレンジの画像データを取得するために、様々な撮像技術が提案されている。例えば、異なる露光条件で複数回撮像することにより取得した複数枚の画像データを合成する技術（特許文献１）や、高感度の主画素（第１の受光素子）と、該主画素よりも面積が小さく感度は低いが飽和し難い副画素（第２の受光素子）とを所定の配列形態で多数配置したＣＣＤを使用し、主画素で得られる高感度画像データと副画素で得られる低感度画像データとを合成することにより、広いダイナミックレンジを確保して、高輝度の部分を含む広い範囲で良好な再現性を実現した合成画像データを取得する技術（特許文献２）等がある。

後者の技術を使用した撮像装置としては、被写界シーンに応じて２種類のＣＣＤの駆動方法を切り替えるもの（特許文献３）等がある。

一方、受光素子に感度差を持たせる方法としては、上記のように受光面積を異ならせる方法の他に、受光素子の露光時間を異ならせる方法等もある。
特開２０００−７８４６２号公報 特開２００８−１６８６２号公報 特開２００６−１４８５９１号公報

しかしながら特許文献１に記載の電子カメラでは、フラッシュを発光して撮像するときに、設定された露光量比で１回目の撮像と２回目の撮像とを行うために１回目の撮像時にフラッシュを励起し、その励起状態を２回目の撮像に亘って維持した状態で、１回目の撮像と２回目の撮像との間で励起発光を一旦停止させながら、設定された露光量比に基づいてフラッシュ発光を行うため、フラッシュ発光量の制御が難しく、設定された露光量比を精度よく実現することは困難である。また２回撮像を行うので、取得する２つの画像データ中の被写体に時間差が生じてしまう。

一方、特許文献１や特許文献２に記載の撮像装置において、フラッシュを発光して撮像する場合には、主画素を副画素よりも長い露光時間にして撮像を行うときに、図８に示す如く、主画素の露光時間内のみでフラッシュを発光すると、副画素はフラッシュ無しの状態となり、１：２や１：４等の設定された露光量比を実現することは困難である。また主画素と副画素の両方の露光時間内にフラッシュを発光すると主画素と副画素との間で発光量差を得ることができないため、設定された露光量比を実現することはできない。また設定された露光量比となるような時間位置でフラッシュを発光することは、フラッシュの発光時間のばらつきの問題から実現することは困難である。

本発明はかかる事情に鑑みてなされたものであり、フラッシュ発光時であっても広ダイナミックレンジを実現することができる撮像装置及び撮像方法を提供することを目的とするものである。

本発明の撮像装置は、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子及び第２の受光素子とが所定の配列形態によって多数配置されてなる撮像素子と、
前記第１の受光素子と前記第２の受光素子とを独立に制御して前記撮像素子を駆動する撮像制御手段と、
前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて形成された画像信号を処理して画像データを取得する画像信号処理手段と、
前記被写体を測光する測光手段と、
該測光手段による測光結果に基づいて露光及びダイナミックレンジを含む撮像条件を決定する撮像条件決定手段と、
前記測光手段による測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断する判断手段と、
該判断手段がフラッシュを発光しないと判断したときに、前記撮像制御手段が、前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行うように前記撮像素子を駆動し、前記画像処理手段が、前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号を処理して画像データを取得する第１の撮像方法を選択し、前記判断手段がフラッシュを発光すると判断したときに、前記撮像制御手段が、前記第１の受光素子と前記第２の受光素子とが同じ露光時間で、かつ前記決定された露光を前記決定されたダイナミックレンジの値に基づいた段数でアンダー露光にして撮像するように前記撮像素子を駆動し、前記画像処理手段が、前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をする第２の撮像方法を選択する撮像方法選択手段と、
該撮像方法選択手段により選択された撮像方法によって前記撮像素子および前記画像信号処理手段を駆動する制御手段とを備えていることを特徴とするものである。

なお本発明において「所定の配列形態」は、例えば第１の受光素子と第２の受光素子とを交互に行方向及び列方向にそれぞれ一定のピッチで配列したものや、第１の受光素子を奇数行、第２の受光素子を偶数行に配列し、奇数行の第１の受光素子と偶数行の第２の受光素子とを１／２ピッチずつずらして配列した、いわゆるハニカム配列等がある。

また本発明の撮像装置においては、前記撮像条件が前記撮像素子の撮像感度を含むものであり、
前記撮影方法選択手段が、前記判断手段がフラッシュを発光しないと判断したときに、前記撮像感度が所定の閾値よりも小さいときには前記第１の撮像方法を選択し、前記撮像感度が所定の閾値以上のときには前記第２の撮像方法を選択することができる。

また本発明の撮像装置においては、前記撮像条件が前記撮像素子の撮像感度を含むものであり、
前記撮影方法選択手段が、撮像感度及びダイナミックレンジの値毎に予め設定された、ダイナミックレンジ優先の前記第１の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第１のマトリックス駆動パターンとダイナミックレンジ優先の前記第２の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第２のマトリックス駆動パターンとのいずれかを選択するものであり、前記判断手段がフラッシュを発光しないと判断したときに、前記第１のマトリックス駆動パターンを選択し、前記判断手段がフラッシュを発光すると判断したときに、前記第２のマトリックス駆動パターンを選択して、前記撮像条件決定手段により決定された前記撮像感度及び前記ダイナミックレンジの値に基づいて前記選択したマトリックス駆動パターンに含まれる複数の前記撮像方法から１つの撮像方法を選択することができる。

また本発明の撮像方法は、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子及び第２の受光素子とが所定の配列形態によって多数配置された撮像素子を備えてなる撮像装置を使用する撮像方法において、
前記被写体を測光し、
該測光結果に基づいて露光及びダイナミックレンジを含む撮像条件を決定し、
前記測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断し、
フラッシュを発光しないと判断したときに、前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行うように前記撮像素子を駆動し、前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成した画像信号を処理して画像データを取得する第１の撮像方法を選択し、
フラッシュを発光すると判断したときに、前記第１の受光素子と前記第２の受光素子とが同じ露光時間で、かつ前記決定した露光を前記決定したダイナミックレンジの値に基づいた段数でアンダー露光にして撮像するように前記撮像素子を駆動し、前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成した画像信号に対して階調補正を施す処理をする第２の撮像方法を選択し、
該選択した撮像方法によって前記撮像素子を駆動すると共に画像信号処理を行うことを特徴とするものである。

なお本発明の撮像方法においては、前記撮像条件が前記撮像素子の撮像感度を含むものであり、
フラッシュを発光しないと判断したときに、前記撮像感度が所定の閾値よりも小さいときには前記第１の撮像方法を選択し、前記撮像感度が所定の閾値以上のときには前記第２の撮像方法を選択することができる。

また本発明の撮像方法においては、前記撮像条件が前記撮像素子の撮像感度を含むものであり、
撮像感度及びダイナミックレンジの値毎に、ダイナミックレンジ優先の前記第１の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第１のマトリックス駆動パターンとダイナミックレンジ優先の前記第２の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第２のマトリックス駆動パターンとを予め設定し、
フラッシュを発光しないと判断したときに、前記第１のマトリックス駆動パターンを選択し、フラッシュを発光すると判断したときに、前記第２のマトリックス駆動パターンを選択し、
前記決定された前記撮像感度及び前記ダイナミックレンジの値に基づいて前記選択したマトリックス駆動パターンに含まれる複数の前記撮像方法から１つの撮像方法を選択することができる。

本発明の撮像装置及び撮像方法によれば、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子及び第２の受光素子とが所定の配列形態によって多数配置された撮像素子を備えてなる撮像装置において、被写体に向けてフラッシュを発光しないときには第１の受光素子と第２の受光素子とが異なる露光で撮像を行って広ダイナミックレンジを実現する第１の撮像方法で撮像を行い、被写体に向けてフラッシュを発光するときには第１の受光素子と第２の受光素子とが同じ露光時間で撮像を行って広ダイナミックレンジを実現する第２の撮像方法で撮像を行うので、フラッシュを発光するときに第１の撮像方法を使用すると、第１の受光素子と第２の受光素子とで正確な露光量比を設定するのが困難であるが、フラッシュを発光するときには第１の受光素子と第２の受光素子の異なる露光量の設定を必要としない第２の撮像方法を使用するので、フラッシュ発光撮像時であっても広ダイナミックレンジを実現することができる。

これによりダイナミックレンジ優先駆動の撮像方法で撮影を行うときに、フラッシュ発光の有無による、広ダイナミックレンジ機能の制約を軽減することができる。

以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。

ここで図１にデジタルカメラ１の機能構成を示すブロック図を示す。本実施形態のデジタルカメラ１は、図１に示す如く、デジタルカメラ１の操作系として、レリーズボタン２７や、図示しないメニュー／ＯＫボタン、ズーム／上下矢印ボタン等の操作内容をＣＰＵ３０に伝える操作部２６が設けられている。

撮影レンズ１０は被写体像を所定の結像面上（カメラ本体内部にあるＣＣＤ）に結像させるためのものであり、撮影レンズ１０を構成するものとして、フォーカスレンズ１０ａ及びズームレンズ１０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部２０ａ、ズームレンズ駆動部２０ｂによってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部２０ａは、後述するＡＦ処理部３２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ１０ａをステップ駆動する。ズームレンズ駆動部２０ｂは、ズーム／上下矢印ボタン（操作部２６）の操作量データに基づいてズームレンズ１０ｂのステップ駆動を制御する。

絞り１１は、モータとモータドライバとからなる絞り駆動部２１によって駆動される。この絞り駆動部２１は、後述するＡＥ処理部３３から出力される絞り値データに基づいて絞り１１の絞り径の調整を行う。

シャッタ１２は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部２２によって駆動される。シャッタ駆動部２２は、レリーズボタン２７の押下により発生する信号と、ＡＥ処理部３３から出力されるシャッタ速度データとに応じてシャッタ１２の開閉の制御を行う。

上記光学系の後方には、撮影素子であるＣＣＤ（撮像素子）１３を有している。ＣＣＤ１３は、互いに独立に駆動制御可能で、かつ受光面積の等しい複数の第１の受光素子と複数の第２の受光素子とを、第１の受光素子を奇数行、第２の受光素子を偶数行に配列し、奇数行の第１の受光素子と偶数行の第２の受光素子とを１／２ピッチずつずらして配列した、いわゆるハニカム配列の光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。

ＣＣＤ１３は、ＣＣＤ駆動部（撮像制御手段）２３から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してシリアルなアナログ画像信号として出力する。第１の受光素子と第２の受光素子にそれぞれ対応する画素における電荷の蓄積時間、即ち露光時間は、第１の受光素子と第２の受光素子とで別々にＣＣＤ駆動部２３から与えられる電子シャッタ駆動信号によって決定される。

ＣＣＤ１３が出力するアナログ画像信号は、アナログ信号処理部１４に入力される。このアナログ信号処理部１４は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてこのデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２４は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部２２、ＣＣＤ駆動部２３、アナログ信号処理部１４に入力されて、レリーズボタン２７の操作と、シャッタ１２の開閉、ＣＣＤ１３の電荷取り込み、アナログ信号処理部１４の処理の同期が取られる。

フラッシュ１５は、レリーズボタン２７が押下され、シャッタ１２が開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。フラッシュ制御部２５は、後述する判断部４９による判断に基づいてフラッシュ２４の発光動作を制御する。

画像入力コントローラ３１は、上記アナログ信号処理部１４から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ３６に書き込む。このフレームメモリ３６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。

表示制御部３９は、フレームメモリ３６に格納された画像データをスルー画像として液晶モニタ４０に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、液晶モニタ４０に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されて液晶モニタ４０に表示される。また、表示制御部３９は、外部記録メディア３８に記憶され、メディア制御部３７によって読み出された画像ファイルに含まれる画像データに基づいた画像を液晶モニタ４０に表示させる。

ＡＦ処理部３２は、画像データに基づいて焦点位置を検出して合焦設定値（フォーカス駆動量）を決定し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、ピントが合った状態では画像の合焦評価値（コントラスト値）が高くなるという特徴を利用して合焦位置を検出するパッシブ方式や測距センサによって被写体距離を検出し、この測距結果を使用するアクティブ方式等を適用することができる。

ＡＥ処理部（測光手段）３３は、画像データに基づいて被写体輝度（測光値）を測定し、測定した被写体輝度に基づいて絞り値及び露光時間（シャッタスピード）等の露光設定値を決定し、絞り値データ及び露光時間データを出力する（ＡＥ処理）。一般的に露光時間を長く設定したときにはシャッタスピードが遅くなって手ぶれが発生し易くなり、露光時間を短く設定したときにはシャッタスピードが速くなって手ぶれが発生し難くなる。また露出時間が長すぎると露出オーバーで写真が白っぽくなり、逆に短すぎると露出アンダーで写真は暗くなってしまう。

ＡＷＢ処理部３４は、画像データに基づいて色温度 を算出し、算出した色温度 に応じて本撮像時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、ＡＷＢ処理部３４は、撮像前でも、本撮像後でもホワイトバランスの調整を行うことができる。

ダイナミックレンジ決定部４８は、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、例えば被写体の全体的な明るさや、中心と周辺の明るさの差等からダイナミックレンジの値を決定する。

これらＡＦ処理部３２、ＡＥ処理部３３、ＡＷＢ処理部３４及びダイナミックレンジ決定部４８は測光結果に基づいて撮像条件を決定する撮像条件決定部（撮像条件決定手段）５１として機能する。

判断部４９は、ＡＥ処理部３３による被写体の測光結果に基づいて、被写体に向けてフラッシュを発光するか否かを判断する。なおこの判断部４９の機能はＣＰＵ３０が備えていてもよい。

撮像方法選択部５０は、判断部４９による判断に基づいて第１の撮像方法と第２の撮像方法のどちらか一方の撮像方法を選択する。なお第１の撮像方法と第２の撮像方法については後で詳細に説明する。

画像信号処理部（画像信号処理手段）４１は、画像入力コントローラから入力された画像信号を、撮像方法選択部５０によって選択された撮像方法に基づいて信号処理を行う。なおこの処理方法については後で詳細に説明する。また画像信号処理部４１は、本画像の画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

なお本画像とは、撮影者によって撮影指示がなされた時、例えばレリーズボタン２７が全押し操作された時にＣＣＤ１３から取り込まれ、アナログ信号処理部１４、画像入力コントローラ３１経由でフレームメモリ３６に格納された画像データによる画像であり、この本画像を取得することを本撮像という。本画像の画素数の上限はＣＣＤ１３の画素数によって決定されるが、例えば、撮影者が設定可能な画質設定（フル画素、ハーフ画素、自動画素等の設定）により、記録画素数を変更することができる。一方、スルー画像等の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。

圧縮／伸長処理部３５は、画像信号処理部４１によって画質補正等の処理が行われた本画像の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、肖像権保護モードで撮影された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮／伸長処理部３５は、再生モードにおいては外部記録メディア３８から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部３９に出力され、表示制御部３９は画像データに基づいた画像を液晶モニタ４０に表示する。

メディア制御部３７は、メモリカード等の外部記録メディア３８が充填されるための充填口であり外部記録メディア３８が充填されるとデータの読み取り／書き込みが行われるメディアスロットに相当し、外部記録メディア３８に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。

内部メモリ４２は、デジタルカメラ１において設定される各種定数、及び、ＣＰＵ３０が実行するプログラム等を格納する。

ＣＰＵ３０は、操作部の２６による操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。また撮像方法選択部５０によって選択された撮像方法に基づいてＣＣＤ駆動部２３を介してＣＣＤ１３を駆動させると共に画像信号処理部４１を駆動させる制御手段としても機能する。

データバス５０は、画像入力コントローラ３１、各種処理部１４、３２〜３５、４１、フレームメモリ３６、各種制御部３７、３９、ダイナミックレンジ決定部４８、内部メモリ４２、判断部４９、撮像方法選択部５０及びＣＰＵ３０に接続されており、このデータバス５０を介して各種信号、データの送受信が行われる。

次に、以上の構成のデジタルカメラ１における撮像方法について説明する。図２Ａ、図２Ｂはデジタルカメラ１の撮像処理のフローチャートである。デジタルカメラ１は、電源が入れられると図２Ａに示す如く、被写体の撮像を開始して（ステップＳ１）、表示制御部３９がスルー画像の表示制御を行う。スルー画像の表示とはフレームメモリ３６に格納された画像データを液晶モニタ４０に表示する処理である。

次にＣＰＵ３０は、レリーズボタン２７が半押しされたか否かを判別する（ステップＳ２）。レリーズボタン２７が半押しされていない場合（ステップＳ２；ＮＯ）には、ＣＰＵ３０はレリーズボタン２７が半押しされるまでステップＳ２の処理を繰り返し行い、レリーズボタン２７が半押しされている場合には（ステップＳ２；ＹＥＳ）、ＡＥ処理部３３がＡＥ処理を行い（ステップＳ３）、ＡＦ処理部３２がＡＦ処理を行う（ステップＳ４）。このときＡＷＢ処理部３４がＡＷＢ処理を行ってもよい。

次にダイナミックレンジ決定部４８が上述のようにしてダイナミックレンジの値を決定する（ステップＳ５）。

次に判断部４９が、ＡＥ処理部３３による被写体の測光結果に基づいて、フラッシュを発光するか否かを判断する（ステップＳ６）。判断部４９がフラッシュを発光しないと判断したときには（ステップＳ６；ＮＯ）、撮像方法選択部５０が第１の撮像方法（以下、撮像方法１という）を選択する（ステップＳ７）。ここで撮像方法１について説明する。

撮像方法１はＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とが異なる露光で撮像を行うようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを混合せずに各々を１つの画素の出力とし、このようにして得られた、出力の異なる２つの画像信号を合成する処理を行い、ダイナミックレンジを拡大した画像データを生成する。

図３Ａに撮影方法１での画像信号処理方法を説明する図を示す。例えばダイナミックレンジを４倍に拡大する場合には、図３Ａに示す如く、通常の露光量で撮像される主画素の露光量に対して、副画素の露光量は１／４、つまりアンダー露光で撮像する。すると主画素の出力は露光量が１００％で飽和するのに対して副画素の出力は露光量が４００％で飽和する出力特性を得るので、主画素（Ａ面）にて主に低輝度側の情報を取得するための画像データを取得し、副画素(Ｂ面)にて主に高輝度側の情報を取得するための画像データを取得すべく、主画素の出力と副画素の出力を合成する。

主画素の出力と副画素の出力を合成するためには、まず図３Ａの（Ａ）に示す如く、主画素の出力のデータ量を１／４にして、主画素と副画素の出力の傾き特性を一致させる。そして図３Ａの（Ｂ）に示す如く、データ量が１／４となった主画素の出力（（Ａ）右図）を副画素の出力（（Ｂ）左図）から減算し、減算された副画素の出力（（Ｂ）右図）をデータ量が１／４となった主画素の出力（（Ａ）右図）に加えることにより、図３Ａの（Ｃ）に示す如く、１つの合成画像データを生成する。そして合成された画像データに対してガンマ補正処理を行うときにガンマで明るくして適正の明るさに戻すことによりダイナミックレンジを４倍に拡大させた画像データを生成する。

上述のようにして撮像方法選択部５０が撮像方法１を選択すると（ステップＳ７）、次に制御手段としてのＣＰＵ３０が撮像方法１によるＣＣＤ１３の駆動方法をＣＣＤ駆動部２３、タイミングジェネレータ、アナログ信号処理部１４つまりＡＦＥ（アナログフロントエンド）に設定すると共に撮像方法１による画像信号処理方法を画像信号処理部４１に設定する（ステップＳ８）。

一方、ステップＳ６にて判断部４９がフラッシュを発光すると判断したときには（ステップＳ９；ＹＥＳ）、撮像方法選択部５０が第２の撮像方法（以下、撮像方法２という）を選択する（ステップＳ９）。ここで撮像方法２について説明する。

撮像方法２は、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とが同じ露光時間で、かつＡＥ処理部３３によって決定された露光をダイナミックレンジ決定部４８によって決定されたダイナミックレンジに応じた段数でアンダー露光して撮像するようにＣＣＤ１３を駆動し、かつ画像信号処理部４１がアンダー露光で撮像された第１の受光素子及び第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をして、ダイナミックレンジを拡大した画像データを生成する。

図３Ｂに撮像方法２での画像信号処理方法を説明する図を示す。例えばダイナミックレンジを４倍に拡大する場合には、通常の露光量で撮像される主画素及び副画素の露光量に対して１／４の露光量、つまりアンダー露光で撮像する。すると通常の露光では主画素及び副画素の出力は露光量が１００％で飽和するのに対してアンダー露光では、図３Ｂに示す如く、主画素及び副画素の出力は露光量が４００％で飽和する出力特性を得るので、このアンダー露光にて取得した画像データに対してガンマ補正処理を行うときにガンマで明るくして適正の明るさに戻すことによりダイナミックレンジを４倍に拡大させた画像データを生成する。

なおこのとき２画素を混合して読み出したり、２画素の出力を合成したりしてハーフ画素の画像データを生成してもよい。この撮影方法２では、ガンマ補正を行うことで、ゲインアップと同じ影響（ノイズ大）があるため、ガンマ補正時には見かけ上、ゲインが上がる。そのため、低感度でのダイナミックレンジの拡大ができない。

上述のようにして撮像方法選択部５０が撮像方法２を選択すると（ステップＳ９）、次に制御手段としてのＣＰＵ３０が撮像方法２によるＣＣＤ１３の駆動方法をＣＣＤ駆動部２３、タイミングジェネレータ、アナログ信号処理部１４つまりＡＦＥ（アナログフロントエンド）に設定すると共に撮像方法２による画像信号処理方法を画像信号処理部４１に設定する（ステップＳ１０）。

次に図２Ｂに示す如く、ＣＰＵ３０はレリーズボタン２７が全押しされたか否かを判別し（ステップＳ１１）、レリーズボタン２７が全押しされていない場合（ステップＳ１１；ＮＯ）には、ＣＰＵ３０はレリーズボタン２７の半押しが解除されたか否かを判別し（ステップＳ１２）、半押しが解除されている場合（ステップＳ１２；ＹＥＳ）には、ステップＳ２へ処理を移行する。レリーズボタン２７が、半押しが解除されていない場合（ステップＳ１２；ＮＯ）には、ステップＳ１１へ処理を移行して、ステップＳ１１以降の処理を繰り返し行う。

一方、ステップＳ１１にてレリーズボタン２７が全押しされた場合（ステップＳ１１；ＹＥＳ）には、ＡＦ処理部３２で決定されたフォーカス駆動量データ及びＡＥ処理部で最終的に決定された露光設定値でＣＰＵ３０がフォーカスレンズ駆動部２０ａ、絞り駆動部２１、シャッタ駆動部２２にそれぞれフォーカスレンズ１０ａ、絞り１１、シャッタ１２を駆動させると共に撮像方法選択部５０によって選択された撮像方法に応じて設定された条件に従って制御手段としてのＣＰＵ３０がＣＣＤ駆動部２３にＣＣＤ１３を駆動させることにより被写体の本撮像を行い（ステップＳ１３）、この本撮像により取得された本画像に対して、制御手段としてのＣＰＵ３０が画像信号処理部４１に、撮像方法選択部５０によって選択された撮像方法に基づいて設定された条件に従って画像処理を行わせる（ステップＳ１４）。

次に画像信号処理部４１によって画像処理が施された本画像を、表示制御部３９を介してモニタ４０に表示する処理を行うともにメディア制御部３７を介して外部記録メディア３８に記録する（ステップＳ１５）。なおこのとき画像処理が施された本画像データに対してさらに圧縮／伸長処理部３５によって圧縮処理が施されて画像ファイルが生成されてもよい。

そしてＣＰＵ３０は電源がオフ操作されたか否かを判別し（ステップＳ１６）、オフ操作がされていなかったら（ステップＳ１６；ＮＯ）、図２Ａに示す如く、ステップＳ１へ処理を移行し、ステップＳ１以降の処理を繰り返す。オフ操作されていたら（ステップＳ１６；ＹＥＳ）、デジタルカメラ１の電源をオフにし、処理を終了する。このようにしてデジタルカメラ１の撮像処理を行う。

以上により本実施形態のデジタルカメラ１及びデジタルカメラ１を使用した撮像方法によれば、被写体に向けてフラッシュを発光しないときには第１の受光素子と第２の受光素子とが異なる露光で撮像を行って広ダイナミックレンジを実現する撮像方法１で撮像を行い、被写体に向けてフラッシュを発光するときには第１の受光素子と第２の受光素子とが同じ露光時間で撮像を行って広ダイナミックレンジを実現する撮像方法２で撮像を行うので、フラッシュを発光するときに撮像方法１を使用すると、第１の受光素子と第２の受光素子とで正確な露光量比を設定するのが困難であるが、フラッシュを発光するときには第１の受光素子と第２の受光素子の異なる露光量の設定を必要としない撮像方法２を使用するので、フラッシュ発光撮像時であっても広ダイナミックレンジを実現することができる。

これにより、ダイナミックレンジ優先駆動の撮像方法で撮影を行うときに、フラッシュ発光の有無による、広ダイナミックレンジ機能の制約を軽減することができる。

次に本発明にかかる第２の実施形態のデジタルカメラ１−２について以下図面を参照して詳細に説明する。図４に本実施形態のデジタルカメラ１−２の機能構成を示すブロック図を示す。本実施形態のデジタルカメラ１−２は、上述した実施形態のデジタルカメラ１と概略同様の構成であるため、同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。

本実施形態のデジタルカメラ１−２は、図４に示す如く、撮像条件決定部５１’が図１のデジタルカメラ１の撮像条件決定部５１とは異なるものであり、本実施形態の撮像条件決定部５１’は、撮像感度決定部５２を備えている。この撮像感度決定部５２は、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、撮像感度を決定する。なお撮像感度は例えばユーザが操作部２６を操作することにより任意に設定することもでき、この場合撮像感度決定部５２は操作部２６により設定された撮像感度の値を、ＣＰＵ３０を介して読み込んで、読み込んだ値を撮像感度の値として決定する。

以上の構成のデジタルカメラ１−２における撮像方法について説明する。図５Ａ、図５Ｂはデジタルカメラ１−２の撮像処理のフローチャートである。なお図５Ａ、図５Ｂは便宜上、図２Ａ、図２Ｂのフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる処理についてのみ詳細に説明する。

デジタルカメラ１−２は、図５Ａに示す如く、ステップＳ５にてダイナミックレンジ決定部４８がダイナミックレンジの値を決定すると（ステップＳ５）、撮像感度決定部５２は上述のようにして撮像感度を決定する（ステップＳ２０）。

そしてステップＳ６にて判断部４９がＡＥ処理部３３による被写体の測光結果に基づいて、フラッシュを発光するか否かを判断し（ステップＳ６）、フラッシュを発光しないと判断した場合（ステップＳ６；ＮＯ）に、ＣＰＵ３０は撮像感度決定部５２によって決定された撮像感度が所定値Ａよりも小さい値であるか否かを判別する（ステップＳ２１）。

ＣＰＵ３０が、撮像感度が所定値Ａよりも小さい値であると判別した場合（ステップＳ２１；ＹＥＳ）には、撮像方法選択部５０が撮像方法１を選択して（ステップＳ２２）、制御手段としてのＣＰＵ３０が撮像方法１によるＣＣＤ１３の駆動方法をＣＣＤ駆動部２３、タイミングジェネレータ、アナログ信号処理部１４つまりＡＦＥ（アナログフロントエンド）に設定すると共に撮像方法１による画像信号処理方法を画像信号処理部４１に設定する（ステップＳ２３）。

一方ＣＰＵ３０が、撮像感度が所定値Ａ以上の値であると判断した場合（ステップＳ２１；ＮＯ）には、撮像方法選択部５０が撮像方法２を選択して（ステップＳ２４）、制御手段としてのＣＰＵ３０が撮像方法２によるＣＣＤ１３の駆動方法をＣＣＤ駆動部２３、タイミングジェネレータ、アナログ信号処理部１４つまりＡＦＥ（アナログフロントエンド）に設定すると共に撮像方法２による画像信号処理方法を画像信号処理部４１に設定する（ステップＳ２５）。

このように撮像感度の値が小さいときに撮像方法１を選択することにより、低感度ではダイナミックレンジを拡大することができない撮像方法２の制約を補うことができる。

次に本発明にかかる第３の実施形態のデジタルカメラ１−３について以下図面を参照して詳細に説明する。なお本実施形態のデジタルカメラ１−３は、上記第２の実施形態のデジタルカメラ１−２と概略同様の構成であるため、便宜上、図示は省略し、同様の箇所についての説明も省略して異なる箇所についてのみ詳細に説明する。図６Ａ、図６Ｂはデジタルカメラ１−３の撮像処理のフローチャート、図７はマトリックス駆動パターンの一例である。なお図６Ａ、図６Ｂは便宜上、図２Ａ、図２Ｂのフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる処理についてのみ詳細に説明する。

本実施形態のデジタルカメラ１−３の撮像方法選択部５０は、撮像感度及びダイナミックレンジの値毎に予め設定された、ダイナミックレンジ優先駆動する前記撮像方法１、解像度優先駆動する撮像方法、感度優先駆動する撮像方法を含む第１のマトリックス駆動パターンとダイナミックレンジ優先駆動する前記撮像方法２、解像度優先駆動する撮像方法、感度優先駆動する撮像方法を含む第２のマトリックス駆動パターンとのいずれかを選択するものであり、さらにダイナミックレンジ決定部４８によって決定されたダイナミックレンジの値と撮像感度決定部５２によって決定された撮像感度の値に基づいて、選択したマトリックス駆動パターンに含まれる複数の撮像方法から１つの撮像方法を選択する。

ダイナミックレンジ優先駆動する撮像方法１及び撮像方法２は、上述した実施形態において説明した撮像方法１及び撮像方法２と同様の撮像方法であり、解像度優先駆動する撮像方法は、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が同じになるようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを混合せずに各々を１つの画素の出力とし、全ての画素すなわちフル画素で出力された信号を使用することにより画素数を確保して１つの画像データを生成する。

また感度優先駆動する撮像方法は、ＣＣＤ駆動部２３が、第１の受光素子と第２の受光素子とで露光時間が同じになるようにＣＣＤ１３を駆動し、かつ画像信号処理部４１が第１の受光素子に対応する主画素の出力と、第２の受光素子に対応する副画素の出力とを加算して１つの出力信号を生成し、この加算された信号を使用することにより半分の画素すなわちハーフ画素の画像データを生成する。加算された出力信号は主画素や副画素のみでの出力の２倍の出力となることにより、フル画素に対して感度が２倍になる。

なお本実施形態では主画素と副画素を混合せずに出力させた後で画像信号処理部４１が出力信号の合成処理を行っているが、ＣＣＤ１３からの読み出しにおいて、主画素と副画素とを混合して１つの信号として読み出してもよい。

マトリックス駆動パターンは、上記のような複数の撮像方法を含んで予めカメラ本体に設定されて例えば内部メモリに記録されている。マトリックス駆動パターン１は、図７に示す如く、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲では解像度優先駆動する撮像方法、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ４からＡ５（Ａ４＜Ａ≦Ａ５）の範囲では感度優先駆動する撮像方法、ダイナミックレンジＤがＤ２からＤ４（Ｄ２＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ１からＡ５（Ａ１＜Ａ≦Ａ５）の範囲ではダイナミックレンジ優先駆動する撮像方法１がそれぞれ設定されている。

一方、マトリックス駆動パターン２は、図７に示す如く、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ１からＡ４（Ａ１＜Ａ≦Ａ４）の範囲では解像度優先駆動する撮像方法、ダイナミックレンジＤがＤ１からＤ２（Ｄ１＜Ｄ≦Ｄ２）の範囲でかつ感度ＡがＡ４からＡ５（Ａ４＜Ａ≦Ａ５）の範囲では感度優先駆動する撮像方法、ダイナミックレンジＤがＤ２からＤ３（Ｄ２＜Ｄ≦Ｄ３）の範囲でかつ感度ＡがＡ２からＡ５（Ａ２＜Ａ≦Ａ５）の範囲とダイナミックレンジＤがＤ３からＤ４（Ｄ３＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ３からＡ５（Ａ３＜Ａ≦Ａ５）の範囲ではダイナミックレンジ優先駆動する撮像方法２がそれぞれ設定されている。

撮像方法２は、低感度ではダイナミックレンジを拡大することができないため、図７に示すように低感度ではダイナミックレンジ優先駆動する撮像方法２は設定されていない。なお上記マトリックス駆動パターンは、適宜変更可能になっている。

なおＤ１、Ｄ２、Ｄ３、Ｄ４及びＡ１、Ａ２、Ａ３、Ａ４、Ａ５は、Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４かつＡ１＜Ａ２＜Ａ３＜Ａ４＜Ａ５の条件を満たすものとする。

以上の構成のデジタルカメラ１−３における撮像方法について説明する。デジタルカメラ１−３は、図６Ａに示す如く、ステップＳ６にて判断部４９がＡＥ処理部３３による被写体の測光結果に基づいて、フラッシュを発光するか否かを判断し（ステップＳ６）、フラッシュを発光しないと判断した場合（ステップＳ６；ＮＯ）に、撮像方法選択部５０はマトリックス駆動パターン１を選択し（ステップＳ３０）、選択したマトリックス駆動パターン１から撮像方法を選択する（ステップＳ３１）。

撮像方法の選択は、ダイナミックレンジ決定部４８によって決定されたダイナミックレンジの値と撮像感度決定部５２によって決定された撮像感度の値を、図７に示すマトリックス駆動パターン１に適用することにより行う。

一方、ステップＳ６にて判断部４９がフラッシュを発光すると判断した場合（ステップＳ６；ＹＥＳ）には、撮像方法選択部５０はマトリックス駆動パターン２を選択し（ステップＳ３２）、選択したマトリックス駆動パターン２から撮像方法を選択する（ステップＳ３３）。

撮像方法の選択は、ダイナミックレンジ決定部４８によって決定されたダイナミックレンジの値と撮像感度決定部５２によって決定された撮像感度の値を、図７に示すマトリックス駆動パターン２に適用することにより行う。

なおこのとき、前記決定されたダイナミックレンジの値と撮像感度の値が、図７のマトリックス駆動パターン２の撮像方法が設定されていない範囲、すなわちダイナミックレンジＤがＤ２からＤ３（Ｄ２＜Ｄ≦Ｄ３）の範囲でかつ感度ＡがＡ１からＡ２（Ａ１＜Ａ≦Ａ２）の範囲とダイナミックレンジＤがＤ３からＤ４（Ｄ３＜Ｄ≦Ｄ４）の範囲でかつ感度ＡがＡ１からＡ３（Ａ１＜Ａ≦Ａ３）の範囲にある場合には、ＡＥ処理部３３による測光データや絞り値及び露光時間（シャッタスピード）等の露光設定値等に基づいて、ダイナミックレンジ決定部４８と撮像感度決定部５２が、図７のマトリックス駆動パターン２で撮像方法が設定されているダイナミクスレンジの値の範囲及び撮像感度の範囲の中で再度撮像感度及びダイナミックレンジの値を決定し、撮像方法選択部５０が前記決定された撮像感度及びダイナミックレンジの値をマトリックス駆動パターン２に適用することにより再度撮像方法を選択する。

そして撮像方法選択部５０が撮像方法を選択すると（ステップＳ３１）、次に制御手段としてのＣＰＵ３０が選択された撮像方法によるＣＣＤ１３の駆動方法をＣＣＤ駆動部２３、タイミングジェネレータ、アナログ信号処理部１４つまりＡＦＥ（アナログフロントエンド）に設定すると共に選択された撮像方法による画像信号処理方法を画像信号処理部４１に設定する（ステップＳ３４）。

本実施形態のデジタルカメラ１−３によれば、上述した実施形態のデジタルカメラ１、１−２と同様に、ダイナミックレンジ優先駆動の撮像方法で撮影を行うときに、フラッシュ発光の有無による広ダイナミックレンジ機能の制約を軽減することができると共に、撮影感度やダイナミックレンジ等の撮像条件に応じてより最適な撮像方法を選択することができる。

なお本発明の撮像装置は、上述した実施形態のデジタルカメラに限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

第１の実施形態のデジタルカメラの機能構成を示すブロック図 第１の実施形態のデジタルカメラの撮像処理のフローチャート（その１） 第１の実施形態のデジタルカメラの撮像処理のフローチャート（その２） 第１の撮像方法での画像処理方法を説明する図 第２の撮像方法での画像処理方法を説明する図 第２の実施形態のデジタルカメラの機能構成を示すブロック図 第２の実施形態のデジタルカメラの撮像処理のフローチャート（その１） 第２の実施形態のデジタルカメラの撮像処理のフローチャート（その２） 第３の実施形態のデジタルカメラの撮像処理のフローチャート（その１） 第３の実施形態のデジタルカメラの撮像処理のフローチャート（その２） マトリックス駆動パターンの一例を示す図 従来技術での課題を説明する図

符号の説明

１ デジタルカメラ（撮像装置）
１３ ＣＣＤ（撮像素子）
２３ ＣＣＤ駆動部（撮像制御手段）
３０ ＣＰＵ（制御手段）
３３ ＡＥ処理部（測光手段）
３４ ＡＷＢ処理部
３３、３４ 被写界情報取得手段
４１ 画像信号処理部（画像信号処理手段）
４８ ダイナミックレンジ決定部
４９ 判断部（判断手段）
５０ 撮像方法選択部（撮像方法選択手段）
５１、５１’ 撮像条件決定部（撮像条件決定手段）
５２ 撮像感度決定部

Claims (2)

1. 被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子及び第２の受光素子とが所定の配列形態によって多数配置されてなる撮像素子と、
   前記第１の受光素子と前記第２の受光素子とを独立に制御して前記撮像素子を駆動する撮像制御手段と、
   前記第１の受光素子及び／又は前記第２の受光素子の出力に基づいて形成された画像信号を処理して画像データを取得する画像信号処理手段と、
   前記被写体を測光する測光手段と、
   該測光手段による測光結果に基づいて、露光、ダイナミックレンジ及び前記撮像素子の撮像感度を含む撮像条件を決定する撮像条件決定手段と、
   前記測光手段による測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断する判断手段と、
   撮像感度及びダイナミックレンジの値毎に、ダイナミックレンジ優先の、前記撮像制御手段が、前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行うように前記撮像素子を駆動し、前記画像信号処理手段が、前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号を処理して画像データを取得する第１の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第１のマトリックス駆動パターンと、ダイナミックレンジ優先の、前記撮像制御手段が、前記第１の受光素子と前記第２の受光素子とが同じ露光時間で、かつ前記決定された露光を前記決定されたダイナミックレンジの値に基づいた段数でアンダー露光にして撮像するように前記撮像素子を駆動し、前記画像信号処理手段が、前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成された画像信号に対して階調補正を施す処理をする第２の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第２のマトリックス駆動パターンとを予め設定し、
   前記判断手段がフラッシュを発光しないと判断したときに、前記第１のマトリックス駆動パターンを選択し、前記判断手段がフラッシュを発光すると判断したときに、前記第２のマトリックス駆動パターンを選択し、
   前記決定された前記撮像感度及び前記ダイナミックレンジの値に基づいて前記選択したマトリックス駆動パターンに含まれる複数の前記撮像方法から１つの撮像方法を選択する撮像方法選択手段と、
   該撮像方法選択手段により選択された撮像方法によって前記撮像素子および前記画像信号処理手段を駆動する制御手段とを備えていることを特徴とする撮像装置。
2. 被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子及び第２の受光素子とが所定の配列形態によって多数配置された撮像素子を備えてなる撮像装置を使用する撮像方法において、
   前記被写体を測光し、
   該測光結果に基づいて、露光、ダイナミックレンジ及び前記撮像素子の撮像感度を含む撮像条件を決定し、
   前記測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断し、
   撮像感度及びダイナミックレンジの値毎に、ダイナミックレンジ優先の、前記第１の受光素子と前記第２の受光素子とが異なる露光で撮像を行うように前記撮像素子を駆動し、前記異なる露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成した画像信号を処理して画像データを取得する第１の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第１のマトリックス駆動パターンと、ダイナミックレンジ優先の、前記第１の受光素子と前記第２の受光素子とが同じ露光時間で、かつ前記決定した露光を前記決定したダイナミックレンジの値に基づいた段数でアンダー露光にして撮像するように前記撮像素子を駆動し、前記アンダー露光で撮像された前記第１の受光素子及び前記第２の受光素子からの出力に基づいて形成した画像信号に対して階調補正を施す処理をする第２の撮像方法、解像度優先の撮像方法、感度優先の撮像方法を含む第２のマトリックス駆動パターンとを予め設定し、
   フラッシュを発光しないと判断したときに、前記第１のマトリックス駆動パターンを選択し、フラッシュを発光すると判断したときに、前記第２のマトリックス駆動パターンを選択し、
   前記決定された前記撮像感度及び前記ダイナミックレンジの値に基づいて前記選択したマトリックス駆動パターンに含まれる複数の前記撮像方法から１つの撮像方法を選択し、
   該選択した撮像方法によって前記撮像素子を駆動すると共に画像信号処理を行うことを特徴とする撮像方法。

Images