JP2002204389A

JP2002204389A - 露出制御方法

Info

Publication number: JP2002204389A
Application number: JP2001342029A
Authority: JP
Inventors: Edward B Gindele; エドワード・ビー・ジンデル; Andrew C Gallagher; アンドリュー・シー・ギャラガー
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-11-07
Filing date: 2001-11-07
Publication date: 2002-07-19
Also published as: US6813046B1; EP1206119A2; EP1206119A3

Abstract

(57)【要約】【課題】高速および低速フォトサイトを有する広いダ
イナミックレンジの電子イメージセンサの固有の属性を
利用した、露出制御方法を提供する。【解決手段】光露出に対する所定の応答を有する高速
フォトサイトと、その間に散在する、該光露出と同じ光
露出に対してより遅く応答する低速フォトサイトとを有
し、まばらにサンプリングされ、拡大されたダイナミッ
クレンジのイメージの検出装置を提供し、該検出装置を
用いて、高速および低速フォトサイトから生成された高
速および低速画素値を有する、まばらにサンプリングさ
れた高解像度デジタルイメージを生成し、まばらにサン
プリングされた拡大されたダイナミックレンジのイメー
ジから、低速画素値のみを用いて、露出制御値を計算
し、前記露出制御値を用いて、前記検出装置に対する露
出を修正する露出制御方法を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、概して、イメージ
の撮影に関し、より具体的には、拡大されたダイナミッ
クレンジのイメージ検出装置を有するカメラにおける、
露出を制御する方法に関する。

【０００２】

【従来の技術】電荷結合素子（ＣＣＤ）のようなイメー
ジ検出装置は、デジタルカメラ、スキャナおよびビデオ
カメラのような製品で、広く見つけることができる。こ
れらのイメージ検出装置は、従来の写真フィルム製品と
比較したとき、ダイナミックレンジが制限されている。
典型的な電子イメージ検出装置は、絞りが約７のダイナ
ミックレンジを有する。これは、典型的な風景に対する
露出を、かなりの正確さで決定して、結果として得られ
る信号のもれを回避しなければならないことを意味す
る。対照的に、自然の風景は、しばしば、絞りが９また
はそれ以上のダイナミックレンジを示す。これは主に、
風景の対象物に光を照らす、強度が広く変化する複数の
光源が存在する結果である。もっとも明るい部分の反射
はまた、自然の風景のダイナミックレンジに寄与する。

【０００３】写真フィルムを走査するのに用いられる電
子センサはまた、高いダイナミックレンジの信号強度を
取り扱わなければならない。Milchに与えられた１９９
３年６月２２日発行の米国特許第5,221,848号には、電
子イメージセンサのダイナミックレンジを拡張するよう
設計された方法および装置が開示されている。主に写真
フィルムを走査することを目的として、Milchは、複数
の線形アレイを有する電荷結合素子を用いた１パスフィ
ルムスキャナの方法を教示する。複数の線形アレイは、
同じスペクトル感度を有する。アレイの１つは、他のア
レイよりも光に対してより早く応答する。２つのアレイ
からの情報は結合され、デジタル化されて、拡大された
ダイナミックレンジのデジタルイメージを形成する。

【０００４】デジタル電子カメラは、カラーフィルタア
レイ（Color Filter Array;ＣＦＡ）を有する単一のイ
メージセンサを利用して、まばらにサンプリングされた
（sparsely sampled）イメージを生成する。典型的なカ
ラーフィルタアレイパターンは、Bayerに対して１９７
６年７月２０日に発行された、米国特許第3,971,065号
に開示されている。補間アルゴリズムが利用されて、ま
ばらにサンプリングされたイメージから、フル解像度カ
ラーイメージを生成する。デジタルカメラはまた、高い
ダイナミックレンジを有する風景を記録する必要があ
る。デジタルカメラから、高いダイナミックレンジのイ
メージを得る１つの方法は、カメラに、高ビットデプス
（depth）のアナログ−デジタル変換器を利用すること
である。他の方法は、Gallagherらにより２０００年７
月１３日に提出された、同時係属の米国出願第09/615,3
98号に開示されている、散らばせた、高速の（ファス
ト）および低速の（スロー）フォトサイト（photosit
e）を有するイメージセンサを用いることである。この
出願は、この引用により本明細書に組み込まれる。ま
た、デジタルカメラの重要な特徴は、異なる空間解像度
をもつデジタルイメージを生成することである。これは
主に、デジタルカメラの制限のあるオンボードメモリに
依存し、まばらにサンプリングされた拡大されたダイナ
ミックレンジのデジタルイメージを、他の装置に転送す
る帯域幅の制限に依存する。

【０００５】

【発明が解決しようとする課題】デジタルカメラは、電
子イメージセンサを利用し、撮像アプリケーションのた
めに、高いダイナミックレンジのデジタルイメージを記
録する必要がある。また、デジタルカメラの重要な特徴
は、電子イメージセンサのダイナミックレンジを最大限
利用して、電子イメージセンサが受け取る光の露出を制
御する必要があることである。デジタルカメラにおける
露出制御についての従来の技術は、別個の光電セルを用
いた露出の制御や、カメラ内のイメージセンサからの信
号を用いた露出の制御を含む。従来の露出制御技術は、
高速および低速のフォトサイトを有するイメージセンサ
を利用することにより実現される利点を考慮していな
い。

【０００６】したがって、拡大されたダイナミックレン
ジを有するイメージを記録できる電子イメージセンサが
必要とされている。さらに、高速および低速のフォトサ
イトを有する広いダイナミックレンジの電子イメージセ
ンサの固有の属性を利用した、露出を制御する方法も必
要とされている。

【０００７】

【課題を解決するための手段】本発明の露出制御方法
は、まばらにサンプリングされ、拡大されたダイナミッ
クレンジのイメージの検出装置を用いるカメラにおける
露出制御方法において、光露出に対する所定の応答を有
する高速フォトサイトと、その間に散在する、該光露出
と同じ光露出に対してより遅い応答を有する低速フォト
サイトとを有し、まばらにサンプリングされ、拡大され
たダイナミックレンジのイメージの検出装置を提供する
ステップと、該検出装置を用いて、高速フォトサイトか
ら生成された高速画素値と、低速フォトサイトにより生
成された低速画素値とを有する、まばらにサンプリング
された高解像度デジタルイメージを生成するステップ
と、まばらにサンプリングされた拡大されたダイナミッ
クレンジのイメージから、低速画素値のみを用いて、露
出制御値を計算するステップと、前記露出制御値を用い
て、前記検出装置に対する露出を修正するステップとか
らなる。これにより、上記課題が解決される。

【０００８】

【発明の実施の形態】デジタルイメージは、１以上のデ
ジタルイメージチャネルを有する。各デジタルイメージ
チャネルは、画素の２次元アレイを有する。各画素値
は、画素の幾何学的な領域に対応するイメージ撮影装置
が受け取った光の量に関連する。カラー撮像用途では、
デジタルイメージは、典型的には、赤、緑および青のデ
ジタルイメージチャネルから構成される。他の構成もま
た、実際に利用されている。例えば、シアン、マゼン
タ、および黄色のデジタルイメージチャネルである。動
画撮像用途では、デジタルイメージの時間系列と考える
ことができる。当業者であれば、本発明が、上述の任意
の用途に対するデジタルイメージに適用でき、しかしな
がら制限されないことが、認識できるであろう。

【０００９】本発明は、行および列により配置された画
素値の２次元アレイとして、デジタルイメージチャネル
を説明するが、当業者であれば、本発明は、等しい効果
を有するモザイク面（非直線）に適用できることが理解
される。

【００１０】電子センサを用いる撮像装置は、周知であ
る。そのため、本明細書は、特に本発明による装置の一
部を構成する要素、または、本発明による装置により直
接的に協働する要素に向けられている。特に図に示され
ていない、または、本明細書に記載されていない要素
は、従来の技術から選択できる。本明細書で用いられて
いるように、「イメージ」という語は、２次元アレイ値
であることに留意されたい。イメージは、他のイメージ
の２次元集合であってもよい。

【００１１】図１を参照して、対象物または風景からの
光が、レンズ２に入射し、カラーフィルタアレイ（Colo
r Filter Array;ＣＦＡ）を有する電荷結合素子（ＣＣ
Ｄ）のようなイメージ検出装置１０上に、写真イメージ
を形成する。ＣＭＯＳ素子のような他の素子が、イメー
ジ検出装置１０として利用できる。光学的ローパスフィ
ルタ６は、レンズ２とイメージ検出装置１０との間に配
置され、撮像された光のわずかににじませ、エイリアシ
ングの発生を低減する。デジタルカメラは、第１のイメ
ージを撮影する。Ａ／Ｄ変換器１４は、イメージ検出装
置１０から、撮像された光に対応する電圧信号を受け取
り、電圧信号に対応するイメージ信号を生成する。デジ
タルイメージプロセッサ２００は、Ａ／Ｄ変換器１４か
らイメージ信号を受け取り、イメージ信号の画素値から
得られる露出制御値を計算する。露出制御装置１６は、
露出制御値を受け取る。露出制御装置１６は、開口装置
３および／または時間積分装置４の設定を変更する。

【００１２】前に撮影されたイメージ信号に基づく露出
制御設定により、デジタルカメラは、第２のイメージを
撮影する。同様に、Ａ／Ｄ変換器１４は、イメージ検出
装置１０から撮像された光に対応する電圧信号を受け取
り、電圧信号に対応する第２のイメージ信号を生成す
る。デジタルイメージプロセッサ２００は、第２のイメ
ージ信号を受け取り、拡大されたダイナミックレンジの
デジタルイメージを計算する。拡大されたダイナミック
レンジのデジタルイメージは、カメラ内のメモリ（図示
せず）に格納される。拡大されたダイナミックレンジの
デジタルイメージは、処理され、画質の向上したデジタ
ルイメージを生成する。画質の向上したデジタルイメー
ジは、表示装置で直接見ることができる。

【００１３】イメージ検出装置１０が受け取る光の量
は、開口装置３および時間積分器４により調整される。
開口装置３は、レンズ２の光通過部の有効直径を変化さ
せて、光の量を調整する。時間積分器４は、焦点の合っ
た光が、イメージ検出装置１０の応答に寄与できる時間
長を変えることにより、受け取る光の量を調整する。あ
るデジタルカメラでは、時間積分器４は撮像動作の間、
開き、その他は閉じたままのシャッタである。別のデジ
タルカメラでは、時間積分器４は、イメージ検出装置１
０の積分部である。これらのデジタルカメラにとって、
写真応答積分の時間は、電気的に制御される。露出制御
装置１６は、開口装置３および時間積分器４の両方を調
整する。

【００１４】露出制御装置１６は、デジタルイメージプ
ロセッサ２００からの露出制御値を受け取る。デジタル
カメラシステムは、露出制御装置１６が適切に露出値を
判断できるように、較正しなければならない。露出制御
装置１６は、イメージ検出装置１０の速度値Ｓｖに関す
る情報を有する。露出制御装置１６は、以下の数学的な
関係にしたがって、開口装置３の直径と、時間積分器４
の露出時間の長さを調整する。

【数１】ここで、開口値Ａｖは、下記の数２で与えられる。

【数２】このＦｎ項は、レンズ開口の写真のＦ値である。時間値
Ｔｖは、下記の方程式で与えられる。

【数３】 τ項は、時間積分器４の、秒で表され、調整された露出
時間長である。Ｓｖ項は、速度値であり、下記の方程式
で与えられる。

【数４】Ｓは、イメージ検出装置１０の、ＩＳＯ写真速度率（IS
O photographic speed rating）である。輝度値Ｂｖ
は、下記の数５の式で与えられる。

【数５】ここで、Ｃ_１およびＣ_０は、数値較正定数（numerical
calibration constants）であり、ｂは、デジタルカメ
ラが用いる光電セルにより受け取られる露出制御値であ
る。これらは、カメラが初めに電源を入れられたとき
に、カメラの露出設定で定められる。本発明は主とし
て、デジタルカメラが既に電源を入れられ、デジタルイ
メージが既に得られ、動作状態にあるときの、撮像の手
順（scenario）に関する。この手順では、輝度値は、以
下説明するデジタルイメージプロセッサ２００により計
算された露出制御値を用いて決定される。

【００１５】露出制御装置１６は、２以上の動作モード
を備えていてもよいが、２モードが最も有用である。開
口Ａｖモードでは、露出制御装置１６は、カメラの操作
者が開口値Ａｖを設定できるようにし、露出制御装置１
６は、下記の方程式により、時間値Ｔｖを設定する。

【数６】時間Ｔｖモードでは、露出制御装置１６は、カメラの操
作者が時間値Ｔｖを設定できるようにし、露出制御装置
１６は、下記の方程式により、開口値Ａｖを設定する。

【数７】当業者であれば、本発明は、露出制御値を決定する、よ
り複雑な関係を利用可能なことが認識できるであろう。

【００１６】カメラがＡｖモードのとき、下記の数８に
より、開口装置３のＦ値が計算される。

【数８】

【００１７】カメラがＴｖモードのとき、下記の数９に
より、時間積分器４の積分時間が計算される。

【数９】

【００１８】図１に示すＡ／Ｄ変換器１４は、イメージ
検出装置１０が生成した電圧信号を、イメージ信号、す
なわち、イメージ検出装置１０のフォトサイトが生成し
た電圧信号に対応するデジタル画素値のストリームに変
換する。より具体的には、Ａ／Ｄ変換器１４は、イメー
ジ検出装置１０からの、入射光の強度に関してほぼ線形
の電圧信号を、離散デジタルイメージ信号に変換する。
離散デジタルイメージ信号は、例えば、線形符号化され
た値が０〜１０２３までの範囲に入る１０ビット信号で
ある。Ａ／Ｄ変換器１４はまた、従来広く行われている
ような、線形符号値領域イメージ信号を、非線形符号値
領域イメージ信号に変換する処理も行う。例えば、下記
の方程式を利用して、１０ビット線形イメージ信号ａ
（ｘ，ｙ）を、８ビットの対数イメージ信号ｂ（ｘ，
ｙ）に変換する。（ｘ，ｙ）は、イメージ検出装置１０
に関する信号位置の行および列の目盛り（index）を特
定する。

【数１０】（イメージ検出装置の線形応答領域における）露出の各
絞りは、線形イメージ信号ａ（ｘ，ｙ）の倍になり、そ
の結果、対数符号化されたイメージ信号ｂ（ｘ，ｙ）は
増加する。増加の値は、５１である。この場合、値が５
１というのは、露出の絞り（ｃｖｓ）ごとのコード値の
数である。

【００１９】図２は、図１に示すデジタルイメージプロ
セッサ２００をより詳細に示す。デジタルカメラによ
り、最初のイメージが撮影された後、Ａ／Ｄ変換器１４
が生成した結果のイメージ信号は、露出値計算部２５０
により受け取られる。イメージ信号画素値は分析され、
露出制御値が計算され、露出制御装置１６に伝送され
る。そして、第２のイメージがデジタルカメラにより撮
影される。Ａ／Ｄ変換器１４が生成した結果のイメージ
信号は、ダイナミックレンジ拡張フィルタアレイ（ＤＲ
ＥＦＡ）プロセッサ２２により受け取られる。ＤＲＥＦ
Ａプロセッサ２２は、イメージ信号を修正し、修正した
イメージ信号をＣＦＡ補間器２６に伝送する。ＣＦＡ補
間器２６の出力は、高解像度デジタルイメージである。
拡張プロセッサ２４０は、高解像度デジタルイメージを
受け取る。拡張プロセッサ２４０は、高解像度デジタル
イメージの画素を利用して、拡張されたデジタルイメー
ジを生成する。

【００２０】ＣＦＡ補間器２６を設けた目的は、検出し
た写真イメージの各位置の色の完全な描写を生成するこ
とである。好ましい実施の形態では、イメージ検出装置
１０は、フォトサイトと呼ばれる感光素子アレイからな
る。Bayerに対して１９７６年７月２０日に発行され
た、米国特許第3,971,065号に開示されているように、
各フォトサイトは、典型的には、赤、緑、または、青の
フィルタで覆われている。米国特許第3,971,065号は、
この引用により、本明細書に組み込まれる。Bayerのア
レイは、カラーフィルタアレイである。カラーフィルタ
アレイでは、緑のフィルタは、フォトレジストにわたっ
て、チェッカーボードパターンで配置されており、赤お
よび青のフィルタは、ラインごとに切り替わり、チェッ
クボードパターンの隙間を満たす。これにより、緑のフ
ィルタサイトが、赤または青のフィルタサイトよりも２
倍多くなる。本明細書で説明される方法は、原色の別の
配置を持つカラーフィルタアレイ、原色の数が異なるカ
ラーフィルタアレイ、または、原色の組み合わせが異な
るカラーフィルタアレイに容易に拡張できることに留意
されたい。したがって、好ましい実施の形態では、各フ
ォトサイトは、赤色、緑色または青色の光のいずれにも
感度を有する。しかし、好ましくは、各フォトサイトの
位置で、赤、緑および青の各々の露出量で表す露出に対
応する画素値を得ることが好ましい。イメージ信号の画
素値は、ＣＦＡデジタルイメージ、すなわち、フォトサ
イトのカラーフィルタアレイにより生成されるデジタル
イメージを構成する。そのため、撮影されたイメージ
は、赤、緑および青でまばらにサンプリングされる（sp
arsely sampled）。ＣＦＡデジタルイメージは、まばら
にサンプリングされたデジタルイメージの例である。

【００２１】本明細書では、「赤」「緑」および「青」
は、イメージ処理技術では周知の、イメージ検出装置１
０の原色スペクトル感度を表す。ＣＦＡ補間器２６は、
Ａ／Ｄ変換器１４から出力されたイメージ信号から、補
間されたイメージ信号を生成する。補間されたイメージ
信号は、各フォトサイトの原色に対応する画素値から構
成される。例えば、特定のフォトサイトが赤のフィルタ
で覆われている場合、Ａ／Ｄ変換器１４は、そのフォト
サイトの赤の画素値を出力する。それは、赤のフィルタ
は、本質的に、そのフォトサイトを緑および青の光から
遮るからである。ＣＦＡ補間器２６は、対応するフォト
サイトが緑および青の光に応答しない場合でも、対応す
るフォトサイトについて、緑の画素値および青の画素値
を計算する。同様に、ＣＦＡ補間器２６は、青のフォト
サイトに対応する、緑の画素値および赤の画素値を計算
し、緑のフォトサイトに対応する赤の画素値および青の
画素値を計算する。

【００２２】一般的に、ＣＦＡ補間器２６は、対応する
フォトサイトの画素値および関連する周辺のフォトサイ
トの画素値を考慮して動作する。周知の任意の補間器が
利用できる一方、好ましいＣＦＡ補間器の説明が、Adam
s, Jr. らに１９９７年７月２９日に発行された米国特
許第5,652,621号に含まれている。当該特許の内容は、
この引用により本明細書に組み込まれる。Adamsらは、
行および列で配列されたカラーフォトサイトを有するイ
メージセンサから得られた、デジタル化イメージ信号を
処理する装置を説明する。カラーフォトサイトは、少な
くとも３つの別個のカラー値を生成するが、各フォトサ
イトの位置に対して、１つのカラー値のみである。ま
た、カラーフォトサイトは、各フォトサイト位置につい
てカラー値を補間する構造体を生成し、３つの異なるカ
ラー値を保持する。装置は、フォトサイト位置から失わ
れた適切なカラー値を、そのようなフォトサイト位置に
対する追加のカラー値の補間により生成する。適切なカ
ラー値は、近くのフォトサイト位置における、失われた
カラー値とは異なるカラーのカラー値から生成される。
装置はまた、少なくとも２つのイメージ方向(directio
n)における、同じ行および列の近くのフォトサイトに対
応する画素値から、ラプラシアン２次値と、グラディエ
ント値と、カラー差バイアス値とを取得する。装置は、
これらの値から改善された分類に基づいて、失われたカ
ラー値の補間に関する好ましい配向（orientation）を
選択する。最後に、近くの多数のカラー画素値からの、
失われたカラー画素値が選択され、好ましい配向に適合
させる。

【００２３】Ａ／Ｄ変換器１４から出力されたイメージ
信号は、ＤＲＥＦＡプロセッサ２２により受け取られ
る。ＤＲＥＦＡプロセッサ２２は、イメージ信号のダイ
ナミックレンジを拡大する。好ましい実施の形態では、
イメージ検出装置１０のダイナミックレンジは、イメー
ジ検出装置１０の、あるフォトサイトを選択することに
より拡張され、ゆっくりと応答する。イメージ検出装置
１０に関して選択されたフォトサイトの構成は、以下、
より詳細に説明する。好ましい実施の形態では、選択さ
れたフォトサイトのゲインを変化させることにより、選
択されたフォトサイトの応答は落とされ、または、遅ら
される。本明細書では、このようなフォトサイトを低速
フォトサイトと言及する。フォトサイトのゲインを変化
させることは、デジタルカメラ設計および製造の技術に
おいては広く行われていることである。

【００２４】図３を参照して、各フォトサイトのトップ
に樹脂小型レンズ５１を配置することは、イメージセン
サの製造における技術において広く行われている。例え
ば、特にイメージ検出装置１０がインターラインソリッ
ドステートイメージ検出装置の場合に、Ishiharaに１９
８７年５月１９日に発行された米国特許第4,667,092号
に記載されている。この内容は、この引用により本明細
書に組み込まれる。Ishiharaは、ブロック表面を有する
イメージ記憶ブロックを含む、ソリッドステートイメー
ジ装置を開示する。複数の記憶素子は、ブロック表面に
沿って埋め込まれ、電荷の形でイメージを記憶する。表
面にわたる層が堆積されて、記憶素子に対応する光学レ
ンズアレイを形成する。中間層が、ブロック表面と表面
にわたる層との間に設けられる。入射光は、レンズおよ
び中間層を通して記憶素子上で焦点を結ぶ。中間層は、
焦点距離を調整する調整層として機能する。

【００２５】図３は、インターラインソリッドステート
イメージ検出装置の断面図を示す。小型レンズ５１を除
いて、フォトサイトの各感光領域５５に関連する信号読
み出し領域は、半導体基板の全領域を、感光性トランス
デューサ領域として利用できないようにする。従来のソ
リッドステートイメージ装置は、受けた全入射光線を効
率的に利用せず、よって低感度である。フォトサイトの
上部にさらに樹脂小型レンズ５１を設けることで、入射
光線が、フォトサイトの感光領域上に焦点を結ぶことが
できる。これにより入射光線のより効率的な利用と、フ
ォトサイトの感度の向上が可能になる。よって、小型レ
ンズ５１のサイズおよび／または効率を変化させること
により、フォトサイトの感度（ゲイン）が容易に変更で
きる。そのため、インターライン装置およびＣＭＯＳセ
ンサに対して、フォトサイトのゲインを変更するには、
フォトサイトの上部に配置された小型レンズ５１を変更
することによる方法が好ましい。図３に示すように、位
置５２には、小型レンズは存在しない。よってほとんど
の入射光は、感光領域に入射しない。また、小型レンズ
は、小型レンズ５１と比較して、位置５２に、異なる半
径、形状、サイズ、または材料で製造できる。これによ
り、入射光が感光領域５５上に焦点を結ぶ効率を、小型
レンズ５１よりもより悪く構成できる。当業者であれ
ば、小型レンズ５１は、入射光の８０％を感光領域５５
上で焦点を合わせさせ、小型レンズを有しない（または
低速小型レンズを有する）位置５２により、入射光の２
０％を感光領域５５上に集めることができ、小型レンズ
５１で覆われたフォトサイトは、位置５２より早い絞り
２（２ stops）であることが理解されるであろう。この
場合には、位置５２で示すように、高速（ファスト）フ
ォトサイトには小型レンズ５１が用いられ、低速フォト
サイトには小型レンズは用いられない。

【００２６】図４を参照して、フルフレームイメージ検
出装置１０の断面図を示す。イメージ検出装置１０がフ
ルフレーム装置の場合には、フォトサイトの感光領域５
５に入射する光線は、遮光部の開口を通過しなければな
らない。遮光部は、典型的には金属から形成され、図４
の断面図に示されており、遮光マスク部５４、遮光部に
散在する大開口５６および小開口５７を備えている。好
ましい実施の形態では、フォトサイトのゲインは、遮光
マスク部５４を修正することにより変更できる。そし
て、フォトサイトの感度は、遮光マスク部５４の開口に
直接関連する。例えば、あるフォトサイトの開口サイズ
の５０％の開口を持つフォトサイトは、当該あるフォト
サイトと比較して、５０％の応答を示す。例えば、遮光
マスク部５４の大開口５６により、そのフォトサイト上
へ入射する光線の８０％が通過可能であるが、小開口５
７により、入射光線の２０％のみが通過できる。当業者
は、大開口５６を有するフォトサイトは、小開口５７を
有するフォトサイトよりも、絞り２だけ早いことが理解
できるであろう。この場合には、大開口５６は、高速フ
ォトサイトに利用され、小開口５７は、低速フォトサイ
トに利用される。よって、遮光マスクの開口は、修正さ
れ、選択されたフォトサイトの応答を調整できる。The
Eastman Kodak Companyは、金属マスク遮光部を有する
フルフレームイメージ検出装置を製造する。金属マスク
遮光部は、（ディザスキャナ用途に対して）全画素の画
素活性領域を、約８０％から約２０％に減少する。ディ
ザスキャナ用途では、センサは、水平および垂直に１／
２画素間隔で移動され、４つの画像が撮影される。よっ
て、本発明は、そのようなマスク技術を含むが、別個の
サイズの開口を用い、イメージ光に対して異なる応答を
有するイメージセンサを提供する。

【００２７】好ましい実施の形態では、図５にグラフで
示すように、選択された低速フォトサイトの応答は、同
じ露出の高速フォトサイトの応答のＸ％（Ｘ≦１００）
である。この好ましい実施の形態では、選択されたフォ
トサイトは、高速フォトサイトに対して、絞り２（−ｌ
ｏｇＸ／１００）だけ応答が遅くされている。ここでＸ
＝２５である。よって、イメージ検出装置１０は、フォ
トサイト、高速フォトサイトおよび低速フォトサイトの
複数の組から構成される。高速フォトサイトの出力応答
を集めたものは、まばらにサンプリングされた高速デジ
タルイメージ、すなわち、高速フォトサイトで検出され
た場面をまばらにサンプリングしたバージョン、を構成
する。同様に、低速フォトサイトの出力応答を集めたも
のは、まばらにサンプリングされた低速デジタルイメー
ジ、すなわち、低速フォトサイトで検出された場面をま
ばらにサンプリングしたバージョン、を構成する。

【００２８】さらに他には、選択された低速フォトサイ
トの応答は、フォトサイトを覆う中性フィルタ（neutra
l filter）を使用することにより、遅くできる。図６
は、カラーフィルタアレイ５３を有するイメージ検出装
置の断面図である。カラーフィルタアレイ５３ａは赤、
５３ｂは緑、５３ｃは赤、５３ｄは緑である。中性フィ
ルタ５８の層は、上述のカラーフィルタアレイ５３を含
む。ただし、中性フィルタ５８およびカラーフィルタア
レイ５３の層の位置は問題とはならない。中性フィルタ
５８の層は、中性フィルタ５９により示されるように、
選択されたフォトサイトの位置における中性フィルタの
みを含むことに留意されたい。この場合には、中性フィ
ルタ５８の層は、高速フォトサイトに対して透明または
ほぼ透明であり、低速フォトサイトに対する中性フィル
タ５９を含む。例えば、仮に中性フィルタ５９が光の伝
達をＸ％許容する材料からなる場合には、低速フォトサ
イトの応答は、絞り−ｌｏｇ_２（Ｘ／１００）だけ小さ
くなるであろう。

【００２９】以下、図２に示すＤＲＥＦＡプロセッサ２
２をより詳しく説明する。ＤＲＥＦＡプロセッサ２２を
設けた目的は、入力されたイメージ信号を処理し、ま
た、高速および低速フォトサイトの写真応答における際
を考慮して、増加したダイナミックレンジを有するイメ
ージ信号を生成することである。したがって、ＤＲＥＦ
Ａプロセッサ２２の出力は、増加したダイナミックレン
ジ値を有する、拡張されたイメージ信号である。拡張さ
れたイメージ信号は、既に説明した処理を行うＣＦＡ補
間器２６に入力される。

【００３０】本発明では、Ａ／Ｄ変換器１４とＤＲＥＦ
Ａプロセッサ２２とが直接接続されていることは要件で
はない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１
４およびイメージ検出装置１０にきわめて近接して、ハ
ードウェアまたはソフトウェアで存在する。例えば、Ｄ
ＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接に
設けることができる。しかし、ＤＲＥＦＡプロセッサ２
２はまた、イメージ検出装置１０から離れていてもよ
い。例えば、Ａ／Ｄ変換器１４から出力されたイメージ
信号は、（圧縮の後）信号線接続またはワイヤレス接続
を介して、個人のコンピュータ装置、プリンタ、または
リモートサーバに伝送され、ＤＲＥＦＡプロセッサ２２
の動作に適用できる。イメージ信号の伝送はまた、ファ
イルトランスファープロトコル（file transfer protoc
ol）または電子メールを含んでもよい。さらに、クレジ
ットカードまたは他の手段による支払いが、ＤＲＥＦＡ
プロセッサ２２によってユーザから要求される。

【００３１】好ましい実施の形態では、イメージ検出装
置１０のフォトサイトの５０％が遅い応答を有するよう
に選択される。当業者であれば、遅い応答のフォトサイ
トのパーセンテージを変えても、まだ、本発明の利点を
もたらすことが認識できるであろう。すべてのフォトサ
イトが、ほぼ等しいスペクトル感度を有するイメージ検
出装置１０の場合（すなわち、全色性（panchromatic）
イメージ検出装置の場合）には、図７の（Ａ）は、低速
フォトサイトの配置を示す。低速フォトサイトは、応答
が遅いイメージ検出装置１０の全フォトサイトの５０％
にいたる。応答の遅いフォトサイト２８は、アスタリス
ク（＊）でマークされ、高速な高速フォトサイト３０
は、ブランクである。まばらにサンプリングされたイメ
ージは、イメージとして前に規定されている。イメージ
は、カラーフィルタアレイを有するイメージ検出装置で
撮影されている。本発明によれば、「まばらにサンプリ
ングされた」という語はまた、図７の（Ａ）に示すよう
なイメージセンサにより生成されるイメージにあてはま
ることも意図している。ここでは、高速および低速フォ
トサイトが散在している。

【００３２】図７の（Ｂ）は、カラーイメージセンサの
配置を示す図である。ここでは、各フォトサイトタイプ
（赤、緑、または青の感光性）の５０％が、遅い応答で
ある。例えば、フォトサイト３２、３４、３６は、それ
ぞれ遅い応答をもつ赤、緑、青のフォトサイトである。
フォトサイト３８、４０、４２は、それぞれ早い応答を
もつ赤、緑、青のフォトサイトである。

【００３３】図７の（Ａ）および（Ｂ）は、低速フォト
サイトの位置を示す標準パターンを意味する。低速フォ
トサイトは、標準パターンで配置されることが好ましい
が、必ずしも必要でない。低速フォトサイトは、ランダ
ムにまたは半ランダムに、イメージ検出装置１０の表面
上に配置できる。低速フォトサイトの位置は、ＤＲＥＦ
Ａプロセッサ２２にアクセス可能な位置に用意される。

【００３４】図５を参照して、図５は、所定の露出に対
する高速フォトサイトの応答、および、同じ露出に対す
る低速フォトサイトの応答を示す。応答にノイズｎのレ
ベルが重ね合わさている場合には、高速フォトサイト
は、低速フォトサイトよりも、（露出レベルＥから開始
する）露出がより低い有効な信号を生じることが、容易
に確認できることに留意されたい（低速フォトサイト
は、露出レベル１００Ｅ／Ｘで始まる有効な信号を生じ
る）。また、低速フォトサイトからのデータは、高速フ
ォトサイトよりも、高い露出レベルで有効である。高い
露出レベルとは、信号レベルが１００Ｅ２^Ｓ／Ｘまでの
レベルである。Ｓは、単一のフォトサイトの固有のダイ
ナミックレンジであり、典型的にはＳは絞り約５であ
る。高速フォトサイトは、Ｅ２^Ｓの露出までの有効な応
答を生成する。高速フォトサイトと低速フォトサイトの
両方は、露出の絞り（Ｓ）における同じ応答レンジを有
する。しかし、低速フォトサイトの応答は、図５に示す
ように、好ましくは、高速フォトサイトよりも遅い、絞
り−ｌｏｇ_２（Ｘ／１００）である。高速および低速フ
ォトサイトの応答は、露出に関して重なることが好まし
い。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであるこ
とが好ましい。イメージ検出装置１０の全ダイナミック
レンジは、高速および低速フォトサイトを考慮すると、
Ｓ−ｌｏｇ_２（Ｘ／１００）である。Ｓ＝５およびＸ＝
２５である好ましい実施の形態の場合は、イメージ検出
装置１０の効果的な全ダイナミックレンジは、露出の絞
り７である。

【００３５】ＤＲＥＦＡプロセッサ２２は、低速フォト
サイトに対応する画素値を用いることにより、本発明で
生成されるデジタルイメージの全ダイナミックレンジを
拡大して、非常に高い露出に対応する領域のイメージ信
号を再構築するのに利用できる。同様に、ＤＲＥＦＡプ
ロセッサ２２はまた、高速な応答をもつフォトサイトに
対応する画素値を用いて、非常に遅い露出に対応するイ
メージ信号を再構築する。

【００３６】図８は、ＤＲＥＦＡプロセッサ２２を分解
した部分の相互関係を示す図である。Ａ／Ｄ変換器１４
から出力される対数関数イメージ信号ｂ（ｘ，ｙ）は、
低速画素等化器４４に送られる。低速画素等化器４４を
設けた目的は、絞りＸに応じたオフセットを考慮するこ
とにより、低速フォトサイトに対応するイメージ信号を
補償することである。または、高速画素は、高速画素を
逆の方向に調整することにより、低速画素に等化され
る。好ましい実施の形態では、低速フォトサイトに対応
するイメージ信号は、−cvs ｌｏｇ（Ｘ／１００）の量
だけインクリメントされる。ここで、cvsは、露出絞り
ごとのコード値の数である。好ましい実施の形態では、
cvsの量は５１である。または、低速画素等化器４４に
入力されるイメージ信号が、露出に対して（対数関数的
よりはむしろ）線形的に関連がある場合には、低速画素
等化器４４は、低速フォトサイトに対応するイメージ信
号に、１００／Ｘのファクタで、倍率をかける。低速フ
ォトサイトの位置は、低速画素等化器４４に通知しなけ
ればならないとしていることに留意されたい。低速画素
等化器４４の出力は、イメージ信号ｉ（ｘ，ｙ）であ
る。イメージ信号ｉ（ｘ，ｙ）は、低速フォトサイトに
対応する位置において、高速フォトサイトの応答に関連
する低速フォトサイトの応答の間の差を補償される。高
速フォトサイトに対応する位置においては、Ａ／Ｄ変換
器１４から出力されるイメージ信号ｂ（ｘ，ｙ）の値
は、低速画素等化器４４から出力されるイメージ信号ｉ
（ｘ，ｙ）の値と同じである。イメージ信号ｉ（ｘ，
ｙ）は、８ビット範囲に制限されないことに注意された
い。好ましい実施の形態では、ｉ（ｘ，ｙ）の値は、０
〜３５７（すなわち９ビット）である。

【００３７】次に、低速画素等化器４４から出力される
イメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部４６に入
力される。低速画素閾値部４６を設けた目的は、低速画
素値を決定するためである。低速画素値は、有効な信号
を生成するのに十分な光子を受け取らないフォトサイト
に起因して、質が低い。これら（ｘ，ｙ）位置における
画素値は、信号拡張部５０が近隣の高速画素値に基づく
新たな画素値の計算を行う処理の際に、置換される。所
定の閾値よりも小さい低速画素値のすべては、問題のあ
る画素値と考えられる。低速画素値の場合には、この所
定の閾値は、低露出応答閾値として言及される。よっ
て、画素値ｉ（ｘ，ｙ）は、低速フォトサイトの場合、
および、

【数１１】の場合には問題と考えられる。ここで、Ｔ_１は予め定め
られている。好ましい実施の形態では、Ｔ_１の値は、下
記の方程式で与えられ、値１０２が設定されている。

【数１２】閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトのカ
ラー感度に依存する。問題のある低速画素値は、ノイズ
画素として言及される。それは、ｉ（ｘ，ｙ）の値は、
イメージ検出装置が有用となる雑音レベルに対して十分
高くはないからである。

【００３８】同様に、低速画素等化器４４から出力され
るイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に
入力される。高速画素閾値部４８を設けた目的は、質の
低い高速画素値を決定するためである。その後、これら
の位置における画素値は、信号拡張部５０による処理中
の、近隣の低速画素値に基づいて、新たな画素値を計算
することにより置き換えられる。信号拡張部５０による
処理は、以下、詳細に説明する。所定の閾値よりも大き
い高速画素値のすべては、問題のある画素と考えられ
る。高速画素の場合、高速画素の問題を検出するために
用いられる、この所定の閾値は、光露出応答閾値と言及
される。したがって高速画素値ｉ（ｘ，ｙ）は、下記の
場合には問題であると考えられる。

【数１３】ここで、Ｔ_２は、所定の閾値である。好ましい実施の形
態では、Ｔ_２の値は、値２５４に設定される。閾値Ｔ_２
は、位置（ｘ，ｙ）におけるフォトサイトのカラーに依
存する。問題の位置の高速フォトサイトは、飽和画素
（saturated pixels）と言及される。それは、値ｉ
（ｘ，ｙ）は、その位置においてできるだけ高い方がよ
いからである。

【００３９】低速画素閾値部４６により決定される低速
画素の問題の位置（ｘ，ｙ）、および、高速画素閾値部
４８により決定される高速画素の問題の位置（ｘ，ｙ）
は、信号拡張部５０に入力される。さらに、低速画素等
化器４４から出力されるイメージ信号ｉ（ｘ，ｙ）はま
た、信号拡張部５０に入力される。信号拡張部５０を設
けた目的は、イメージ検出装置１０の各フォトサイト固
有のダイナミックレンジがより大きくなっている場合
に、問題の位置（ｘ，ｙ）におけるイメージ信号ｉ
（ｘ，ｙ）を、置換値と称する信号の評価と置換するこ
とである。問題の位置が、低速フォトサイトと一致する
と、置換値は、高速フォトサイトと一致する近隣のイメ
ージ信号画素値から計算される。本実施の形態では、
「近隣」という語は、ある空間的な距離を示すとする。
好ましい実施の形態では、選択された近隣のフォトサイ
トは、当該選択されたフォトサイトの２つのフォトサイ
トの距離内に存在するフォトサイトである。同様に、問
題の位置がフォトサイトと一致すると、置換値は、低速
フォトサイトと一致する近隣のイメージ信号画素値から
計算される。好ましい実施の形態では、問題のフォトサ
イトにおけるフォトサイトの色もまた、考慮している。
どの問題の位置についての置換値は、好ましくは、同色
の近隣のフォトサイトから発生される信号によっての
み、決定される。信号拡張部５０の出力は、イメージ検
出装置１０の各フォトサイトについての、実際の固有の
ダイナミックレンジＳよりはむしろ、あたかも、下記方
程式に示す固有のダイナミックレンジＳを有するフォト
サイトを持つイメージ検出装置１０により撮影されたよ
うなダイナミックレンジを有するイメージ信号ｉ’
（ｘ，ｙ）である。

【数１４】問題の位置ではない全ての（ｘ，ｙ）位置において、
ｉ’（ｘ，ｙ）の値は、ｉ（ｘ，ｙ）と等しいことに留
意されたい。

【００４０】図７の（Ｂ）に示すBayerＣＦＡパターン
に対して、信号拡張部５０により行われる処理の例とし
て、位置（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が
（図７の（Ｂ）に示すフォトサイト３４のような）緑の
フォトサイトに対応する位置とすると、イメージ信号ｉ
（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のよ
うに計算される。

【数１５】ｉ’（ｘ，ｙ）の計算に従属する信号値は、ある要件に
適合するように予定されていることに留意されたい。例
えば、（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が遅
い応答を有するを有する緑のフォトサイトに対応すると
する。すると、近隣のフォトサイトの信号レベルは、置
換値ｉ’（ｘ，ｙ）を計算するのに利用される。しか
し、これは、近隣のフォトサイトの各々の信号値もま
た、Ｔ_３より小さいと仮定する。好ましい実施の形態で
は、Ｔ_３＝Ｔ_１である。このケースに該当しない近隣の
フォトサイトの各々に対しては、その信号値は、置換値
ｉ’（ｘ，ｙ）の計算から省略される。例えば、ｉ（ｘ
−１，ｙ−１）＞Ｔ_３の場合は、値ｉ’（ｘ，ｙ）は下
記の式で計算される。

【数１６】一般に、位置（ｘ，ｙ）が、Bayerパターンフィルタア
レイを有するイメージ検出装置の、高速フォトサイトで
もある緑のフォトサイトに対応する場合に、問題の位置
（ｘ，ｙ）における置換値を決定するための補間スキー
ムは、以下の等式で与えられる。

【数１７】

【数１８】

【００４１】問題の位置が、低速フォトサイトでもある
緑のフォトサイトに対応する場合にも、同じ等式を適用
して置換値を決定することに留意されたい。しかし、以
下の式も成り立つ。

【数１９】このとき、好ましい実施の形態では、Ｔ_４＝Ｔ_２であ
る。

【００４２】別の例として、位置ｉ（ｘ，ｙ）が問題の
フォトサイトであり、（ｘ，ｙ）が赤または青のフォト
サイトの位置に対応するとする。これもまた、図７の
（Ｂ）に示すBayerＣＦＡパターンと関連する。このと
き、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’
（ｘ，ｙ）は、以下のように計算される。

【数２０】位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、
また高速フォトサイトにも対応するとき、置換値ｉ’
（ｘ，ｙ）を決定する等式は、以下のように求められ
る。

【数２１】

【数２２】この場合には、ｊまたはｋのいずれかは０でなければな
らないが、双方が０になることはない。また、問題の位
置が、低速フォトサイトでもある赤または青のフォトサ
イトに対応する場合にも、同じ等式を適用して置換値を
決定することに留意されたい。しかし、以下の式も成り
立つ。

【数２３】このとき、好ましい実施の形態では、Ｔ_４＝Ｔ_２であ
る。

【００４３】１以上のまばらにサンプリングされたイメ
ージ信号から、拡大されたダイナミックレンジを有する
イメージ信号を生成するための上述の補間スキームは、
当業者であれば修正できるであろう。しかし、上述の補
間スキームに対するそのような多くの修正がえられる
が、本発明から大きく逸脱するとして考えるべきではな
い。

【００４４】当業者であれば、信号拡張部により行われ
る上述の補間スキームは、この技術において周知のロー
パスフィルタである。典型的には、イメージ信号に対す
るローパスフィルタの適用により、イメージ信号の解像
度を低減させる類似の効果がある。よって、ＤＲＥＦＡ
プロセッサ２２により行われる処理方法により、イメー
ジ検出装置１０の空間解像度を、イメージ検出装置１０
のダイナミックレンジを得るのに扱うことができる。実
際、信号のダイナミックレンジを増加させるために補間
スキームを行うイメージの領域は、そのイメージの同じ
領域が（低速画素閾値部４６および高速画素閾値部４８
により規定される）「問題の位置」が生じないようセン
サによって撮影されていた場合に得られたイメージと比
較して、顕著にソフトに（鮮明でなく）なる。

【００４５】図２を参照して、拡張プロセッサ２４０
は、高解像度デジタルイメージを受け取り、拡張された
デジタルイメージを生成する。本発明に役立つように利
用できる多くのデジタルイメージ拡張方法があるが、本
発明の好ましい実施の形態は、表示装置で直接見ること
のできる拡張されたデジタルイメージを生成する。２つ
の変換が利用され、直接見るためのソースデジタルイメ
ージを生成する。第１の変換は、ソースデジタルイメー
ジのカラー画素に適用される、３×３の色行列変換であ
る。色行列変換は、イメージ検出装置１０のカラーフォ
トサイトのスペクトル感度の差と、表示装置のスペクト
ル特性を考慮する。本発明で利用される上述の方法は、
１９９３年２月２３日にParulskiらに発行された米国特
許第5,189,511号に開示されている方法と類似する。第
２の変換は、ソースデジタルイメージの拡大されたダイ
ナミックレンジ画素値を、典型的な表示装置と互換性の
ある画素値に位置付ける、トーンスケール関数の応用を
含む。拡張プロセッサは、１９９４年４月５日にBuhrら
に発行された米国特許第5,300,381号に記載された方法
と類似の方法を利用する。Buhrは、選択的トーンマッピ
ングを有するレンダリングトーンスケール関数を計算す
る方法を開示する。この方法では、トーンスケール関数
のコントラストは、中央トーン画素強度に対して最大で
あり、影および最も明るい画素強度に対して、落ち着い
たより低いコントラストを有する。レンダリングトーン
スケール関数は、ガンママッピングトーンスケール関数
と組み合わされて、システムトーンスケール関数を計算
する。ガンママッピングトーンスケール関数は、典型的
な表示装置の固有の強度応答を補償する。システムトー
ンスケール関数は、レンダリングトーンスケール関数の
カスケードされ、（ルックアップテーブルの形で）ソー
スデジタルイメージの画素に適用され、その結果、拡張
デジタルイメージが得られる。

【００４６】デジタルカメラ露出制御サブシステムの設
計において重要な面は、露出アンダーのイメージに起因
して被る雑音と、露出オーバーのイメージから生じる飽
和（しばしばクリッピングと称され、Ａ／Ｄ変換器１４
の限界に達する画素値により生じる空間変調のロス）と
の妥協が必要なことである。イメージ信号の低速画素
は、高速画素よりも低い感光性で撮像された光を記録す
る。よって、第１のイメージの撮影に用いられる任意に
与えられた露出設定に対して、低速画素値は、高速画素
値よりも大幅にクリッピングが少なくなる。低速画素値
のクリッピングを生じさせることなく、イメージ信号の
最大量を生成する露出設定を用いることが望ましい。対
応する高速画素値がクリッピングを起こす高解像度デジ
タルイメージの領域は、上述のようにＤＲＥＦＡプロセ
ッサ２２により行われる処理によって、いまだ、良好な
空間変調を有する。そのため、ロバストな露出制御値
は、高速画素値を顧慮することなく、低速画素値から得
ることができる。

【００４７】以前に撮影したイメージに基づいて、露出
設定を調整するどのカメラに対しても、前の撮影からの
データを分析するのに必要な時間を考慮することは重要
である。図２に示す露出値計算部２５０は、撮影された
第１のイメージにより生成されたイメージ信号からの、
低速画素値のみをサンプリングすることにより、計算効
率のよい方法で分析を行う。低速画素値は、画素ヒスト
グラムで記録されている。すなわち、画素値の発生頻度
が記録されている。８ビットのＡ／Ｄ変換器１４を利用
して、画素値は、０〜２５５の範囲に入る。よって、画
素ヒストグラムは、２５６の項目を有する。一旦、画素
ヒストグラムが構築されると、画素ヒストグラムの各項
目発明あ、対応する画素値でイメージ信号中の画素数を
記録する。例えば、画素ヒストグラムの項目数０は、値
０を持つイメージ信号中の低速画素の数を記録する。画
素ヒストグラムを利用して、画素ヒストグラム内の値を
統合することにより、累積ヒストグラムを計算する。上
述の例では、累積ヒストグラムの項目６７は、値６７ま
たはそれより小さい値を有するイメージ信号中の低速画
素の総数を表す。

【００４８】本発明の好ましい実施の形態では、画素ヒ
ストグラムに対して、（赤、緑および青のフォトサイト
に対応する）低速画素値を利用する。一方、本発明の別
の実施の形態では、緑の低速画素値のみを利用する。こ
の別の実施の形態では、計算速度を有利にすると、結果
として得られる露出制御値の精度は、何らかの犠牲を払
う。

【００４９】本発明の他の別の実施の形態では、赤、緑
および青のフォトサイトに対応する画素値を平均するこ
とにより、低速輝度画素値を計算できる。この他の実施
の形態では、計算上不利という犠牲を払って、（好まし
い実施の形態に関連した）向上した精度が得られる。

【００５０】本発明は、累積ヒストグラムから露出制御
値を得る。低速画素値の高い割合の部分（high fractio
n）に対応する累積ヒストグラムの項目を見つけること
により、累積ヒストグラムから、高画素値が得られる。
高画素部分値が、変数τ_ｐにより表されるとし、記録さ
れた低速画素値の総数が、変数Ｎ_ｐで表されるとする。
すると、高画素部分値に対応する記録された低速画素の
数Ｎ_ｆは、数２４により与えられる。

【数２４】本発明は、τ_ｐについての値の範囲でうまく作用する
が、本発明の好ましい実施の形態は、値０．９９５を用
いる。τ_ｐについて、これよりもより高い値では、反射
された最も明るい反射部分により生じる強度の高い小領
域に対して、影響を受けやすくなる。τ_ｐについて、こ
れよりもより低い値では、低速画素値がクリップされた
露出オーバーなイメージになる。Ｎ_ｆと同じまたはそれ
より小さい記録値を有する、累積ヒストグラムの項目を
検索する。この条件を満足する累積ヒストグラムの露出
項目指標が、変数Ｐ_ｅにより表される。

【００５１】露出項目指標Ｐ_ｅは、最も明るい部分、ま
たは、景色内の強度の高い物に対応する画素値である。
よって、露出制御値は、景色内の強度の高い物に対応す
る画素値を、数値範囲の最大部の近傍に位置させるよう
に、露出項目指標に基づいて計算される。露出制御値
は、前の露出からの露出の変化量を表す。そのため、露
出項目指標Ｐ_ｅは、参照項目指標Ｒ_ｅと比較しなければ
ならない。上述の８ビットのＡ／Ｄ変換器の例では、参
照項目指標Ｒ_ｅの好ましい値は２４７である。この値
は、低速フォトサイトのダイナミックレンジの約９７パ
ーセントに対応する。１０ビットのＡ／Ｄ変換器へ適用
すると、Ｒ_ｅの値は、９９２になる。このように９７パ
ーセントの基準に基づいて、参照項目指標を設定する
と、大まかに、イメージ領域の０．５パーセントが取り
得る画素値の上位３パーセントを占めると予想される。

【００５２】Ｒ_ｅに対するＰ_ｅの比は、数２５を用い
て、露出制御値Ｅｃｖを決定するのに利用される。

【数２５】そして、露出制御値Ｅｃｖは、数２６を用いて新たな輝
度値Ｂｖ’を計算するのに利用される。

【数２６】新たな輝度値Ｂｖ’は、露出制御モードに依存して数６
または７において代用され、それぞれ、新たな時間値Ｔ
ｖ、または開口値Ａｖを計算する。または、露出制御値
Ｅｃｖは、古い輝度値を無視することにより、数２７を
利用して新たな輝度値Ｂｖ’を計算するのに用いられ
る。

【数２７】ここで、Ｂｏは、取り得る画素値の数値範囲の約１８パ
ーセントに対応する数値因子であり、数２８を用いて決
定される。

【数２８】

【００５３】図２を参照して、本発明の別の実施の形態
では、Ａ／Ｄ変換器１４から出力された低速画素値を前
処理して、パクセル化された（paxelized）デジタルイ
メージ、すなわち、低解像度デジタルイメージを形成す
る。このパクセル化デジタルイメージは、露出値計算部
２５０により受け取られる。パクセル化デジタルイメー
ジは、低速画素値と同様に処理される。露出値計算部２
５０は、パクセル化デジタルイメージの画素から露出制
御値を計算する。

【００５４】図２に示すＣＦＡパクセル化モジュール２
２０が、図９により詳細に示されている。ＣＦＡパクセ
ル化モジュール２２０は、Ａ／Ｄ変換器１４からの、そ
のままのイメージ信号を受け取る。イメージ信号は、信
号抽出モジュール２２２が受け取る。信号抽出モジュー
ル２２２は、低速フォトサイトに対応するイメージ信号
の低速画素値を集めて、まばらにサンプリングされた低
速デジタルイメージを形成する。低解像度パクセル化モ
ジュール２２４は、まばらにサンプリングされた低速デ
ジタルイメージを受け取り、数値平均化空間フィルタリ
ング技術で、パクセル化デジタルイメージを生成する。

【００５５】図１０の（Ａ）、（Ｂ）および（Ｃ）は、
図７の（Ａ）および（Ｂ）に示すＣＦＡフォトサイトパ
ターンで生成されたイメージ信号から得られた、まばら
にサンプリングされた低速デジタルイメージの例を示
す。図１０の（Ａ）は、緑のデジタルイメージチャネル
の全ての画素位置が、イメージ信号の緑の画素からの値
で配置されている様子を示す。しかし、図１０の（Ｂ）
および（Ｃ）は、赤および青のデジタルイメージチャネ
ルが、１行および１列ごとに、配置されていない様子を
示す。留意すべき重要なことは、まばらにサンプリング
された高解像度デジタルイメージから得られたまばらに
サンプリングされた低速デジタルイメージは、まばらに
サンプリングされた高解像度デジタルイメージの、半分
の数の列と、半分の数の行を有することである。また、
留意すべき重要なことは、信号抽出モジュール２２２に
より行われる動作は、コンピュータメモリ内の、画素デ
ータの格納位置を再配列しなくてもよいことである。本
発明は、コンピュータメモリ内の、画素データの格納位
置に対するポインタアドレッシングスキームとして、信
号抽出モジュール２２２を実装する。よって、信号抽出
モジュール２２２の最も重要な面は、低速フォトサイト
に対応する画素データを指し示す能力である。

【００５６】上述のように、図９に示す低解像度パクセ
ル化モジュール２２４は、まばらにサンプリングされた
低速デジタルイメージを受け取る。（空間フィルタリン
グの形での）ブロック平均化技術を用い、まばらにサン
プリングされた低速デジタルイメージの画素値の各ブロ
ックに対して、パクセル化された値を計算する。本発明
は、ブロックサイズの画素の整数値を用いて、平均化を
行う。この結果、パクセル化デジタルイメージが得られ
る。パクセル化デジタルイメージは、乗算整数値により
関連付けられた高解像度デジタルイメージの寸法に関連
する寸法を有する。例えば、上述の高解像度デジタルイ
メージが、１５３６×２３０４画素であるとき、まばら
にサンプリングされた低速デジタルイメージは、７６８
×１１５２画素である。よって、ブロック平均化技術を
用いれば、パクセル化デジタルイメージの得られるサイ
ズは、３８４×５７６、１９２×２８８等である。例え
ば、バイリニア補間法を用いて、任意のサイズのパクセ
ル化デジタルイメージを生成できる。

【００５７】図１０の（Ａ）を参照して、まばらにサン
プリングされた低速デジタルイメージの緑の画素の位置
は、画素値で完全に占められている。２×２のブロック
サイズに対して、指標０から１で参照される列、およ
び、指標０から１で参照される行の画素値は平均化さ
れ、パクセル化デジタルイメージの第１の緑の画素値に
なるパクセル値を生成する。図１０の（Ｂ）を参照し
て、まばらにサンプリングされた低速デジタルイメージ
の赤の画素の位置は、画素値で完全に占められていな
い。２×２のブロックサイズに対して、画素値ｒ_０１お
よびｒ_１０は平均化され、パクセル化デジタルイメージ
の第１の赤の画素値になるパクセル値を生成する青のパ
クセル値は同様に計算される。図１１は、３２×３２画
素のブロックサイズに対するブロック領域の絵図を示
す。これは、２４×３６画素のパクセル化されたデジタ
ルイメージになる。

【００５８】

【発明の効果】本発明によれば、フォトサイトの飽和に
よるイメージ情報のロスが最小化されるように露出が制
御される。さらに本発明によれば、露出制御値は、早い
（fast）画素値を除外して計算することにより、計算効
率のよい方法で計算される。さらに本発明によれば、ま
ばらにサンプリングされた高解像度のデジタルイメージ
から得られた低解像度のイメージを用いることにより、
正確な露出制御が提供される。

【図面の簡単な説明】

【図１】本発明による、拡張されたレンジのイメージ
検出装置と、デジタルイメージプロセッサとを用いるデ
ジタルカメラシステムのブロック図である。

【図２】図１に示すデジタルイメージプロセッサの機
能ブロック図である。

【図３】小型レンズアレイを用いて、選択されたフォ
トサイトの応答を変化させる、インターラインイメージ
センサの断面図である。

【図４】金属マスクを用いて、選択されたフォトサイ
トの応答を変化させる、フルフレームイメージセンサの
断面図である。

【図５】高速フォトサイトおよび低速フォトサイトの
応答を示すグラフである。

【図６】中性密度フィルタアレイを用いて、選択され
たフォトサイトの応答を変化させる、イメージセンサの
断面図である。

【図７】（Ａ）は、全色性のイメージ検出装置上の、
低速フォトサイトおよび高速フォトサイトの配置を示す
図である。（Ｂ）は、カラーイメージ検出装置上の、低
速フォトサイトおよび高速フォトサイトの配置を示す図
である。

【図８】ダイナミックレンジ拡張フィルタアレイ（Ｄ
ＲＥＦＡ）プロセッサの機能ブロック図である。

【図９】ＣＦＡパクセル化モジュールの機能ブロック
図である。

【図１０】（Ａ）は、緑に感度を有する低速フォトサ
イトに対応する、サンプリングされた画素の配置を示す
図である。（Ｂ）は、赤に感度を有する低速フォトサイ
トに対応する、サンプリングされた画素の配置を示す図
である。（Ｃ）は、感度を有する低速フォトサイトに対
応する、サンプリングされた画素の配置を示す図であ
る。

【図１１】ブロック平均化のための画素の配置の例を
示す図である。

【符号の説明】

２レンズ３アパーチャ装置４時間積分器６光学的ローパスフィルタ１０イメージ検出装置１４Ａ／Ｄ変換器１６露出制御装置２２ＤＲＥＦＡプロセッサ２６ＣＦＡ補間器４４低速画素等化器４６低速画素閾値部４８高速画素閾値部５０信号拡張部６２ユーザ選択装置６４ＬＣＤ表示装置２００デジタルイメージプロセッサ２２０ＣＦＡパクセル化モジュール２２２信号抽出モジュール２２４低解像度パクセル化モジュール２４０拡張プロセッサ

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B047 AB04 BB04 BC01 CA06 CB17 CB22 DC09 5C022 AA13 AB03 AB17 AC42 AC69 CA07

Claims

【特許請求の範囲】

【請求項１】まばらにサンプリングされ、拡大された
ダイナミックレンジのイメージの検出装置を用いるカメ
ラにおける露出制御方法において、ａ）光露出に対する所定の応答を有する高速フォトサイ
トと、その間に散在する、該光露出と同じ光露出に対し
てより遅い応答を有する低速フォトサイトとを有し、ま
ばらにサンプリングされ、拡大されたダイナミックレン
ジのイメージの検出装置を提供するステップと、ｂ）該検出装置を用いて、高速フォトサイトから生成さ
れた高速画素値と、低速フォトサイトにより生成された
低速画素値とを有する、まばらにサンプリングされた高
解像度デジタルイメージを生成するステップと、ｃ）まばらにサンプリングされた拡大されたダイナミッ
クレンジのイメージから、低速画素値のみを用いて、露
出制御値を計算するステップと、ｄ）前記露出制御値を用いて、前記検出装置に対する露
出を修正するステップとからなる、露出制御方法。