JP2002204389A - 露出制御方法 - Google Patents
露出制御方法Info
- Publication number
- JP2002204389A JP2002204389A JP2001342029A JP2001342029A JP2002204389A JP 2002204389 A JP2002204389 A JP 2002204389A JP 2001342029 A JP2001342029 A JP 2001342029A JP 2001342029 A JP2001342029 A JP 2001342029A JP 2002204389 A JP2002204389 A JP 2002204389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slow
- photosite
- value
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Input (AREA)
Abstract
イナミックレンジの電子イメージセンサの固有の属性を
利用した、露出制御方法を提供する。 【解決手段】 光露出に対する所定の応答を有する高速
フォトサイトと、その間に散在する、該光露出と同じ光
露出に対してより遅く応答する低速フォトサイトとを有
し、まばらにサンプリングされ、拡大されたダイナミッ
クレンジのイメージの検出装置を提供し、該検出装置を
用いて、高速および低速フォトサイトから生成された高
速および低速画素値を有する、まばらにサンプリングさ
れた高解像度デジタルイメージを生成し、まばらにサン
プリングされた拡大されたダイナミックレンジのイメー
ジから、低速画素値のみを用いて、露出制御値を計算
し、前記露出制御値を用いて、前記検出装置に対する露
出を修正する露出制御方法を提供する。
Description
の撮影に関し、より具体的には、拡大されたダイナミッ
クレンジのイメージ検出装置を有するカメラにおける、
露出を制御する方法に関する。
ジ検出装置は、デジタルカメラ、スキャナおよびビデオ
カメラのような製品で、広く見つけることができる。こ
れらのイメージ検出装置は、従来の写真フィルム製品と
比較したとき、ダイナミックレンジが制限されている。
典型的な電子イメージ検出装置は、絞りが約7のダイナ
ミックレンジを有する。これは、典型的な風景に対する
露出を、かなりの正確さで決定して、結果として得られ
る信号のもれを回避しなければならないことを意味す
る。対照的に、自然の風景は、しばしば、絞りが9また
はそれ以上のダイナミックレンジを示す。これは主に、
風景の対象物に光を照らす、強度が広く変化する複数の
光源が存在する結果である。もっとも明るい部分の反射
はまた、自然の風景のダイナミックレンジに寄与する。
子センサはまた、高いダイナミックレンジの信号強度を
取り扱わなければならない。Milchに与えられた199
3年6月22日発行の米国特許第5,221,848号には、電
子イメージセンサのダイナミックレンジを拡張するよう
設計された方法および装置が開示されている。主に写真
フィルムを走査することを目的として、Milchは、複数
の線形アレイを有する電荷結合素子を用いた1パスフィ
ルムスキャナの方法を教示する。複数の線形アレイは、
同じスペクトル感度を有する。アレイの1つは、他のア
レイよりも光に対してより早く応答する。2つのアレイ
からの情報は結合され、デジタル化されて、拡大された
ダイナミックレンジのデジタルイメージを形成する。
レイ(Color Filter Array;CFA)を有する単一のイ
メージセンサを利用して、まばらにサンプリングされた
(sparsely sampled)イメージを生成する。典型的なカ
ラーフィルタアレイパターンは、Bayerに対して197
6年7月20日に発行された、米国特許第3,971,065号
に開示されている。補間アルゴリズムが利用されて、ま
ばらにサンプリングされたイメージから、フル解像度カ
ラーイメージを生成する。デジタルカメラはまた、高い
ダイナミックレンジを有する風景を記録する必要があ
る。デジタルカメラから、高いダイナミックレンジのイ
メージを得る1つの方法は、カメラに、高ビットデプス
(depth)のアナログ−デジタル変換器を利用すること
である。他の方法は、Gallagherらにより2000年7
月13日に提出された、同時係属の米国出願第09/615,3
98号に開示されている、散らばせた、高速の(ファス
ト)および低速の(スロー)フォトサイト(photosit
e)を有するイメージセンサを用いることである。この
出願は、この引用により本明細書に組み込まれる。ま
た、デジタルカメラの重要な特徴は、異なる空間解像度
をもつデジタルイメージを生成することである。これは
主に、デジタルカメラの制限のあるオンボードメモリに
依存し、まばらにサンプリングされた拡大されたダイナ
ミックレンジのデジタルイメージを、他の装置に転送す
る帯域幅の制限に依存する。
子イメージセンサを利用し、撮像アプリケーションのた
めに、高いダイナミックレンジのデジタルイメージを記
録する必要がある。また、デジタルカメラの重要な特徴
は、電子イメージセンサのダイナミックレンジを最大限
利用して、電子イメージセンサが受け取る光の露出を制
御する必要があることである。デジタルカメラにおける
露出制御についての従来の技術は、別個の光電セルを用
いた露出の制御や、カメラ内のイメージセンサからの信
号を用いた露出の制御を含む。従来の露出制御技術は、
高速および低速のフォトサイトを有するイメージセンサ
を利用することにより実現される利点を考慮していな
い。
ジを有するイメージを記録できる電子イメージセンサが
必要とされている。さらに、高速および低速のフォトサ
イトを有する広いダイナミックレンジの電子イメージセ
ンサの固有の属性を利用した、露出を制御する方法も必
要とされている。
は、まばらにサンプリングされ、拡大されたダイナミッ
クレンジのイメージの検出装置を用いるカメラにおける
露出制御方法において、光露出に対する所定の応答を有
する高速フォトサイトと、その間に散在する、該光露出
と同じ光露出に対してより遅い応答を有する低速フォト
サイトとを有し、まばらにサンプリングされ、拡大され
たダイナミックレンジのイメージの検出装置を提供する
ステップと、該検出装置を用いて、高速フォトサイトか
ら生成された高速画素値と、低速フォトサイトにより生
成された低速画素値とを有する、まばらにサンプリング
された高解像度デジタルイメージを生成するステップ
と、まばらにサンプリングされた拡大されたダイナミッ
クレンジのイメージから、低速画素値のみを用いて、露
出制御値を計算するステップと、前記露出制御値を用い
て、前記検出装置に対する露出を修正するステップとか
らなる。これにより、上記課題が解決される。
ジタルイメージチャネルを有する。各デジタルイメージ
チャネルは、画素の2次元アレイを有する。各画素値
は、画素の幾何学的な領域に対応するイメージ撮影装置
が受け取った光の量に関連する。カラー撮像用途では、
デジタルイメージは、典型的には、赤、緑および青のデ
ジタルイメージチャネルから構成される。他の構成もま
た、実際に利用されている。例えば、シアン、マゼン
タ、および黄色のデジタルイメージチャネルである。動
画撮像用途では、デジタルイメージの時間系列と考える
ことができる。当業者であれば、本発明が、上述の任意
の用途に対するデジタルイメージに適用でき、しかしな
がら制限されないことが、認識できるであろう。
素値の2次元アレイとして、デジタルイメージチャネル
を説明するが、当業者であれば、本発明は、等しい効果
を有するモザイク面(非直線)に適用できることが理解
される。
る。そのため、本明細書は、特に本発明による装置の一
部を構成する要素、または、本発明による装置により直
接的に協働する要素に向けられている。特に図に示され
ていない、または、本明細書に記載されていない要素
は、従来の技術から選択できる。本明細書で用いられて
いるように、「イメージ」という語は、2次元アレイ値
であることに留意されたい。イメージは、他のイメージ
の2次元集合であってもよい。
光が、レンズ2に入射し、カラーフィルタアレイ(Colo
r Filter Array;CFA)を有する電荷結合素子(CC
D)のようなイメージ検出装置10上に、写真イメージ
を形成する。CMOS素子のような他の素子が、イメー
ジ検出装置10として利用できる。光学的ローパスフィ
ルタ6は、レンズ2とイメージ検出装置10との間に配
置され、撮像された光のわずかににじませ、エイリアシ
ングの発生を低減する。デジタルカメラは、第1のイメ
ージを撮影する。A/D変換器14は、イメージ検出装
置10から、撮像された光に対応する電圧信号を受け取
り、電圧信号に対応するイメージ信号を生成する。デジ
タルイメージプロセッサ200は、A/D変換器14か
らイメージ信号を受け取り、イメージ信号の画素値から
得られる露出制御値を計算する。露出制御装置16は、
露出制御値を受け取る。露出制御装置16は、開口装置
3および/または時間積分装置4の設定を変更する。
制御設定により、デジタルカメラは、第2のイメージを
撮影する。同様に、A/D変換器14は、イメージ検出
装置10から撮像された光に対応する電圧信号を受け取
り、電圧信号に対応する第2のイメージ信号を生成す
る。デジタルイメージプロセッサ200は、第2のイメ
ージ信号を受け取り、拡大されたダイナミックレンジの
デジタルイメージを計算する。拡大されたダイナミック
レンジのデジタルイメージは、カメラ内のメモリ(図示
せず)に格納される。拡大されたダイナミックレンジの
デジタルイメージは、処理され、画質の向上したデジタ
ルイメージを生成する。画質の向上したデジタルイメー
ジは、表示装置で直接見ることができる。
は、開口装置3および時間積分器4により調整される。
開口装置3は、レンズ2の光通過部の有効直径を変化さ
せて、光の量を調整する。時間積分器4は、焦点の合っ
た光が、イメージ検出装置10の応答に寄与できる時間
長を変えることにより、受け取る光の量を調整する。あ
るデジタルカメラでは、時間積分器4は撮像動作の間、
開き、その他は閉じたままのシャッタである。別のデジ
タルカメラでは、時間積分器4は、イメージ検出装置1
0の積分部である。これらのデジタルカメラにとって、
写真応答積分の時間は、電気的に制御される。露出制御
装置16は、開口装置3および時間積分器4の両方を調
整する。
ロセッサ200からの露出制御値を受け取る。デジタル
カメラシステムは、露出制御装置16が適切に露出値を
判断できるように、較正しなければならない。露出制御
装置16は、イメージ検出装置10の速度値Svに関す
る情報を有する。露出制御装置16は、以下の数学的な
関係にしたがって、開口装置3の直径と、時間積分器4
の露出時間の長さを調整する。
Tvは、下記の方程式で与えられる。
時間長である。Sv項は、速度値であり、下記の方程式
で与えられる。
O photographic speed rating)である。輝度値Bv
は、下記の数5の式で与えられる。
calibration constants)であり、bは、デジタルカメ
ラが用いる光電セルにより受け取られる露出制御値であ
る。これらは、カメラが初めに電源を入れられたとき
に、カメラの露出設定で定められる。本発明は主とし
て、デジタルカメラが既に電源を入れられ、デジタルイ
メージが既に得られ、動作状態にあるときの、撮像の手
順(scenario)に関する。この手順では、輝度値は、以
下説明するデジタルイメージプロセッサ200により計
算された露出制御値を用いて決定される。
を備えていてもよいが、2モードが最も有用である。開
口Avモードでは、露出制御装置16は、カメラの操作
者が開口値Avを設定できるようにし、露出制御装置1
6は、下記の方程式により、時間値Tvを設定する。
作者が時間値Tvを設定できるようにし、露出制御装置
16は、下記の方程式により、開口値Avを設定する。
り複雑な関係を利用可能なことが認識できるであろう。
より、開口装置3のF値が計算される。
より、時間積分器4の積分時間が計算される。
検出装置10が生成した電圧信号を、イメージ信号、す
なわち、イメージ検出装置10のフォトサイトが生成し
た電圧信号に対応するデジタル画素値のストリームに変
換する。より具体的には、A/D変換器14は、イメー
ジ検出装置10からの、入射光の強度に関してほぼ線形
の電圧信号を、離散デジタルイメージ信号に変換する。
離散デジタルイメージ信号は、例えば、線形符号化され
た値が0〜1023までの範囲に入る10ビット信号で
ある。A/D変換器14はまた、従来広く行われている
ような、線形符号値領域イメージ信号を、非線形符号値
領域イメージ信号に変換する処理も行う。例えば、下記
の方程式を利用して、10ビット線形イメージ信号a
(x,y)を、8ビットの対数イメージ信号b(x,
y)に変換する。(x,y)は、イメージ検出装置10
に関する信号位置の行および列の目盛り(index)を特
定する。
絞りは、線形イメージ信号a(x,y)の倍になり、そ
の結果、対数符号化されたイメージ信号b(x,y)は
増加する。増加の値は、51である。この場合、値が5
1というのは、露出の絞り(cvs)ごとのコード値の
数である。
セッサ200をより詳細に示す。デジタルカメラによ
り、最初のイメージが撮影された後、A/D変換器14
が生成した結果のイメージ信号は、露出値計算部250
により受け取られる。イメージ信号画素値は分析され、
露出制御値が計算され、露出制御装置16に伝送され
る。そして、第2のイメージがデジタルカメラにより撮
影される。A/D変換器14が生成した結果のイメージ
信号は、ダイナミックレンジ拡張フィルタアレイ(DR
EFA)プロセッサ22により受け取られる。DREF
Aプロセッサ22は、イメージ信号を修正し、修正した
イメージ信号をCFA補間器26に伝送する。CFA補
間器26の出力は、高解像度デジタルイメージである。
拡張プロセッサ240は、高解像度デジタルイメージを
受け取る。拡張プロセッサ240は、高解像度デジタル
イメージの画素を利用して、拡張されたデジタルイメー
ジを生成する。
た写真イメージの各位置の色の完全な描写を生成するこ
とである。好ましい実施の形態では、イメージ検出装置
10は、フォトサイトと呼ばれる感光素子アレイからな
る。Bayerに対して1976年7月20日に発行され
た、米国特許第3,971,065号に開示されているように、
各フォトサイトは、典型的には、赤、緑、または、青の
フィルタで覆われている。米国特許第3,971,065号は、
この引用により、本明細書に組み込まれる。Bayerのア
レイは、カラーフィルタアレイである。カラーフィルタ
アレイでは、緑のフィルタは、フォトレジストにわたっ
て、チェッカーボードパターンで配置されており、赤お
よび青のフィルタは、ラインごとに切り替わり、チェッ
クボードパターンの隙間を満たす。これにより、緑のフ
ィルタサイトが、赤または青のフィルタサイトよりも2
倍多くなる。本明細書で説明される方法は、原色の別の
配置を持つカラーフィルタアレイ、原色の数が異なるカ
ラーフィルタアレイ、または、原色の組み合わせが異な
るカラーフィルタアレイに容易に拡張できることに留意
されたい。したがって、好ましい実施の形態では、各フ
ォトサイトは、赤色、緑色または青色の光のいずれにも
感度を有する。しかし、好ましくは、各フォトサイトの
位置で、赤、緑および青の各々の露出量で表す露出に対
応する画素値を得ることが好ましい。イメージ信号の画
素値は、CFAデジタルイメージ、すなわち、フォトサ
イトのカラーフィルタアレイにより生成されるデジタル
イメージを構成する。そのため、撮影されたイメージ
は、赤、緑および青でまばらにサンプリングされる(sp
arsely sampled)。CFAデジタルイメージは、まばら
にサンプリングされたデジタルイメージの例である。
は、イメージ処理技術では周知の、イメージ検出装置1
0の原色スペクトル感度を表す。CFA補間器26は、
A/D変換器14から出力されたイメージ信号から、補
間されたイメージ信号を生成する。補間されたイメージ
信号は、各フォトサイトの原色に対応する画素値から構
成される。例えば、特定のフォトサイトが赤のフィルタ
で覆われている場合、A/D変換器14は、そのフォト
サイトの赤の画素値を出力する。それは、赤のフィルタ
は、本質的に、そのフォトサイトを緑および青の光から
遮るからである。CFA補間器26は、対応するフォト
サイトが緑および青の光に応答しない場合でも、対応す
るフォトサイトについて、緑の画素値および青の画素値
を計算する。同様に、CFA補間器26は、青のフォト
サイトに対応する、緑の画素値および赤の画素値を計算
し、緑のフォトサイトに対応する赤の画素値および青の
画素値を計算する。
フォトサイトの画素値および関連する周辺のフォトサイ
トの画素値を考慮して動作する。周知の任意の補間器が
利用できる一方、好ましいCFA補間器の説明が、Adam
s, Jr. らに1997年7月29日に発行された米国特
許第5,652,621号に含まれている。当該特許の内容は、
この引用により本明細書に組み込まれる。Adamsらは、
行および列で配列されたカラーフォトサイトを有するイ
メージセンサから得られた、デジタル化イメージ信号を
処理する装置を説明する。カラーフォトサイトは、少な
くとも3つの別個のカラー値を生成するが、各フォトサ
イトの位置に対して、1つのカラー値のみである。ま
た、カラーフォトサイトは、各フォトサイト位置につい
てカラー値を補間する構造体を生成し、3つの異なるカ
ラー値を保持する。装置は、フォトサイト位置から失わ
れた適切なカラー値を、そのようなフォトサイト位置に
対する追加のカラー値の補間により生成する。適切なカ
ラー値は、近くのフォトサイト位置における、失われた
カラー値とは異なるカラーのカラー値から生成される。
装置はまた、少なくとも2つのイメージ方向(directio
n)における、同じ行および列の近くのフォトサイトに対
応する画素値から、ラプラシアン2次値と、グラディエ
ント値と、カラー差バイアス値とを取得する。装置は、
これらの値から改善された分類に基づいて、失われたカ
ラー値の補間に関する好ましい配向(orientation)を
選択する。最後に、近くの多数のカラー画素値からの、
失われたカラー画素値が選択され、好ましい配向に適合
させる。
信号は、DREFAプロセッサ22により受け取られ
る。DREFAプロセッサ22は、イメージ信号のダイ
ナミックレンジを拡大する。好ましい実施の形態では、
イメージ検出装置10のダイナミックレンジは、イメー
ジ検出装置10の、あるフォトサイトを選択することに
より拡張され、ゆっくりと応答する。イメージ検出装置
10に関して選択されたフォトサイトの構成は、以下、
より詳細に説明する。好ましい実施の形態では、選択さ
れたフォトサイトのゲインを変化させることにより、選
択されたフォトサイトの応答は落とされ、または、遅ら
される。本明細書では、このようなフォトサイトを低速
フォトサイトと言及する。フォトサイトのゲインを変化
させることは、デジタルカメラ設計および製造の技術に
おいては広く行われていることである。
に樹脂小型レンズ51を配置することは、イメージセン
サの製造における技術において広く行われている。例え
ば、特にイメージ検出装置10がインターラインソリッ
ドステートイメージ検出装置の場合に、Ishiharaに19
87年5月19日に発行された米国特許第4,667,092号
に記載されている。この内容は、この引用により本明細
書に組み込まれる。Ishiharaは、ブロック表面を有する
イメージ記憶ブロックを含む、ソリッドステートイメー
ジ装置を開示する。複数の記憶素子は、ブロック表面に
沿って埋め込まれ、電荷の形でイメージを記憶する。表
面にわたる層が堆積されて、記憶素子に対応する光学レ
ンズアレイを形成する。中間層が、ブロック表面と表面
にわたる層との間に設けられる。入射光は、レンズおよ
び中間層を通して記憶素子上で焦点を結ぶ。中間層は、
焦点距離を調整する調整層として機能する。
イメージ検出装置の断面図を示す。小型レンズ51を除
いて、フォトサイトの各感光領域55に関連する信号読
み出し領域は、半導体基板の全領域を、感光性トランス
デューサ領域として利用できないようにする。従来のソ
リッドステートイメージ装置は、受けた全入射光線を効
率的に利用せず、よって低感度である。フォトサイトの
上部にさらに樹脂小型レンズ51を設けることで、入射
光線が、フォトサイトの感光領域上に焦点を結ぶことが
できる。これにより入射光線のより効率的な利用と、フ
ォトサイトの感度の向上が可能になる。よって、小型レ
ンズ51のサイズおよび/または効率を変化させること
により、フォトサイトの感度(ゲイン)が容易に変更で
きる。そのため、インターライン装置およびCMOSセ
ンサに対して、フォトサイトのゲインを変更するには、
フォトサイトの上部に配置された小型レンズ51を変更
することによる方法が好ましい。図3に示すように、位
置52には、小型レンズは存在しない。よってほとんど
の入射光は、感光領域に入射しない。また、小型レンズ
は、小型レンズ51と比較して、位置52に、異なる半
径、形状、サイズ、または材料で製造できる。これによ
り、入射光が感光領域55上に焦点を結ぶ効率を、小型
レンズ51よりもより悪く構成できる。当業者であれ
ば、小型レンズ51は、入射光の80%を感光領域55
上で焦点を合わせさせ、小型レンズを有しない(または
低速小型レンズを有する)位置52により、入射光の2
0%を感光領域55上に集めることができ、小型レンズ
51で覆われたフォトサイトは、位置52より早い絞り
2(2 stops)であることが理解されるであろう。この
場合には、位置52で示すように、高速(ファスト)フ
ォトサイトには小型レンズ51が用いられ、低速フォト
サイトには小型レンズは用いられない。
出装置10の断面図を示す。イメージ検出装置10がフ
ルフレーム装置の場合には、フォトサイトの感光領域5
5に入射する光線は、遮光部の開口を通過しなければな
らない。遮光部は、典型的には金属から形成され、図4
の断面図に示されており、遮光マスク部54、遮光部に
散在する大開口56および小開口57を備えている。好
ましい実施の形態では、フォトサイトのゲインは、遮光
マスク部54を修正することにより変更できる。そし
て、フォトサイトの感度は、遮光マスク部54の開口に
直接関連する。例えば、あるフォトサイトの開口サイズ
の50%の開口を持つフォトサイトは、当該あるフォト
サイトと比較して、50%の応答を示す。例えば、遮光
マスク部54の大開口56により、そのフォトサイト上
へ入射する光線の80%が通過可能であるが、小開口5
7により、入射光線の20%のみが通過できる。当業者
は、大開口56を有するフォトサイトは、小開口57を
有するフォトサイトよりも、絞り2だけ早いことが理解
できるであろう。この場合には、大開口56は、高速フ
ォトサイトに利用され、小開口57は、低速フォトサイ
トに利用される。よって、遮光マスクの開口は、修正さ
れ、選択されたフォトサイトの応答を調整できる。The
Eastman Kodak Companyは、金属マスク遮光部を有する
フルフレームイメージ検出装置を製造する。金属マスク
遮光部は、(ディザスキャナ用途に対して)全画素の画
素活性領域を、約80%から約20%に減少する。ディ
ザスキャナ用途では、センサは、水平および垂直に1/
2画素間隔で移動され、4つの画像が撮影される。よっ
て、本発明は、そのようなマスク技術を含むが、別個の
サイズの開口を用い、イメージ光に対して異なる応答を
有するイメージセンサを提供する。
示すように、選択された低速フォトサイトの応答は、同
じ露出の高速フォトサイトの応答のX%(X≦100)
である。この好ましい実施の形態では、選択されたフォ
トサイトは、高速フォトサイトに対して、絞り2(−l
ogX/100)だけ応答が遅くされている。ここでX
=25である。よって、イメージ検出装置10は、フォ
トサイト、高速フォトサイトおよび低速フォトサイトの
複数の組から構成される。高速フォトサイトの出力応答
を集めたものは、まばらにサンプリングされた高速デジ
タルイメージ、すなわち、高速フォトサイトで検出され
た場面をまばらにサンプリングしたバージョン、を構成
する。同様に、低速フォトサイトの出力応答を集めたも
のは、まばらにサンプリングされた低速デジタルイメー
ジ、すなわち、低速フォトサイトで検出された場面をま
ばらにサンプリングしたバージョン、を構成する。
トの応答は、フォトサイトを覆う中性フィルタ(neutra
l filter)を使用することにより、遅くできる。図6
は、カラーフィルタアレイ53を有するイメージ検出装
置の断面図である。カラーフィルタアレイ53aは赤、
53bは緑、53cは赤、53dは緑である。中性フィ
ルタ58の層は、上述のカラーフィルタアレイ53を含
む。ただし、中性フィルタ58およびカラーフィルタア
レイ53の層の位置は問題とはならない。中性フィルタ
58の層は、中性フィルタ59により示されるように、
選択されたフォトサイトの位置における中性フィルタの
みを含むことに留意されたい。この場合には、中性フィ
ルタ58の層は、高速フォトサイトに対して透明または
ほぼ透明であり、低速フォトサイトに対する中性フィル
タ59を含む。例えば、仮に中性フィルタ59が光の伝
達をX%許容する材料からなる場合には、低速フォトサ
イトの応答は、絞り−log2(X/100)だけ小さ
くなるであろう。
2をより詳しく説明する。DREFAプロセッサ22を
設けた目的は、入力されたイメージ信号を処理し、ま
た、高速および低速フォトサイトの写真応答における際
を考慮して、増加したダイナミックレンジを有するイメ
ージ信号を生成することである。したがって、DREF
Aプロセッサ22の出力は、増加したダイナミックレン
ジ値を有する、拡張されたイメージ信号である。拡張さ
れたイメージ信号は、既に説明した処理を行うCFA補
間器26に入力される。
Aプロセッサ22とが直接接続されていることは要件で
はない。DREFAプロセッサ22は、A/D変換器1
4およびイメージ検出装置10にきわめて近接して、ハ
ードウェアまたはソフトウェアで存在する。例えば、D
REFAプロセッサ22は、デジタルカメラ内に直接に
設けることができる。しかし、DREFAプロセッサ2
2はまた、イメージ検出装置10から離れていてもよ
い。例えば、A/D変換器14から出力されたイメージ
信号は、(圧縮の後)信号線接続またはワイヤレス接続
を介して、個人のコンピュータ装置、プリンタ、または
リモートサーバに伝送され、DREFAプロセッサ22
の動作に適用できる。イメージ信号の伝送はまた、ファ
イルトランスファープロトコル(file transfer protoc
ol)または電子メールを含んでもよい。さらに、クレジ
ットカードまたは他の手段による支払いが、DREFA
プロセッサ22によってユーザから要求される。
置10のフォトサイトの50%が遅い応答を有するよう
に選択される。当業者であれば、遅い応答のフォトサイ
トのパーセンテージを変えても、まだ、本発明の利点を
もたらすことが認識できるであろう。すべてのフォトサ
イトが、ほぼ等しいスペクトル感度を有するイメージ検
出装置10の場合(すなわち、全色性(panchromatic)
イメージ検出装置の場合)には、図7の(A)は、低速
フォトサイトの配置を示す。低速フォトサイトは、応答
が遅いイメージ検出装置10の全フォトサイトの50%
にいたる。応答の遅いフォトサイト28は、アスタリス
ク(*)でマークされ、高速な高速フォトサイト30
は、ブランクである。まばらにサンプリングされたイメ
ージは、イメージとして前に規定されている。イメージ
は、カラーフィルタアレイを有するイメージ検出装置で
撮影されている。本発明によれば、「まばらにサンプリ
ングされた」という語はまた、図7の(A)に示すよう
なイメージセンサにより生成されるイメージにあてはま
ることも意図している。ここでは、高速および低速フォ
トサイトが散在している。
配置を示す図である。ここでは、各フォトサイトタイプ
(赤、緑、または青の感光性)の50%が、遅い応答で
ある。例えば、フォトサイト32、34、36は、それ
ぞれ遅い応答をもつ赤、緑、青のフォトサイトである。
フォトサイト38、40、42は、それぞれ早い応答を
もつ赤、緑、青のフォトサイトである。
サイトの位置を示す標準パターンを意味する。低速フォ
トサイトは、標準パターンで配置されることが好ましい
が、必ずしも必要でない。低速フォトサイトは、ランダ
ムにまたは半ランダムに、イメージ検出装置10の表面
上に配置できる。低速フォトサイトの位置は、DREF
Aプロセッサ22にアクセス可能な位置に用意される。
する高速フォトサイトの応答、および、同じ露出に対す
る低速フォトサイトの応答を示す。応答にノイズnのレ
ベルが重ね合わさている場合には、高速フォトサイト
は、低速フォトサイトよりも、(露出レベルEから開始
する)露出がより低い有効な信号を生じることが、容易
に確認できることに留意されたい(低速フォトサイト
は、露出レベル100E/Xで始まる有効な信号を生じ
る)。また、低速フォトサイトからのデータは、高速フ
ォトサイトよりも、高い露出レベルで有効である。高い
露出レベルとは、信号レベルが100E2S/Xまでの
レベルである。Sは、単一のフォトサイトの固有のダイ
ナミックレンジであり、典型的にはSは絞り約5であ
る。高速フォトサイトは、E2Sの露出までの有効な応
答を生成する。高速フォトサイトと低速フォトサイトの
両方は、露出の絞り(S)における同じ応答レンジを有
する。しかし、低速フォトサイトの応答は、図5に示す
ように、好ましくは、高速フォトサイトよりも遅い、絞
り−log2(X/100)である。高速および低速フ
ォトサイトの応答は、露出に関して重なることが好まし
い。すなわち、−log2(X/100)<Sであるこ
とが好ましい。イメージ検出装置10の全ダイナミック
レンジは、高速および低速フォトサイトを考慮すると、
S−log2(X/100)である。S=5およびX=
25である好ましい実施の形態の場合は、イメージ検出
装置10の効果的な全ダイナミックレンジは、露出の絞
り7である。
サイトに対応する画素値を用いることにより、本発明で
生成されるデジタルイメージの全ダイナミックレンジを
拡大して、非常に高い露出に対応する領域のイメージ信
号を再構築するのに利用できる。同様に、DREFAプ
ロセッサ22はまた、高速な応答をもつフォトサイトに
対応する画素値を用いて、非常に遅い露出に対応するイ
メージ信号を再構築する。
した部分の相互関係を示す図である。A/D変換器14
から出力される対数関数イメージ信号b(x,y)は、
低速画素等化器44に送られる。低速画素等化器44を
設けた目的は、絞りXに応じたオフセットを考慮するこ
とにより、低速フォトサイトに対応するイメージ信号を
補償することである。または、高速画素は、高速画素を
逆の方向に調整することにより、低速画素に等化され
る。好ましい実施の形態では、低速フォトサイトに対応
するイメージ信号は、−cvs log(X/100)の量
だけインクリメントされる。ここで、cvsは、露出絞り
ごとのコード値の数である。好ましい実施の形態では、
cvsの量は51である。または、低速画素等化器44に
入力されるイメージ信号が、露出に対して(対数関数的
よりはむしろ)線形的に関連がある場合には、低速画素
等化器44は、低速フォトサイトに対応するイメージ信
号に、100/Xのファクタで、倍率をかける。低速フ
ォトサイトの位置は、低速画素等化器44に通知しなけ
ればならないとしていることに留意されたい。低速画素
等化器44の出力は、イメージ信号i(x,y)であ
る。イメージ信号i(x,y)は、低速フォトサイトに
対応する位置において、高速フォトサイトの応答に関連
する低速フォトサイトの応答の間の差を補償される。高
速フォトサイトに対応する位置においては、A/D変換
器14から出力されるイメージ信号b(x,y)の値
は、低速画素等化器44から出力されるイメージ信号i
(x,y)の値と同じである。イメージ信号i(x,
y)は、8ビット範囲に制限されないことに注意された
い。好ましい実施の形態では、i(x,y)の値は、0
〜357(すなわち9ビット)である。
イメージ信号i(x,y)は、低速画素閾値部46に入
力される。低速画素閾値部46を設けた目的は、低速画
素値を決定するためである。低速画素値は、有効な信号
を生成するのに十分な光子を受け取らないフォトサイト
に起因して、質が低い。これら(x,y)位置における
画素値は、信号拡張部50が近隣の高速画素値に基づく
新たな画素値の計算を行う処理の際に、置換される。所
定の閾値よりも小さい低速画素値のすべては、問題のあ
る画素値と考えられる。低速画素値の場合には、この所
定の閾値は、低露出応答閾値として言及される。よっ
て、画素値i(x,y)は、低速フォトサイトの場合、
および、
られている。好ましい実施の形態では、T1の値は、下
記の方程式で与えられ、値102が設定されている。
ラー感度に依存する。問題のある低速画素値は、ノイズ
画素として言及される。それは、i(x,y)の値は、
イメージ検出装置が有用となる雑音レベルに対して十分
高くはないからである。
るイメージ信号i(x,y)は、高速画素閾値部48に
入力される。高速画素閾値部48を設けた目的は、質の
低い高速画素値を決定するためである。その後、これら
の位置における画素値は、信号拡張部50による処理中
の、近隣の低速画素値に基づいて、新たな画素値を計算
することにより置き換えられる。信号拡張部50による
処理は、以下、詳細に説明する。所定の閾値よりも大き
い高速画素値のすべては、問題のある画素と考えられ
る。高速画素の場合、高速画素の問題を検出するために
用いられる、この所定の閾値は、光露出応答閾値と言及
される。したがって高速画素値i(x,y)は、下記の
場合には問題であると考えられる。
態では、T2の値は、値254に設定される。閾値T2
は、位置(x,y)におけるフォトサイトのカラーに依
存する。問題の位置の高速フォトサイトは、飽和画素
(saturated pixels)と言及される。それは、値i
(x,y)は、その位置においてできるだけ高い方がよ
いからである。
画素の問題の位置(x,y)、および、高速画素閾値部
48により決定される高速画素の問題の位置(x,y)
は、信号拡張部50に入力される。さらに、低速画素等
化器44から出力されるイメージ信号i(x,y)はま
た、信号拡張部50に入力される。信号拡張部50を設
けた目的は、イメージ検出装置10の各フォトサイト固
有のダイナミックレンジがより大きくなっている場合
に、問題の位置(x,y)におけるイメージ信号i
(x,y)を、置換値と称する信号の評価と置換するこ
とである。問題の位置が、低速フォトサイトと一致する
と、置換値は、高速フォトサイトと一致する近隣のイメ
ージ信号画素値から計算される。本実施の形態では、
「近隣」という語は、ある空間的な距離を示すとする。
好ましい実施の形態では、選択された近隣のフォトサイ
トは、当該選択されたフォトサイトの2つのフォトサイ
トの距離内に存在するフォトサイトである。同様に、問
題の位置がフォトサイトと一致すると、置換値は、低速
フォトサイトと一致する近隣のイメージ信号画素値から
計算される。好ましい実施の形態では、問題のフォトサ
イトにおけるフォトサイトの色もまた、考慮している。
どの問題の位置についての置換値は、好ましくは、同色
の近隣のフォトサイトから発生される信号によっての
み、決定される。信号拡張部50の出力は、イメージ検
出装置10の各フォトサイトについての、実際の固有の
ダイナミックレンジSよりはむしろ、あたかも、下記方
程式に示す固有のダイナミックレンジSを有するフォト
サイトを持つイメージ検出装置10により撮影されたよ
うなダイナミックレンジを有するイメージ信号i’
(x,y)である。
i’(x,y)の値は、i(x,y)と等しいことに留
意されたい。
に対して、信号拡張部50により行われる処理の例とし
て、位置(x,y)が問題の位置であり、(x,y)が
(図7の(B)に示すフォトサイト34のような)緑の
フォトサイトに対応する位置とすると、イメージ信号i
(x,y)に対する置換値i’(x,y)は、以下のよ
うに計算される。
適合するように予定されていることに留意されたい。例
えば、(x,y)が問題の位置であり、(x,y)が遅
い応答を有するを有する緑のフォトサイトに対応すると
する。すると、近隣のフォトサイトの信号レベルは、置
換値i’(x,y)を計算するのに利用される。しか
し、これは、近隣のフォトサイトの各々の信号値もま
た、T3より小さいと仮定する。好ましい実施の形態で
は、T3=T1である。このケースに該当しない近隣の
フォトサイトの各々に対しては、その信号値は、置換値
i’(x,y)の計算から省略される。例えば、i(x
−1,y−1)>T3の場合は、値i’(x,y)は下
記の式で計算される。
レイを有するイメージ検出装置の、高速フォトサイトで
もある緑のフォトサイトに対応する場合に、問題の位置
(x,y)における置換値を決定するための補間スキー
ムは、以下の等式で与えられる。
緑のフォトサイトに対応する場合にも、同じ等式を適用
して置換値を決定することに留意されたい。しかし、以
下の式も成り立つ。
る。
フォトサイトであり、(x,y)が赤または青のフォト
サイトの位置に対応するとする。これもまた、図7の
(B)に示すBayerCFAパターンと関連する。このと
き、イメージ信号i(x,y)に対する置換値i’
(x,y)は、以下のように計算される。
また高速フォトサイトにも対応するとき、置換値i’
(x,y)を決定する等式は、以下のように求められ
る。
らないが、双方が0になることはない。また、問題の位
置が、低速フォトサイトでもある赤または青のフォトサ
イトに対応する場合にも、同じ等式を適用して置換値を
決定することに留意されたい。しかし、以下の式も成り
立つ。
る。
ージ信号から、拡大されたダイナミックレンジを有する
イメージ信号を生成するための上述の補間スキームは、
当業者であれば修正できるであろう。しかし、上述の補
間スキームに対するそのような多くの修正がえられる
が、本発明から大きく逸脱するとして考えるべきではな
い。
る上述の補間スキームは、この技術において周知のロー
パスフィルタである。典型的には、イメージ信号に対す
るローパスフィルタの適用により、イメージ信号の解像
度を低減させる類似の効果がある。よって、DREFA
プロセッサ22により行われる処理方法により、イメー
ジ検出装置10の空間解像度を、イメージ検出装置10
のダイナミックレンジを得るのに扱うことができる。実
際、信号のダイナミックレンジを増加させるために補間
スキームを行うイメージの領域は、そのイメージの同じ
領域が(低速画素閾値部46および高速画素閾値部48
により規定される)「問題の位置」が生じないようセン
サによって撮影されていた場合に得られたイメージと比
較して、顕著にソフトに(鮮明でなく)なる。
は、高解像度デジタルイメージを受け取り、拡張された
デジタルイメージを生成する。本発明に役立つように利
用できる多くのデジタルイメージ拡張方法があるが、本
発明の好ましい実施の形態は、表示装置で直接見ること
のできる拡張されたデジタルイメージを生成する。2つ
の変換が利用され、直接見るためのソースデジタルイメ
ージを生成する。第1の変換は、ソースデジタルイメー
ジのカラー画素に適用される、3×3の色行列変換であ
る。色行列変換は、イメージ検出装置10のカラーフォ
トサイトのスペクトル感度の差と、表示装置のスペクト
ル特性を考慮する。本発明で利用される上述の方法は、
1993年2月23日にParulskiらに発行された米国特
許第5,189,511号に開示されている方法と類似する。第
2の変換は、ソースデジタルイメージの拡大されたダイ
ナミックレンジ画素値を、典型的な表示装置と互換性の
ある画素値に位置付ける、トーンスケール関数の応用を
含む。拡張プロセッサは、1994年4月5日にBuhrら
に発行された米国特許第5,300,381号に記載された方法
と類似の方法を利用する。Buhrは、選択的トーンマッピ
ングを有するレンダリングトーンスケール関数を計算す
る方法を開示する。この方法では、トーンスケール関数
のコントラストは、中央トーン画素強度に対して最大で
あり、影および最も明るい画素強度に対して、落ち着い
たより低いコントラストを有する。レンダリングトーン
スケール関数は、ガンママッピングトーンスケール関数
と組み合わされて、システムトーンスケール関数を計算
する。ガンママッピングトーンスケール関数は、典型的
な表示装置の固有の強度応答を補償する。システムトー
ンスケール関数は、レンダリングトーンスケール関数の
カスケードされ、(ルックアップテーブルの形で)ソー
スデジタルイメージの画素に適用され、その結果、拡張
デジタルイメージが得られる。
計において重要な面は、露出アンダーのイメージに起因
して被る雑音と、露出オーバーのイメージから生じる飽
和(しばしばクリッピングと称され、A/D変換器14
の限界に達する画素値により生じる空間変調のロス)と
の妥協が必要なことである。イメージ信号の低速画素
は、高速画素よりも低い感光性で撮像された光を記録す
る。よって、第1のイメージの撮影に用いられる任意に
与えられた露出設定に対して、低速画素値は、高速画素
値よりも大幅にクリッピングが少なくなる。低速画素値
のクリッピングを生じさせることなく、イメージ信号の
最大量を生成する露出設定を用いることが望ましい。対
応する高速画素値がクリッピングを起こす高解像度デジ
タルイメージの領域は、上述のようにDREFAプロセ
ッサ22により行われる処理によって、いまだ、良好な
空間変調を有する。そのため、ロバストな露出制御値
は、高速画素値を顧慮することなく、低速画素値から得
ることができる。
設定を調整するどのカメラに対しても、前の撮影からの
データを分析するのに必要な時間を考慮することは重要
である。図2に示す露出値計算部250は、撮影された
第1のイメージにより生成されたイメージ信号からの、
低速画素値のみをサンプリングすることにより、計算効
率のよい方法で分析を行う。低速画素値は、画素ヒスト
グラムで記録されている。すなわち、画素値の発生頻度
が記録されている。8ビットのA/D変換器14を利用
して、画素値は、0〜255の範囲に入る。よって、画
素ヒストグラムは、256の項目を有する。一旦、画素
ヒストグラムが構築されると、画素ヒストグラムの各項
目発明あ、対応する画素値でイメージ信号中の画素数を
記録する。例えば、画素ヒストグラムの項目数0は、値
0を持つイメージ信号中の低速画素の数を記録する。画
素ヒストグラムを利用して、画素ヒストグラム内の値を
統合することにより、累積ヒストグラムを計算する。上
述の例では、累積ヒストグラムの項目67は、値67ま
たはそれより小さい値を有するイメージ信号中の低速画
素の総数を表す。
ストグラムに対して、(赤、緑および青のフォトサイト
に対応する)低速画素値を利用する。一方、本発明の別
の実施の形態では、緑の低速画素値のみを利用する。こ
の別の実施の形態では、計算速度を有利にすると、結果
として得られる露出制御値の精度は、何らかの犠牲を払
う。
および青のフォトサイトに対応する画素値を平均するこ
とにより、低速輝度画素値を計算できる。この他の実施
の形態では、計算上不利という犠牲を払って、(好まし
い実施の形態に関連した)向上した精度が得られる。
値を得る。低速画素値の高い割合の部分(high fractio
n)に対応する累積ヒストグラムの項目を見つけること
により、累積ヒストグラムから、高画素値が得られる。
高画素部分値が、変数τpにより表されるとし、記録さ
れた低速画素値の総数が、変数Npで表されるとする。
すると、高画素部分値に対応する記録された低速画素の
数Nfは、数24により与えられる。
が、本発明の好ましい実施の形態は、値0.995を用
いる。τpについて、これよりもより高い値では、反射
された最も明るい反射部分により生じる強度の高い小領
域に対して、影響を受けやすくなる。τpについて、こ
れよりもより低い値では、低速画素値がクリップされた
露出オーバーなイメージになる。Nfと同じまたはそれ
より小さい記録値を有する、累積ヒストグラムの項目を
検索する。この条件を満足する累積ヒストグラムの露出
項目指標が、変数Peにより表される。
たは、景色内の強度の高い物に対応する画素値である。
よって、露出制御値は、景色内の強度の高い物に対応す
る画素値を、数値範囲の最大部の近傍に位置させるよう
に、露出項目指標に基づいて計算される。露出制御値
は、前の露出からの露出の変化量を表す。そのため、露
出項目指標Peは、参照項目指標Reと比較しなければ
ならない。上述の8ビットのA/D変換器の例では、参
照項目指標Reの好ましい値は247である。この値
は、低速フォトサイトのダイナミックレンジの約97パ
ーセントに対応する。10ビットのA/D変換器へ適用
すると、Reの値は、992になる。このように97パ
ーセントの基準に基づいて、参照項目指標を設定する
と、大まかに、イメージ領域の0.5パーセントが取り
得る画素値の上位3パーセントを占めると予想される。
て、露出制御値Ecvを決定するのに利用される。
度値Bv’を計算するのに利用される。
または7において代用され、それぞれ、新たな時間値T
v、または開口値Avを計算する。または、露出制御値
Ecvは、古い輝度値を無視することにより、数27を
利用して新たな輝度値Bv’を計算するのに用いられ
る。
ーセントに対応する数値因子であり、数28を用いて決
定される。
では、A/D変換器14から出力された低速画素値を前
処理して、パクセル化された(paxelized)デジタルイ
メージ、すなわち、低解像度デジタルイメージを形成す
る。このパクセル化デジタルイメージは、露出値計算部
250により受け取られる。パクセル化デジタルイメー
ジは、低速画素値と同様に処理される。露出値計算部2
50は、パクセル化デジタルイメージの画素から露出制
御値を計算する。
20が、図9により詳細に示されている。CFAパクセ
ル化モジュール220は、A/D変換器14からの、そ
のままのイメージ信号を受け取る。イメージ信号は、信
号抽出モジュール222が受け取る。信号抽出モジュー
ル222は、低速フォトサイトに対応するイメージ信号
の低速画素値を集めて、まばらにサンプリングされた低
速デジタルイメージを形成する。低解像度パクセル化モ
ジュール224は、まばらにサンプリングされた低速デ
ジタルイメージを受け取り、数値平均化空間フィルタリ
ング技術で、パクセル化デジタルイメージを生成する。
図7の(A)および(B)に示すCFAフォトサイトパ
ターンで生成されたイメージ信号から得られた、まばら
にサンプリングされた低速デジタルイメージの例を示
す。図10の(A)は、緑のデジタルイメージチャネル
の全ての画素位置が、イメージ信号の緑の画素からの値
で配置されている様子を示す。しかし、図10の(B)
および(C)は、赤および青のデジタルイメージチャネ
ルが、1行および1列ごとに、配置されていない様子を
示す。留意すべき重要なことは、まばらにサンプリング
された高解像度デジタルイメージから得られたまばらに
サンプリングされた低速デジタルイメージは、まばらに
サンプリングされた高解像度デジタルイメージの、半分
の数の列と、半分の数の行を有することである。また、
留意すべき重要なことは、信号抽出モジュール222に
より行われる動作は、コンピュータメモリ内の、画素デ
ータの格納位置を再配列しなくてもよいことである。本
発明は、コンピュータメモリ内の、画素データの格納位
置に対するポインタアドレッシングスキームとして、信
号抽出モジュール222を実装する。よって、信号抽出
モジュール222の最も重要な面は、低速フォトサイト
に対応する画素データを指し示す能力である。
ル化モジュール224は、まばらにサンプリングされた
低速デジタルイメージを受け取る。(空間フィルタリン
グの形での)ブロック平均化技術を用い、まばらにサン
プリングされた低速デジタルイメージの画素値の各ブロ
ックに対して、パクセル化された値を計算する。本発明
は、ブロックサイズの画素の整数値を用いて、平均化を
行う。この結果、パクセル化デジタルイメージが得られ
る。パクセル化デジタルイメージは、乗算整数値により
関連付けられた高解像度デジタルイメージの寸法に関連
する寸法を有する。例えば、上述の高解像度デジタルイ
メージが、1536×2304画素であるとき、まばら
にサンプリングされた低速デジタルイメージは、768
×1152画素である。よって、ブロック平均化技術を
用いれば、パクセル化デジタルイメージの得られるサイ
ズは、384×576、192×288等である。例え
ば、バイリニア補間法を用いて、任意のサイズのパクセ
ル化デジタルイメージを生成できる。
プリングされた低速デジタルイメージの緑の画素の位置
は、画素値で完全に占められている。2×2のブロック
サイズに対して、指標0から1で参照される列、およ
び、指標0から1で参照される行の画素値は平均化さ
れ、パクセル化デジタルイメージの第1の緑の画素値に
なるパクセル値を生成する。図10の(B)を参照し
て、まばらにサンプリングされた低速デジタルイメージ
の赤の画素の位置は、画素値で完全に占められていな
い。2×2のブロックサイズに対して、画素値r01お
よびr10は平均化され、パクセル化デジタルイメージ
の第1の赤の画素値になるパクセル値を生成する青のパ
クセル値は同様に計算される。図11は、32×32画
素のブロックサイズに対するブロック領域の絵図を示
す。これは、24×36画素のパクセル化されたデジタ
ルイメージになる。
よるイメージ情報のロスが最小化されるように露出が制
御される。さらに本発明によれば、露出制御値は、早い
(fast)画素値を除外して計算することにより、計算効
率のよい方法で計算される。さらに本発明によれば、ま
ばらにサンプリングされた高解像度のデジタルイメージ
から得られた低解像度のイメージを用いることにより、
正確な露出制御が提供される。
検出装置と、デジタルイメージプロセッサとを用いるデ
ジタルカメラシステムのブロック図である。
能ブロック図である。
トサイトの応答を変化させる、インターラインイメージ
センサの断面図である。
トの応答を変化させる、フルフレームイメージセンサの
断面図である。
応答を示すグラフである。
たフォトサイトの応答を変化させる、イメージセンサの
断面図である。
低速フォトサイトおよび高速フォトサイトの配置を示す
図である。(B)は、カラーイメージ検出装置上の、低
速フォトサイトおよび高速フォトサイトの配置を示す図
である。
REFA)プロセッサの機能ブロック図である。
図である。
イトに対応する、サンプリングされた画素の配置を示す
図である。(B)は、赤に感度を有する低速フォトサイ
トに対応する、サンプリングされた画素の配置を示す図
である。(C)は、感度を有する低速フォトサイトに対
応する、サンプリングされた画素の配置を示す図であ
る。
示す図である。
Claims (1)
- 【請求項1】 まばらにサンプリングされ、拡大された
ダイナミックレンジのイメージの検出装置を用いるカメ
ラにおける露出制御方法において、 a)光露出に対する所定の応答を有する高速フォトサイ
トと、その間に散在する、該光露出と同じ光露出に対し
てより遅い応答を有する低速フォトサイトとを有し、ま
ばらにサンプリングされ、拡大されたダイナミックレン
ジのイメージの検出装置を提供するステップと、 b)該検出装置を用いて、高速フォトサイトから生成さ
れた高速画素値と、低速フォトサイトにより生成された
低速画素値とを有する、まばらにサンプリングされた高
解像度デジタルイメージを生成するステップと、 c)まばらにサンプリングされた拡大されたダイナミッ
クレンジのイメージから、低速画素値のみを用いて、露
出制御値を計算するステップと、 d)前記露出制御値を用いて、前記検出装置に対する露
出を修正するステップとからなる、露出制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/707,673 US6813046B1 (en) | 2000-11-07 | 2000-11-07 | Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device |
US09/707673 | 2000-11-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002204389A true JP2002204389A (ja) | 2002-07-19 |
Family
ID=24842663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001342029A Pending JP2002204389A (ja) | 2000-11-07 | 2001-11-07 | 露出制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6813046B1 (ja) |
EP (1) | EP1206119A3 (ja) |
JP (1) | JP2002204389A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007514185A (ja) * | 2003-11-12 | 2007-05-31 | イーストマン コダック カンパニー | レジスト内でのパーツのサイズ変動 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7102682B2 (en) * | 2001-04-25 | 2006-09-05 | Hewlett-Packard Development Company, L.P. | Exposure control in a digital camera |
US6868138B2 (en) | 2002-05-29 | 2005-03-15 | The Regents Of The University Of Michigan | Method, processor and computed tomography (CT) machine for generating images utilizing high and low sensitivity data collected from a flat panel detector having an extended dynamic range |
JP4144377B2 (ja) * | 2003-02-28 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
TWI224462B (en) * | 2003-07-04 | 2004-11-21 | Primax Electronics Ltd | Exposure adjusting device and method |
EP1538826A3 (en) * | 2003-12-05 | 2007-03-07 | Samsung Electronics Co., Ltd. | Color transformation method and apparatus |
US7157685B2 (en) * | 2004-04-12 | 2007-01-02 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors |
US7321111B2 (en) * | 2004-04-12 | 2008-01-22 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors |
US7714928B2 (en) * | 2004-05-28 | 2010-05-11 | Konica Minolta Holdings, Inc. | Image sensing apparatus and an image sensing method comprising a logarithmic characteristic area and a linear characteristic area |
US7751475B1 (en) | 2004-06-22 | 2010-07-06 | Apple Inc. | Arbitrary-resolution, extreme-quality video codec |
US20060023275A1 (en) * | 2004-07-30 | 2006-02-02 | Pacific Title & Arts Studio, Inc. | Method for conversion and reproduction of film images through a digital process |
WO2006086455A2 (en) * | 2005-02-08 | 2006-08-17 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in cmos range finding systems using differential sensors |
US7780089B2 (en) | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
US7611060B2 (en) | 2005-03-11 | 2009-11-03 | Hand Held Products, Inc. | System and method to automatically focus an image reader |
US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US7706018B2 (en) * | 2005-10-31 | 2010-04-27 | Hewlett-Packard Development Company, L.P. | Image enhancement system and method |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
US7769241B2 (en) * | 2007-01-09 | 2010-08-03 | Eastman Kodak Company | Method of sharpening using panchromatic pixels |
US8594451B2 (en) * | 2007-03-30 | 2013-11-26 | Omnivision Technologies, Inc. | Edge mapping incorporating panchromatic pixels |
US7859033B2 (en) | 2008-07-09 | 2010-12-28 | Eastman Kodak Company | Wafer level processing for backside illuminated sensors |
JP5090302B2 (ja) * | 2008-09-19 | 2012-12-05 | 富士フイルム株式会社 | 撮影装置および方法 |
US8675122B2 (en) * | 2009-01-16 | 2014-03-18 | Microsoft Corporation | Determining exposure time in a digital camera |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US8068153B2 (en) * | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
US8045024B2 (en) | 2009-04-15 | 2011-10-25 | Omnivision Technologies, Inc. | Producing full-color image with reduced motion blur |
US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
US8237831B2 (en) | 2009-05-28 | 2012-08-07 | Omnivision Technologies, Inc. | Four-channel color filter array interpolation |
US8125546B2 (en) | 2009-06-05 | 2012-02-28 | Omnivision Technologies, Inc. | Color filter array pattern having four-channels |
US8253832B2 (en) | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
JP2012019392A (ja) * | 2010-07-08 | 2012-01-26 | Nikon Corp | 画像処理装置、電子カメラおよび画像処理プログラム |
US8466976B2 (en) * | 2010-11-03 | 2013-06-18 | Eastman Kodak Company | Digital camera providing high dynamic range images |
US8462221B2 (en) * | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
JP2013093692A (ja) * | 2011-10-25 | 2013-05-16 | Sony Corp | 撮像装置、撮像方法 |
US9275446B2 (en) * | 2013-10-15 | 2016-03-01 | Samsung Electronics Co., Ltd. | Large radius edge-preserving low-pass filtering |
CN107862646B (zh) * | 2017-09-27 | 2021-04-13 | 宁波大学 | 一种高动态范围图像信息隐藏方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4667092A (en) | 1982-12-28 | 1987-05-19 | Nec Corporation | Solid-state image device with resin lens and resin contact layer |
US5247366A (en) * | 1989-08-02 | 1993-09-21 | I Sight Ltd. | Color wide dynamic range camera |
US5194960A (en) * | 1990-03-05 | 1993-03-16 | Konica Corporation | Optical image signal control device |
US5189511A (en) | 1990-03-19 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for improving the color rendition of hardcopy images from electronic cameras |
US5221848A (en) * | 1992-04-30 | 1993-06-22 | Eastman Kodak Company | High dynamic range film digitizer and method of operating the same |
US5300381A (en) | 1992-09-24 | 1994-04-05 | Eastman Kodak Company | Color image reproduction of scenes with preferential tone mapping |
JP3666900B2 (ja) * | 1994-04-25 | 2005-06-29 | キヤノン株式会社 | 撮像装置および撮像方法 |
US6040858A (en) * | 1994-11-18 | 2000-03-21 | Canon Kabushiki Kaisha | Method and apparatus for expanding the dynamic range of sensed color images |
US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
JP4018820B2 (ja) * | 1998-10-12 | 2007-12-05 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
US6734913B1 (en) * | 1999-10-28 | 2004-05-11 | Hewlett-Packard Development Company, L.P. | Method of automatically adjusting exposure in a shutterless digital camera |
US6646246B1 (en) * | 2000-11-21 | 2003-11-11 | Eastman Kodak Company | Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device |
-
2000
- 2000-11-07 US US09/707,673 patent/US6813046B1/en not_active Expired - Lifetime
-
2001
- 2001-10-26 EP EP01204105A patent/EP1206119A3/en not_active Withdrawn
- 2001-11-07 JP JP2001342029A patent/JP2002204389A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007514185A (ja) * | 2003-11-12 | 2007-05-31 | イーストマン コダック カンパニー | レジスト内でのパーツのサイズ変動 |
Also Published As
Publication number | Publication date |
---|---|
US6813046B1 (en) | 2004-11-02 |
EP1206119A2 (en) | 2002-05-15 |
EP1206119A3 (en) | 2006-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002204389A (ja) | 露出制御方法 | |
JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
JP4058257B2 (ja) | 撮像素子におけるノイズ低減方法 | |
US7756330B2 (en) | Producing an extended dynamic range digital image | |
EP2543183B1 (en) | Method and apparatus for providing a high resolution image using low resolution images | |
US8218068B2 (en) | Exposing pixel groups in producing digital images | |
US8724928B2 (en) | Using captured high and low resolution images | |
US7940311B2 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
JP3968121B2 (ja) | 画像圧縮方法 | |
US6909461B1 (en) | Method and apparatus to extend the effective dynamic range of an image sensing device | |
JP2002369212A (ja) | カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス | |
JP2008514134A (ja) | 有効ダイナミック・レンジの拡張 | |
JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
Rebiere et al. | Color Pixel Reconstruction for a Monolithic RGB-Z CMOS Imager | |
Allen et al. | Digital cameras and scanners |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061204 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |