JP2003524316A

JP2003524316A - 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Info

Publication number: JP2003524316A
Application number: JP2001504676A
Authority: JP
Inventors: ナヤルシュリー; 知生光永
Original assignee: ザトラスティーズオブコロンビアユニヴァーシティインザシティオブニューヨーク
Priority date: 1999-06-04
Filing date: 2000-05-26
Publication date: 2003-08-12
Anticipated expiration: 2020-05-26
Also published as: JP4494690B2; JP2010110004A; JP2011030261A; WO2000079784A1; US20110157419A1; US9363447B2; US20040239798A1; EP1186163A1; US8934029B2; US20150116539A1; US7924321B2; JP4657365B2; EP1186163B1; US6864916B1; JP5519460B2

Abstract

(57)【要約】本発明は、低ダイナミックレンジ画像センサを使用して高ダイナミックレンジ画像を得る装置及び方法を提供する。場面の画像を、空間的に変化する露光関数を使用する画像センサによって取得する。前記空間的に変化する露光関数を、固定された空間減衰パターンを使用して、又は、制御可能減衰セルアレイを使用して実現することができる。前記取得された画像を、前記画像センサの非線形応答に関して補償する校正の後、前記露光関数に関して正規化する。前記露光関数を固定空間減衰パターンとした場合、前記正規化画像を補間し、飽和した又は黒くなった画素を説明する。前記露光関数を、制御可能減衰セルアレイを使用して実現した場合、前記露光関数を調節して、あるセルを経て露光される画素アレイの領域内の飽和画素又は黒画素の数を最小にし、平均画素値の信号対雑音比を最大にし、前記露光関数の空間的平滑さを最大にする。低ダイナミックレンジ表示装置における表示に関する高ダイナミックレンジ画像のダイナミックレンジ圧縮を詳細に保存する技術も開示する。この技術は、平滑化フィルタを前記高ダイナミックレンジ画像を得るために使用される前記露光関数に用いることと、前記平滑化露光関数を前記高ダイナミックレンジ画像に再び用いることとを必要とする。写真フィルムを、空間的に変化する露光関数を使用して露光することによって高ダイナミックレンジ画像を得る方法も開示する。前記露光されたフィルムを、現像し、走査して、前記露光関数とそろえられ、固定露光関数を電子的に使用して獲得された画像と同じように処理された電子画像を得る。

Description

【発明の詳細な説明】

【０００１】本発明の背景本発明は、ある場面の画像を捕捉する装置及び方法に関する、更に特定して云
えば低ダイナミックレンジ画像センサを使って高ダイナミックレンジの画像を捕
捉する装置及び方法に関する。

【０００２】いかなる現実世界の場面も仮想的には極めて広いレンジの輝度値を生成する。
それとは対照的に既知の画像感知デバイスは極めて限定されたダイナミックレン
ジを持つ。例えばビデオセンサにとって８ビット又はそれ以下のグレイレベル又
は色情報を生成することは典型的である。グレイスケール画像の場合には８ビッ
トは僅か 256個の離散的なグレイレベルを供給するに過ぎず、それは多くの現実
の実況場面の精密な詳細を捕捉するのには十分でない。

【０００３】低ダイナミックレンジ画像センサによって高ダイナミックレンジの画像を捕捉
するという問題の既知の解答は、場面から光への露出を変動させる間に各局所的
な場面領域に対し複数の画像測定を行う、というものである。そのような露出変
動は、異なる露出で複数の場面の画像を継続的にとって、次いでそれら複数の画
像を結合して単一の高ダイナミックレンジの画像にすることにより、典型的に達
成される。或る場面を画像化するときにダイナミックレンジを拡大するための一
時的な露出変動技術については、例えば1995年05月30日付の M.Konishi他による
米国特許第 5,420,635号、1995年10月03日付のA.Morimuraによる米国特許第 5,4
55,621号、1998年09月01日付の E.Ikedaによる米国特許第 5,801,773号、1997年
06月10日付の K.Takahashi他による米国特許第 5,638,118号、1994年05月03日付
のY.T.Tsaiによる米国特許第 5,309,243号、1995年05月刊行 Proceedings of IS
T's 48th Annual Conference,pp.422-428 所載のMann及びPicardによる“Being`
Undigital'with Digital Cameras:Extending Dynamic Range by Combining Diff
erently Exposed Pictures"という文献、1997年08月刊行 Proceedings of ACM S
IGGRAPH,1997,pp.369-378所載の Debevec及びMalik による“Recording High Dy
namic Range Radiance Maps from Photographs" という文献、1999年06月刊行 I
EEE Conference on Computer Vision and Pattern Recognition(CVPR 99)所載の
T.Misunaga及びS.Nayer による“Radiometric Self Calibration"という文献、
に記載がある。しかし露出の一時的な変化の間に複数の画像を取得することを要
する技術は、基本的な問題点として露出の変化の間に場面の変動が起こり得る。
換言すればこれらの技術は、場面の輝度値が一定の静止場面に対してのみ有用で
ある。更にまた、露出の変化の間には画像化デバイス及びそのコンポネントの位
置及び方向が一定のままでなければならない。最後に、すべての所要の画像を継
続的に捕捉するためにはかなり長時間が必要であるから、一時的な露出変動技術
は実時間への応用には不適当である。

【０００４】低ダイナミックレンジ画像センサによって高ダイナミックレンジの画像を捕捉
するという問題のもう１つの既知の解答は、種々の異なる露出を使って複数の場
面の画像を同時に捕捉することである。そのような技術については例えば Proce
edings of the IEEE Conference on Intelligent Transportation Systems,1997
所載のYamada他による“Effectiveness of Video Camera Dynamic Range Expans
ion for Lame Detection"という文献に開示されている。典型的には２個の光学
的に整列した CCD光感知アレイが使われて１つの場面の同じ画像が異なる露出で
同時に捕捉される。場面からの光はビームスプリッタにより分割されて両方の C
CD光感知アレイに向けられる。捕捉された２個の画像はポストプロセッサにより
結合されて１個の高ダイナミックレンジ画像となる。この技術は複雑で高価な光
学技術を必要とするので不利であり、２つより多い異なる露出で画像を捕捉する
ことは困難である。

【０００５】電荷結合画像化デバイスのダイナミックレンジを増す努力が続けられて来た。 M.Murakoshiによる特開昭59-217,358号には画像化デバイスの各画素に対し２個
以上の電荷結合デバイス(CCD) 光感知セルの使用が記載されている。１つの画素
の各光感知セルはそれぞれ異なる感光度を持つので場面からの光に露出されたと
きに幾つかのセルは他のセルに比して飽和に達する時間が長くなる。このやり方
で１つの画素のすべての光感知セル内の記憶光生成電荷が結合されると該画素の
ダイナミックレンジは効果的に増大する。しかしこの Murakoshi文献は低ダイナ
ミックレンジ画像センサを用いて高ダイナミックレンジの画像を捕捉するという
問題を目指していない。

【０００６】 J.Ross他による米国特許第 4,590,367号は、光学デバイスの感光領域に隣接し
電気的に制御される光変調器を使って光学デバイスのダイナミックレンジを拡大
し、画像化された光学的な場面から入射する光の明るさを減らしてダイナミック
レンジ又は感光領域を越えないようにする装置を開示する。J.Ross他の文献に記
載の光変調器は個別の制御信号に応じて光増幅又は減衰の個別の画素制御を持っ
ている。すると変調器の各画素から出る光の強さの検出されたレベルは制御信号
を発達させて変調器の各画素の増幅又は減衰を調節し輝度レベルを検出器の査定
されたダイナミックレンジへと持ってくるのに使われる。こうして幅の広い入力
光の強さのダイナミックレンジは１画素ごとに狭いダイナミックレンジに縮小さ
れる。しかしJ.Ross他の文献の装置及び方法は投影された光を使う３次元測定を
簡単化するのが目的であって、該文献は高ダイナミックレンジ画像をどのように
して捕捉するかには触れていない。

【０００７】高ダイナミックレンジ画像を捕捉する既知のシステムのもう１つの問題点は、
低ダイナミックレンジ・ディスプレイを使ってそのような画像を表示することで
ある。ビデオモニター、テレビジョン、コンピュータのディスプレイ等のような
市販のディスプレイの大半は低ダイナミックレンジを持つ。それ故に高ダイナミ
ックレンジ画像が得られた後では低ダイナミックレンジ・ディスプレイ上に画像
を表示するのに写像を行う方法を使うことを要し、一方では妥当な可視情報を保
存することを要する。換言すれば、捕捉された画像のダイナミックレンジは圧縮
されなければならず、一方では場面の詳細は保存されなければならない。

【０００８】更に技巧的なトーンカーブ再生技術は画像の色ヒストグラムを積分することに
よりトーンカーブを創造するヒストグラム等化である。ヒストグラム等化の結果
は色空間の画像中の色の更に一様な再分配をもたらすが、しかしこの技術は、極
めて明るい（又は極めて暗い）画素のある数個の局所領域を持つ画像の詳細を保
存することはできず、そのときにこのような局所領域は一緒になってグレイレベ
ルの完全なレンジに跨がるかも知れないのである。それ故に個々の領域の内部の
詳細はヒストグラム等化の過程によって質が向上することはない。

【０００９】捕捉された画像のダイナミックレンジを圧縮するもう１つの技術は、1998年の
SIGGRAPH 98 Proceedings,pp.287-298所載の Pattanaik他による“A Multiscale
Model of Adaptation and Spatial Vision for Realistic Image Display" とい
う文献に開示されている。この技術は画像データを数個の周波数成分画像、例え
ばラプラスのピラミッド、に分割する。それから各周波数成分が異なるやり方で
変調された後に画像が組み立て直される。この技術の利点は、ヒストグラム等化
とは異なり絶対画素値がさほどの貢献をしない、という点である。しかしこの技
術は周波数成分画像を得るために大量のメモリ及び膨大な計算を必要とする、と
いう不都合がある。

【００１０】従って、相対的に低いダイナミックレンジの画像センサを使って高ダイナミッ
クレンジの画像を捕捉し、また捕捉した高ダイナミックレンジの画像を相対的に
低いダイナミックレンジのディスプレイ・デバイスによって表示するために詳細
保存して圧縮する装置及び方法に対する必要性が存在し、それは上述の従来技術
の問題点を克服するものである。

【００１１】本発明の概要本発明によれば、光感知エレメントのアレイを持つ画像センサを含む高ダイナ
ミックレンジの画像化システムが提供される。この画像センサは場面の画像を感
知して、その光感知エレメントの各々に突き当たる光の強さを表す対応の画素値
を供給する。対応する光感知エレメントに突き当たる光の強さが第１のしきい値
レベルより大きいときには画像センサは飽和した画素値を供給し、また対応する
光感知エレメントに突き当たる光の強さが第２のしきい値レベルを下回るときに
は画像センサは黒の画素値を供給する。この画像センサは、場面の光学的画像中
の光の強さのレンジに比して相対的に低いダイナミックレンジを持つ。

【００１２】このシステムは、場面と画像センサとの間に介在するマスクを有する。このマ
スクは複数の光送出セルを持ち、その各々が、画像センサの１個又はそれ以上の
数の光感知エレメントが場面からの光にそれぞれ露出するのを制御する。光感知
エレメントの各々は、光感知エレメントに突き当たる光が通過するセルの透明度
によって定まる対応の露出値を持っている。

【００１３】このシステムは更に、光感知エレメントに対応する露出値を記憶する第１のメ
モリと画像プロセッサとを有し、この画像プロセッサは画像センサにより供給さ
れる画素値を受け取るために画像センサに結合し、また光感知エレメントに対応
する露出値を受け取るために第１のメモリにも結合する。画像プロセッサは、画
素値を露出値の関数により写像して対応の正規化された画素値を導くための正規
化器を持つ。そのような写像の１例は、各画素値をそれぞれの露出値で割り算す
るものである。

【００１４】本発明の第１の典型的実施例によれば、光感知エレメントに対応する露出値は
固定され、画像プロセッサは、正規化された画素値を補間して、光感知エレメン
トのアレイと一部分重なり合う第２のアレイ中のそれぞれの位置に補間された画
素値を導くための補間器を更に有する。この補間過程は、飽和した画素値又は黒
の画素値に対応する正規化された画素値については省略することがある。画像センサの応答関数が線型でない場合には、システムは画像センサの応答関
数を記憶するための第２のメモリを有することがあり、画像プロセッサは応答関
数を受け取るために第２のメモリに結合し、また応答関数に従って画像センサに
より供給される画素値を、該画素値が正規化器により正規化される前に、線型化
するための較正手段を更に有する。

【００１５】本発明の第２の典型的実施例によれば、マスクの各セルの露出値はそれぞれの
露出制御信号をマスクに与えることにより変更することができる。このシステム
はマスク制御器を有し、このマスク制御器は、画像センサにより供給される画素
値を受け取るために画像センサに結合し、露出制御信号を計算してマスクに与え
るものであり、該露出制御信号は、画像センサの対応の領域から飽和した画素値
及び黒の画素値の数を最少にするものであり、上記マスク制御器は与えられた露
出制御信号に対応する露出値を供給する。次いで正規化器は画像センサからの各
画素値を正規化して、場面の輝度画像を表す正規化された画素値を導き出す。

【００１６】捕捉された高ダイナミックレンジの画像のダイナミックレンジは圧縮されて、
露出パターンメモリに記憶された露出値を受け取り、滑らかな露出値が得られる
ように平滑化フィルタを露出値に適用するために、上記露出パターンメモリに結
合する平滑器を設けることにより、相対的に低ダイナミックレンジのディスプレ
イ上で視ることができるようにする。更にまた、画像プロセッサの正規化器に結
合する露出再適用器が設けられ、これは正規化された画素値を受け取ってそれら
正規化された画素値の各々に対応の平滑化された露出値を乗算し、それにより、
圧縮されたダイナミックレンジを持つが画像の詳細には殆ど喪失のないモニター
画像の画素値を導くのである。

【００１７】本発明の第１の典型的実施例の１つの代案によれば、マスクは使われないで、
画像センサの光感知エレメントのアレイが入射光への感光度の空間的に変動する
パターンとそれぞれの感光度を表す対応の感光度値とを持つ。この感光度値は第
１のメモリに記憶され、画像センサからのそれぞれの画素値と共に正規化器によ
って使われて対応する正規化された画素値を導き、また正規化された画素値を補
間するために補間器が設けられて光感知エレメントのアレイと一部分重なり合う
第２のアレイ中の位置に補間された画素値を導く。

【００１８】本発明のもう１つ別の態様によれば高ダイナミックレンジの画像化方法が提供
され、該方法は空間的に変動する露出を用いて光感知エレメントのアレイを持つ
画像センサに場面の画像を露出するステップを含む。画像センサは画像を感知し
てそれぞれの光感知エレメントに突き当たる光の強さを表す対応の画素値を供給
する。それぞれの光感知エレメントに突き当たる光の強さが第１のしきい値レベ
ルより大きいときには画像センサは飽和した画素値を供給し、またそれぞれの光
感知エレメントに突き当たる光の強さが第２のしきい値レベルを下回るときには
画像センサは黒の画素値を供給する。この画像センサは、場面の光学的画像中の
光の強さのレンジに比して相対的に低いダイナミックレンジを持つ。該方法は更
に、それぞれの露出値を使って画像センサにより供給される画素値を正規化する
ステップを含む。

【００１９】該方法の１つの態様によれば、空間的に変動する露出を用いて画像センサに露
出するステップは、その各々がそれぞれ１個又はそれ以上の数の光感知エレメン
トが場面からの光に露出するのを制御する複数の光送出セルを持つマスクを使う
ステップを含む。光感知エレメントの各々は、光感知エレメントに突き当たる光
が通過するセルの透明度を表す対応の露出値を持ち、また画像センサの供給する
画素値を正規化するステップは露出値の関数により画素値を写像するステップを
含む。

【００２０】該方法のもう１つ別の態様では、光感知エレメントに対応する露出値は固定さ
れ、該方法は更に正規化された画素値を補間して光感知エレメントのアレイと一
部分重なり合う第２のアレイ中のそれぞれの位置に補間された画素値を導くこと
を含む。

【００２１】更に別の態様では、該方法は画像センサの応答関数に従って画像センサにより
供給される画素値を較正して該画素値が正規化されるステップの前に該画素値を
線型化するステップを含む。

【００２２】該方法の更にもう１つ別の態様では、光感知エレメントの各々に対応する露出
値はそれぞれの露出制御信号をマスクに与えることにより変更可能である。該方
法は、画像センサから飽和した画素値及び黒の画素値の数を最少にするために画
像センサの供給する画素値から露出制御信号を計算して、その計算された露出制
御信号をマスクに与えると同時に与えられた露出制御信号に対応する露出値を正
規化ステップで用いるために供給するステップを更に含む。

【００２３】さらなる好適例では、この方法は、供給される露光制御信号に対応する露光値
に平滑化フィルタを適用して、正規化した画素値に対応する平滑化した露光値を
導出するステップを具えている。そして、各正規化した画素値に、これに対応す
る平滑な露光値を乗算することによって、平滑化した露光値を正規化した画素値
に再適用して、圧縮したダイナミックレンジを有するが、画像の視覚的細部情報
が保存された画像を表現するモニタ画像の画素値を導出する。

【００２４】本発明のさらに他の要点によれば、フィルムカメラ内の写真フィルムのフレー
ムを、カメラのシャッタと焦平面との間に配置した平面状のマスクを通したシー
ンの画像に露光させるステップを具えた、高ダイナミックレンジの画像化方法が
提供される。このマスクは、各々がフィルムのそれぞれの領域の露光を制御する
多数の光透過セルを有する。マスクの各セルが、このセルの透過率を示す関連の
露光値を有する。この露光値は露光パターンメモリに記憶する。そして露光した
フィルムを処理して、シーンのマスク画像が含まれるようにする。フィルムまた
はそのプリント上に含まれるマスク画像を走査して、マスクのセルを通してフィ
ルム上に露光したマスク画像の異なる領域を表現する画素値を得る。画素値で表
現されるマスク画像を、露光値で表現されるマスクに合わせて整列して、各画素
値がマスクのセルに関連する露光値に対応するようにして、この画素値で表現さ
れる領域は、このマスクのセルを通して露光したものである。そしてこれらの画
素値を、対応する露光値を用いて正規化して、第１アレイのそれぞれの位置にあ
る正規化した画素値を導出する。

【００２５】この方法の一つの好適例は、正規化した画素値を補間して、第１アレイに重な
った第２アレイの各位置の補間画素値を導出するさらなるステップを含む。この
方法の他の好適例はさらに、フィルムの応答関数と、フィルム上に含まれるマス
ク画像を走査するのに用いた画像センサの応答関数とを組合わせた応答関数に従
って、画素値を較正するステップを含む。本発明の特徴及び効果は、以下の図面を参照した実施例の詳細な説明より明ら
かになる。

【００２６】（実施例の詳細な説明）以下、本発明の実施例について図面を参照して説明する。図１に、本発明の第１好適例による画像システム１００の機能図を示す。シス
テム１００はマスク１０１を具え、シーン（図示せず）からの入射光が、画像セ
ンサ３に当たる前にこのマスクを通過する。画像センサ３は、マスク１０１を透
過したシーンの画像を感知して、これに対応する画素値を画像プロセッサ４に供
給し、画像プロセッサ４は、応答関数メモリ６及び露光パターンメモリ５に結合
され、そして高ダイナミックレンジのデータを出力画像メモリ７に供給する。マ
スク１０１は透過材料の平板であり、これは入射光の波長に対して中性の特性を
有し、かつ入射光２が通過する領域では、固定の透明度の空間的パターンを有す
る。本明細書で用いる「光」とは、ミリメートル波長領域からガンマ線領域まで
に広がるスペクトルを有する電磁放射のことを称する。画像センサ３は、光セン
サ素子（図示せず）のアレイを有する電荷結合素子（ＣＣＤ）画像検出器を具え
ていることが好ましいが、写真フィルムを含めた他のいずれの種類の画像センサ
とすることもできる。一般に画像センサ３は、シーンから発する入射光２のレン
ジに比べて低いダイナミックレンジを有する。メモリ６に記憶した応答関数デー
タは画像センサ３の入力／出力特性であり、これは前以て測定して、パラメータ
形式または他の適切なデータ形式の早見表としてメモリ６に記憶したものである
。メモリ５に記憶した露光値は、各画素位置におけるマスクの透明度を示すもの
であり、画像センサ３が供給する画素毎に対応する露光値が存在する。これらの
露光値は前以て測定して、生データまたは符号化データとして露光パターンメモ
リ５に記憶したものである。画像プロセッサ４は、画像センサ３が供給する画像
値、メモリ６に記憶している応答関数、及びメモリ５に記憶している露光値から
、高ダイナミックレンジの画像データを導出する。出力画像メモリ７に記憶して
いる高ダイナミックレンジの画像データは、これに対応するシーンの放射輝度（
ラジアンス）値に比例する放射輝度値を有する。

【００２７】図２に、図１のシステムを実現したビデオカメラ２００のハードウエア構成要
素を示す。図２のカメラは、画像センシング部４０１を有し、これはシーンの画
像をＣＣＤ光センサアレイ１６５の感光面に結像させるレンズ４０２と、画像の
全体的な露光を制御する開口部４０３と、前記ＣＣＤ光センサアレイ１６５の近
傍に位置するマスク１０１と、ＣＣＤ出力を調整してノイズを低減する前段増幅
器４０４を具えている。前段増幅器４０４は、相関倍化回路、自動利得制御回路
、ガンマ補正回路、及びニー（折点）回路のような、通常ビデオカメラに用いる
いくつかのアナログ回路を具えている。図２の実施例のカメラは、画像センシン
グ部４０１からの捕捉した画像に対応する信号をディジタル化するアナログ−デ
ィジタル変換器４０６を有する画像処理部４０５も具えている。このディジタル
化した画像をフレームメモリ４０７に記憶し、このメモリは図１の出力画像メモリに相当する。高ダイナミックレンジの画像データの演算は処理装置４１１で実行
し、この処理装置はフレームメモリ４０７、ＲＯＭ４０９、及びＲＡＭ４１０の
データにアクセスする。ＲＯＭ４０９は、露光値及び応答関数データ、並びに処
理装置４１１用の命令を記憶するために用いる。フレームメモリ４０７の高ダイ
ナミックレンジの画像データを演算したものを、ディジタル−アナログ変換器４
０８によってアナログ信号に変換し、ディジタル−アナログ変換器４０８はアナ
ログ信号をビデオ出力部４１２に供給する。ビデオ出力部４１２はビデオカメラ
のみに必要なものであり、これに相当するものは図１にはなく、前記変換したア
ナログ信号をビデオ信号に変換するビデオエンコーダ４１３を具えている。そし
てこのビデオ信号を出力装置４１４に通し、出力装置４１４はビデオ出力４１５
を供給する。

【００２８】図３に、図１の画像プロセッサ４のデータフロー図３０００を示す。この画像
プロセッサは、較正器９、正規化器１０、及び補間器１１を具えている。較正器
９は応答関数メモリ６に記憶している応答関数データを用いて、画像センサ３に
よって捕捉した画像データ８を線形応答画像マッピングする。そして正規化器が
この線形応答画像を、シーンの放射強度に比例する画像に変換する。最後に補間
器１１が、飽和またはブラック化により演算不能な画素値を補間して、補正した
画像データを出力画像メモリに供給する。補間は、飽和あるいはブラック化した
画素がなくても、ノイズを低減する方法として用いることができる。図４Ａに、
図１のシステムに用いるマスク１０１用のマスクパターンの例を示す。このマス
クの例では、マスク１０１は、異なる透明度（減衰率）を有するセルの２次元ア
レイである。マスク１０１は、異なる透明度を有する４つのセルの同じグループ
を反復的に配置したものから構成される。図４Ｂに、４つのセルのグループ１０
２、１０３、１０４及び１０５を示し、これらの各々を、図４Ａのパターンのマ
スク１０１を形成するように配置する。このグループは、最明セル１０２、明セ
ル１０３、暗セル１０４、及び最暗セル１０５を有し、最明セル１０２が４つの
セルのうち最も透明度が高く、最暗セル１０５が最も透明度が低い。図４Ａ及び
図４Ｂの例では、４つのセルのグループの各々を、マスク１０１の露光パターン
を形成するように配置しているが、異なる透明度を有するセルをより少数あるい
はより多数有するグループを同様に反復させて、同じ露光パターンあるいは異な
る露光パターンを形成することができる。マスクの露光パターンは周期的である
必要はなく、透明度の分布がランダムであってもよい。さらにマスク１０１を、
非線形の光学応答特性を有する材料から構成することができる。こうした材料は
、入射光の強度に対して非線形に変化する透過率（または減衰率）を有する。こ
うしたマスクは、視覚的細部情報を保存しつつ画像システムの有効ダイナミック
レンジを拡大する細部保存性の光学フィルタを提供することができる。

【００２９】ＣＣＤまたはＣＭＯＳ光センサアレイのような固体画像センシングデバイスを
使用する場合には、フォトリソグラフィー及び薄膜フィルム堆積を用いて、マス
クパターンを画像センシングデバイスと同じ基板上に製造することができ、ある
いはフォトリソグラフィー及びデバイスそのもののエッチングによってマスクパ
ターンを形成することができる。フィルム式カメラの場合には、シャッタとフィ
ルム板の間にマスクを配置するか、あるいはフィルムそのものにマスクを取り付
けることができる。マスクの代わりに、フィルムそのものが空間的に可変の光感
度を有するようにすることもできる。チェッカー（碁盤模様）型のマスク１０１
は、あらゆる局所領域に４つの異なる露光が生じるようにするものである。これ
により、４つの異なる露光によって生成される大きなダイナミックレンジを用い
て、あらゆる局所領域を捕捉する。チェッカー型のマスク１０１内のセルの露光
値を露光値メモリ５に記憶して、これらの値を画像プロセッサ４が用いる。

【００３０】図５Ａ及び図５Ｂに、チェッカーパターンのマスク１０１でのシーンの画像の
捕捉を示す。図５Ａに示すように、マスク板１０１を画像センシングデバイス１
６５の前に置いて、各マスクセルが、画像センシングデバイス１６５のそれぞれ
の画素（即ち感光素子）の前に位置するように、マスク板１０１を合わせる。シ
ーンからの入射光が画像光学器１４７を通過して、画像センサ３の画像平面上に
結像するが、各画素位置ではマスク板１０１によって減衰した光強度を記録する
。また図５に、明るい物体１０６及び暗い物体１０７のあるシーンを示す。この
ため、マスク板１０１を通して画像センシングデバイス１６５によってシーンを
捕捉すると、図５Ｂに示すような画像が得られる。なお、明るい物体１０６の領
域で、より明るい露光の画素が飽和する場合には、同じ領域で、より暗い露光の
画素はまだ、画像センサ３のダイナミックレンジ内の値を有する。同様に、暗い
物体１０７の領域で、より暗い露光の画素が暗すぎる場合には、同じ領域では、
より明るい露光の画素はまだ、画像センサ３のダイナミックレンジ内の値を有す
る。

【００３１】図６に、画像プロセッサ４の較正器９及び正規化器１０で実行する処理の例を
示す。この例では、シーンの背景中の領域１１１から、隣接する４つの画素の局
所領域１１２を取り出す。シーンの背景が一定の明るさなので、４つの画素１１
２の放射輝度値は同一になる。しかし、画像センサ３の応答関数の非線形性、及
びマスクの透明度パターンの結果としての、４つの画素位置に対応する露光値の
差により、４つの画素の測定値が異なる。図７の中央にある図は、測定した各画
素値を、シーンの放射輝度に対して線形の画素値に変換して、この線形化した画
素値を正規化するプロセスを示すものである。最初に較正器９が、実線の応答曲
線１１３で表わす画像センサ３の応答関数を各測定画素値に適用して、点線１１
４で表わす画像センサ３の非線形性を除去する。そして点線１１５で示すように
、較正した各画素値を、これに対応する露光値で除算する。その結果を図１１６
で表現し、これは、同じ放射輝度を有する隣接した画素位置の４つの画素値を較
正して正規化したものを示す。図６の例で用いた正規化は、対応する露光値で画
素値を除算することを含むが、正規化は、露光値の関数による画素値のマッピン
グのいずれをも含むということに留意すべきである。

【００３２】図７に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を
示し、今回は、シーンの暗い領域１１７から取り出した隣接する画素位置１１８
についての処理である。図７の例では、これらの画素位置のうちの３つが画像セ
ンサ３のダイナミックレンジ内の画素値を有するが、画素位置のうちの１つがブ
ラック化した画素値を有する。これら４つの画素値の較正及び正規化を、図７の
中央の図に示す。図の画素値軸では、画素のブラック化しきい値及び画素の飽和
しきい値をそれぞれＴ_b及びＴ_sで示す。図に示すように、較正及び正規化プロセ
スは破線１１９で示すように、ブラック化した画素値には正しく適用することが
できない。こうして較正及び正規化した結果を図１２０で表わし、これは同じ放
射輝度を有する３つの画素値を較正及び正規化したもの、及びブラック化した１
つの画素値（文字"b"を付けたもの）を表わし、この画素値には較正及び正規化
を正しく適用することができない。

【００３３】図８に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を
示し、今回は、シーンの明るい領域１２１から取り出した隣接する画素位置１２
２についての処理である。４つの画素位置１２２のうちの２つが、画像センサ３
のダイナミックレンジ内の画素値を有するが、他の２つは飽和した画素値を有す
る。これら４つの画素値の較正及び正規化を、図８の中央の図で示す。ここでも
図の画素値軸上に、画素のブラック化しきい値及び画素の飽和しきい値をそれぞ
れＴ_b及びＴ_sで示す。これら２つの飽和した画素値は、破線１２３で示すように
正しく較正及び正規化することができない。処理の結果を図１２４で表わし、こ
の図は、２つの画素位置の同じ放射輝度の画素値を較正及び正規化したもの、及
び他の２つの画素位置の飽和した画素値（文字"s"を付けたもの）を示す。

【００３４】この好適実施例によれば、飽和及びブラック化した画素値を較正手段９によっ
てマークして、これにより補間器１１がこうした例外を扱うことができるように
する。

【００３５】図９に、プロセッサ４の補間器１１が実行する補間プロセスを示す。図の右上
には、シーンの領域１２５を表現する10×10個の画素のグループ１２６を示し、
これはシーンの暗部及び明部の境界を含む。各画素位置１２６の画素値は、図６
、７及び８に関連して説明した較正及び正規化プロセスを行ったものであり、飽
和した画素はすべて黒色の"×"を付けてあり、ブラック化した画素はすべて白色
の"×"を付けてある。補間器は、画像の画素アレイの、すべての異なる２画素×
２画素の領域に、２画素×２画素の補間フィルタを適用する。補間フィルタは、
領域内の非飽和かつ非ブラック化の画素値の平均を取ることによって、各２画素
×２画素領域の中心の補間画素値を計算する。すべての異なる２画素×２画素領
域を、４つの異なる透明度のマスクを通して露光するので、一般に、各領域内に
少なくとも１つの非飽和かつ非ブラック化の画素値が存在する。図９に示す補間
フィルタ１２７の位置では、補間フィルタが包含する２画素×２画素の領域が２
つの飽和画素値を含み、これらの画素値は補間プロセスが考慮に入れない。結果
として、この領域内の２つの非飽和かつ非ブラック化の画素値の平均値を有する
補間画素１２９が、２画素×２画素領域の中心に得られる。あるいはまた、飽和
画素及びブラック化画素にそれぞれ所定値を割り当てて、これらを補間演算に含
めることができる。

【００３６】各画素値に、補間結果の品質向上への寄与分に従って重み付けすることが有利
である。隣接する４つの画素を異なる露光値によって正規化するので、４つの画
素の各々の信号対ノイズ比（ＳＮＲ）は相互に異なる。各画素値にＳＮＲで重み
付けすることによって、よりノイズ耐性のある補間を行うことができる。画素値
Ｍの応答関数ｆ(Ｍ)が与えられれば、この画素値のＳＮＲはＳＮＲ(Ｍ)＝ｆ(Ｍ)
/ｆ'(Ｍ)として計算することができ、ここでｆ'(Ｍ)はｆ(Ｍ)の１次導関数であ
る。

【００３７】図１０Ａ及び図１０Ｂにさらに、画像プロセッサ４の補間器１１が実行する補
間プロセスを示す。図１０Ａに、垂直方向（ｙ方向）及び水平方向（ｘ方向）に
伸びる、直交する離間した直線によって規定される元の画像格子１５０を示す。
画像センサ３は、元の画像格子１５０の各交点（画素位置）に配置した感光素子
１５１のアレイで構成される。画像センサ３は、入射光に露光すると、各感光素
子に対応するそれぞれの画素値を供給する。元の画像格子１５０には補間格子１
５２が重なり、これも垂直方向及び水平方向に伸びる直交する離間直線によって
規定される。ここで図１０Ｂに示すように、補間フィルタ１５３が、元の画像格
子１５０の異なる４つの交差領域の各々を包含して、この補間格子のそれぞれの
交点における補間値１５４を導出する。この好適実施例では、補間格子が元の画
像格子と同一であり、これらの格子は互いに、水平方向に半グリッド位置分だけ
変位し、かつ垂直方向に半グリッド位置分だけ変位している。補間格子が元の画
像格子と同一である必要がなく、そして、双線形補間フィルタ、補間フィルタ、
双立方補間フィルタ、Ｂ−スプライン補間フィルタ、ガウス補間フィルタ、また
は当業者に既知の他のいずれの補間フィルタのような、２画素×２画素以外の補
間フィルタを用いることができることは当業者にとって明らかである。さらに、
感光素子の配置は格子の交点である必要がなく、いずれの形態のアレイとするこ
ともできる。

【００３８】図１１に、画像プロセッサ４が実行する処理を表わすフロー図３００を示す。
まず、ループ２０１のプロセスを画素位置毎に繰り返し、ここでｘ及びｙは画素
位置のｘ、ｙ座標であり、ｘＳｉｚｅ及びｙＳｉｚｅは画素アレイのｘ次元及び
ｙ次元である。ループ２０１は、ステップ２０２、２０３、２０４、２０５、２
０６、２０７、２０８及び２０９を含む。ステップ２０２では、画素位置(x,y)
の画素値Ｍ(x,y)を評価する。Ｍ(x,y)が小さい所定画素値であるノイズレベルよ
りも小さければ、ステップ２０３を実行する。Ｍ(x,y)がノイズレベルよりも小
さくなければステップ２０５を実行する。ステップ２０３では、画素位置に対応
する露光値Ｅ(x,y)を露光パターンメモリ５から読み込む。Ｅ(x,y)が最高露光値
であれば、ステップ２０５を実行する。さもなければステップ２０４を実行する
。ステップ２０４では、画素を"ブラック化"画素値を有するものとしてマークし
て、現在行っているループの反復を終了する。一時メモリの当該画素位置に特定
値を書き込むことによって、このマーク付けを行う。ステップ２０５では画素値
Ｍ(x,y)を評価する。Ｍ(x,y)が非常に大きい所定画素値である飽和レベルよりも
大きければ、ステップ２０６を実行する。Ｍ(x,y)が飽和レベルよりも大きくな
ければステップ２０８及び２０９を実行する。ステップ２０６では、露光値Ｅ(x
,y)をメモリ５から読み込む。Ｅ(x,y)が最低露光値であれば、ステップ２０８及
び２０９を実行する。さもなければステップ２０７を実行する。ステップ２０７
では、画素を一時メモリ内の"飽和"画素値としてマークして、現在行っているル
ープ２０１の反復を終了する。ステップ２０８では、図６、７及び８に関連して
説明した方法でＭ(x,y)を較正する。ステップ２０９では、図６、７及び８に関
連して説明したようにＭ(x,y)を正規化して、現在行っているループ２０１の反
復を終了する。

【００３９】図１１Ａに、図１１のフロー図の較正ステップ２０８の詳細フロー図を示す。
ステップ３１１では、各画素位置(x,y)における画素値Ｍ(x,y)を、入力Ｍとして
供給する。ステップ３１２では、応答関数ｆをＭに適用してｍを得る。上述した
ように、この応答関数は早見表形式、パラメータ形式、あるいは他の適切な形式
とすることができる。応答関数のデータが256レベルの早見表形式であるものと
すれば、Ｍを正規化して、これら256レベルのうちの１つを指示する指標値にデ
ィジタル化することができる。そしてこの早見表を用いて、指標値Ｍに対応する
ｆ(Ｍ)を見つける。ステップ３１３では、Ｍを出力として供給し、これは図１１
のフロー図では、ステップ２０９に供給する画素値Ｍ(x,y)である。

【００４０】図１１に戻って説明すると、すべての画素位置についてループ２０１を完了し
た後に、ループ２１０の処理を行う。位置(1,1)から位置(xSize-1,ySize-1)まで
の画素位置毎にループ２１０を繰り返す。ループ２１０では、ステップ２１１、
ループ２１２、ステップ２１３、２１４及び２１５を実行する。ステップ２１１
では、Ｌ(x,y)及びＮを共に０に初期化する。ここではＬ(x,y)が、出力画像メモ
リ７内の位置(x,y)における放射輝度値を示し、Ｎが処理した画素数を示す。そ
して、ループ２１２の処理を(i,j)について繰り返す。ｉ及びｊ共に０から１ま
で変化する。ループ２１２では、ステップ２１３及び２１４を実行する。ステッ
プ２１３では、画素(x+i,y+j)のマーク付けを決定する。画素がマーク付けして
なければ、ステップ２１４を実行する。さもなければ、現在行っているループの
反復を終了する。ステップ２１４では、重み値Ｗを、画素値Ｍ(x+i,y+j)のＳＮ
Ｒとして計算する。そして画素値Ｍ(x+i,y+j)にＷを乗じて、この積をＬ(x,y)に
加算し、ＷをＮに加算する。ループ２１２を終了した後に、ステップ２１５を実
行する。ステップ２１５では、Ｌ(x,y)をＮで除算し、その後にループを終了す
る。すべての画素位置についてループ２１０を完了した後に、画像プロセッサ４
による処理を完了する。

【００４１】再び図１に戻って説明すると、本発明の第１の好適実施例による画像システム
は、マスク１０１を除去して、空間的に可変のパターンの感光性を有する感光素
子（画素）のアレイで構成される画像センサ３を用いることによって変形するこ
とができる。これらの感光素子の感光性のパターンを各感度値として、露光パタ
ーンの代わりにメモリ５に記憶する。再び図３に戻って説明すると、較正器９が
捕捉した画像８の画素値を受けて、メモリ６内の各応答関数を用いて、これらの
画素値を線形化する。そしてこれらの線形化した値を正規化器１０によって、メ
モリ５に記憶している感光性の値を用いて正規化する。そしてこれらの正規化し
た画素値を上述した方法で補間して、高ダイナミックレンジの画像画素値を導出
する。

【００４２】図１２に、本発明の第２の好適実施例による画像システムの機能ブロック図４
００を示す。第２の好適実施例によるシステムは、可変マスク１２と、マスクコ
ントローラ１３と、画像センサ３と、露光パターンメモリ５と、応答関数メモリ
６と、出力画像メモリ７と、画像プロセッサ１４と、モニタ画像メモリ１５とを
具えている。図１のシステムと同様に、シーンからの入射光が、画像センサ３の
感光面に当たる前に、空間的に可変の透明度パターンを有するマスク１２を通過
し、画像センサ３は対応する画素値を画像プロセッサ１４に供給する。また画像
プロセッサ１４も、応答関数メモリ６からの関数データ及び露光パターンメモリ
５からの露光値を受けて、高ダイナミックレンジの画像データを出力画像メモリ
７に供給する。しかし図１のシステムとは異なり、図１２のシステム４００は、
露光制御信号を供給することによって変化しうる透明度パターンを有するマスク
１２、及び画像センサ３が供給する画素値に応答して露光制御信号を発生してマ
スク１２に供給するマスクマスクコントローラ１３を採用し、マスクコントロー
ラ１３は露光制御信号に対応する露光値を露光パターンメモリに供給する。これ
に加えて、画像プロセッサ１４はモニタ画像データを供給して、これをモニタ画
像メモリ１５に記憶する。このモニタ画像データは、画像の細部情報を保存しつ
つ、テレビジョン、ビデオモニタ、あるいはコンピュータディスプレイのような
低ダイナミックレンジの装置による表示用に圧縮したダイナミックレンジを有す
る。マスクコントローラ１３は画像センサ３の出力を受けて、飽和及びブラック
化した画素値が最少数になるように、マスク１２の空間的に可変の透明度を調整
する。

【００４３】次に、第１３図は、第１２図のシステムのビデオカメラを実現するハードウェ
アの構成５００のブロック図を示している。ビデオカメラは、可変マスク１２上
に情景の焦点を合せる第１のレンズ素子１６２と、可変マスク１２を通過後、そ
の情景の画像の焦点を合せる第２レンズ素子１６３とを有する光学連結装置１６
１と、ＣＣＤ光検知アレイ１６５の光検知面上の散光器１３１とを備える。また
、光学連結装置１６１は、透過パターンを変化させる液晶マスク１２にマスク制
御信号を供給する液晶マスクコントローラ１８３を備える。第１３図のブロック
図の構成５００は、ＣＣＤ光検知アレイ１６５とＣＣＤ出力の振幅を調整しノイ
ズを減らすプリアンプ１６６とを有する画像感知部１６４を備える。プリアンプ
１６６は、通常ビデオカメラにおいて実現される、例えば相関性二重化回路（ノ
イズ減少化回路）、自動ゲインコントロール回路、ガンマ補正回路、屈曲回路な
どのいくつかのアナログ回路を備える。プリアンプ１６６の出力は、画像処理部
１６７にあるＡ／Ｄ変換器１６９に供給される。Ａ／Ｄ変換器１６９は、取り込
んだ画像をデジタル化する。第１２図中のイメージプロセッサ１４の実際の計算
は、ＲＡＭ１７０と、ＲＯＭ１７１と、フレームメモリ１１７２、２１７８、３
１７４とにアクセスする処理ユニット１６８によって実行する。第１３図のビデ
オカメラの構成５００において、液晶マスクコントローラ１８３は制御電圧を液
晶マスク１２に送る。液晶マスク１２に供給された制御電圧を、処理ユニット１
６８が計算する。ＲＯＭ１７１は、制御パラメータと共に、処理ユニット１６８
が実行した指示を記憶する。ＲＡＭ１７０は、一時的に処理中のデータを記憶す
る。フレームメモリ１１７２は、第１２図の出力画像メモリ７に相当し、フレー
ムメモリ２１７３は、第１２図の露光パターンメモリ５に相当し、フレームメモ
リ３１７４は、第１２図のモニタ画像メモリ１５に相当する。フレームメモリ１
１７２に格納された高ダイナミックレンジの画像データは、Ｄ／Ａ変換器１７５
によって、ビデオ出力部１１７７に供給される前に、アナログ信号に変換される
。そのアナログ信号はビデオ信号プロセッサ１７８によって処理され、その出力
は、高ダイナミックレンジの画像であるビデオ出力１８１に供給する出力ユニッ
ト１７９に送られる。フレームメモリ３１７４中のモニタ画像データは、Ｄ／Ａ
変換器１７６によってアナログ信号に変換される。モニタ画像のアナログ信号は
、ビデオ出力部２１８０に供給されて、ビデオ出力プロセッサ１８１によって処
理される。その処理された信号の出力は、モニタ画像であるビデオ出力１８２を
供給する出力ユニット１８２に送られる。因みに、ビデオ出力部１１７７とビデ
オ出力部２１８０は、ビデオカメラ構成の一部をなしているが、第１２図の基本
的画像システム図において対応する構成要素は存在しない。

【００４４】次に、第１４図は、本発明における第１実施例と第２実施例において採用され
る画像取り込み部６００の具体的な構成図を示している。固定パターンまたは液
晶マスク１３０と散光器１３１は、ＣＣＤ光検知アレイ１６５の画像面に並行す
るように位置している。ＣＣＤ光検知アレイ１６５は、カメラ本体１３４に埋め
込まれている。マスク１３０と散光器１３１は、２つの光学素子１３２と１３３
の間に置かれている。情景からの入射光は、第１の光学素子１３２によって、マ
スク１３０上に焦点を合わす。マスク１３０によって減衰され、散光器１３１を
通過した光は、第２の光学素子１３３によって、ＣＣＤ光検知アレイ１６５の画
像面に焦点を合わす。このように、ＣＣＤ光検知アレイ１６５によって測定され
た光は、マスク１３０と情景において焦点を合せる。因みに、ＣＣＤ光検知アレ
イ１６５の画素位置Ｒに入射する光は、光の通過したマスク１３０の狭い領域Ｑ
からのみ出射される。マスク１３０の直後に位置する散光器１３１は合焦した光
の方向性を取り除いてしまう。あるいは、散光器１３１は、マスク１３０の直前
に配置してもよいし、また、２つの別個の散光器を、ひとつはマスク１３０の直
前に、ひとつはマスク１３０の直後に配置してもよい。狭い領域Ｑは、順次、画
像形成されている情景のひとつのポイントＰからだけの光を受光する。本発明の
第２実施例において、液晶アレイは、可変性の露光マスクが好適であるが、光電
変調器のアレイなど、適当な信号を使って露光パターンを制御する他の装置を利
用してもよい。

【００４５】前述したように、可変マスク１２は、各露光制御電圧信号を使って個々に制御
可能な透明度を有する液晶セルの２次元アレイが好ましい。第１５図に示される
ように、可変マスク１２の各セルは、イメージセンサ３の光検知素子アレイ１６
５の少なくとも１個の画素に光を送るよう、制御する。光検知素子アレイ１６５
の各光検知素子は、各画素に対応する。例えば、光検知素子アレイ１６５中の点
を打った正方形１８３の示す（４ｘ４）画素領域は、可変マスク１２のマスクセ
ル１８４を通過した光のみ受光する。可変マスク１２の各セルにおける透明度（
減衰性）を制御する露光制御信号は、イメージセンサ３の出力（画素値）を受け
てこの画素値に従ってマスクのセルに対する露光制御信号を計算するマスクコン
トローラ１３が供給する。各セルに対する露光制御信号は、以下３点を満たすよ
うに計算される。即ち、（１）光検知素子アレイ１６５の対応領域１８３内にお
ける飽和画素数あるいは黒い画素数を最小化し、（２）イメージセンサ３の供給
する平均画素値における信号とノイズの比率を最大化し、（３）マスクセルアレ
イ１２の露光値の空間における平滑さの度合いを最大化することである。

【００４６】次に、第１６図は、マスクコントローラ１３の制御の下、可変マスク１２の露
光パターンの展開例を示している。同図において、時間は左から右にシフトする
。第１６図の最上行の図解１３７は、情景からの放射輝度を表しており、本例で
は時間を超過しても変わらない。第１６図の中央行の図解１３８から１４０は、
マスク１２の露光パターンの一時的変化を示している。第１６図の最下行の図解
１４１から１４３は、イメージセンサ３の出力によって表されるように、取り込
んだ画像の一時的変化を表している。初期状態（左列）では、露光パターン１３
８が、可変マスク１２の全てのセルに対して同じ透明度（減衰度）で現れる。こ
の結果、取り込んだ（非正規化）初期画像１４１を形成するために、非常に明る
い物体１８５と非常に暗い物体１８６を有する情景１３７の放射輝度は均一に減
衰される。しかし、イメージセンサ３のダイナミックレンジは、情景の輝度範囲
に対して狭いので、取り込んだ初期画像１４１は、放射輝度画像１３７の視覚的
な詳細全てを有していない。取り込んだ初期画像１４１において、暗い物体１８
７は、ほぼ完全に黒くなっており、明るい物体１８８は、ほぼ完全に飽和状態と
なっている。上記した３つの基準を満たすために、マスクコントローラ１３が可
変マスク１２の各セルの露光値を調整した後、マスクコントローラ１３が新たに
露光制御信号を可変マスク１２に供給することによって、第２の露光パターン１
３９が生じる。第２の露光パターン１３９において、明るい物体の領域の露光値
は減少し、暗い物体の領域の露光値は増加し、背景領域の露光値はわずかに増加
する。露光パターン１３９を使って取り込んだ画像１４２には飽和画素もしくは
黒い画素が存在しないが、画像の詳細部分は拡張されている。この様に、マスク
コントローラ１３は、平滑さを改善した露光パターン１４０を得るために、継続
的に露光値を調整する。露光パターン１４０によって得た画像１４３は、露光パ
ターンの平滑さの改善結果として、詳細な改良画像となっている。因みに、露光
コントローラ１３による露光パターンを採用するプロセスは、動く物体を伴う情
景など、一時的に情景を変化させるのに、特に適している。

【００４７】第１７図は、マスクコントローラ１３の実行する処理１７０のフローチャート
を示している。処理１７０のフローチャートでは、可変マスク１２のひとつのセ
ルに対する露光制御信号を計算する処理を表しており、マスクの各セルに対して
繰返し行わねばならない。ステップ２１６において、Ｓ_１とＳ_２は共に、ゼロに
初期設定される。ここで、Ｓ_１は、マスクセルからの光を受光する光検知素子ア
レイの領域内における飽和画素数もしくは黒い画素数を最小化させるという第１
の基準を満たす露光制御値を示している。Ｓ_２は、イメージセンサ３の供給する
平均画素値の信号とノイズの比率を最大化させるという第２の基準を満たす露光
制御値を示している。ループ２１７の処理は、可変マスク１２のセルを通過した
光を受光する光検知素子アレイ１６５の領域内の各画素に対して、繰返し行われ
る。ここで、Ｑはその領域内の画素数である。ループ２１７は、ステップ２１８
からステップ２２２までを含んでいる。ステップ２１８において、画素値Ｍ_ｑを
見積もる。画素値Ｍ_ｑが、極めて小さい画素値と予め定義されているノイズレベ
ルよりも小さい場合、ステップ２１９を実行する。ステップ２１８で画素値Ｍ_ｑがノイズレベルよりも大きい場合、ステップ２２２を実行する。ステップ２１９
において、Ｓ_１を１増加し、ループ２１７の現在繰返し行われている処理はここ
で終了する。ステップ２２０において、Ｍ_ｑを見積もる。画素値Ｍ_ｑが、極めて
大きい画素値と予め定義されている飽和レベルよりも大きい場合、ステップ２２
１を実行する。ステップ２２０で画素値Ｍ_ｑが、飽和レベルよりも小さい場合、
ステップ２２２を実行する。ステップ２２１において、Ｓ_１を１減少させ、ルー
プの現在擦り返し行われている処理を終了する。ステップ２２２において、量（
Ｍ_ｂｅｓｔ−Ｍ_ｑ）を加えて、Ｓ_２を更新する。ここで、Ｍ_ｂｅｓｔは、使用し
ているイメージセンサ３の最適な信号とノイズの比率を有する、予め定義された
画素値である。ループ２１７を終了すると、ステップ２２３と２２４を実行する
。ステップ２２３において、ブロック２２３中に示される式を使って、Ｓ_３を計
算する。この式において、ｇ_ｋはローパスカーネルの重み付け値であり、Ｅ_ｋは
近傍セルの露光値であり、Ｅは現在処理されているセルの露光値である。この計
算によって、ローパスフィルタのタイプが決まるが、通常、これは「非鮮明なマ
スキング」と呼ばれている。ステップ２２４において、現行処理しているセルの
露光値Ｅを、Ｓ_１、Ｓ_２、Ｓ_３の重み付け加重により更新する。ここで、重み付
けｗ_１、ｗ_２、ｗ_３は画像品質を最適化するために経験的に決められた、所定の
バランス要因である。ステップ２２４を終了した後には、現在処理しているセル
の処理を完了させる。

【００４８】次に、第１８図は、第１２図のシステムにおいて画像プロセッサ１４のデータ
フロー８００を示している。画像プロセッサ１４は、キャリブレータ９と、標準
化器１０と、スムーザ１６と、露光再アプリケータ１７とを備える。第１図にお
いて既に説明した本発明の第１実施例のイメージプロセッサ４のように、キャリ
ブレータ９は、応答機能メモリ６に格納されている応答機能データを使用して、
イメージセンサ３によって取り込まれた画像の画素値を、線形応答画像に較正す
る。続いて、標準化器１０は、線形応答画像を、情景の放射輝度に比例する画像
に変換する。因みに、飽和画素の画素値と黒い画素の画素値を最小化するよう、
マスクコントローラ１３が可変マスク１２の露光を調整するので、本発明の第２
実施例におけるイメージプロセッサ１４は、標準化器１０の出力による補間を必
要としない。

【００４９】更に、画像プロセッサ１４は、モニタ画像メモリ１５に書き込まれたモニタ画
像の画素値を算出する。モニタ画像の画素値を算出するため、スムーザ１６は、
露光パターンメモリ５からの露光値を平滑化する。続いて、露光再アプリケータ
１７は、平滑化した露光値を、標準化器１０によって形成されるように高ダイナ
ミックレンジの画像の画素値に加える。第２０図は、モニタ画像の画素値を得る
ための処理を示している。第１９図の左側の列は、第１６図の右側の列と同じで
ある。露光制御後、取り込まれた画像１４３には、まだマスクセルの境界によっ
て生じるわずかな非連続性が存在するので、理想的には、表示目的に適さない。
故に、可視的な非連続性が存在せず、平滑化された露光パターン１４５を獲得す
るために、スムーザ１６は露光パターン１４０を平滑化する。この場合、平滑化
された露光パターン１４５を、露光パターン１４０と取り込んだ（標準化されて
いない）画像１４３から既に獲得済みの高ダイナミックレンジ画像１４４に再び
加えることによって、モニタ画像１４６を得る。モニタ画像１４６は、取り込み
画像１４３あるいは高ダイナミックレンジ画像１４４よりも、表示により適合し
ている。何故なら、モニタ画像１４６には非連続性は存在せず、イメージセンサ
３と同じダイナミックレンジを有するからである。また、モニタ画像は、連続的
処理に対するビデオ出力であってもよい。

【００５０】第２０図は、スムーザ１６と露光再アプリケータ１７の実行する処理９００の
フローチャートを示している。平滑化に関し、ループ３０１をＮ回実行する。こ
こで、Ｎは所定の数を表し、通常、１から５の範囲にある。ループ３０１では、
ステップ３０２、ループ３０３、ステップ３０４とステップ３０５が実行される
。ステップ３０２では、露光パターンメモリ５における露光パターンデータＥを
、同じサイズの別のメモリスペースに複写し、Ｅ_ｓとして参照される。第２０図
の例では、画像の各画素が対応する露光値と同じ座標となるように、露光パター
ンは画像と同じ寸法となる。ループ３０３は、ＥとＥ_ｓと同サイズの一時的な露
光パターンデータ記憶であるＥ_ｔｅｍｐの各画素位置に対して繰返し行われる。
ループ３０３では、ステップ３０４を実行する。ステップ３０４においては、平
滑化フィルタｇがＥ_ｓの現在位置（ｘ、ｙ）で適用される。フィルタによる計算
は、第２０図中のステップ３０４の囲み中に表されている。平滑化フィルタｇ（
ｕ、ｖ）は、第２１図に示されているものでもよい。第２１図においては、（５
ｘ５）（ｋ＝５）のガウスぼかしフィルタが示されている。格子５０１中の各数
字は、フィルタ位置におけるフィルタ係数を表す。例えば、ｇ（３，３）＝０．
１６などがある。第２０図に戻ると、ステップ３０４の計算値は、Ｅ_ｔｅｍｐと
同位置（ｘ、ｙ）に格納される。ループ３０３の終了後、ステップ３０５が実行
される。ステップ３０５において、Ｅ_ｔｅｍｐの平滑化された露光値をＥ_ｓに複
写する。ループ３０１をＮ回繰返した後、露光を再び行うために、ループ３０６
を実行する。ループ３０６はＥ_ｓの各画素位置に対して繰返し行われる。ルプ３
０６では、ステップ３０７が行われる。ステップ３０７において、出力画像メモ
リ７の画素値Ｌ（ｘ、ｙ）と露光値Ｅ_ｓ（ｘ、ｙ）を乗算し、その積を、Ｌ_ｍｏ _{ｎｉｔｏｒ} （ｘ、ｙ）としてモニタ画像メモリ１５内の同じ画素位置に格納する
。ループ３０６が完了すると、露光パターンの平滑化と高ダイナミックレンジ画
像に対する平滑化パターンの再露光の処理が終了する。

【００５１】第２２図では、本発明における第３実施例に従って、情景の高ダイナミックレ
ンジ画像の取り込みを行うシステム１０００の機能図を示している。このシステ
ムは、情景のマスク化された画像を撮影フィルム上に露光する撮影フィルムカメ
ラ５０９を備える。前述のとおり、第４図に示されるような、空間において変化
する透過パターンを有するマスク１０１を、カメラのシャッタ５０４とフィルム
５０５の面との間に設けることによって、マスク化された画像を獲得してもよい
。あるいは、マスクをフィルムの各フレームに貼りつけてもよいし、あるいはフ
ィルム・エマルジョンが空間的に変化する露光感度パターンを有してもよい。各
ケースにおいて、フィルムの各領域に対する露光値は、予め定められており、露
光パターンメモリ５に格納されている。マスク化された画像に露光した後、透明
度もしくはマスク化された画像を含むプリントを形成するため、フィルムを処理
する。そして、マスク化された画像を表す画素値を供給するスキャナ５０７は、
マスク化された画像を含むフィルムあるいはプリントを走査する。第１図のシス
テムにおけるイメージプロセッサと同じで、第３図に示されるものと同じデータ
フローを有するイメージプロセッサ４に、画素値を供給する。較正を行うのイメ
ージプロセッサ４が使用できるように、フィルムとスキャナの合成された応答機
能は、応答機能メモリ６に格納される。露光パターンメモリ５から直接露光値を
受ける代わりに、第２２図のシステム１０００は、露光装置を備える。この露光
装置は、スキャナ５０７の出力と露光パターンメモリ５に格納された露光値とを
受け、位置合わせ修正の行われた露光における露光値を、標準化を行うイメージ
プロセッサに供給する。イメージプロセッサ４は、高ダイナミックレンジ出力画
像を、出力画像メモリ７に供給する。通常のフィルムカメラでは、フィルムは、
各フレームをシャッター５０４の後ろに位置させて、フレーム毎に移動させてい
く。このフィルムの動きによって、フィルム５０５の現在露光されているフレー
ムとマスク１０１の間に配置誤差が生じる。このような配置誤差を修正するため
に、露光装置５０８を使用する。

【００５２】第２３図は、第２２図の露光装置５０８のデータフロー１１００を示している
。露光装置１１００は、３つの高速フーリエ交換プロセッサ５１２、５１３、５
１４と、回転検知器５１５と、移動検知器５１６と、ロータ５１７と、シフタ５
１８とを備える。露光装置５０８によって実行される処理は、第２４図のフロー
チャートによって示されている。第２４図において、ステップ５１９では、画像
Ｉ（ｘ、ｙ）のフーリエ交換Ｉ（ｕ、ｖ）が、ＦＦＴ１５１２によって計算され
る。ステップ５２０では、露光パターンＥ（ｘ、ｙ）のフーリエ交換Ｅ（ｕ、ｖ
）が、ＦＦＴ２５１３によって計算される。ステップ５２１では、Ｉ（ｕ、ｖ）
の大きさにおける最高点の位置を検知する。ステップ５２２では、Ｅ（ｕ、ｖ）
の大きさにおける最高点の位置を検知する。ステップ５２３では、ブロック５２
３で示される誤差機能を利用し、最小二乗法による最適化によって、（２ｘ２）
回転マトリックスＭを見積もる。ステップ５２１、５２２、５２３は全て、第２
３図の回転検知器５１５によって実行する。ステップ５２４では、回転マトリッ
クスＭを利用しながら露光パターンＥ（ｘ、ｙ）を回転することによって、回転
された露光パターンＥ_{ｒｏｔａｔｅｄ}（ｘ、ｙ）を計算する。ステップ５２４は
、第２３図のロータ５１７が実行する。ステップ５２５では、囲み５２５に示さ
れる誤差機能を最小化する移動ベクトルを検索することによって、移動ベクトル
（ｓ、ｔ）を見積もる。最後に、ステップ５２６では、移動ベクトル（ｓ、ｔ）
を利用しながらＥ_{ｒｏｔａｔｅｄ}（ｘ，ｙ）を移動して、修正された露光パター
ンＥ_{ｃｏｒｒｅｃｔｅｄ}（ｘ，ｙ）を計算する。修正された露光パターンＥ_ｃｏ _{ｒｒｅｃｔｅｄ} （ｘ，ｙ）は、標準化を行うイメージセンサ４による使用のため
に、修正露光パターンメモリ５１９に供給される。

【００５３】本発明は、特に本発明の具体的な実施例を参照して説明してきたが、本発明の
精神と範囲から逸脱することなく、多様な変形と変更が行われてもよいことは、
当業者によって了解されよう。その結果、本発明の開示された実施例は、単に説
明のためのものであって、また、本発明は、特許請求の請求項において述べられ
た範囲のものである。

【図面の簡単な説明】

【図１】本発明の第１の好適実施例による画像システムの機能図である。

【図２】図１の画像システムを実現したビデオカメラのハードウエア構成要素
のブロック図である。

【図３】図１のシステムの画像プロセッサのデータフロー図である。

【図４】図４Ａは、図１のシステムで用いるパターン化したマスクの平面図で
あり、図４Ｂは隣接する４つのセルのグループを表わす図であり、このグループ
を繰り返し配置して図４Ａのマスクパターンを形成する。

【図５】図５Ａは、図１のシステムの結像光学器、マスク及び画像センサ、及
び画像を捕捉すべきシーン内の物体を表わす図であり、図５Ｂは、図４Ａのマス
クを通して見た、シーンの物体の像を表わす図である。

【図６】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して
図１のシステムが実行する較正及び正規化を示す図である。

【図７】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して
図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のう
ちの１つがブラック化画素値である。

【図８】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して
図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のう
ちの２つが飽和画素値である。

【図９】図１のシステムが実行する補間を示す図であり、特に、２×２の補間
フィルタを、マスク画像の２×２画素の局所領域のすべてに適用して、補間画素
値を導出することを示す。

【図１０】図１０Ａは、格子の交点に配置した画像センサの感光素子を有し、
補間格子に重なった元の画像格子を表わす図であり、図１０Ｂは、元の画像格子
の異なる２画素×２画素領域の各々に適用して、補間格子の各交点における補間
画素を導出する補間フィルタを示す図である。

【図１１】図１１は、図１のシステムの画像プロセッサの動作のフロー図であ
り、図１１Ａは、図１１のフロー図の較正ステップ２０８をより詳細に示すフロ
ー図である。

【図１２】本発明の第２の好適実施例による画像システムの機能ブロック図で
ある。

【図１３】図１２の画像システムを実現したビデオカメラのハードウエア構成
要素を表わすブロック図である。

【図１４】図１２のシステムの光学要素、マスク、光拡散器、及び感光アレイ
の配置を表わす図である。

【図１５】図１２のシステムの画像センサの、マスクセルと画素位置との対応
を示す図である。

【図１６】図１２のシステムのマスクコントローラの動作を示す図であり、マ
スクの露光値を適応的に制御する。

【図１７】図１２のシステムのマスクコントローラの動作のフロー図である。

【図１８】図１２のシステムの画像プロセッサのデータフロー図である。

【図１９】図１２のシステムにおける、露光値の平滑化動作、及び平滑化した
露光値を捕捉した高ダイナミックレンジの画素値に適用することを示す図である
。

【図２０】図１２のシステムが実行する露光値の平滑化動作のフロー図である
。

【図２１】図２０の平滑化動作で使用可能な平滑化フィルタの例を表わす図で
ある。

【図２２】本発明の第３の好適実施例による画像システムの機能図である。

【図２３】図２２の画像システムのアライナーの詳細構造を表わす図である。

【図２４】図２２の画像システムのアライナーの動作のフロー図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者光永知生アメリカ合衆国ニューヨーク州 10023 ニューヨークウェスト第69 ストリート 140 Ｆターム(参考） 4M118 AA02 AB01 BA10 BA14 GC01 GC14 5C022 AA00 AB05 AB14 AB19 AC55 AC69 CA00 5C077 LL04 MP01 PP15 PP47 PP48 PQ12 PQ24 SS01 TT06 【要約の続き】得るために使用される前記露光関数に用いることと、前記平滑化露光関数を前記高ダイナミックレンジ画像に再び用いることとを必要とする。写真フィルムを、空間的に変化する露光関数を使用して露光することによって高ダイナミックレンジ画像を得る方法も開示する。前記露光されたフィルムを、現像し、走査して、前記露光関数とそろえられ、固定露光関数を電子的に使用して獲得された画像と同じように処理された電子画像を得る。

Claims

【特許請求の範囲】

【請求項１】高ダイナミックレンジ画像化システムにおいて、光検出素子のアレイを具え、場面の画像を感知し、前記光検出素子の各々に衝
突する光強度を表す対応する画素値を供給し、前記光検出素子の対応するものに
衝突する光の強度が第１しきい値レベルより大きい場合、飽和画素値を供給し、
前記光検出素子の対応するものに衝突する光の強度が第２しきい値レベルより小
さい場合、黒画素値を供給し、前記場面の画像の光強度の範囲に関して低ダイナ
ミックレンジを有する画像センサと、前記場面と前記画像センサの光検出素子との間に置かれ、前記光検出素子の各
々の１つ以上の露出を各々が制御する多数の光透過セルを有するマスクであって
、前記光検出素子の各々が、前記光検出素子に衝突する光が通過するセルの透明
度を示す対応する露光値を有する、マスクと、前記光検出素子に対応する露光値を格納する第１メモリと、前記画像センサに結合され、これによって供給される画素値を受け、前記第１
メモリに結合され、前記画素値に対応する露光値を受け、前記画素値を前記露光
値の関数によってマッピングし、対応する正規化された画素値を得る正規化器を
具える画像プロセッサとを具えることを特徴とする高ダイナミックレンジ画像化
システム。
【請求項２】請求項１に記載の高ダイナミックレンジ画像化システムにおいて
、前記正規化器が、前記画素値の各々を、前記画素値によって表される光強度を
受ける前記光検出素子に対応する露光値で割り、対応する正規化画素値を得るこ
とを特徴とする高ダイナミックレンジ画像化システム。
【請求項３】請求項１に記載の高ダイナミックレンジ画像化システムにおいて
、前記光検出素子に対応する露光値を固定し、前記画像プロセッサが、さらに、
前記正規化画素値を補間し、前記光検出素子のアレイに重なった第２アレイの個
々の位置における補間画素値を得る補間器を具えることを特徴とする高ダイナミ
ックレンジ画像化システム。
【請求項４】請求項３に記載の高ダイナミックレンジ画像化システムにおいて
、前記画像プロセッサの補間器が、飽和画素値及び黒画素値に対応する正規化画
素値を除く前記正規化画素値を補間することを特徴とする高ダイナミックレンジ
画像化システム。
【請求項５】請求項３に記載の高ダイナミックレンジ画像化システムにおいて
、前記画像プロセッサの補間器が、個々の重み付け値を掛けた前記正規化画素値
を補間することを特徴とする高ダイナミックレンジ画像化システム。
【請求項６】請求項５に記載の高ダイナミックレンジ画像化システムにおいて
、前記重み付け値を、対応する画素値の個々の信号対雑音比としたことを特徴と
する高ダイナミックレンジ画像化システム。
【請求項７】請求項３に記載の高ダイナミックレンジ画像化システムにおいて
、前記画像プロセッサの補間器が、補間フィルタを前記正規化画素値に用いるこ
とを特徴とする高ダイナミックレンジ画像化システム。
【請求項８】請求項３に記載の高ダイナミックレンジ画像化システムにおいて
、前記アレイの光検出素子を、垂直方向及び水平方向において延在する間隔を置
いた直交するラインによって規定される第１格子の個々の交点において配置し、
前記補間器が、垂直方向及び水平方向において延在する間隔を置いた直交するラ
インによって規定される第２格子の個々の交点における補間画素値を得て、前記
第１及び第２格子が互いに重なることを特徴とする高ダイナミックレンジ画像化
システム。
【請求項９】請求項８に記載の高ダイナミックレンジ画像化システムにおいて
、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域における
正規化画素値を補間し、各々の領域が、隣接した領域と重なると共に、前記第１
格子の予め決められた数の交点を包含することを特徴とする高ダイナミックレン
ジ画像化システム。
【請求項１０】請求項９に記載の高ダイナミックレンジ画像化システムにおい
て、前記マスクが、異なった透明度を有するセルの反復して配置された同一のグ
ループを具えることを特徴とする高ダイナミックレンジ画像化システム。
【請求項１１】請求項１０に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクのセルの反復して配置された同一のグループの各々が、異なっ
た透明度を有する４つの隣接するセルから成り、各々のセルが、前記光検出素子
の異なったものの露光を制御し、前記第１及び第２格子が、同一の寸法を有し、
これらの格子を、水平方向において２分の１格子位置、垂直方向において２分の
１格子位置だけ互いに移動させたことを特徴とする高ダイナミックレンジ画像化
システム。
【請求項１２】請求項９に記載の高ダイナミックレンジ画像化システムにおい
て、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域におけ
る個々の補間画素値を、飽和画素値又は黒画素値に対応しない領域におけるすべ
ての正規化画素値の平均をとることによって得ることを特徴とする高ダイナミッ
クレンジ画像化システム。
【請求項１３】請求項１に記載の高ダイナミックレンジ画像化システムにおい
て、前記画像センサの応答関数を格納する第２メモリをさらに具え、前記画像プ
ロセッサを前記第２メモリに結合して前記応答関数を受けるようにし、前記画像
プロセッサが、前記画像センサによって供給された画素値を、前記画素値が前記
正規化器によって正規化される前に、前記応答関数に従って線形応答画素値に変
換する校正装置をさらに具えることを特徴とする高ダイナミックレンジ画像化シ
ステム。
【請求項１４】請求項３に記載の高ダイナミックレンジ画像化システムにおい
て、前記画像プロセッサに結合された、前記補間画素値を受けると共に格納する
出力画像メモリをさらに具えることを特徴とする高ダイナミックレンジ画像化シ
ステム。
【請求項１５】請求項１に記載の高ダイナミックレンジ画像化システムにおい
て、前記場面とマスクとの間に配置された、前記場面の画像を前記マスクにおい
て投影する第１レンズシステムと、前記マスクを透過したような前記場面の画像
を前記光検出素子のアレイにおいて投影する第２レンズシステムとをさらに具え
ることを特徴とする高ダイナミックレンジ画像化システム。
【請求項１６】請求項１５に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクと隣接し、前記第１レンズシステムによって合焦された光の指
向性を除去する光拡散器をさらに具えることを特徴とする高ダイナミックレンジ
画像化システム。
【請求項１７】請求項１に記載の高ダイナミックレンジ画像化システムにおい
て、前記光検出素子のアレイを、固体装置画像検出装置としたことを特徴とする
高ダイナミックレンジ画像化システム。
【請求項１８】請求項１７に記載の高ダイナミックレンジ画像化システムにお
いて、前記固体装置を、電荷結合装置光検出アレイとしたことを特徴とする高ダ
イナミックレンジ画像化システム。
【請求項１９】請求項１８に記載の高ダイナミックレンジ画像化システムにお
いて、前記固体装置を、ＣＭＯＳ光検出アレイとしたことを特徴とする高ダイナ
ミックレンジ画像化システム。
【請求項２０】請求項１７に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクを、前記光検出素子と共に、同じ基板上に集積したことを特徴
とする高ダイナミックレンジ画像化システム。
【請求項２１】請求項１に記載の高ダイナミックレンジ画像化システムにおい
て、前記マスクを、非線形光学材料で形成したことを特徴とする高ダイナミック
レンジ画像化システム。
【請求項２２】高ダイナミックレンジ画像化システムにおいて、光検出素子のアレイを具え、場面の画像を感知し、前記光検出素子の各々に衝
突する光強度を表す対応する画素値を供給し、前記光検出素子の対応するものに
衝突する光の強度が第１しきい値レベルより大きい場合、飽和画素値を供給し、
前記光検出素子の対応するものに衝突する光の強度が第２しきい値レベルより小
さい場合、黒画素値を供給し、前記場面の画像の光強度の範囲に関して低ダイナ
ミックレンジを有する画像センサと、前記場面と前記画像センサの光検出素子との間に置かれ、前記光検出素子の各
々の１つ以上の露出を各々が制御する多数の光透過セルを有するマスクであって
、前記光検出素子の各々が、前記光検出素子に衝突する光が通過するセルの透明
度を示す対応する露光値を有し、該マスクのセルの各々の露光値が、個々の露光
制御信号を該マスクに用いることによって変更可能である、マスクと、前記画像センサに結合され、これによって供給される画素値を受け、前記画素
値を前記露光値の関数によってマッピングし、対応する正規化された画素値を得
る正規化器を具える画像プロセッサとを具えることを特徴とする高ダイナミック
レンジ画像化システム。
【請求項２３】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサの正規化器が、前記画素値の各々を、前記画素値によ
って表される光強度を受ける前記光検出素子に対応する露光値で割り、対応する
正規化画素値を得ることを特徴とする高ダイナミックレンジ画像化システム。
【請求項２４】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクコントローラに結合され、前記露光値を受けると共に格納する
露光パターンメモリをさらに具え、前記画像プロセッサを前記露光パターンメモ
リに結合して前記画素センサからの画素値に対応する露光値を受けるようにした
ことを特徴とする高ダイナミックレンジ画像化システム。
【請求項２５】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサの正規化器に結合された、前記正規化画素値を受ける
と共に格納する出力画像メモリをさらに具えることを特徴とする高ダイナミック
レンジ画像化システム。
【請求項２６】請求項２４に記載の高ダイナミックレンジ画像化システムにお
いて、前記露光パターンメモリに結合され、前記露光パターンメモリに格納された露
光値を受け、平滑化フィルタを前記露光値に用いて、前記正規化画素値に対応す
る平滑化露光値を得る平滑化装置と、前記画像プロセッサの正規化器に結合され、前記正規化画素値を受け、前記正
規化画素値の各々に対応する平滑化露光値を掛け、モニタ画像画素値を得る露光
再供給装置と、前記露光再供給装置に結合され、前記モニタ画像画素値を供給するモニタ画像
発生器とをさらに具えることを特徴とする高ダイナミックレンジ画像化システム
。
【請求項２７】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクコントローラが、前記露光制御信号を計算し、前記画像センサ
によって供給された平均画素レベルの信号対雑音比を最大にすることを特徴とす
る高ダイナミックレンジ画像化システム。
【請求項２８】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクコントローラが、前記露光制御信号を計算し、前記画像センサ
の光検出素子に対応する露光値の空間的平滑さを最大にすることを特徴とする高
ダイナミックレンジ画像化システム。
【請求項２９】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクが液晶アレイを具えることを特徴とする高ダイナミックレンジ
画像化システム。
【請求項３０】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記場面とマスクとの間に配置された、前記場面の画像を前記マスクにお
いて投影する第１レンズシステムと、前記マスクを透過したような前記場面の画
像を前記光検出素子のアレイにおいて投影する第２レンズシステムとをさらに具
えることを特徴とする高ダイナミックレンジ画像化システム。
【請求項３１】請求項３０に記載の高ダイナミックレンジ画像化システムにお
いて、前記マスクと隣接し、前記マスクにおいて合焦された光の指向性を除去す
る光拡散器をさらに具えることを特徴とする高ダイナミックレンジ画像化システ
ム。
【請求項３２】請求項２２に記載の高ダイナミックレンジ画像化システムにお
いて、前記光検出素子のアレイを固体画像検出装置としたことを特徴とする高ダ
イナミックレンジ画像化システム。
【請求項３３】請求項３２に記載の高ダイナミックレンジ画像化システムにお
いて、前記固体画像検出装置を電荷結合光検出アレイとしたことを特徴とする高
ダイナミックレンジ画像化システム。
【請求項３４】請求項３２に記載の高ダイナミックレンジ画像化システムにお
いて、前記固体画像検出装置をＣＭＯＳ光検出アレイとしたことを特徴とする高
ダイナミックレンジ画像化システム。
【請求項３５】高ダイナミックレンジ画像化システムにおいて、光検出素子のアレイを具え、場面の画像を感知し、前記光検出素子の各々に衝
突する光強度を表す対応する画素値を供給する画像センサであって、各光検出素
子が個々の第１しきい値を有し、前記光検出素子において衝突する光の強度が個
々の前記第１しきい値より大きい場合、該画像センサに飽和画素値を供給させる
ようにし、各光検出素子が個々の第２しきい値を有し、前記光検出素子において
衝突する光の強度が個々の前記第２しきい値より大きい場合、該画像センサに黒
画素値を供給させるようにし、該画像センサが、前記場面の画像の光強度の範囲
に関して低ダイナミックレンジを有し、前記光検出素子が、入射光に対する個々
の空間的に変化する光電感度と、前記個々の光電感度を示す対応する光電感度値
とを有する、画像センサと、前記光検出素子の各々に対応する光電感度値を格納する第１メモリと、前記光検出素子のアレイに結合されて前記画像センサによって供給される前記
画素値を受け、前記第１メモリに結合されて前記光検出素子に対応する前記光電
感度値を受け、前記画素値を前記光電感度値の関数によってマップして対応する
正規化画素値を得る正規化器と、前記正規化画素値を補間して前記光検出素子の
アレイと重なる第２アレイの個々の位置における補間画素値を得る補間器とを具
える画像プロセッサとを具えることを特徴とする高ダイナミックレンジ画像化シ
ステム。
【請求項３６】請求項３５に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサの正規化器が、前記画素値を、前記光電感度値の関数
によって、前記画素値の各々を前記画素値によって表される光強度を受ける前記
光検出素子に対応する光電感度値で割ることによってマップすることを特徴とす
る高ダイナミックレンジ画像化システム。
【請求項３７】請求項３５に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像センサの光検出素子を、垂直方向及び水平方向において延在する
間隔を置いた直交するラインによって規定される第１格子の個々の交点において
配置し、前記補間画素値の位置を、垂直方向及び水平方向において延在する間隔
を置いた直交するラインによって規定される第２格子の個々の交点としたことを
特徴とする高ダイナミックレンジ画像化システム。
【請求項３８】請求項３７に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域にお
おける正規化画素値を別々に補間し、各々の領域が、隣接する領域と重なると共
に、前記第１格子の予め決められた数の交点を包含することを特徴とする高ダイ
ナミックレンジ画像化システム。
【請求項３９】請求項３７に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像センサの光検出素子のアレイが、異なった光電感度を有する光検
出素子の繰り返し配置された同一のグループを具えることを特徴とする高ダイナ
ミックレンジ画像化システム。
【請求項４０】請求項３９に記載の高ダイナミックレンジ画像化システムにお
いて、前記光検出素子の繰り返し配置された同一のグループの各々が、異なった
光電感度を有する４つの隣接する光検出素子から成り、前記第１及び第２格子が
同一の寸法を有し、これらの格子を、水平方向において２分の１格子位置、垂直
方向において２分の１格子位置だけ互いに移動させたことを特徴とする高ダイナ
ミックレンジ画像化システム。
【請求項４１】請求項３８に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域にお
ける個々の補間画素値を、飽和画素値又は黒画素値に対応しない前記領域におけ
るすべての正規化画素値の平均をとることによって得ることを特徴とする高ダイ
ナミックレンジ画像化システム。
【請求項４２】請求項３５に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像センサが、前記光検出素子の各々において衝突する光に対する個
々の応答関数を有し、該システムが、さらに、前記画像センサの個々の応答関数
を格納する第２メモリを具え、前記画像プロセッサが、前記第２メモリに結合し
て前記応答関数を受け、前記画像センサによって供給された画素値を、前記画素
値が前記正規化器によって正規化される前に前記個々の応答関数に従って線形応
答画素値に変換する校正装置をさらに具えることを特徴とする高ダイナミックレ
ンジ画像化システム。
【請求項４３】請求項３５に記載の高ダイナミックレンジ画像化システムにお
いて、前記画像プロセッサに結合され、前記補間画素値を受けると共に格納する
出力画像メモリをさらに具えることを特徴とする高ダイナミックレンジ画像化シ
ステム。
【請求項４４】高ダイナミックレンジ画像化方法において、光検出素子のアレイを具える画像センサを、場面の画像に、空間的に変化する
露光を使用して露光するステップであって、前記画像センサが、前記空間的に変
化する露光画像を感知し、前記光検出素子の各々において衝突する光強度を表す
対応する画素値を供給し、前記画像センサが、前記光検出素子の対応するものに
おいて衝突する光の強度が第１しきい値レベルより大きい場合、飽和画素値を供
給し、前記光検出素子の対応するものにおいて衝突する光の強度が第２しきい値
レベルより小さい場合、黒画素値を供給し、前記画像センサが、前記場面の画像
の光強度の範囲に関して低ダイナミックレンジを有する、ステップと、前記画像センサによって供給された画素値を、前記光検出素子の空間的に変化
する露光に関して正規化し、対応する正規化画素値を得るステップとを含むこと
を特徴とする高ダイナミックレンジ画像化方法。
【請求項４５】請求項４４に記載の高ダイナミックレンジ画像化方法において
、前記画像センサを、空間的に変化する露光を使用して露光するステップが、前
記画像センサの個々の１つ以上の光検出素子の前記場面からの光に対する露光を
各々が制御する複数の光透過セルを有するマスクを使用するステップであって、
前記光検出素子の各々が、該光検出素子に衝突する光が通過する前記マスクセル
の透明度を示す対応する露光値を有する、ステップを含み、前記画像センサによ
って供給された画素値を正規化するステップが、前記画素値を前記露光値の関数
によってマップし、対応する正規化画素値を得るステップを得ることを特徴とす
る高ダイナミックレンジ画像化方法。
【請求項４６】請求項４５に記載の高ダイナミックレンジ画像化方法において
、前記画素値を前記露光値の関数によってマッピングするステップが、前記画素
値の各々を、前記画素値によって表される光強度を受ける前記光検出素子に対応
する前記露光値で割るステップを含むことを特徴とする高ダイナミックレンジ画
像化方法。
【請求項４７】請求項４４に記載の高ダイナミックレンジ画像化方法において
、前記光検出素子に対応する前記露光値を固定し、さらに、前記正規化画素値を
補間し、前記光検出素子のアレイに重なる第２アレイの個々の位置における補間
画素値を得るステップを含むことを特徴とする高ダイナミックレンジ画像化方法
。
【請求項４８】請求項４４に記載の高ダイナミックレンジ画像化方法において
、前記補間画素値を補間するステップが、補間フィルタを前記正規化画素値に用
いるステップを含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項４９】請求項４７に記載の高ダイナミックレンジ画像化方法において
、前記正規化画素値を補間するステップが、前記光検出素子のアレイの各々の異
なった領域における正規化画素値を別々に保管するステップを含み、各領域が、
隣接する領域と重なると共に予め決められた数の前記光検出素子位置を包含する
ことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５０】請求項４９に記載の高ダイナミックレンジ画像化方法において
、前記光検出素子のアレイの各々の異なった領域における正規化画素値を別々に
補間するステップが、各々、飽和画素値又は黒画素値に対応するものを除く前記
領域におけるすべての正規化画素値の平均をとり、前記補間画素値の各々を得る
ステップを含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５１】請求項４４に記載の高ダイナミックレンジ画像化方法において
、前記画像センサによって供給された画素値を、前記画素値を正規化するステッ
プの前に、前記画像センサの応答関数に従って校正し、線形応答画素値を得るス
テップをさらに含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５２】請求項４７に記載の高ダイナミックレンジ画像化方法において
、前記補間画素値を出力画像メモリに格納するステップをさらに含むことを特徴
とする高ダイナミックレンジ画像化方法。
【請求項５３】請求項４５に記載の高ダイナミックレンジ画像化方法において
、前記場面の画像を前記マスクにおいて投影するステップと、前記マスクを透過
したような前記場面の画像を前記光検出素子のアレイにおいて投影するステップ
とをさらに含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５４】請求項５３に記載の高ダイナミックレンジ画像化方法において
、前記マスクを透過したような前記場面の画像を前記光検出素子のアレイにおい
て投影するステップが、前記マスクと光拡散器とを透過したような前記場面の画
像を前記光検出素子のアレイにおいて投影するステップを含むことを特徴とする
高ダイナミックレンジ画像化方法。
【請求項５５】請求項４５に記載の高ダイナミックレンジ画像化方法において
、各々の光検出素子に対応する前記露光値を、個々の露光制御信号を前記マスク
に用いることによって変更可能とし、前記画像センサによって得られた前記画素値から、前記画像センサからの飽和
画素値及び黒画素値の数を最小にする露光制御信号を計算するステップと、前記計算された露光制御信号を前記マスクに用いるステップと、前記正規化ステップにおいて使用する、前記用いられた露光制御信号に対応す
る露光値を供給するステップとをさらに含むことを特徴とする高ダイナミックレ
ンジ画像化方法。
【請求項５６】請求項５５に記載の高ダイナミックレンジ画像化方法において
、前記正規化画素値を出力画像メモリに格納するステップをさらに含むことを特
徴とする高ダイナミックレンジ画像化方法。
【請求項５７】請求項５５に記載の高ダイナミックレンジ画像化方法において
、前記用いられた露光制御信号に対応する前記露光値を、平滑化フィルタを前記
露光値に用いることによって平滑化し、前記正規化画素値に対応する平滑化露光
値を得るステップと、前記平滑化露光値を前記正規化画素値に、各々の正規化画素値に対応する平滑
化露光値を掛けることによって再適用し、モニタ画像画素値を得るステップと、前記モニタ画像画素値をモニタ画像メモリに格納するステップとをさらに含む
ことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５８】請求項５５に記載の高ダイナミックレンジ画像化方法において
、前記露光制御信号を計算するステップが、露光制御信号を計算し、前記画像セ
ンサによって供給された平均画素値の信号対雑音比を最大にするステップを含む
ことを特徴とする高ダイナミックレンジ画像化方法。
【請求項５９】請求項５５に記載の高ダイナミックレンジ画像化方法において
、前記露光制御信号を計算するステップが、露光制御信号を計算し、前記対応す
る露光値の空間的平滑さを最大にするステップを含むことを特徴とする高ダイナ
ミックレンジ画像化方法。
【請求項６０】高ダイナミックレンジ画像化方法において、写真フィルムのフレームを、場面の画像に、前記フィルムの個々の領域の前記
場面からの光に対する露光を制御する多数の光透過セルを有するマスクを経て露
光するステップであって、前記フィルムの個々の領域の各々が、該領域において
衝突する光が通過するマスクセルの透明度を示す対応する露光値を有する、ステ
ップと、前記フィルムの個々の領域に対応する露光値を格納するステップと、前記フィルムを処理し、これに含まれる、又は、これのプリントにおいて含ま
れるマスク画像を現像するステップと、前記処理されたフィルム又はこのプリントを画像スキャナによって走査し、前
記フィルム又はこのプリントの個々の領域に対応する画素値を得るステップと、前記スキャナからの画素値を、前記格納された露光値を使用して正規化し、正
規化画素値を得るステップとを含むことを特徴とする高ダイナミックレンジ画像
化方法。
【請求項６１】請求項６０に記載の高ダイナミックレンジ画像化方法において
、前記正規化画素値を補間し、補完画素値を得るステップをさらに含むことを特
徴とする高ダイナミックレンジ画像化方法。
【請求項６２】請求項６１に記載の高ダイナミックレンジ画像化方法において
、前記補間画素値を出力画像メモリに格納するステップをさらに含むことを特徴
とする高ダイナミックレンジ画像化方法。
【請求項６３】請求項６０に記載の高ダイナミックレンジ画像化方法において
、前記フィルム又はこのプリントの個々の領域に対応する画素値を、前記個々の
領域に対応する露光値とそろえるステップをさらに含むことを特徴とする高ダイ
ナミックレンジ画像化方法。
【請求項６４】請求項６０に記載の高ダイナミックレンジ画像化方法において
、前記フィルム又はこのプリントの個々の領域に対応する画素値を、前記画素値
を正規化するステップの前に、前記フィルム、画像スキャナ及びもしあればプリ
ンタの応答関数に従って校正し、線形化画素値を得るステップをさらに含むこと
を特徴とする高ダイナミックレンジ画像化方法。