JP2010512719A - 多重センサを有する高ダイナミックレンジカメラ、および画像生成方法 - Google Patents

Abstract

電子カメラは、２個以上の画像センサアレイを含む。画像センサアレイの少なくとも１個は、高ダイナミックレンジを有する。カメラは、光を選択的に２個以上の画像センサアレイに到達できるようにするシャッタと、画像センサアレイから選択的に画素データを読出すための読出回路と、シャッタと読出回路を制御するように構成されたコントローラとを含む。コントローラは、プロセッサと、コンピュータ可読コードを組入れたメモリとを含む。コンピュータ可読コードは、プロセッサによって実行されると、画像把捉期間中にコントローラによってシャッタを開かせて、２個以上の画像センサアレイが画素データを把捉できるようにし、２個以上の画像センサアレイから画素データを読出可能にする。

Description

本発明は、電子カメラ、特に多重露出を把捉するための方法と電子カメラ装置に関する。本発明は、ダイナミックレンジ画像の把捉に応用される。

現実の世界の光景は、最も明るいハイライトと、最も暗い影とのコントラスト比が５００００：１に達することがある。従来の多くの画像フォーマットと、画像表示装置（例：デジタルプロジェクタ、コンピュータモニタなど）は、数百対１のコントラスト比しか再現できない。このようなファイルフォーマットによって、各色８ビット数を用いて画素の輝度値を規定することは珍しくない。

高ダイナミックレンジ（ＨＤＲ）画像フォーマットは、慣用的な８ビット画像フォーマットのコントラスト比よりも、著しく大きなコントラスト比を記録できる。たとえば幾つかの高ダイナミックレンジフォーマットは、種々のレベルの輝度を表すための各色１６ビットまたは３２ビット使用する。

高ダイナミックレンジ（ＨＤＲ）画像を得る１つの方法は、慣用的な撮像装置を用いて種々異なる露出レベルの多重画像を得ることである。この技術について論じた例を挙げると、非特許文献１があり、参照によって本願に編入される。

国際出願番号ＰＣＴ／ＣＡ２００４／００２１９９ 国際出願番号ＰＣＴ／ＣＡ２００２／０００２５５ 国際出願番号ＰＣＴ／ＣＡ２００３／０００３５０ 米国特許出願番号１１／２３６，１５５ 米国特許出願番号１１／４５９，６３３

デベヴェック他『写真からの高ダイナミックレンジ輝度マットの回復』（ＳＩＧＧＲＡＰＨ９７議事録、コンピュータグラフィック議事録、年次大会叢書Ｐ３６９〜３７８（１９９７年８月カリフォルニア州ロサンジェルス）、アディソン・ウェスレイ、ターナー・ホイッテド編集、ＩＳＢＮ０−８９７９１−８９６−７）。 マン・Ｓ他『デジタルカメラを用いた「非デジタル性」：露出の異なる画像の組合わせによるダイナミックレンジの拡大』（第４６回ＩＳ＆Ｔ年次大会（１９９５年５月）議事録Ｐ４２２〜４２８）。

多重画像の問題点は、他の画像と位置合わせしなければならないことである。そのためにほとんどの場合に三脚を使用することが必要となる。更に、高ダイナミックレンジ画像に組合わせるのに適した多重画像を得るようにカメラを設定することは、各々の画像に使用すべき露出を適切に組合わせることに関して相当な知識を求められる。

高ダイナミックレンジ画像は、主流になりつつあり、容易に高ダイナミックレンジ画像を得るための方法と装置に対するニーズがある。

本発明は、電子カメラで多重露出を得るための方法と装置を提供する。この方法と装置は、高ダイナミックレンジ画像を生成するために組合わせできる画像を得るために応用できる。本発明の幾つかの実施例に従う装置は、多重画像センサを有する電子カメラを含んでよい。

本発明の１つの実施形態は、２個以上の画像センサアレイを含む電子カメラを提供する。画像センサアレイのうち少なくとも１個は、高ダイナミックレンジを有する。カメラはまた、光を選択的に２個以上の画像センサアレイに到達できるようにするシャッタと、画像センサアレイから選択的に画素データを読出すための読出回路と、シャッタと読出回路を制御するように構成されたコントローラとを含む。コントローラは、プロセッサと、コンピュータ可読コードを組入れたメモリとを含む。コンピュータ可読コードは、プロセッサによって実行されると、コントローラに画像把捉期間中にシャッタを開かせて、２個以上の画像センサアレイが画素データを把捉できるようにし、かつ２個以上の画像センサアレイから画素データを読出可能にする。

本発明の他の実施形態は、少なくとも１個が高ダイナミックレンジを有する２個以上の画像センサアレイを含む電子カメラによって、高ダイナミックレンジ画像を生成するための方法を提供する。この方法は、画像把捉期間中に光が選択的に２個以上の画像センサアレイに到達できるようにし、画像把捉期間中に２個以上の画像センサアレイによって把捉された画素データを読出し、２個以上の画像センサアレイから読出した画素データを組合わせて高ダイナミックレンジ画像データを生成することを含む。

以下に、本発明のその他の実施形態と具体的な実施例の特徴を説明する。
以下の説明では、本発明をより完全に理解できるように具体的な詳細を記す。しかし本発明は、これらの詳細なしに実施されてよい。他方で、本発明を不必要に曖昧にするのを避けるために、よく知られている要素は、図示または詳細に説明しなかった。従って、明細書と図面は制限するものではなく、例示することを意図すると見なされなければならない。

本発明の１つの実施形態は、単一の画像の多重露出を把捉するように構成された電子カメラを提供する。多重露出は、高ダイナミックレンジ（ＨＤＲ）を生成するために使用されてよい。多重露出に由来するデータを組合わせて高ダイナミックレンジ画像を生成する方法は、当業界で知られている。そのような方法を論じた例を挙げると、参照によって本願に編入される非特許文献２、そして上述した非特許文献１がある。

電子カメラは、典型的にシャッタを有し、シャッタを開いて選択的に光が受光チップに到達するのを可能にし、またはシャッタを閉じることによって光がチップに到達するのを阻止できる。シャッタが開いていると、レンズは、画像をチップに投影する。シャッタは、たとえば機械的シャッタを含むことができる。

チップは、多数の画素位置で光の強度を測定する。個々の画素における強度を表す値は、読出されてメモリに記憶できる。受光チップは、典型的に、データが記憶されて読出される前に、受光要素が光を集める時間の総量を選択する選択手段を含む。このような選択手段は、「電子シャッタ」として働くことができる。たとえば多数のＣＣＤチップは、受光画素から、画素データを垂直データレジスタに読出すことをトリガするトリガ制御を含む。発明者は、カメラが単一の画像の多重露出（ｍｕｌｔｉｐｌｅ ｅｘｐｏｓｕｒｅ）
を同時に把捉できるようにする、多数のＣＣＤチップを有する電子カメラを提供することに決定した。

インターライントランスファＣＣＤのためのセンサ配置図。 本発明の１実施例に従う電子カメラのブロック線図。 本発明の他の実施例に従う方法のステップを説明するフローチャート。

図１は、多くの電子カメラで使用されているタイプのＣＣＤ（インターライントランスファ電荷結合素子）１０のためのセンサ配置図を示す。ＣＣＤ１０は、受光要素を有する複数の撮像領域１２と、垂直レジスタ１４を有する記憶領域を含む。図示された実施例では、撮像領域１２は、水平方向で垂直レジスタ１４と交互する。撮像領域１２は、それぞれ複数の画素１６を含む。各々の画素１６は、電荷を蓄えるセンサを含む。蓄えられる電荷の量は、センサによって検出される光子の数に依存する。図１に矢印で示すように、画像が露出（ｅｘｐｏｓｅｄ）された後、画素１６内に蓄えられた電荷を特徴付ける画素データは、垂直レジスタ１４に移される。

垂直レジスタ１４（「コラムレジスタ」と呼ばれることもある）を不透明なマスク層（例：アルミニウム条片）で覆うことによって、出射する垂直レジスタ１４から光が入射するのを防ぐことができる。垂直レジスタ１４は、画素データが垂直レジスタ１４の下方の水平レジスタ１８に移されるときに電荷の特性を保存する。（この記述で用いられる「垂直」、「水平」、「下方」という言葉は、特定の物理的方向というよりも、図１に示す要素の方向を基準にする。）画素データは、一般に水平レジスタ１８から、１個以上の増幅器および／または信号処理回路（図示略）を通って、アナログ／デジタル変換器に読出される。

図２は、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂを装備した電子カメラ２０を示す。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂは、それぞれ図１のＣＣＤ１０と構造が類似してよいが、異なる特性を有してよい。たとえば第１ＣＣＤ１０Ａは、標準ダイナミックレンジを有する高解像度センサを含んでよい。第２ＣＣＤ１０Ｂは、高ダイナミックレンジを有する低解像度センサを含んでよい。ある実施例において第１ＣＣＤ１０Ａの解像度は、たとえば１９２０×１０８０以上であってよい。第２ＣＣＤ１０Ｂの解像度は、たとえば各方向で第１ＣＣＤ１０Ａの解像度の４分の１と低くてよい。また、ある実施例において第１ＣＣＤ１０Ａはカラーセンサを含み、第２ＣＣＤ１０Ｂはモノクロセンサを含んでよい。

電子カメラ２０は、画像から光が選択的に第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂに到達することを可能にする機械的シャッタ２２を含む。機械的シャッタ２２が開いているとき、入射光は、光学システム（図示略）によって第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂに焦点を合わされる。コントローラ２４は、シャッタ制御線２６を用いて、機械的シャッタ２２の開閉を制御する。コントローラ２４は、第１ＣＣＤ制御線２８Ａと第２ＣＣＤ制御線２８Ｂを用いて、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂの垂直レジスタ１４と水平レジスタ１８のクロック動作も制御する。コントローラ２４は、たとえばマイクロプロセッサ実行ソフトウェア（例：ファームウェア２５）を含んでよい。コントローラ２４は、第１データ線３０Ａと第２データ線３０Ｂを用いて、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂから画素データを受取る。

コントローラ２４は、画素データをメモリ３２に記憶できる。つまりコントローラ２４は、画素データをメモリ３２、たとえば高ダイナミックレンジ情報を含む第１データ部分と、トーンマップデータを含む第２データ部分とを有する高ダイナミックレンジデータ構造に記憶できる。これは、２００４年１２月２４日に提出された特許文献１に記載され、参照によって本願に編入される。

コントローラ２４は、また画素データに基づく画像を画面３４に表示できる。画面３４は、たとえば観察者が画像を見るのを困難にしかねない周囲照明を克服するために高輝度ディスプレイを含んでよい。代替として画面３４は、たとえば２００２年２月２７日に提出された特許文献２、または２００３年３月１３日に提出された特許文献３に開示された高ダイナミックレンジディスプレイ装置を含んでよい。いずれの出願も参照によって本願に編入される。このような実施例において、電子カメラ２０は、高ダイナミックレンジディスプレイ装置を周囲照明から遮蔽するためのフード（ｈｏｏｄ）を含むことができる。

電子カメラ２０は、ユーザがコントローラ２４と相互作用することを可能にするインタフェース３５も含む。インタフェース３５は、シャッタリリース３６を含む。シャッタリリース３６は、タイマ、シャッタリリースボタン、または類似のものによってトリガされ得る。

図３は、複数のＣＣＤを有するカメラ、たとえば図２の電子カメラ２０を使用して高ダイナミックレンジ（ＨＤＲ）画像を生成するための方法１００を示す。方法１００は、ＣＣＤを有するカメラとの関連で記述されているが、方法１００は、３個以上のＣＣＤを有するカメラを使用しても実施し得ると理解されるべきである。

方法１００は、ブロックＳ１０２で、電子カメラ２０のレンズを適切な絞りに調整する。絞りは、電子カメラ２０の露出制御回路によって調整できる。デジタルカメラで機械的シャッタ２２の絞りを調整するための適切なシステムは、当業界において多種多様なものが知られている。そのようなシステムは、絞りを、ユーザが設定した値に調整するか、または絞りを、検出された光のレベルに基づくアルゴリズムに従って調整してよい。

ブロックＳ１０４で、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂの画素に蓄えられた電荷が消去されて、画像把捉期間（ｉｍａｇｅ ｃａｐｔｕｒｅ ｐｅｒｉｏｄ）が開始する。ブロックＳ１０６で、電子カメラ２０のタイマは、画像把捉のために設定された時間をカウントダウンする。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂは、それぞれ同じ時間露出されてよいが、しかしこのことは、すべての実施例において必要とは限らない。追加または代替として、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂのいずれか一方または両方は、画像把捉期間中に多重露出を把捉するために、たとえば２００５年９月２６日に提出された特許文献４と、２００６年７月２４日に提出された特許文献５に記載されている技術を用いて操作され得る。いずれの出願も参照によって本願に編入される。

第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂが互いに等しい時間露出されない実施例では、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂからのデータを組合わせるときに、時間領域補間が使用されてよい。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂを露出後、ブロックＳ１０８で、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂの画素に蓄えられた電荷を表すデータが読出される。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂがそれぞれ１回だけ露出される実施例では、データは、画像把捉期間の後で読出されてよい。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂのいずれか一方または両方が多重露出を把捉する実施例では、データの幾つかが画像把捉期間中に読出され、データの幾つかが画像把捉期間中の後で読出されてよい。

ブロックＳ１１０で、第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂからのデータが組合わされて、高ダイナミックレンジ画像を生成する。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂからのデータを組合わせることは、たとえば特許文献１に記載されている技術を使用することを含んでよい。第１ＣＣＤ１０Ａと第２ＣＣＤ１０Ｂからのデータの組合わせは、メモリに記憶され得る。組合わされたデータは、たとえば特許文献１に記載されているように、高ダイナミックレンジ情報を含む第１データ部分と、トーンマップデータを含む第２データ部分とを有するデータ構造に記憶されてよく、それによって組合わされたデータから、標
準画像とダイナミックレンジ画像が生成され得る。

発明者は、高ダイナミックレンジ画像を生成するために２個のＣＣＤで一般に十分であることを究明したが、本発明の特定の実施例に従うカメラは、３個以上のＣＣＤを含んでよい。たとえば３個以上のＣＣＤを使用することによって、結果として生じる画像に追加的なダイナミックレンジおよび／または色が与えられる。また、幾つかの実施例において、２個以上のＣＣＤのうちの少なくとも１個が、特に高ダイナミックレンジ画素を把捉するために適合されてよい。

カメラ内のコントローラは、２個以上のＣＣＤからのデータを組合わせて高ダイナミックレンジ画像を生成して、高ダイナミックレンジ画像を、何らかの適切な高ダイナミックレンジフォーマットに保存するようにプログラムされてよい。これが行われる所では、高ダイナミックレンジ画像が、実質的にユーザに見える方法で得られることが理解できる。

本発明の特定の実施形態は、プロセッサに、本発明の方法を実施させるソフトウェア命令を実行するコンピュータプロセッサを含む。たとえば電子カメラ用のコントローラ内の１個以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェアの命令を実行することによって、図３の方法を実施できる。本発明は、プログラム製品の形でも提供され得る。このプログラム製品は、データプロセッサによって実行されると、本発明の方法を実行させる命令を含んだ１組のコンピュータ可読信号を伝達する何らかの媒体を含んでよい。本発明に従うプログラム製品は、非常に多様な形態のいずれであってもよい。たとえばプログラム製品は、フロッピー（登録商標）ディスク、ハードディスクドライブなどの磁気データ記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤなどの光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどの電子データ記憶媒体を含む物理的媒体か、あるいはデジタル通信回線やアナログ通信回線などの通信型媒体を含んでよい。プログラム製品上のコンピュータ可読信号は、光学的に圧縮または暗号化されてよい。

上記において構成要素（例：ソフトウェアモジュール、プロセッサ、組立品、装置、回路など）が言及される場合、別途指示がない限り、構成要素の言及（「手段」に対する言及を含む）は、構造的には開示された構造と同等ではないが、本発明の図示された実施例における機能を実行する構成要素を含め、記載された構成要素の機能を実行する何らかの構成要素（即ち機能的同等物）を、構成要素と同等物として含むものと解釈されなければならない。

上記の開示を踏まえて当業者に明らかなように、本発明の実施においては本発明の趣旨と範囲から逸脱することなく、様々な変更および変容が可能である。従って、本発明の範囲は以下の請求項によって定義される実質に従って理解されるべきである。

Claims (15)

1. 少なくとも１個が高ダイナミックレンジを有する２個以上の画像センサアレイと；
   光を選択的に２個以上の前記画像センサアレイに到達できるようにするシャッタと；
   前記画像センサアレイから選択的に画素データを読出す読出回路と；
   前記シャッタと読出回路を制御するように構成されたコントローラと
   を含む電子カメラであって、
   前記コントローラは、プロセッサと、コンピュータ可読コードを組入れたメモリとを含み、前記コンピュータ可読コードは、前記プロセッサによって実行されると、画像把捉期間中に前記コントローラによって前記シャッタを開かせて、２個以上の前記画像センサアレイが前記画素データを把捉できるようにし、かつ２個以上の前記画像センサアレイから前記画素データを読出可能にすることを特徴とする、電子カメラ。
2. 前記コンピュータ可読コードは、前記プロセッサによって実行されると、前記コントローラによって前記画素データを記憶させて、２個以上の前記画像センサアレイから前記画素データを高ダイナミックレンジデータ構造に読出させる、請求項１記載の電子カメラ。
3. 前記高ダイナミックレンジデータ構造は、
   高ダイナミックレンジ情報を含む第１データ部分と；
   トーンマップデータを含む第２データ部分と
   を有する、請求項２記載の電子カメラ。
4. 前記コンピュータ可読コードは、前記プロセッサによって実行されると、前記コントローラによって、２個以上の前記画像センサアレイから読出された前記画素データを組合わせて、高ダイナミックレンジ画像データを生成する、請求項１記載の電子カメラ。
5. 前記電子カメラは更に、前記高ダイナミックレンジ画像データに基づく画像を表示する画面を含む、請求項４記載の電子カメラ。
6. 前記画面は、高ダイナミックレンジ画像を表示するように構成された高ダイナミックレンジディスプレイ装置を含む、請求項５記載の電子カメラ。
7. 前記電子カメラは更に、前記高ダイナミックレンジディスプレイ装置を遮蔽するフードを含む、請求項６記載の電子カメラ。
8. 前記高ダイナミックレンジを有する前記画像センサアレイの少なくとも１個は、低解像度画像センサアレイを含む、請求項１項記載の電子カメラ。
9. 他の１つの前記画像センサアレイは、高解像度画像センサアレイを含む、請求項８記載の電子カメラ。
10. 前記高ダイナミックレンジを有する前記画像センサアレイの少なくとも１個は、高ダイナミックレンジ画素に適合された電荷結合素子を含む、請求項１記載の電子カメラ。
11. 電子カメラによって高ダイナミックレンジ画像を生成するための画像生成方法であって、前記電子カメラは２個以上の画像センサアレイを含み、少なくとも１個の前記画像センサアレイは高ダイナミックレンジを有し、前記画像生成方法は、
    画像把捉期間中に光が、選択的に２個以上の前記画像センサアレイに到達できるようにする光選択到達ステップと；
    前記画像把捉期間中に２個以上の前記画像センサアレイによって把捉された画素データ
    を読出す画素データ読出ステップと；
    ２個以上の前記画像センサアレイから読出した前記画素データを組合わせて、高ダイナミックレンジ画像データを生成する、画像生成方法。
12. 前記光選択到達ステップは、前記画像センサアレイのうちの１個によって多重露出を把捉することを含む、請求項１１記載の画像生成方法。
13. 前記画素データ読出ステップは、前記画像把捉期間中に前記画像センサアレイの最初の露出を読出すことを含む、請求項１２記載の画像生成方法。
14. 前記画像生成方法は更に、前記電子カメラがアクセス可能なメモリに、高ダイナミックレンジ画像データを記憶する画像データ記憶ステップを備える、請求項１１記載の画像生成方法。
15. 前記画像データ記憶ステップは、高ダイナミックレンジ情報を含む第１データ部分と、トーンマップデータを含む第２データ部分とを有するデータ構造に、高ダイナミックレンジ情報データを記憶することを含む、請求項１４記載の画像生成方法。

Images