JP5953305B2 - 高ダイナミック・レンジ・ビデオ - Google Patents

Description

関連出願への相互参照
本願は、２０１０年８月２３日に出願された米国仮特許出願第６１／３７６，１７２号および２０１１年４月８日に出願された第６１／４７３，７１１号からの優先権の利益を主張する。これらの仮特許出願は、参照によって全体を本明細書の中に組み入れられる。

本明細書における開示は、たとえば、デジタルカメラを用いて検出された静止または動画シーンの画像から、改善されたダイナミックレンジ画像を作り出すデバイスに関する。

デジタル画像のダイナミックレンジは、画像内の最も明るい測定値と最も暗い測定値との間の強度の比として特性化される。ゆえに、広いダイナミックレンジを有する画像は、現実のシーンの中で発見される強度レベルの広い範囲を一層正確に表す。

従来のデジタルカメラおよび手法は、典型的には、相対的に低いダイナミックレンジの画像を作り出し、ダイナミックレンジを制御する上で限定された柔軟性を提供する。ダイナミックレンジは、各々のセンサ素子によって検出可能な明るさのレベル（たとえば、各々のピクセルのビット幅）および露出のレベルを含む因子によって限定され得る。たとえば、キャプチャされた画像は、シーンの相対的に暗い領域の強度を正確に表すが、同じシーンの相対的に明るい領域を正確に表さなくてもよく、また、この逆のことも言える。

画像のダイナミックレンジを向上させるため、異なる手法が使用され得る。しかしながら、特に動画については、既存の手法は、一般的に過度に複雑であり、最適に満たない画質を提供し、または限定された独創的柔軟性を許す。たとえば、幾つかの手法は、相対的に大きい制御されない動きアーチファクト（たとえば、ブラーまたはフリッカ）を作り出す。これらおよび他の理由によって、本明細書で説明される或るカメラおよびシステムは、向上したダイナミックレンジの画像を作り出し、これらの画像は、さらに、制御または低減された動きアーチファクトを有する。さらに、幾つかの態様によれば、システムは、ダイナミックレンジおよび／または動きアーチファクトを調整して、所望の映画効果を達成することをユーザに許すインタフェースを提供する。

或る態様によれば、行および列の画素アレイを備えるデジタル撮像センサを使用して画像データを取得する方法が提供される。方法は、画素アレイ内の複数の画素を使用して、第１の画像に対応する光を第１の露出レベルでキャプチャし、画素アレイ内の複数の画素を使用して、第２の画像に対応する光を、第１の露出レベルとは異なる第２の露出レベルでキャプチャすることを含み得る。方法は、さらに、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換すること、および第２の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換することを含み得る。幾つかの実施形態において、画素アレイ内の複数の画素を使用して、第２の画像に対応する光を第２の露出レベルでキャプチャするステップは、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換するステップの完了の前に開始する。さらに、或る実施形態において、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換するステップは、第２の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換するステップの開始の前に略完了する。

追加の態様によれば、アレイの中に配列された複数の画素を含む撮像システムが提供される。撮像システムは、さらに、制御回路を含み、該制御回路は、画素アレイ内の複数の画素を用いて第１の画像に対応する光を第１の露出レベルでキャプチャし、画素アレイ内の複数の画素を用いて、第２の画像に対応する光を、第１の露出レベルとは異なる第２の露出レベルでキャプチャするように構成され得る。制御回路は、さらに、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換し、第２の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換するように構成され得る。幾つかの実施形態によれば、制御回路は、第１の画像についてキャプチャされた光をデジタル測定値へ変換することの完了の前に、第２の画像に対応する光を第２の露出レベルでキャプチャすることを開始する。制御回路は、加えて、第２の画像について光をデジタル値へ変換することの開始の前に、第１の画像について光をデジタル測定値へ変換することを略完了してもよい。

さらなる態様によれば、画像データを処理する方法が提供される。方法は、第１の画像に対応する光を第１の露出レベルでキャプチャするために使用される画素アレイ内の複数の画素に対応する第１の画像データを受け取ることを含み得る。方法は、さらに、第２の画像に対応する光を第２の露出レベルでキャプチャするために使用される画素アレイ内の複数の画素に対応する第２の画像データを受け取ることを含んでもよい。方法は、加えて、第１の画像データおよび第２の画像データを選択的に結合して、第１の画像または第２の画像のいずれかよりも広いダイナミックレンジを有する結合画像に対応する結合画像データを作り出すことを含み得る。幾つかのケースにおいて、画素アレイ内の複数の画素を使用して、第２の画像に対応する光を第２の露出レベルでキャプチャすることは、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換することの完了の前に開始する。さらに、第１の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換することは、第２の画像について複数の画素によってキャプチャされた光をデジタル測定値へ変換するステップの開始の前に略完了する。

さらなる実施形態において、デジタル撮像センサを使用して画像データを取得する方法が提供される。方法は、センサを用いて第１の画像を第１の露出レベルでキャプチャすること、およびセンサを用いて、第２の画像を、第１の露出レベルとは異なる第２の露出レベルでキャプチャすることを含み得る。方法は、加えて、第１の画像を出力すること、および第２の画像を出力することを含んでもよい。幾つかのケースにおける第１の画像のキャプチャは、第２の画像の前記キャプチャが開始する前に開始する。加えて、第１の画像のキャプチャおよび第２の画像の前記キャプチャは、幾つかのケースでは時間的にオーバラップする。さらに、第１の画像の出力および第２の画像の前記出力は、幾つかの実施形態では時間的にオーバラップしない。

図１は、本明細書で説明される実施形態に従った例示的撮像システムを示すブロック図である。

図２は、幾つかの実施形態に従って、複数の時間的に接近した露出を生成することのできる例示的センサアーキテクチャを示すブロック図である。

図３Ａ〜３Ｄは、或る実施形態に従って、記録されたビデオの複数のフレームについて複数の時間的に接近した露出を記録する例示的センサの動作を示すタイミング図である。

図３Ｅは、時間的に接近した露出を記録することなく動作するセンサの動作を示すタイミング図である。

図４Ａ〜４Ｃは、画像センサの幾つかの行について時間的に接近した露出を記録するセンサの実施形態の動作を示すタイミング図である。

図５は、幾つかの実施形態に従って、異なる露出レベルを有する時間的に接近した露出のトラックを混合する例示的プロセスを示すブロック図である。

図６Ａ〜６Ｂは、或る実施形態に従って、異なる露出レベルを有する時間的に接近した露出のトラックを混合する例示的動作を示す。

図７は、幾つかの実施形態に従って、異なる露出レベルを有するトラックを混合する他の例示的プロセスを示す。

図８は、露出の異なるレベルを有する時間的に接近した露出のトラックを混合して、動きアーチファクトを制御するプロセスの実施形態を示す。

或る態様によれば、異なる露出レベルを有する第１および第２の画像を逐次にキャプチャおよび出力することのできるセンサを有するカメラシステムが提供される。さらに、システムは、単一のフレーム周期内で第１および第２の（または、もっと多くの）画像をキャプチャすることを開始し、他の有利性の中でも、制御可能または低減された動きアーチファクトを提供する。

たとえば、第１および第２の画像は、相互に関して時間的に接近している。さらに、システムが第１の画像についてピクセルをキャプチャするときと、第２の画像について対応するピクセルをキャプチャするときとの間には、時間的にいくらかの分離が存在し得るが、それでも第１および第２の画像は、相互に時間的に「結合」していると言われてもよい。なぜなら、画像が結合されるとき、分離は、視覚的に有意のアーチファクトを生じないからである。この効果を達成するため、第１および第２の画像の少なくとも幾つかの部分についての露出時間は、幾つかの構成では相互にオーバラップする。ビデオ画像を記録するとき、本明細書で開示される幾つかのセンサは、少なくとも第１および第２の時間的に接近した（または「結合した」）画像ストリーム（本明細書では、「トラック」とも言われる）を出力する。追加の態様によれば、本明細書で説明されるシステムおよび方法は、第１および第２の画像ストリームを処理して（たとえば、カメラ内または後処理中に）、結合された出力ストリームを作り出す。

たとえば、各々のビデオフレームについて、撮像システムは、第１の（たとえば、相対的に低い露出の）トラック内の対応する露出をキャプチャした後、極めて直ちに、第２の（たとえば、相対的に高い露出の）トラック内の個々の露出をキャプチャする。このようにして、本明細書で説明される或る手法は、異なる露出レベルを有する画像トラック内の同じ対象と比較されたときの、第１の露出レベルを有する画像トラック内の対象との視覚分離の潜在性を低減または除去する。そうでないと、たとえば、シーン内の対象またはカメラのいずれかの動きに起因して、第１の画像内の対象と第２の画像内の対応する対象との間に、対象間の視覚分離の不所望のレベルが生じ得る。

さらに、システムは、センサからの個々の画像を相対的に迅速に獲得する。システムが、たとえば、ロールシャッタを組み込んでいる場合、特定の画像のためにセンサの最初の行について露出を開始することと、その画像のためにセンサの最後の行について露出を開始することとの間の遅延の周期は、相対的に短い。同様に、画像のために最初の行を読み出すことと、その画像のためにセンサの最後の行を読み出すこととの間の遅延の周期も、相対的に短い。このようにして、システムは、ロールシャッタによって導入される動きアーチファクト（たとえば、揺れ、スキュー、汚れ）の量を限定する。これは、全体の露出をキャプチャおよび読み出すための時間量が、大きい時間周期を消費する構成と対照的である。

さらに、幾つかの態様に従って本明細書で説明されるシステムは、第１および第２の画像間の極小ギャップ、限定されたロール・シャッタ・アーチファクト、および本明細書で説明される手法の他の態様を利用して、多様な所望の独創的効果を達成する。たとえば、システムは、時間的に接近した画像ストリームを選択的に混合または結合して、ダイナミックレンジ、動き効果の性格（たとえば、ブラー（blur）の量または品質）、または他の特性を調節し得る。

幾つかのケースにおいて、画像ストリームの混合は、動きが人間の目によって知覚される方法と略同じ動き効果を達成するように調整される。幾つかの事例において、混合は、ブラー効果が従来のカメラと類似するように調節される。ユーザは、有利には、画像ストリーム混合の量または品質を制御し、加えて、独創的能力および柔軟性を提供してもよい。なお、そのようなプロセスは、部分的または全体的に自動化され得る。

ゆえに、本明細書で説明される手法は、多様な利点を提供する。特に、動画ビデオを記録する分野において、或る実施形態は、改善されたダイナミックレンジ、カスタマイズされた動きまたは他の視覚効果、およびこれらの組み合わせを有する記録を提供する。

本明細書で説明される手法は、主として、連続ビデオを記録するデジタル動画カメラに関して論述されるが、本明細書で説明される発明の様々な態様は、スチルカメラ、ならびにデジタルスチルおよび動画カメラ（ＤＳＭＣ）と両立可能であることが理解されるであろう。

システムの概観
図１は、光学データを検出して、検出されたデータを処理する例示的システム１００のブロック図である。システム１００は、光学モジュール１１０を含み得る撮像デバイス１０１、および多重露出生成器１１３を含む画像センサ１１２を含み得る。デバイス１０１は、さらに、メモリ１１４および画像処理モジュール１１６を含み得る。画像処理モジュール１１６は、転じて、混合モジュール１１７を含む。混合モジュール１１７は、一般的に、出力画像または画像ストリームのダイナミックレンジを調節するように構成される。混合モジュール１１７は、さらに、出力ストリーム内の動き効果を調節するように構成される。

撮像デバイス１０１は、たとえば、カメラシステムであり、光学モジュール１１０、画像センサ１１２、メモリ１１４、および画像処理モジュール１１６またはこの一部分は、カメラハウジングの中に格納されるか、カメラハウジングによって支えられる。さらに、システム１００の一部分は、別個のデバイス内に含められる。たとえば、図示されるように、幾つかの構成における混合モジュール１１７、またはその一部分は、別個のコンピューティングデバイス１０２、たとえば、ラップトップまたは他のコンピュータ内に存在する。

光学モジュール１１０は、画像を画像センサ１１２上に合焦する。センサ１１２は、たとえば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）画像センサセル、たとえば、アクティブピクセル（active-pixel）センサセルのアレイを含む。そのような画像センサは、典型的には、シリコンチップ上に構築され、何百万という画像センサセルを含む。各々のセンサセルは、その表面に到着する光を検出し、検出された光の強度に対応する信号を出力する。検出された光は、次いでデジタル化される。

これらの画像センサは、光の波長の広範なスペクトルを感知するので、そのようなセンサの光感知表面上に、カラー・フィルタ・アレイが配置され得る。カラー・フィルタ・アレイの１つのタイプは、ベイヤ・パターン・カラー・フィルタ・アレイである。このアレイは、赤、青、または緑の波長をセンサ素子へ選択的に通す。しかしながら、そのようなセンサの出力は、モザイク像である。このモザイク像は、赤、緑、および青ピクセルのオーバラップするマトリックスによって形成される。モザイク像は、通常、非モザイク化され、各々の画素がカラー画像データの完全集合を有するようにされる。カラー画像データは、ＲＧＢカラーフォーマットまたは他のカラーフォーマットで表現される。

本明細書で開示される実施形態の幾つかは、ベイヤ・パターン・フィルタを有する単一のセンサデバイスを有するビデオカメラの文脈で説明される。しかしながら、本明細書の実施形態および発明は、さらに、他のタイプの画像センサ（たとえば、ＣＭＹベイヤならびに他の非ベイヤパターン）、他の数の画像センサを有し、異なる画像フォーマットタイプ上で動作し、静止画および／または動画のために構成されているカメラへ適用され得る。本明細書で開示される実施形態は、例示的であるが非限定的な実施形態であること、および本明細書で開示される発明は、開示された例示的実施形態へ限定されないことを理解すべきである。

光学ハードウェア１１０は、入ってくる画像を画像センサ１１２上に合焦するように構成された少なくとも１つのレンズを有するレンズ系の形態であり得る。光学ハードウェア１１０は、任意的に、可変ズーム、アパーチュア、および焦点を提供する多レンズ系の形態であり得る。加えて、光学ハードウェア１１０は、カメラハウジングによって支えられ、複数の異なるタイプのレンズ系を受け取るように構成されたレンズソケットの形態であってもよく、たとえば、非限定的に、光学ハードウェア１１０は、５０〜１００ミリメートル（Ｔ３）ズームレンズ、５０〜１５０ミリメートル（Ｔ３）ズームレンズ、１８〜５０ミリメートル（Ｔ３）ズームレンズ、１８〜８５ミリメートル（Ｔ２．９）ズームレンズ、３００ミリメートル（Ｔ２．８）レンズ、１８ミリメートル（Ｔ２．９）レンズ、２５ミリメートル（Ｔ１．８）レンズ、３５ミリメートル（Ｔ１．８）レンズ、５０ミリメートル（Ｔ１．８）レンズ、８５ミリメートル（Ｔ１．８）レンズ、８５ミリメートル（Ｔ１．８）レンズ、１００ミリメートル（Ｔ１．８）および／または任意の他のレンズまたは任意の他のレンズを含む様々なサイズのレンズ系を受け取るように構成されたソケットを含む。或る実施形態において、５０〜１００ミリメートル（Ｆ２．８）ズームレンズ、１８〜５０ミリメートル（Ｆ２．８）ズームレンズ、３００ミリメートル（Ｆ２．８）レンズ、１５ミリメートル（Ｆ２．８）レンズ、２５ミリメートル（Ｆ１．９）レンズ、３５ミリメートル（Ｆ１．９）レンズ、５０ミリメートル（Ｆ１．９）レンズ、８５ミリメートル（Ｆ１．９）レンズ、および／または任意の他のレンズを含む。上記で指摘したように、光学ハードウェア１１０は、どのようなレンズがそれに取り付けられようと、画像が画像センサ１１２の光感知表面に合焦され得るように構成され得る。

画像センサ１１２は、たとえば、非限定的に、ＣＣＤ、ＣＭＯＳ、垂直スタックＣＭＯＳデバイス、たとえば、Ｆｏｖｅｏｎ（登録商標）センサ、またはプリズムを使用してセンサ間に光を分割するマルチセンサアレイを含む任意のタイプの画像感知デバイスであり得る。幾つかの実施形態において、画像センサ１１２は、約１２００万のフォトセルを有するＣＭＯＳデバイスを含み得る。しかしながら、他のサイズのセンサも使用され得る。幾つかの構成において、カメラ１０は、「５ｋ」（たとえば、５１２０×２７００）、クアド（Quad）ＨＤ（たとえば、３８４０×２１６０ピクセル）、「４．５ｋ」分解能（たとえば、４５２０×２５４０）、「４ｋ」（たとえば、４０９６×２５４０ピクセル）、「２ｋ」（たとえば、２０４８×１１５２ピクセル）または他の分解能でビデオを出力するように構成され得る。本明細書で使用される場合、ｘｋの形式（たとえば、上記で言及された２ｋおよび４ｋ）で表現された用語において、「ｘ」の量は、近似的水平分解能を意味する。そのようなものとして、「４ｋ」分解能は、約４０００以上の水平ピクセルに対応し、「２ｋ」は、約２０００以上のピクセルに対応する。

カメラは、さらに、センサ１１２の出力をダウンサンプルし、続いて処理し、２Ｋ、１０８０ｐ、７２０ｐ、または任意の他の分解能でビデオ出力を作り出すように構成され得る。たとえば、センサ１１２からの画像データは、「ウィンドウ化」され、これによって出力画像のサイズを低減し、高い読み出しスピードを許す。しかしながら、他のサイズのセンサも使用され得る。加えて、カメラは、センサ１１２の出力をアップサンプルして、高い分解能でビデオ出力を作り出すように構成され得る。さらに、カメラは、秒当たり１０、２０、２４、３０、６０、および１２０フレーム、または他のフレームレートでビデオをキャプチャおよび記録するように構成され得る。加えて、本明細書で説明される混合手法は、一般的に、上記で列挙された分解能およびフレームレートを含む多様な分解能およびフレームレートと両立可能である。

メモリ１１４は、任意のタイプのデジタル記憶装置、たとえば、非限定的に、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、光ディスク、または任意の他のタイプのメモリデバイスの形態であり得る。幾つかの実施形態において、メモリ１１４のサイズは、十分に大きく、１２メガピクセル分解能、１２ビットカラー分解能、および秒当たり６０フレームでビデオの少なくとも約３０分に対応する圧縮モジュールからの画像データを記憶し得る。しかしながら、メモリ１１４は、任意のサイズを有し得る。

幾つかの実施形態において、メモリ１１４は、カメラハウジングの外部に搭載され得る。さらに、幾つかの実施形態において、メモリは、たとえば、非限定的に、イーサネット（登録商標）、ＵＳＢ、ＵＳＢ２、ＵＳＢ３、ＩＥＥＥ１３９４（非限定的に、ＦｉｒｅＷｉｒｅ４００、ＦｉｒｅＷｉｒｅ８００、ＦｉｒｅＷｉｒｅ Ｓ３２００、ＦｉｒｅＷｉｒｅ Ｓ８００Ｔ、ｉ．ＬＩＮＫ、ＤＶを含む）、ＳＡＴＡ、およびＳＣＳＩを含む標準またはカスタムの通信ポートを介して他のコンポーネントへ接続され得る。さらに、幾つかの実施形態において、メモリ１１４は、たとえば、ＲＡＩＤプロトコルのもとで動作する複数のハードドライブを備え得る。しかしながら、任意のタイプの記憶デバイスが使用され得る。

画像処理モジュール１１６は、たとえば、メモリ１１４内に記憶されたデータ上で動作する。代替として、画像処理モジュールは、データが画像センサ１１２から来るときに、データ上で動作し、処理されたデータは、次いでメモリ１１４内に記憶される。画像処理モジュール１１６は、多様な動作をデータ上で実行する。動作に依存して、処理モジュール１１６は、混合前に、個々の第１および第２の画像ストリーム上で動作を実行するか、代替として、混合されたＨＤＲ出力ストリーム上で動作を実行する。

たとえば、画像処理モジュール１１６は、画像センサからのデータを圧縮し、事前圧縮データ準備（たとえば、プリエンファシスおよび／またはエントロピ低減）を実行し、圧縮されたデータをフォーマットし、その他の動作を行う。そのような手法の例は、「ＶＩＤＥＯＣＡＭＥＲＡ」と題する米国特許第７，８３０，９６７号（’９６７特許）で一層詳細に説明されている。この米国特許は、参照によって全体を本明細書に組み入れられる。幾つかの事例において、画像処理モジュール１１６は、図８Ａに関して下記で詳細に説明されるように、個々の画像ストリーム（または、結合された画像ストリーム）を処理して、画像ストリームを知覚空間へ調整する。追加の両立可能な手法は、’９６７特許（たとえば、図８〜図１１および欄１１〜欄１３）で図示および説明されているグリーンデータ（green data）修正およびプリエンファシスプロセスを含む。一般的に、本明細書で説明される或る実施形態は、‘９６７特許で説明されている実施形態と両立可能であり、および／またはそれらの実施形態のコンポーネントである。ゆえに、本明細書で説明される特徴の幾つかまたは全ては、本明細書で明白に論述されていないが’９６７特許では説明されている特徴を含めて、‘９６７特許で説明されている様々な特徴と一緒に使用され得るか、組み合わせられ得る。

センサ１１２は、異なる露出レベルを有する少なくとも第１および第２の画像ストリーム（またはトラック）を逐次にキャプチャおよび出力するように構成され得る。たとえば、多重露出生成器１１３は、センサ１１２を制御して画像ストリームを出力する特別設計のタイミング制御論理を備える。幾つかのケースにおいて、センサ１１２は、様々な露出レベルを有する２トラックを超えるトラック（たとえば、全部で３、４、５、または１０以上）を出力し得る。

第１のトラック内の露出または露出部分と、第２のトラック内の対応する露出または露出部分との間に、有意の遅延量が存在する場合、不所望の動きアーチファクトが生じ得る。たとえば、そのようなアーチファクトは、第１の画像ストリームフレームがキャプチャされた時間と、第２の画像ストリームフレームがキャプチャされた時間との間に、記録されたシーン内の対象（たとえば、動作主または他の被写体）が、視覚的に有意の距離を動く場合に生じ得る。そのようなケースにおいて、他のトラック内の同じ対象と比較されたときの、１つのトラック内の対象間に、視覚分離（visual separation）または「ギャップ」が生じ得る。そのような問題は、後処理で補正すること、または制御することが困難であり得る。

これら、および他の理由によって、或る態様に従ったセンサ１１２は、異なる露出レベルを有して相互に時間的に接近している少なくとも第１および第２の画像ストリームを、逐次に出力するように構成される。たとえば、多重露出生成器１１３は、センサ１１２のピクセルアレイおよび出力回路を制御して、センサ１１２が第１および第２の画像ストリームを出力することを引き起こす。各々の画像ストリームは、他の画像ストリームからの対応するフレームと時間的に接近および／または時間的に少なくとも部分的にオーバラップする複数のフレームを有し得る。たとえば、システムが、第１のストリームからの画像内の画素について、キャプチャされたデータをデジタル値へ変換するときと、第２の画像ストリーム内の対応する画像について、同じ画素の露出を開始するときとの間の時間量は、比較的短い。さらに、幾つかのケースにおいて、多重露出生成器１１３は、オーバラップする時間周期中に、第２のストリーム内の画像について画素の少なくとも幾つかをキャプチャし、同時に第１のストリーム内の対応する画像について他の画素をキャプチャする。このようにして、第１の画像ストリーム内の動いている対象と、第２の画像ストリーム内の同一の動いている対象との間の視覚分離は、相対的に非有意であるか、略低減される。多重露出生成器１１３は、一般的に、センサ１１２へ結合された特殊タイミング生成器であり、図２に関して一層詳細に説明される。

第１の画像トラックフレーム内のフレーム内の対象と、第２の画像トラック内で続いてキャプチャされたフレーム内の対応する対象との間に、有意の視覚分離は存在しないので、第１および第２の画像トラックは、さらに、相互に「ギャップ」を有しないと言われるか、相互と略「接触する」と言われてもよい。たとえば、第１の画像についての画素のキャプチャと、第２の画像内の画素のキャプチャとの間には、幾らかの小さい遅延が存在するが、その遅延が非常に小さいので、完全センサ分解能、１つまたは複数のスケールダウン分解能、またはこれらの組み合わせにおいて、対象の視覚分離は、低減されるか略存在しない。トラックの時間的に接近した性質に起因して、結合された出力トラック内の動きアーチファクトは、略低減されるか、除去されるか、所望のやり方で制御され得る。

本明細書で説明されるセンサは、本明細書では「隣接読み出し」または「結合露出」能力を有すると言われる。加えて、画像トラックは、「隣接している」、「時間的に接近している」、「結合している」、などと言われてもよい。

さらに、上記で説明されたように、幾つかの実施形態に従った個々の露出は、コンパクトなやり方でキャプチャおよび／または出力され、フレーム周期の使用を効率的にする。

或る実施形態に従った混合モジュール１１７は、時間的に接近したトラックを選択的に結合し、所望の視覚効果を有する出力トラックを作り出す。たとえば、出力ビデオストリームは、個々の第１および第２の画像トラックのダイナミックレンジに対して、相対的に向上したダイナミックレンジを有し得る。例として、第１の画像ストリームは、相対的に低い露出レベル（たとえば、短い積分時間）を有し、キャプチャされたシーンの相対的に明るい領域で有用なデータ、たとえば、ハイライトディテール（detail）を提供する。第２の画像ストリームは、相対的に高い露出レベル（たとえば、長い積分時間）を有し、シーンの相対的に暗い領域で有用なデータ、たとえば、シャドウ内のディテールを提供する。

さらに、センサ１１２が２トラックよりも多いトラックを出力する幾つかのケースにおいて、混合モジュール１１７は、対応する数のトラックを結合することができる。混合モジュール１１７またはその一部分が外部コンピューティングデバイス１０２内に存在する場合、ダイナミックレンジおよび／または動き処理は、後処理で行われ得る。加えて、実装に依存して、混合モジュール１１７は、メモリ１１４内に記憶されたデータ、画像センサ１１２から出力されるときのデータ、または外部コンピューティングデバイス１０２内に記憶されたデータの上で動作する。

論述されるように、結合された出力ストリームは、後処理の間に、カメラ上、または代替として、カメラ外で作り出される。１つの構成において、ユーザは、所望に応じて、出力ストリームのカメラ上またはカメラ外での作り出しを選択し得る。さらに、図５〜図９に関して下記で一層詳細に説明されるように、様々な実施形態において、混合モジュール１１７は、多様なアルゴリズムに従って、時間的に接近したトラックを結合し得る。アルゴリズムは、固定されているか、ユーザによって選択可能であるか、調節可能である。たとえば、１つの実施形態において、画像ストリームは、固定されたアルゴリズムに従ってカメラ上で結合される。他の構成において、ユーザは、所望の独創的効果に依存して多様なアルゴリズムから選択する。

複数の露出レベルを有する時間的に接近した画像のトラックの生成
図２は、本明細書で説明される実施形態に従って、時間的に接近した露出を生成することのできる例示的画像センサ２００を示すブロック図である。図２を参照すると、画像センサ２００は、ピクセルアレイ２０２、出力回路２０４、および多重露出生成器２０６を含む。これから一層詳細に説明されるように、多重露出生成器２０６は、一般的に、センサ２００の様々なコンポーネントを制御して、さらなる記憶および処理のために、センサ２００の出力バス２１２上に、時間的に接近した露出を提供する。

画像センサ２００は、たとえば、図１に関して上記で説明された画像センサ１２と同じであり、ピクセルアレイ２０２は、「Ｍ」行および「Ｎ」列を含むマトリックス内に配列された複数のピクセル（たとえば、フォトセル）を含む。「Ｍ」および「Ｎ」について極めて多様な値が可能であるが、例示的な「５ｋ」センサは、５１２０行および２７００列を含み、例示的なクアドＨＤセンサは３８４０および２１６０ピクセルを含み、例示的な「４．５ｋ」分解能センサは４５２０行および２５４０列を含み、例示的な「４ｋ」センサは４０９６行および２５４０列を含み、例示的な「２ｋ」センサは２０４８および１１５２列を含む。

例示された例において、センサ２００は、所与の時間に単一の行を出力するように構成され、センサ２００は、単一の行について画像情報を処理および出力するように構成された出力回路２０４の１つのインスタンス（instance）を含む。他の実施形態において、たとえば、ベイヤパターンセンサが使用される場合、センサは、同時に２つの行を出力し、出力回路２０４の２つのインスタンスを含み得る。さらなる他の構成において、センサ２００は、所与の時間スロット中に他の数の行（たとえば、２、３、４、５、１０以上の行）を出力し、出力回路２０４の対応する数のインスタンスを含み得る。

動作中、多重露出生成器２０６は、入力バス２０８を介してピクセルアレイ２０２の行デコード論理（図示されず）へ行選択情報を提供する。選択された行の各々について、ピクセルアレイ２０２は、選択された行（または、行の部分集合）の列に対応するＮピクセルの記憶された値を出力回路２０４へ提供する。

例示的センサ２００の出力回路２０４は、さらに、多重露出生成器２０６からのバス２１０上でタイミング制御信号を受け取り、一般的に、ピクセルアレイから受け取られたアナログピクセル値を処理およびデジタル化するように構成される。例示的センサ２００の出力回路２０４は、プログラム可能利得増幅器（ＰＧＡ）およびアナログ／デジタル変換器（ＡＤＣ）の集合を含むが、もっとも、多様なコンポーネントは、様々な実現で使用されてもよい。出力回路２０４は、転じて、現在選択された行のデジタル化され処理された値を出力バス２１２上で提示する。たとえば、センサ２００は、値を、記憶および処理のために、図１のシステムのメモリ１１４、画像処理モジュール１１６、または他のコンポーネントへ伝送する。幾つかのインスタンスにおいて、センサは、出力バス２１２上での伝送の前に、１つまたは複数の行について値をバッファする。

図２で示されるように、多重露出生成器２０６は、パッケージング２１４の外側に存在する。たとえば、パッケージング２１４は、集積回路パッケージングであり、ピクセルアレイ２０２および出力回路２０４は、パッケージング２１４内に格納された集積回路上に形成される。他方、多重露出生成器２０６は、別個のパッケージ内に格納される別個の集積回路の一部分を形成する。他の実施形態において、多重露出生成器２０６は、他のコンポーネントと同じ集積回路上に含まれ、センサパッケージ２１４内に格納される。

幾つかのケースにおいて、多重露出生成器２０６は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）内に実現された論理を備えるが、もっとも、多重露出生成器２０６は、多様な方途で実現され、ハードウェア、ソフトウェア、アナログおよび／またはデジタル回路、たとえば、カスタム回路、マイクロプロセッサ、特定用途集積回路（ＡＳＩＣ）、これらの組み合わせ、などを含み得る。

図３Ａは、実施形態に従って２つの時間的に接近した画像トラック（画像ストリームとも言われる）を記録しているカメラについて、ビデオの２つの連続フレームを示す例示的タイミング図３００である。２つの時間的に接近した露出３０２、３０４は、各々のビデオフレーム内で、各々の画像トラックについて１つを取られる。ゆえに、第１の画像トラックは、一連の記録されたビデオフレーム上で取られた第１の露出３０２に対応し、第２の画像トラック３０４は、同じ一連のビデオフレーム上で取られた第２の露出３０４に対応する。

カメラは、第１の積分周期３０６の間、各々のフレームについて第１の露出３０２を露出し、第２の積分周期３０８の間、各々のフレームについて第２の露出３０４を露出する。タイミング図３００は、たとえば、図１および図２のセンサ１１２、２００の動作を表現する。さらに、図は、例示を目的として、２つのフレームだけについて動作を示すが、記録の長さに依存して、カメラは、任意の数のフレームを記録することが了解されるであろう。

図示されるように、例示された例のカメラは、オーバラップするやり方で、センサの行０→Ｍを露出する。このようにして、第１の行（または、行の部分集合）は、時間ｔ_０で開始し時間ｔ_１で終了する第１の積分周期の間、露出される。残りの行（または、行の部分集合）は、連続してオーバラップする時間スロット内で露出され、最後の行についての第１の積分周期は、時間ｔ_２から時間ｔ_３までにわたる。この一般的な露出スキームは、連続する行（または、行の部分集合）が、連続してオーバラップする時間スロット内で露出され、一般的に「ロールシャッタ」手法と言われる。

第２の露出３０４についての画素は、有利には、第１の露出３０２について同じ画素をキャプチャした後、相対的に直ちにキャプチャされる。たとえば、各々の行（または、行の部分集合）についての第１の露出周期３０６の終了と、同じ行についての第２の露出周期３０８の開始との間の、露出間遅延３１２は、相対的に極小である。たとえば、図４Ａに関して下記で一層詳細に論述されるように、露出間遅延３１２は、１つのインスタンスにおいて、センサの１つまたは複数の行についてのリセット時間に依存する。他のケースにおいて、露出間遅延３１２は、幾つかの他のパラメータに依存し得る。図２のセンサ２００を再び参照すると、多重露出生成器２０６は、ピクセルアレイ２０２および出力回路２０４を作動する制御信号を生成し、時間的に接近した露出３０２、３０４を生成するように構成される。

さらに、ロールシャッタによって導入された個々の露出３０２、３０４についての行間スキュー（skew）は、相対的に極小である。これは、短い全体的画像獲得時間を生じ、さもなければ、ロールシャッタによって導入される任意の動きアーチファクトの制御を助ける。図４Ａに関してさらに論述されるように、行間スキューおよび画像獲得時間は、行（または、部分集合の行）についての読み出し時間に関係し得る。

示されるように、システムは、加えて、第１および第２の露出の或る部分を時間的にオーバラップすることによって、センサのハードウェアおよびフレーム周期を効率的に使用する。たとえば、システムは、第１の露出３０２について全ての行が変換および／または読み出される前に、第２の露出３０４について少なくとも幾つかの行（または、行の部分集合）の露出を開始する。さらに、少なくとも幾つかの行は、第２の露出３０４についての他の行と同時に、第１の露出３０２について露出される。

或る実施形態におけるシステムは、加えて、第２の露出３０４について行の変換および／または読み出しを開始する前に、第１の露出３０２についてセンサ行（または、行の部分集合）の変換および／または読み出しを略完了する。それぞれの露出が完了するまで、それらの露出の各々のために変換および読み出し回路を専用することによって、システムは、個々の露出３０２、３０４についてコンパクトな全体的獲得時間を維持することを助ける。例示された実施形態において、システムは、第２の露出３０４について任意の行の変換および／または読み出しを開始する前に、第１の露出３０２についてセンサ行の１００パーセントを変換および／または読み出すことを完了する。他のケースにおいて、システムは、第２の露出３０４について行を変換および／または読み出すことを開始する前に、第１の露出３０２についてセンサ行の少なくとも８０パーセント、少なくとも９０パーセント、少なくとも９５パーセント、少なくとも９６パーセント、少なくとも９７パーセント、少なくとも９８パーセント、または少なくとも９９パーセントを変換および／または読み出すことを完了する。さらなるケースにおいて、システムは、第２の露出３０４について行のいずれかを読み出す前に、または実施形態に依存して、第２の露出３０４について行の１パーセントよりも多く、２パーセントよりも多く、３パーセントよりも多く、４パーセントよりも多く、５パーセントよりも多く、１０パーセントよりも多く、または２０パーセントよりも多くを読み出す前に、第１の露出３０２について行の変換および／または読み出しを略完了する。センサタイミングの仕様に関するさらなる詳細は、図４Ａ〜４Ｃに関して下記で提供される。

具体的な構成に依存して、図３Ａで示される様々な時間周期の持続時間は、フレーム周期３１２、第１および第２の露出積分時間３０２、３０４、露出間遅延３１２、およびセンサ非活動３１０を含めて、大きく変動し得る。センサ非活動時間３１０は、センサ素子が略非活動であって露出されていない場合の周期を意味する。たとえば、第１および第２の露出をキャプチャしているとき、センサは、ロールシャッタ手法に従って適当な画素を電子的に活性化し、入射光を感知してキャプチャする。対照的に、センサ非活動周期３１０の間では、適当な画素は、電子的に非活性化され、それゆえに入射光を感知しない。他の実装において、物理的なシャッタが使用され、物理的なシャッタが電子的活性化／非活性化の代わりに開放／閉鎖される。センサ非活動周期は、さらに、第２の露出３０４内の最後の行について露出が完了する時間ｔ_７から、第１の露出３０２における最初の行が次のフレームについて露出を開始する直前の、フレーム周期の終了までの、時間周期としても規定され得る。

図３Ｂ〜３Ｄは、幾つかの例示的構成についてタイミング図を示す。明瞭にするため、露出間遅延３１２は、図３Ｂ〜３Ｄで示されていない。１つの実施形態において、図３Ｂは、フレーム周期が約４１．７ミリ秒（２４ｆｐｓ）、第１の積分時間３０６が約２．６ミリ秒、第２の積分時間３０８が約２０．８ミリ秒、露出間遅延３１２が約１５．６マイクロ秒、およびシャッタ閉鎖時間が約１８．２ミリ秒であるシナリオを示す。第２の積分時間３０８は、フレーム周期の約半分であり、ゆえに、一般的に１８０度シャッタを実現するセンサについての積分時間に対応する。他の例示的ケースにおいて、図３Ｃは、フレーム周期３１２が約４１．７ミリ秒（２４ｆｐｓ）、第１の積分時間３０６が約２．６ミリ秒、第２の積分時間３０８が約３１．６ミリ秒、露出間遅延３１２が約１５．６マイクロ秒、およびシャッタ閉鎖時間３１０が約７．４ミリ秒であるシナリオを示す。このケースにおいて、第２の積分時間３０８は、２７３度シャッタを実現するセンサについての積分時間に対応する。さらに他の事例において、図３Ｄは、フレーム周期３１２が約４１．７ミリ秒（２４ｆｐｓ）、第１の積分時間３０６が約０．６５ミリ秒、第２の積分時間３０８が約５．２ミリ秒、露出間遅延３１２が約１５．６マイクロ秒、およびシャッタ閉鎖時間３１０が約３５．７５ミリ秒であるケースを示す。ここで、第２の積分時間３０８は、４５度シャッタについての積分時間に対応する。

比較のため、図３Ｅは、異なる露出レベルを有する多重露出をキャプチャする他の例示的カメラについてのタイミング図を示す。しかしながら、図３Ａ〜３Ｄで示される実施形態とは異なり、図３Ｅのカメラは、異なる交番フレーム上で長い露出３０４および短い露出３０６をキャプチャする。ゆえに、露出３０４および３０６は、時間的に接近しておらず、有意の不所望な動きアーチファクトが存在するかも知れない。たとえば、長い露出３０４内の画像シーン対象と、次のフレーム内の短い露出３０６で比較される画像シーン対象との間には、視覚分離の相対的に大きいギャップが存在するかも知れない。ゆえに、そのようなケースにおいて、短いおよび長い露出３０４、３０６を結合して、制御された動きアーチファクトを有する高ダイナミックレンジ画像を作り出すことは困難であり得る。

図４Ａは、記録されるビデオの１つのフレームについて、時間的に接近した第１および第２の露出４０２、４０４を示す。明瞭にするため、タイミング図は、画像センサの最初の３つの行（または、行の部分集合）Ｒ１、Ｒ２、Ｒ３のみについて示される。たとえば、図解４００は、図３Ａ〜３Ｄのいずれかで描写される動作を有するセンサの最初の３つの行について、露出タイミングの一層詳細な描写の１つの実施形態に対応する。最初の行Ｒ１を参照すると、第１の露出４０２が開始する前に、「リセット」の標示を付けられた垂直矢印によって示されるように、行Ｒ１が最初にリセットされる。

行Ｒ１内のピクセルをリセットするために要する時間量に対応して、リセット周期４１０が経過した後、行Ｒ１内のフォトセルは、第１の積分周期４０６の間に電荷の累積を開始する。第１の積分周期４０６に続いて、第１の行Ｒ１内のピクセルは、第１の露出レベルに対応して電荷を累積する。次いで、「読み出し／リセット」と標示を付けられた垂直矢印によって示されるように、行Ｒ１についての読み出しサイクルは、他のリセットサイクルと共に始められる。図２を参照すると、読み出し周期４１２の終了時に、行Ｒ１は、出力回路２０４によってピクセルアレイ２０２から読み出され、記憶および／または処理のために出力２１２上に提供される。

加えて、一度、行Ｒ１が第２のリセットサイクルを完了すると、第２の露出４０４が開始する。そのようなものとして、１つの実施形態における第１および第２の露出間の露出間遅延４１０は、ピクセルの行（または、１行を超える行が一度に読み出される場合、行の部分集合）についてのリセット時間４１０に依存する。たとえば、露出間遅延４１０は、１つの行（または、行の部分集合）についてのリセット時間４１０に対応するか、略対応するか、略等しい。他の事例において、露出間遅延４１０は、行（または、行の部分集合）について略１、略２、略５、略１０、略２０、略５０、または略１００のリセット時間４１０よりも小さいか等しい。さらなるケースにおいて、露出間遅延４１０は、実施形態に依存して、行（または、行の部分集合）についての略１のリセット時間４１０と、略２、略５、略１０、略２０、略５０、または略１００のリセット時間との間の、或る値である。下記で一層詳細に説明されるように、リセット時間４１０は、有利には相対的に短い。これは、時間的に接近した第１および第２の露出４０２、４０４を導く。

他の構成において、第１および第２の露出４０２、４０４の間の遅延は、リセット時間４１０以外の多様な値に対応し得る。たとえば、露出間遅延４１０は、読み出し時間がリセット時間よりも大きいか等しい場合のように、読み出し時間４１２に対応するか、略対応するか、依存する。１つのそのような実施形態において、露出間遅延４１０は、読み出し時間４１２と略等しい。他のケースでは、具体的な実装に依存して、露出間遅延４１０は、行（または、行の部分集合）について略１、略２、略５、略１０、略２０、略５０、または略１００の読み出し時間４１２よりも小さいか等しい。さらなる実施形態によれば、露出間遅延４１０は、行（または、行の部分集合）についての略１の読み出し時間４１２と、略２、略５、略１０、略２０、略５０、または略１００の読み出し時間４１２との間の、或る値である。さらなるケースにおいて、第１および第２の露出４０２、４０４の間の遅延４１０は、読み出し時間およびリセット時間の双方に依存する。たとえば、１つの実施形態におけるリセット動作は、読み出し動作の完了後にのみ始められる。このケースにおいて、第１および第２の露出４０２、４０４の間の遅延は、読み出し時間４１２およびリセット時間の合計に対応するか、略対応する。そのようなケースにおいて、露出間遅延４１０は、行（または、行の部分集合）についてリセット時間４１０および読み出し時間４１２の近似的合計よりも小さいか等しく、または代替として、リセット時間４１０および読み出し時間４１２の近似的合計に、２、５、１０、２０、５０、または１００の因子を乗じたものよりも小さいか等しい。さらなる実施形態において、露出間遅延４１０は、行（または、行の部分集合）についてのリセット時間４１０および読み出し時間４１２の近似的合計と、リセット時間４１０および読み出し時間４１２の近似的合計に、２、５、１０、２０、５０、または１００の因子を乗じたものとの間の、或る値であり得る。

示されるように、センサは、他の行Ｒ２，Ｒ３，…，ＲＭについて類似の動作系列を始める。しかしながら、図２に関して上記で説明されたように、センサは、同時に１つだけの行（または、２つ以上の行から成る部分集合）を出力するように構成されてもよい。ゆえに、各々の後続の行について、多重露出生成器２０６は、最初のリセットサイクルを始める前に、少なくとも１つの読み出し周期４１２を待機する。そのようなものとして、各々の行についての露出タイミングは、他の行に関して時間的にジグザグである。例示された例において、各々の後続の行は、先行する行に関して読み出し周期４１２だけ遅延される。そのようなものとして、特定の行について積分周期４０２、４０４が完了したとき、出力回路２０４は、一般的に即時に利用可能となる。このようにして、読み出し回路（たとえば、図２の出力回路２０４）の利用は、相対的に高い。図２を再び参照すると、多重露出生成器２０６は、バス２０８を介してピクセルアレイへ、およびバス２１０を介して出力回路２０４へ、適当な制御信号を送り、説明されたようにして行Ｒ１，Ｒ２，Ｒ３，…，ＲＭのリセットおよび読み出しを始める。

多様な値が可能であるが、１つの例示的センサ２００は、一時に２つの行を読み出すように構成されたピクセルの２７４０行を有し、例示的センサ２００の２つの行についての読み出し時間４１２は、約７．４マイクロ秒である。この例において、２つの行から成る部分集合をリセットするためのリセット時間４１０は、約１５．６マイクロ秒である。ゆえに、第１および第２の露出４０２、４０４の間の時間、および時間的に接近した画像ストリーム間の時間は、約１５．６マイクロ秒、または２４ｆｐｓのフレームレートについてのフレーム周期の約０．０３パーセントであり、３０、５０、５９．９４、および１００ｆｐｓのフレームレートについての、それぞれのフレーム周期の約０．０５、０．０８、０．０９、および０．１６パーセントである。他の構成において、たとえば、センサ２００は、時間的に約７マイクロ秒よりも多くない間隔を空けられた第１および第２の画像ストリームを作り出す。そのようなものとして、各々のフレームについて、センサ２００は、そのフレーム（第１の画像ストリームに対応する）について、先行する露出４０２をキャプチャした後に、約７マイクロ秒を超えることなく後続の４０４（第２の画像ストリームに対応する）をキャプチャする。他の実施形態において、第１および第２の露出４０２、４０４、および対応する画像ストリームは、約４マイクロ秒を超えることなく、約２マイクロ秒を超えることなく、または約１マイクロ秒を超えることなく、時間的に間隔を空けられる。さらに他の実施形態において、第１および第２の露出４０２、４０４は、約１ミリ秒を超えることなく、約１００マイクロ秒を超えることなく、約５０マイクロ秒を超えることなく、約２５マイクロ秒を超えることなく、約２０マイクロ秒を超えることなく、約１６マイクロ秒を超えることなく、１５．６マイクロ秒を超えることなく、約１５マイクロ秒を超えることなく、または約１０マイクロ秒を超えることなく、間隔を空けられる。上記で示されたように、幾つかの実施形態において、各々のフレーム内に２つの露出を超える露出が存在する。そのようなケースにおいて、任意の２つの隣接した露出間の遅延は、上記で列挙された値または値域のいずれかに対応する。様々な実施形態において、露出間遅延は、フレーム周期の約０．０１、０．０２、０．０３、０．０４、０．０５、０．１、０．２、０．５、１、２、５、１０、２０、または３０パーセントよりも小さい。

加えて、前に言及されたように、各々の行（または、行の部分集合）の獲得が、直前に先行する行から、相対的に極小量だけ時間的にジグザグであるから、ロールシャッタによって導入されるスキューおよび結果として得られる動きアーチファクトは、低減される。たとえば、システムが行（または、行の部分集合）について画像データの獲得を開始する時間と、直後に後続する行について画像データの獲得を開始する時間との間の、行間獲得スキューは、示された実施形態における行（または、行の部分集合）についての読み出し時間４１２に対応する。同様に、システムが行（または、行の部分集合）について獲得された画像データの読み出しを完了する時間と、後続の行（または、行の部分集合）について獲得された画像データの読み出しを完了する時間との間の、行間読み出しスキューは、行（または、行の部分集合）についての読み出し時間４１２に対応する。様々な実施形態において、行間獲得スキューおよび／または行間読み出しスキューは、行、または行の部分集合についての１つの読み出し時間４１２に略等しく、または、略１、略１．５、略２、略２．５、または略３の読み出し時間４１２よりも小さいか等しい。

図４Ａについて行の全てを横切って行間スキューを拡げると、システムが行（または、行の部分集合）の最初の行の獲得を開始する時間から、行の全てまたは行の略全て（たとえば、少なくとも９０、９５、または９９パーセント）の獲得を開始する時間までの間の、全体の画像を横切る総露出内獲得スキューは、近似的に、
（Ｍ−１）＊読み出し時間 （式１）
によって与えられる。

同様に、システムが行の最初の行の読み出しを完了する時間と、行の略全ての読み出しを完了する時間との間の、露出内読み出しスキューは、同じ量に対応する。具体的な例として、上記で説明された２７４０行センサの場合、露出内獲得および読み出しスキューの双方は、約１０．１ミリ秒（（２７４０／２−１）＊７．４マイクロ秒）に等しい。

さらに、システムが行（または、行の部分集合）の最初の行の獲得を開始する時間と、露出について行の略全ての読み出しを完了する時間との間からの、全体の露出についての獲得時間は、近似的に、
露出時間＋［（Ｍ−１）＊読み出し時間］ （式２）
によって与えられる。

さらなる両立可能な実施形態において、画像獲得時間は、次式の１つよりも小さいか等しい。
露出時間＋［（Ｍ−１）＊読み出し時間］ （式３）
露出時間＋［（Ｍ−１）＊１．５＊読み出し時間］ （式４）
露出時間＋［（Ｍ−１）＊２＊読み出し時間］ （式５）
露出時間＋［（Ｍ−１）＊２．５＊読み出し時間］ （式６）
露出時間＋［（Ｍ−１）＊３＊読み出し時間］ （式７）

上記で説明された具体的な例の各々におけるシステムは、各々のフレームについて第１の相対的に低い露出（たとえば、短い露出）、これに続く第２の相対的に高い露出（たとえば、長い露出）を記録する。しかしながら、フレーム間露出の数および順序は、変動可能であり、所望に応じてカスタマイズ可能である。たとえば、１つのインスタンスにおいて、各々のフレームは、長いトラックと、これに続く短いトラックとを含む。加えて、デバイスは、フレーム当たり２つの露出を超える露出、たとえば、３、４、５、１０以上の露出をキャプチャするように構成され得る。単なる少数の例示として、フレーム当たり２つの露出を超える露出を含む次のキャプチャパターンが可能である。（１）長、短、長、（２）短、長、短、（３）短、短＋ｘ、短＋ｘ＊２、…、短＋ｘ＊ｋ、（４）長、長−ｘ、長−ｘ＊２、…、長−ｘ＊ｋ、（４）短、中間、長、（５）長、中間、短、（６）中間、長、短である。

図３Ａ〜３Ｄおよび図４Ａの図解３００、４００は、センサが各々の行について同じ順序で露出を出力する構成に対応する。たとえば、図４を参照すると、行Ｒ１，…，ＲＮの各々は、各々のフレームについて短い露出４０２と、これに続く長い露出４０４とを出力する。しかしながら、幾つかのケースにおいて、多重露出生成器２０６は、センサ２００が、行に依存して第１および第２の露出を異なる順序で出力することを引き起こし、より大きい独創的柔軟性を提供するように構成される。

図４Ｂは、１つのそのような例を示し、この例において、短いおよび長い露出４０２、４０４の順序は、行から行へ（または、行の部分集合から行の部分集合へ）と交互に起こる。したがって、第１の行Ｒ１は、短い露出４０２と、続いて長い露出４０４とを出力し、第２の行Ｒ２は、長い露出４０４と、続いて短い露出とを出力し、第３の行は、短い露出４０２と、続いて長い露出４０４とを出力し、以下同様である。他の類似の実施形態において、奇数行についての短い露出および長い露出に対する１つまたは複数の積分時間は、偶数行についての短い露出および長い露出とは異なる。

さらに他の事例において、行の１つまたは複数は、フレーム当たり１つだけの露出をキャプチャし、残りの行は複数の露出をキャプチャする。たとえば、図４Ｃは、１つのそのようなケースを示し、奇数行は、フレーム当たり１つだけの長い露出４０２を出力し、偶数行は、フレーム当たり３つの時間的に接近した露出（たとえば、短、中間、短）４０４、４０６、４０８を出力する。ゆえに、時間的に接近した露出を作り出すためには、極めて多様な可能性が存在することが了解され得る。

明瞭にするため、「短い」および「長い」の用語は、本明細書では、異なる露出を区別するために使用される。たとえば、或る露出は、他の露出よりも相対的に短い積分時間、またはシャッタスピードを有し、ゆえに他の露出よりも相対的に長い。しかしながら、上記で説明された手法は、積分時間の代わりに、または積分時間に加えて、他のパラメータが操作され露出の程度に影響する実施形態と両立可能である。そのようなパラメータは、たとえば、利得（たとえば、アナログ利得）、アパーチュア、およびＩＳＯを含み得る。ゆえに、実施形態に依存して、露出が「短い」または「長い」と言われる場合、実際には「低い」または「高い」と言われるのが一層正確であることが了解される。本明細書で使用される場合、「画素リセット時間」および「画素読み出し時間」の用語は、画素（たとえば、ピクセル）の行、画素の１つの行を超える行から成る部分集合、単一の画素、またはピクセル要素の行ではない他の群、たとえば、画素の１つまたは複数の列を読み出すのに要する時間量の１つまたは複数を意味し得る。幾つかのケースにおいて、たとえば、複数の画素が並列に読み出される場合、特定の群（たとえば、ピクセル要素の行、または行の部分集合）についての読み出し時間は、単一の画素の読み出し時間と同じ時間量に対応する。

複数の露出レベルを有する時間的に接近した画像のトラックの生成
図５は、時間的に接近した露出フレームの複数のトラックから、混合された出力トラックを作り出す例示的プロセス５００を示す流れ図である。説明されるように、プロセス５００および本明細書で説明される他の手法によれば、混合モジュール１１７は、一般的に、時間的に接近した露出フレームのトラックを受け取って処理する。混合モジュール１１７は、フレームごとにトラックを受け取って処理するか、任意の所与の時点でトラックの任意の部分（たとえば、５、１０、１００、１０００以上のフレーム、または全体のトラック）の上で動作する。

ブロック５０２において、混合モジュール１１７は、時間的に接近した（たとえば、約２０、１６、７、４、または２マイクロ秒を超えない間隔を空けられた）露出を有するビデオフレームの複数のトラック（または、その一部分）を受け取る。混合モジュール１１７は、多様な方途でトラックを受け取り得る。１つの例として、混合モジュール１１７は、外部コンピューティングデバイス上で実行するソフトウェア内に存在する。カメラ１００は、時間的に接近した露出トラックをメモリデバイス１１４へ記録し、トラックは、メモリデバイス１１４から外部コンピューティングデバイスへ転送され、外部コンピューティングデバイスは、記録されたトラックを処理用の混合モジュール１１７へ回送する。他の例として、混合モジュール１１７は、カメラ１００上のソフトウェアまたはハードウェア内に存在し、メモリデバイス１１４またはセンサ１１２から、記録されたトラックを直接受け取る。

ブロック５０４において、混合モジュール１１７は、所望の（たとえば、固定またはユーザ選択可能な）アルゴリズムに従って、受け取られた露出を処理する。混合モジュール１１７は、アルゴリズムに従って第１および第２のトラックを一緒に混合し、第１および第２の（または、もっと多くの）トラックに基いて出力トラックを生成する。幾つかの例示的混合手法が、図６Ａ〜９に関して図示および説明される。

ブロック５０６において、混合モジュール１１７は、混合された出力トラックを提供する。たとえば、混合モジュール１１７がカメラ上に存在する場合、それは、出力画像ストリームフレームを記憶用のメモリ１１４へ提供する。代替として、カメラは、混合された画像トラックを外部処理および／または記憶用のコンピューティングデバイス１０２へストリームする。混合モジュール１１７が、同時に、各々のトラックの１つのフレームまたは他の部分上でのみ動作する場合、処理５００は、ブロック５０２へ戻り、混合モジュール１１７は、それぞれのトラック内の次のフレームまたはフレーム群について第１および第２の露出を受け取る。

図６Ａ〜６Ｂは、例示的な混合動作を示す。たとえば、混合モジュール１１７は、図６Ａ〜６Ｂで示された混合手法を実装することができる。一般的に、これらおよび他の混合手法を使用して、混合モジュール１１７は、それぞれの画像から所望のコンテンツを組み込んだ出力トラックを提供し、不所望の画像コンテンツを廃棄することができる。廃棄される画像コンテンツは、トラックの１つまたは複数における雑音部分、ならびに所望の審美的効果を提供するためには必要でない他の部分を含み得る。さらに、幾つかのケースにおいて、ユーザは、どのコンテンツを出力トラック内に含めるかを選択し、改善された独創的柔軟性を提供し得る。

図６Ａを参照すると、混合動作６００は、各々のビデオフレームについて第１の（たとえば、長い）６０４および第２の（たとえば、短い）６０６の時間的に接近した露出を、それぞれ、カメラがキャプチャするシナリオを表す。長いおよび短い露出６０４、６０６を表す棒の幅は、一般的に、センサのダイナミックレンジに対応し、転じて、ダイナミックレンジは、センサ１１２について可能なピクセル値の範囲（たとえば、１０ビットセンサについては、０〜１０２３、１２ビットセンサについては、０〜４０９５、１６ビットセンサについては、０〜６５５３５など）に対応し得る。図６Ａは、出力トラックが、センサ１１２と比較して拡張されたビット深度（bit-depth）を有し、２つのトラック６０４、６０６からコンテンツを選択的に含めることに起因して、個々のトラック６０４、６０６のいずれかと比較して改善されたダイナミックレンジを有する構成に対応する。

示されるように、長いおよび短い露出６０４、６０６の各々について、或る数のキャプチャされた値は、相対的に雑音であり、相対的に低い信号対雑音比（ＳＮＲ）を有する。たとえば、ＳＮＲは、低いピクセル値について相対的に低く、測定されたピクセル値が増加するにつれて徐々に増加する。さらに、主題のシーンは、或る明るい領域でハイライトを含む。示されるように、短い露出６０６は、より短い積分時間を理由として、ハイライトの有意の部分をキャプチャし、ハイライトが洗い落とされる機会を低減し得る。他方、例示されるように、幾つかのケースにおける長い露出６０４は、相対的に長い積分時間に起因して、多くのハイライトディテールをキャプチャせず、洗い落としを導き得る。

シーンは、さらに、シャドウ（shadows）を含む暗い領域を含み、この領域は、多くの場合、より明るい領域と並置され得る。示されるように、長い露出６０４は、長い積分時間に起因して、これらの領域内の相対的に多くのディテールをキャプチャする。逆に、短い露出６０６は、より短い積分時間に起因して、これらの領域内の少ないディテールをキャプチャする。

さらに、示されるように、長いおよび短い露出６０４、６０６は、画像シーンの「ノーマル（normal）」部分に対応するコンテンツをさらに含み得る。これらの部分は、たとえば、特に暗いか明るいわけではなく、一般的に、通常または中間の明るさレベルを有し得る。図６Ａ〜６Ｂに関して使用される標示（「シャドウ」、「ノーマル」、「ハイライト」）は、混合コンセプトを例示する目的だけに使用され、限定的ではない。たとえば、より短い露出は、幾つかのケースにおいて、画像シーンからシャドウコンテンツの或る量をキャプチャすることが了解されるであろう。同様に、幾つかの事例において、より長い露出は、或るハイライトディテールを記録するであろう。

例示された例において、混合モジュール１１７は、２つの露出６０４、６０６の間の光レベルをマッチさせる。たとえば、混合モジュール１１７は、混合の前にＮビット（たとえば、１、２、４、または８以上のビット）だけ露出を相互に関してシフトするか、露出の１つまたは複数の上で他の数学演算を実行し得る。例示された例において、短い露出６０６は、Ｎビットだけシフトアップされ、それゆえに、２^Ｎの因子だけ乗ぜられる。そのようなケースにおいて、長い露出６０４は、短い露出６０６よりも２^Ｎの因子だけ多く露出される。そのようなものとして、シフトの後に、対応する画像シーン領域についての２つの露出６０４、６０６の間の光レベルは、一層接近してマッチする。さらに、示されるように、短い露出６０６内の最も雑音の多いコンテンツは、幾つかのケースにおいて廃棄される。

混合の前に露出６０４、６０６を相互に関して調節するために、多様な他のプロセスが可能である。たとえば、幾つかのケースにおいて、短い露出６０６の代わりに、長い露出６０４がシフトまたは調節される。１つのインスタンスにおいて、短い露出６０６をＮビットだけシフトアップする代わりに、長い露出６０４がＮビットだけシフトダウンされる。下記で論述される図３Ｂは、１つのそのような実施形態を示す。他の実施形態において、露出６０４、６０６の双方がシフトされる。たとえば、露出６０４、６０６は、等しくおよび反対方向へシフトされる。さらなる他のケースにおいて、システムは、露出６０４、６０６を反対方向へシフトするが、異なる値だけシフトする。たとえば、第１の露出６０４が第２の露出６０６よりも２^Ｎの因子だけ大きく露出され、Ｎ＝Ｘ＋Ｙである場合、第１の露出６０４は、Ｘビットだけシフトダウンされ、第２の露出は、Ｙビットだけシフトアップされる。多様な他の実施形態が可能である。たとえば、露出６０４、６０６についてピクセル値を乗じるか除する代わりに、減法、加法、または他の適当な演算が使用され得る。

光レベルをマッチさせた後、混合モジュールは、露出６０４、６０６を一緒に混合する。例示のため、３つの混合アルゴリズム（ｉ）〜（iv）が示される。

第１のアルゴリズム（ｉ）を参照すると、１つの実施形態における混合モジュール１１７は、出力トラック内に含めるため線分Ａ−Ｂに対応する長い露出６０４の画像コンテンツを選択する。１つの例において、センサは、１２ビットセンサであり、短い露出は、２ビットだけシフトアップされ、線分Ａ−Ｂは、０と２０４８との間のピクセル値に対応する。混合モジュール１１７は、長い露出からの測定された値を参照として使用し、混合される出力トラック内にどのピクセル値を含めるかを決定する。たとえば、混合モジュール１１７は、長い露出６０４内のどの測定されたピクセルが０〜２０４８の値を有するかを決定し、それらのピクセル値を、混合される出力画像内の対応するピクセルの中へ組み込む。長い露出６０４からの値は、出力トラックの中へ略直接に、修正されないで組み込まれるが、幾つかの代替の構成において、混合モジュール１１７は、組み込む前に、数学演算、たとえば、スケーリング、シフト、または丸めを値の上で実行する。

長いおよび短い露出６０４、６０６について示されるチャート６０８、６１０は、それぞれ、混合アルゴリズム（ｉ）に従って出力トラック内に含められる各々のトラックのパーセンテージを示す。たとえば、点ＡとＢとの間のピクセル値については、出力トラックの１００％が、長い露出６０４からのコンテンツから構成される。

混合モジュール１１７は、代替として、短い露出６０６を参照として使用し、部分Ａ−Ｂについて長い露出６０４からのどの測定されたピクセル値を出力トラック内に含めるべきかを決定する。例示的なケースにおいて、たとえば、混合モジュール１１７は、短い露出６０６内のどのピクセルが０と２０４８との間の測定された値を有するかを決定し、長い露出６０４内の対応するピクセルについて、測定された値を選択して出力トラック内に含める。さらに他の事例において、混合モジュール１１７は、他のタイプの参照を使用する。たとえば、混合モジュール１１７は、各々のピクセルについて短いおよび長い露出６０６、６０４の測定された値の組み合わせ（たとえば、平均）を計算し、計算された値を参照として使用し、長い露出６０４からのどのピクセルを出力トラック内に含めるかを決定する。同様に、残りの混合動作（たとえば、線Ｂ−Ｃ、Ｃ−Ｄに沿った混合動作、および他の例示的な混合スキーム（ii）〜（iv）の混合動作）は、長い露出６０４を参照として使用することを説明されるが、短い露出６０６、短いおよび長い露出６０６、６０４の組み合わせ、または他のタイプの参照が、それらのケースにおいて同様に採用される。

線分Ａ−Ｂに沿った長い露出６０４からの、この画像コンテンツは、シャドウ内の相対的に良好なディテールを含む。幾つかの他のケースにおいて、混合モジュール１１７は、線Ａ−Ｂに沿った値について、短いおよび長い露出６０４、６０６を、或る程度まで一緒に混合する。混合の量は、入力ピクセル値がどのようなものであっても相対的に一定である。加えて、混合は、トラックの１つ、たとえば、長いトラック６０４に都合よくバイアスされる。たとえば、混合モジュール１１７は、長いトラック６０４および短いトラック６０６からの入力値の加重平均を実行し、ここで、長いトラックは、短いトラック６０６よりも高い加重を有する。幾つかのケースにおいて、バイアスまたは加重の程度は、ユーザによって制御可能であるか、特定の動作モードに依存して自動的に調節される。下記で説明される混合アルゴリズム（iv）は、混合される出力トラック内の画像コンテンツの幾つかを生成するため、加重平均が使用される例を示す。

アルゴリズム（ｉ）を依然として参照すると、出力トラックの次の部分は、傾斜線Ｂ−Ｃに沿った長いおよび短い露出６０４、６０６の双方からの画像コンテンツの組み合わせに対応する。さらに、それぞれの露出６０４、６０６が出力露出内に含まれる程度は、測定された入力値に基づいて変動する。これは、線分Ａ−ＢおよびＣ−Ｄに対応する出力画像の部分と対比され得る（下記で論述される）。たとえば、線分Ａ−ＢおよびＣ−Ｄについては、１つだけのトラックからのピクセルが出力トラック内に含められるように選択されるか、混合の量が一般的に一定であり（たとえば、加重平均）、測定された入力値に関係しない。

線分Ｂ−Ｃについて露出６０４、６０６を混合するためには、多様な動作が可能である。たとえば、幾つかの実施形態において、出力トラック内に含められる長いトラック６０４の量は、点Ｂで最大である。逆に、混合動作で使用される短いトラック６０６の量は、点Ｂで最小である。さらに、ＢとＣとの間の増加するピクセル値ｘについて、出力トラック内に含まれる長いトラック６０４の量は、徐々に減少する。逆に、出力トラック内に含まれる第２のトラック６０６の量は、増加し、点Ｃで最大に達する。これは、チャート６０８で示されており、該チャート６０８は、増加するピクセル値ＢからＣについて１００パーセントから０パーセントへ線形に減少する出力トラック内の長い露出６０４のパーセンテージを示す。逆に、チャート６１０は、ＢからＣについて０パーセントから１００パーセントへ線形に増加する出力トラック内の短い露出６０６のパーセンテージを示す。例示的なケースにおいて、センサは、１２ビットセンサであり、短い露出６０６は、２ビットだけシフトアップされ、Ｂは、２０４８のピクセル値に対応し、Ｃは、４０９４のピクセル値に対応する。例として、３０７１のピクセル値に対応するＢとＣとの中間点を例に取ると、混合モジュール１１７は、長い露出６０４（参照露出）内のどのピクセルが３０７１の値を有するかを決定する。点は、ＢとＣとの中間にあるから、混合モジュール１１７は、次式に従って出力トラック内の対応するピクセルについて値を計算する。
出力ピクセル値＝０．５＊長いピクセル値＊０．５短いピクセル値 （式８）

幾つかの事例での部分Ｂ−Ｃについては、線形補間が使用され、１つのケースでは、補間子（interpolant）は、次式によって与えられる。

ここで、ｘは、ＢとＣとの間の測定された入力ピクセル値に対応し、たとえば、Ｂ≦ｘ≦Ｃである。転じて、補間子は、ｘの各々の値について、補間される出力ピクセル値を計算するために使用される。たとえば、出力ピクセル値は、次式に従って計算される。
出力ピクセル値＝ｙ＊長いピクセル値＋（１−ｙ）＊短いピクセル値 （式１０）

線分Ｂ−Ｃに対応するピクセル値については、他のタイプの混合が使用され得る。幾つかのケースにおいて、線形補間手法とは異なり、混合される露出内に含まれるそれぞれの露出６０４、６０６の量は、入力値に依存しない。たとえば、出力トラックのこの部分については、混合モジュール１１７は、長い露出６０４からの画像コンテンツおよび短い露出６０６の画像コンテンツの平均を計算し、平均を出力トラック内に含める。非限定的に、合計、差、加重平均、などを含む多様な他の演算が、平均の代わりに使用され得る。下記で説明される混合アルゴリズム（iii）は、曲線混合機能を組み込んでいる。

１つの実施形態において、混合モジュール１１７は、線Ｃ−Ｄに対応する短い露出６０６の画像コンテンツを選択して出力トラックを完成し、出力トラックのこの部分については露出を混合しない。たとえば、１２ビットセンサの例を参照すると、点Ｃは、４０９５のピクセル値に対応し、この値は、長い露出６０４についての飽和値に対応する。混合モジュール１１７は、それゆえに、長い露出６０４内のどのピクセルが４０９５の飽和値を有するかを決定し、短い露出６０６内の対応するピクセルからの値を出力画像内に組み込む。示されるように、線Ｃ−Ｄに沿った画像コンテンツは、相対的に良好なハイライトディテールを含む。他のケースにおいて、線分Ｃ−Ｄに対応する出力トラックの部分については、或る程度の混合が使用される。たとえば、部分Ｃ−Ｄについて、混合モジュール１１７は、線分Ａ−Ｂに関して上記で説明された加重平均または他の演算と類似した演算を実行する。しかしながら、加重平均は、部分Ａ−Ｂの場合とは異なり、部分Ｃ−Ｄについて長いトラック６０４の代わりに短いトラック６０６に都合よくバイアスされる。下記で説明されるアルゴリズム（iv）は、これらの線に沿った混合機能を組み込んでいる。

ゆえに、そのような混合手法によれば、混合モジュール１１７は、短い露出６０６を使用して、結果として得られる出力トラック内にハイライトを保存し、ハイライトディテールの可能な損失を補正する。短い露出フレームから作り上げられたトラックは、それゆえに、たとえば、「ハイライト保護トラック」または「ハイライト補正トラック」と言われる。

矢印で示されるように、点Ａ、Ｂ、Ｃ、およびＤの１つまたは複数は、混合プロフィールを調節するために調節され得る。これは、ダイナミックレンジおよび結果として得られる出力トラックの動き特性の双方に大きく影響し得る。たとえば、線分Ａ−ＢおよびＣ−Ｄの長さは、画像のダイナミックレンジを有意に変更し得る。さらに、動き効果は、線分Ｂ−Ｃの長さ、または、この部分に使用される特定の混合動作（たとえば、線形補間、加重平均、など）を調節することによって調整され得る。具体的な動き制御動作は、下記で図８に関して一層詳細に説明される。

混合アルゴリズム（ii）は、混合アルゴリズム（ｉ）と類似しているが、例外は、短い線分Ｂ−Ｃによって示されるように、混合モジュール１１７が、出力トラックの非常に小さい部分について、長いおよび短い露出６０４、６０６を一緒に混合することである。さらに、相対的に長い線分Ａ−Ｂによって示されるように、アルゴリズム（ｉ）と比較して、長いトラック６０４の大きい部分が出力トラック内に直接含められることである。

アルゴリズム（iii）についてチャート６０８、６１０によって示されるように、アルゴリズム（iii）を実現する混合モジュール１１７は、測定された入力値に曲線を適用して出力トラックを生成する。多様な異なる曲線が可能であるが、例示された例での混合モジュール１１７は、点ＢとＣとの間のピクセル値に対応する出力トラックの部分に「Ｓ」曲線を適用する。曲線は、Ｓ字形曲線または他のタイプの曲線である。前の例と同じように、様々な線分の長さおよび対応する混合プロフィールを変更するため、点Ａ、Ｂ、Ｃ、およびＤの１つまたは複数が調節され得る。１つのインスタンスにおいて、曲線は、全体の出力トラックに適用される。

加えて、離散的混合プロフィールを有する出力トラックの３つの部分（Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄ）を超える部分が存在してもよい。アルゴリズム（iv）は、そのようなケースを示し、出力トラックの５つの異なる部分について別々の混合プロフィールが存在する。すなわち、（１）Ａ−Ｂ−長いトラック６０４の直接組み込み、（２）Ｂ−Ｃ−加重平均、ここで長いトラック６０４は、短いトラック６０６よりも重く加重される、（３）Ｃ−Ｄ−長いトラック６０４と短いトラック６０６との間の線形補間、（４）Ｄ−Ｅ−加重平均、ここで短いトラック６０６は、長いトラック６０４よりも重く加重される、および（５）Ｅ−Ｆ−短いトラック６０６の直接組み込み、である。

ここで図６Ｂを参照すると、例示された混合動作は、図６Ａの動作と類似し、システムは、再び第１（たとえば、長い）および第２（たとえば、長い）の、時間的に接近した露出６０４、６０６をキャプチャし一緒に混合する。しかしながら、図６Ａで示される動作とは異なり、図６Ｂは、混合モジュール１１７が、入力トラックと比較して出力トラックのビット幅を拡張しない構成を示す。むしろ、ビット幅は、同じままである。１つの例として、センサ１１２は、１２ビットセンサであり、１２ビットの長いおよび短い露出６０４、６０６を出力しているが、もっとも、他のビット幅も可能である。混合モジュール１１７は、長い露出６０４に関してビットの或る数だけ（たとえば、２、４、８、など）、長い露出６０４をシフトダウンすることによって、光レベルマッチングを実行する。しかしながら、図４Ａで示される動作とは異なり、シフトされた部分は、図６Ｂの実施形態では保存される。次いで第１および第２のトラック６０４、６０６は、選択されたアルゴリズムに従って一緒に混合され、１６ビット出力トラックを作り出す。３つの例示的混合アルゴリズム（ｉ）、（ii）、および（iii）が示されているが、もっとも、非常に多様な他の可能性が存在する。示されるように、長い露出６０４内の最も雑音を有するコンテンツは、幾つかのケースでは廃棄されるが、依然としてシャドウ内のディテールは保存される。

図６Ａ〜６Ｂでは、多数の具体的な例に関して説明されたが、混合は、多様な追加のやり方で起こり得る。たとえば、混合は、図９に関して下記で説明されるように、コントラストレベルに基づくことができる。

図７は、複数の時間的に接近した露出から出力露出を作り出す混合プロセス７００を示す。例示を目的として、単一の第１および第２の露出に関して説明されるが、代わりに、プロセス７００に関して下記で説明される動作は、第１および第２の露出の全体のトラック、または、その一部分の上で実行されてもよい。

ブロック７０２Ａ、７０２Ｂにおいて、センサ１１２は、第１（たとえば、長い）および第２（たとえば、長い）の露出をキャプチャする。ブロック７０４Ａ、７０４Ｂにおいて、混合モジュール１１７または他のコンポーネントは、キャプチャされた露出を処理する。

たとえば、図６Ａ〜６Ｂを参照すると、幾つかのケースにおいて、露出６０４、６０６の１つまたは複数は、たとえば、２つの露出間の光レベルをマッチさせるため、混合の前に調節される。これらのケースの幾つかにおいて、混合モジュール１１７は、１つまたは双方の露出６０４、６０６をシフトし、それゆえに、２つの対応する因子によってピクセル値を乗じるか除する。しかしながら、幾つかのケースにおけるセンサピクセルは、光がピクセル上に入射しないときでも（たとえば、レンズキャップがセンサ上にあるとき）、非ゼロ値を出力し、「非ゼロブラック」値を作り出す。混合の前に、これを考慮に入れることが望ましい。たとえば、光マッチングプロセスで、これらの「非ゼロブラック」値を乗じることは、後の処理段階を複雑にするか、他の不所望の結果を作り出し得る。

ゆえに、１つの実施形態において、モジュール１１７は、光マッチングの前に第１および／または第２の露出からオフセット（たとえば、ブラックオフセット）を減じる。次いでモジュール１１７は、露出上で光マッチングまたは他の数学演算を実行し、たとえば、露出の各々を所定の因子で乗じる。最後に、混合モジュール１１７は、オフセット、たとえば、光マッチングの前に減じられた値と同じ大きさを有するブラックオフセットを、第１および第２の露出へ加え得る。

幾つかの構成では、ブロック７０４Ａ、７０４Ｂにおいて、混合モジュールは、第１および第２の露出上で１つまたは複数の動作を実行し、画像データの圧縮を改善する。たとえば、１つの事例において、画像処理モジュール１１６は、第１および第２の露出の双方からのウェーブレットの選択された（たとえば、低い）周波数成分を結合して、圧縮効率を改善する。画像処理モジュール１１６は、さらに、露出の１つまたは複数（たとえば、暗い、短い露出）上でプリエンファシス曲線を実現する。例示的プリエンファシス機能は、‘９６７特許で一層詳細に説明されており（たとえば、’９６７特許の図８、８Ａ、１１、および欄１１〜１２に関する）、参照によって本明細書の中に組み入れられる。そのような手法は、圧縮の効率または他の品質を改善し得る。たとえば、幾つかのケースにおいて、プリエンファシスまたは他の手法は、特定の露出の低いビット上で起こる圧縮の量を回避または低減し得る。

ブロック７０６において、混合モジュール１１７は、混合動作で使用されるパラメータを受け取る。たとえば、混合パラメータは、一般的に第１および第２の露出がどのように結合されるかを規定する。幾つかのケースにおいて、たとえば、システム１００は、混合パラメータの１つまたは複数を設定するためのインタフェースを提供する。たとえば、システム１００は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）をユーザへ表示し、ユーザは、ＧＵＩと対話してパラメータを設定し得る。ＧＵＩまたは他のインタフェースは、ソフトウェアを介して外部コンピュータのディスプレイ上に提供され得るか、代わりに、構成に依存してカメラ上に提供されてもよい。

１つのインスタンスにおいて、ＧＵＩは、スライダ、または、１つまたは複数の他のアイコンを含み、ユーザは、これらを操作して混合パラメータを調節し得る。図形７０７は、図６Ａ〜６Ｂのアルゴリズムに関して示される図形に類似する。したがって、「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」の位置は、一般的に第１および第２の露出（「露出１」、「露出２」）をどのように混合するかを規定する。図７で示されるように、幾つかのケースにおけるユーザは、インタフェースを使用して「Ｂ」および「Ｃ」の位置を調節し、これによって、第１および第２の（または、もっと多くの）露出のどれくらいを結果として得られる出力トラック内に含めるべきか、および、トラックのどの部分が一緒に混合されるべきか、を設定することができる。幾つかのケースにおいて、ユーザは、「Ｂ」および「Ｃ」の代わりに、または、これらに加えて、「Ａ」および／または「Ｄ」の位置を調節し得る。例示された例に加えて、多数の他の両立可能なインタフェースが可能である。さらに、インタフェースは、多様な他のパラメータを調節することをユーザに許し得る。

他の構成において、ユーザは、「ハイライト保護」値を選択でき、該「ハイライト保護」値は、採用すべきハイライト保護の量を決定する。図６Ａ〜６Ｂを参照すると、選択された「ハイライト保護」値は、一般的に、短いトラック内の露出６０６の露出（たとえば、積分時間）である。１つの実施形態において、ユーザは、含めるべきハイライト保護の停止の数（たとえば、２、３、４、５、または６の停止）を選択し得る。たとえば、もしユーザがハイライト保護の２停止を選択するならば、短い露出６０６トラックについての露出は、長いトラック６０４についての露出よりも２停止少ない。たとえば、長いトラック６０４の露出値が１／４８秒である場合、短いトラック６０６についての露出は、１／１９２秒へ設定される。

他の構成において、システムは事前設定アルゴリズムのメニューをユーザに提供するが、事前設定アルゴリズムの各々は、特定の独創的効果を有する。事前設定アルゴリズムの各々は、所定の混合パラメータ（たとえば、「Ｂ」および「Ｃ」値）を有する。特定の事前設定アルゴリズムは、さらに、幾つかのケースにおいて、どのようなタイプの処理（たとえば、線形補間、加重平均、「Ｓ」曲線、など）がブロック７０４Ａ、７０４Ｂで起こるかを決定する。

ブロック７０８において、混合モジュール１１７は、選択された混合パラメータに基づいて混合動作を実行する。たとえば、混合モジュール１１７は、一般的に、図５〜６Ｂに関して上記で説明されたやり方で混合を実行し得る。最後に、ブロック７１０において、混合モジュール１１７は、混合された露出（または、露出のトラック）を出力する。たとえば、混合された露出は、記憶および／または再生のためにユーザへ提供される。

幾つかの実施形態において、システム１００は、一般的にリアルタイムフィードバックをユーザに提供する。たとえば、ユーザが１つまたは複数の混合パラメータを変更するか、異なる事前設定混合アルゴリズムを選択するにつれて、システムは、混合された出力トラックまたはその一部分を再生し、ユーザはカメラまたはコンピュータモニタ上でそれを観察する。ゆえに、ユーザは、その場で調節を行って所望の視覚効果を達成し得る。

ブロック７０８へ戻ると、幾つかの実施形態において、混合モジュール１１７は、選択されたアルゴリズムに従い各々のトラックのどの部分が適正に露出されるかを決定することによって、時間的に接近したトラックを混合する。たとえば、各々の露出について、混合モジュール１１７は、結合される出力画像内に含めるため、適切に露出されたピクセルにフラグを付ける。他の実施形態によれば、混合モジュール１１７は、１つの露出からのピクセルを他の露出内の対応するピクセルと比較し、所定のアルゴリズムに従って、混合される出力内の対応するピクセル値を計算する。

説明されたように、混合手法のいずれかが、一般的に、たとえば、フレームベースまたは他の微細度で実現され、極めて多様な両立可能混合手法が可能である。或る構成において、第１および／または第２の（または、もっと多い）トラックからの、１つのフレームを超えるフレームは、出力トラックを作り出すにあたって比較または解析される。たとえば、そのようなケースにおいて、混合モジュール１１７は、第１のトラックからのフレームｎ−ｗ，ｎ，…，ｎ＋ｘを、第２のトラックからのｎ―ｙ，…，ｎ，…ｎ＋ｚと比較し、出力画像ストリーム内のフレームｎを作り出す。ここで、ｎは、現在の出力トラックフレームである。

動き効果の制御
論述されたように、本明細書で説明される画像キャプチャ手法は、フレーム周期を効率的に使用し、個々のフレーム内で異なる露出レベルを有するトラックを提供する。露出間遅延は、相対的に小さく、異なる露出を有するトラック間で、略低減されたギャップを生じるか、時間的ギャップを生じない。たとえば、１つのトラック内の対象を、他のトラック内の同じ対象と比較したとき、視覚分離は、略存在しない。さらに、論述されたように、個々のトラックについての露出間スキューは、相対的に極小である。或る態様によれば、システムは、本明細書で説明されたダイナミックレンジの利点を提供することに加え、これらおよび他の態様を利用して、結合される出力トラック内の動き効果、たとえば、ブラーの量または品質を制御する。たとえば、結合された出力ストリーム内の動きアーチファクトは、略低減されるか、除去されるか、所望のやり方で制御され得る。加えて、本明細書で説明される幾つかの手法は、幾つかの従来のアプローチで必要な動きアーチファクトの検出および処理の量を低減または削除する。

図８は、制御された動き効果を有する出力画像トラックを提供するプロセス８００を示す。ブロック８０２において、混合モジュール１１７は、少なくとも２つの時間的に接近したトラックを受け取り、これらのトラックは、本明細書で説明される手法のいずれかに従って記録され得る。たとえば、トラックは、図３Ａ〜６Ｂで図示および説明されるトラックである。ブロック８０４において、混合モジュール１１７は、動き制御パラメータの集合を受け取る。これらのパラメータは、一般的に、トラックを選択的に結合しているとき混合モジュール１１７が実行する動き制御アルゴリズムを規定する。上記で説明されたダイナミックレンジ混合パラメータ（たとえば、「ハイライト保護」の量）と同じように、動き制御パラメータは、実装に依存してユーザ選択可能であるか固定されている。幾つかのケースにおいて、ユーザは、様々な動き制御手法のリストを有するメニューを提供され、動き制御手法を選ぶ。これらの手法は、ブロック８０６に関して下記で説明される手法のいずれかであるか、他の手法である。

ブロック８０６において、プロセス８００は、時間的に接近した画像のトラックを結合し、所望の動き効果を有する出力画像ストリームを作り出す。多様な動き制御手法が可能である。

時間的に接近した画像の複数のトラックは、異なる露出レベルで記録される場合、従来のビデオ記録と同じように、トラックの１つは相対的にブラーを有するかも知れない。たとえば、図３Ａ〜４Ｃおよび図６Ａ〜６Ｂで示されるような相対的に長い積分時間のトラック内に、たとえば、有意のブラーが存在する。しかしながら、他のトラックは鋭く、低減された、または最小のブラーを含む。たとえば、図３Ａ〜４Ｃおよび図６Ａ〜６Ｂに示される短い積分時間の露出は、相対的に鋭い。典型的なビデオ記録（たとえば、１８０度シャッタを有する２４ｆｐｓ）は、動いている対象について一般的に一定のブラーを示し、鋭い参照を有しない。しかしながら、シーンを生で観察しているとき人間の目が見るものは、対象へのブラーを有する参照、ならびに、動いている対象への離散的で鋭い参照、の双方の組み合わせに近い。

この効果を模倣するため、幾つかの実施形態において、混合モジュール１１７は、ブラーの多いトラックおよび鋭いトラックの双方を使用して動き効果を制御し、動いている対象へのブラー参照および鋭い参照の双方を含む出力トラックを作り出す。たとえば、図６Ａ〜６Ｂを再び参照すると、出力トラック内に含まれる動き効果の量または品質は、混合パラメータ、たとえば、Ａ、Ｂ、Ｃ、Ｄの位置または使用される混合動作のタイプを調節することによって制御され得る。１つの例として、ユーザは、ＢおよびＣの位置を調節し、線分Ａ−Ｂ、Ｂ−Ｃ、およびＣ−Ｄの長さおよび位置を調節することによって、出力トラック内で表されるブラー参照および鋭い参照の量を制御し得る。具体的には、図６Ａで示されるアルゴリズム（ｉ）を参照すると、線Ｂ−Ｃに沿って増加する測定ピクセル値について混合モジュール１１７が補間機能を実現する場合、出力トラックは、ブラー参照および鋭い参照の変動混合を含む傾向がある。具体的には、線Ｂ−Ｃに沿った出力トラックは、短いトラック６０６からの画像コンテンツの増加する有意部分および長いトラック６０４の対応する少ない部分を含む。そのようなものとして、線分Ｂ−Ｃに対応する出力トラック部分は、長いトラック６０４からの画像シーン対象への相対的に多いブラー参照、および短いトラック６０６からの同じ画像シーン対象への相対的に鋭い参照、の変動混合を含む。このようにして、混合モジュール１１７は、シーンを生で注視している人間の目が見るものを一層密接に模倣する出力トラックを作り出し得る。システムまたはユーザは、加えて、ＢおよびＣの位置を調節し、効果を修正し得る。

加えて、たとえば、線形補間または曲線機能を使用し、大きいトラック６０４および短いトラック６０６の相対的貢献を増分的に徐々にシフトすることは（または、この逆）、２つのトラックの相対的貢献における突然の変化から生じるバンディングまたは他の不所望の視覚アーチファクトを限定または防止することを助け得る。幾つかのケースにおいて、徐々のシフトは、さらに、（たとえば、短いトラック６０６から）出力トラック内に組み込まれる低ＳＮＲ画像コンテンツの量を低減することを助け、画質を改善し得る。

他の例において、混合モジュール１１７は、線Ｂ−Ｃに沿った出力トラック部分について、長いおよび短い露出６０４、６０６の加重平均を実現する。たとえば、５０／５０加重平均は、短いトラック６０６からの鋭いコンテンツ、および長いトラック６０４からのブラーコンテンツの、概して一様な混合を有する出力トラックを生じる。加重は、効果を調整するために調節され得る。１つの実施形態において、システムは、各々のトラックからどれくらいの動き効果を結果として得られる出力トラック内に含めるか、を制御するインタフェースをユーザに提供する。一般的に、システムは、例示された機能の代わりに、または例示された機能と組み合わせて、極めて多様な他の機能を採用し得る。

さらなる構成において、混合モジュール１１７は、コントラストレベルに基づいて、出力トラック内の短いおよび長いトラック６０４、６０６の相対的加重を設定し得る。たとえば、混合モジュール１１７は、特定の画像領域内のコントラストレベルを決定するため長いトラック６０４、短いトラック６０６、またはこれらの組み合わせの測定入力値を処理し、決定されたコントラストレベルを使用して、それらの画像領域におけるピクセルについての長いトラック６０４と短いトラック６０６との間の相対的加重を選択する。たとえば、混合モジュール１１７は、短いトラック６０６（および／または長いトラック６０６）について画像データ上に高域フィルタ（high-pass filter）を適用し、高コントラスト領域を決定する。相対的に高いコントラスト領域については、混合モジュール１１７は、出力トラック内で長いトラック６０４よりも重く、短いトラック６０６を加重する。相対的に低いコントラスト領域については、混合モジュール１１７は、長いトラック６０４を高く加重するか、２つのトラックを均等に加重する。このようにして、結果として得られる出力トラックは、動いている対象への鋭い参照（短いトラック６０６の高コントラスト領域から）、および動いている対象へのブラー参照（長いトラック６０４の隣接した相対的に低いコントラスト領域から）、の双方を含み得る。混合モジュール１１７は、たとえば、長いおよび／または短い露出６０４、６０６の上に低域フィルタを実行することによって、高コントラスト領域の代わりに、または高コントラスト領域に加えて、低コントラスト領域を同定し得る。

さらに、線分Ａ−Ｂおよび／またはＣ−Ｄに対応する出力トラック部分については、幾つかの実施形態におけるユーザは、出力トラック内に含める各々の画像の量を制御することによって、動き効果を調節する。たとえば、ユーザは、加重平均混合動作におけるバイアス値を調節し、各々の入力トラックが混合動作で与えられる加重を制御し得る。たとえば、システムは、スライダ、他のＧＵＩ、または他の入力メカニズムを提供して、ユーザが効果を調整することを許す。

他の実施形態において、混合モジュール１１７は、従来のカメラ（たとえば、１８０度シャッタを有する２４ｆｐｓ）の動き効果に一層密接にマッチするやり方でトラックを一緒に混合するように構成される。たとえば、１つまたは複数のトラックの動きブラーを従来のカメラの動きブラーにマッチさせるため、カスタマイズされた動き推定アルゴリズムが使用される。たとえば、図３Ａを参照すると、短い積分時間のトラック３０２内のブラーは、長い積分時間のトラック３０４のブラーとマッチするように増加される。１つの実施形態において、ブラーマッチングは露出の混合の前に行われるが、もっとも、他の実現において、それは、後に行われ得る。

ブロック９０８において、混合モジュール１１７は、再生またはさらなる処理のために、動き調節されたトラックを出力する。

用語／追加の実施形態
添付の図面と関連させて、実施形態が説明された。しかしながら、図面は、原寸に比例して描かれていないことを理解すべきである。距離、角度、などは単なる例であって、例示されたデバイスの実際の寸法およびレイアウトとの正確な関係を必ずしも保有しない。加えて、これまでの実施形態は、本明細書で説明されたデバイス、システムなどの作成および使用を当業者に許す詳細レベルで説明された。極めて多様な変形が可能である。コンポーネント、要素、および／またはステップは、変更、追加、除去、または再配列され得る。或る実施形態は明瞭に説明されたが、他の実施形態は、この開示に基づいて当業者へ明らかになるであろう。

本明細書で使用される条件言語、たとえば特に、「し得る（can）」、「し得る（could）」、「してもよい、かも知れない（might）」、「してもよい、かも知れない（may）」、「たとえば（e.g.）」などは、特に他の意味で記述されない限り、または、使用される文脈内で理解されない限り、或る実施形態が或る特徴、要素、および／または状態を含み、他の実施形態が含まないことを伝達する意図で使用される。ゆえに、そのような条件言語は、一般的に、特徴、要素、および／または状態が、１つまたは複数の実施形態で何としても要求されること、または、１つまたは複数の実施形態が、これらの特徴、要素、および／または状態が含まれるかどうか、または特定の実施形態で実行されるべきかどうかを、原作者の入力またはプロンプトを用いてまたは用いないで、決定する論理を含む必要があること、を暗示する意図では使用されない。

実施形態に従って、本明細書で説明される方法の或る行為、事象、または機能は、異なる系列で実行され、追加され、合併され、または全く除外され得る（たとえば、説明される行為または事象の全てが、方法の実施に必要であるわけではない）。さらに、或る実施形態において、行為または事象は、逐次ではなく並行して、たとえば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して実行され得る。幾つかの実施形態において、本明細書で開示されたアルゴリズムは、メモリデバイス内に記憶されたルーチンとして実現され得る。加えて、プロセッサは、ルーチンを実行するように構成され得る。幾つかの実施形態において、カスタム回路が使用される。

本明細書で開示された実施形態と関連して説明された様々な例示的論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または双方の組み合わせとして実現され得る。ハードウェアおよびソフトウェアの、この互換性を明瞭に示すため、様々な例示的コンポーネント、ブロック、モジュール、回路、およびステップは、一般的に、それらの機能性に関して上記で説明された。そのような機能性がハードウェアとして実現されるか、ソフトウェアとして実現されるかは、全体的システムに課された特定の応用および設計制約に依存する。説明された機能性は、各々の特定の応用について様々な方途で実現され得るが、そのような実現の意思決定は、本開示の範囲からの逸脱を引き起こすとして解釈されるべきではない。

本明細書で開示された実施形態に関連して説明された様々な例示的論理ブロック、モジュール、および回路は、本明細書で説明された機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、または他のプログラム可能論理デバイス、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネント、またはこれらの任意の組み合わせ、を用いて実現または実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替として、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、さらに、コンピューティングデバイスの組み合わせ、たとえば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと結合した１つまたは複数のマイクロプロセッサ、または他のそのような構成として実現され得る。

本明細書で開示された実施形態と関連して説明された方法およびアルゴリズムのブロックは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこれら２つの組み合わせ、の中で直接具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、または当技術分野で公知のコンピュータ読み取り可能記憶メディアの任意の他の形態の中に存在し得る。例示の記憶メディアは、プロセッサへ結合され、プロセッサは、記憶メディアから情報を読み出し、記憶メディアへ情報を書き込み得る。代替として、記憶メディアは、プロセッサと一体化され得る。プロセッサおよび記憶メディアは、ＡＳＩＣ内に存在し得る。ＡＳＩＣは、ユーザ端末内に存在し得る。代替として、プロセッサおよび記憶メディアは、ユーザ端末内で離散的コンポーネントとして存在し得る。

上記の詳細な説明は、様々な実施形態へ適用される新規な特徴を図示、説明、および指摘したが、本開示の趣旨から逸脱することなく、例示されたデバイスまたはアルゴリズムの形態および細部における様々な省略、置換、および変更を行い得ることが理解されるであろう。認識されるように、本明細書で説明された発明の或る実施形態は、本明細書で記述された特徴および利点の全てを提供するものではない形態の中で具体化され得る。というのは、幾つの特徴は、他の特徴とは別々に使用または実施され得るからである。本明細書で開示された或る発明の範囲は、これまでの説明によってではなく、添付された特許請求の範囲によって表される。特許請求の範囲の均等の意味および範囲に入る全ての変更は、特許請求の範囲の中に包含されるべきである。

Claims (6)

1. 少なくとも一つの画素アレイを使用して取得された画像データを結合する方法であって、
   一つまたはそれ以上のハードウェアプロセッサによって実現されるように、
   第１の画像に対応する第１の画像データであって、複数の画素を含む少なくとも一つの画素アレイによって第１の露出レベルでキャプチャされた光に対応する第１のデジタル測定値に由来する第１の画像データを取得することと、
   第２の画像に対応する第２の画像データであって、前記第１の露出レベルとは異なる第２の露出レベルで前記画素アレイによってキャプチャされた光に対応する第２のデジタル測定値に由来する第２の画像データを取得し、前記画素の各々が、前記第２の画像に対応する光をキャプチャすることを開始する前に、前記第１の画像に対応する光をキャプチャすることを完了することと、
   結合画像に対応する結合画像データを作り出すために、前記第１の画像データと前記第２の画像データとを選択的に結合することと、
   を含み、
   前記第２の画像に対応する光をキャプチャする前記ステップは、前記第１のデジタル測定値の読み出しの完了の前に開始され、
   さらに、前記第１のデジタル測定値を読み出す実質的な完了から、前記第２のデジタル測定値を読み出す実質的な完了までの時間は、前記第１の画像についての第１の画素の読み出しの完了から、前記第１の画像についての実質的に全ての画素の読み出しの完了までの時間よりも大きく、
   前記第１の画像データと前記第２の画像データとを選択的に結合する前記ステップは、
   前記第１の画像および前記第２の画像の１つまたは複数に対応する画素値に応答して、前記混合されるコンテンツに含まれる第１の画像からのコンテンツおよび第２の画像からのコンテンツの相対的量を変動させることと、
   前記結合画像の高画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツ及び前記第２の画像からのコンテンツの一方のみから構成し、前記結合画像の低画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツ及び前記第２の画像からのコンテンツの他方のみから構成し、前記結合画像における前記高画素値域と前記低画素値域との間の中間画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツと前記第２の画像からのコンテンツとを一緒に混合して構成することと、
   ユーザ入力に応答して、前記高画素値域と前記中間画素値域とを区画する閾値と、前記低画素値域と前記中間画素値域とを区画する閾値と、を調節することと、
   ユーザ入力に応答して、前記中間画素値域における、前記第１の画像からのコンテンツと前記第２の画像からのコンテンツとの混合される量を調節することと、
   を含む、方法。
2. 前記第１の画像および第２の画像は、一連の動画ビデオフレームにおける第１のフレームに対応しており、
   前記方法は、
   第３の画像に対応する第３の画像データであって、前記画素アレイによって前記第１の露出レベルでキャプチャされた光に対応する第３のデジタル測定値に由来する第３の画像データを取得することと、
   第４の画像に対応する第４の画像データであって、前記画素アレイによって前記第２の露出レベルでキャプチャされた光に対応する第４のデジタル測定値に由来する第４の画像データを取得し、前記画素の各々が、前記第４の画像に対応する光をキャプチャすることを開始する前に、前記第３の画像に対応する光をキャプチャすることを完了し、前記第３の画像および第４の画像が、一連の動画ビデオフレームにおける第２のフレームに対応していることと、
   第２の結合画像に対応する結合画像データを作り出すために、前記第３の画像データと前記第４の画像データとを選択的に結合することと、
   をさらに含み、
   前記第４の画像に対応する光をキャプチャする前記ステップは、前記第３のデジタル測定値の読み出しの完了の前に開始され、
   さらに、前記第３のデジタル測定値を読み出す実質的な完了から、前記第４のデジタル測定値を読み出す実質的な完了までの時間は、前記第３の画像についての第１の画素の読み出しの完了から、前記第３の画像についての実質的に全ての画素の読み出しの完了までの時間よりも大きい、
   請求項１に記載の方法。
3. 前記コンテンツを一緒に混合することは、前記第１および第２の画像の１つまたは複数から相対的に低い信号対雑音のコンテンツを廃棄することをさらに含む、請求項１に記載の方法。
4. 少なくとも一つの画素アレイを使用して取得された画像データを混合するシステムであって、
   一つまたはそれ以上のハードウェアプロセッサと、
   前記一つまたはそれ以上のハードウェアプロセッサを実行する混合モジュールと、
   を含み、
   該混合モジュールは、
   第１の画像に対応する第１の画像データであって、複数の画素を含む少なくとも一つの画素アレイによって第１の露出レベルでキャプチャされた光に対応する第１のデジタル測定値から由来する第１の画像データを取得し、
   第２の画像に対応する第２の画像データであって、前記第１の露出レベルとは異なる第２の露出レベルで前記画素アレイによってキャプチャされた光に対応する第２のデジタル測定値に由来する第２の画像データを取得し、前記画素の各々が、前記第２の画像に対応する光をキャプチャすることを開始する前に、前記第１の画像に対応する光をキャプチャすることを完了し、
   結合画像に対応する結合画像データを作り出すために、第１の画像データと第２の画像データとを選択的に結合する、
   ように構成され、
   前記第２の画像に対応する光をキャプチャすることは、前記第１のデジタル測定値の読み出しの完了の前に開始され、
   さらに、前記第１のデジタル測定値を読み出す実質的な完了から、前記第２のデジタル測定値を読み出す実質的な完了までの時間は、前記第１の画像についての第１の画素の読み出しの完了から、前記第１の画像についての実質的に全ての画素の読み出しの完了までの時間よりも大きく、
   前記混合モジュールは、
   前記第１の画像および前記第２の画像の１つまたは複数に対応する画素値に応答し、前記混合されるコンテンツに含まれる第１の画像コンテンツおよび第２の画像コンテンツの相対的量を変動させるように、構成され、そして、
   前記結合画像の高画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツ及び前記第２の画像からのコンテンツの一方のみから構成し、前記結合画像の低画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツ及び前記第２の画像からのコンテンツの他方のみから構成し、前記結合画像における前記高画素値域と前記低画素値域との間の中間画素値域においては、前記結合画像の画素値を、前記第１の画像からのコンテンツと前記第２の画像からのコンテンツとを一緒に混合して構成し、さらに、
   ユーザ入力に応答して、前記高画素値域と前記中間画素値域とを区画する閾値と、前記低画素値域と前記中間画素値域とを区画する閾値と、を調節し、
   ユーザ入力に応答して、前記中間画素値域における、前記第１の画像からのコンテンツと前記第２の画像からのコンテンツとの混合する量を調節するように、
   構成される、システム。
5. 前記第１の画像および第２の画像は、一連の動画ビデオフレームにおける第１のフレームに対応しており、
   前記混合モジュールは、
   第３の画像に対応する第３の画像データであって、前記画素アレイによって前記第１の露出レベルでキャプチャされた光に対応する第３のデジタル測定値に由来する第３の画像データを取得し、
   第４の画像に対応する第４の画像データであって、前記画素アレイによって前記第２の露出レベルでキャプチャされた光に対応する第４のデジタル測定値に由来する第４の画像データを取得し、前記画素の各々が、前記第４の画像に対応する光をキャプチャすることを開始する前に、前記第３の画像に対応する光をキャプチャすることを完了し、前記第３の画像および第４の画像が、一連の動画ビデオフレームにおける第２のフレームに対応し、
   第２の結合画像に対応する結合画像データを作り出すために、前記第３の画像データと前記第４の画像データとを選択的に結合する、
   ようにさらに構成され、
   前記第４の画像に対応する光をキャプチャすることは、前記第３のデジタル測定値の読み出しの完了の前に開始され、
   さらに、前記第３のデジタル測定値を読み出す実質的な完了から、前記第４のデジタル測定値を読み出す実質的な完了までの時間は、前記第３の画像についての第１の画素の読み出しの完了から、前記第３の画像についての実質的に全ての画素の読み出しの完了までの時間よりも大きい、
   請求項４記載のシステム。
6. 前記混合モジュールは、前記第１の画像および前記第２の画像の１つまたは複数から相対的に低い信号対雑音のコンテンツを廃棄することによって、少なくとも部分的にコンテンツを一緒に混合することを実行する、請求項４に記載のシステム。

Images