JP5086357B2 - 信号センサからの多重ビデオ信号の供給 - Google Patents

Description

本発明は、異なるフレームレートを有し、そして異なる機能のために使用される２つのビデオ信号を生成する二次元画像センサを含む画像キャプチャー装置に関する。

画像キャプチャー装置は、視覚画像の電子表現を形成するために電子画像センサに依存する。このような電子画像センサの例は、電荷結合素子（ＣＣＤ）画像センサ、及びアクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)法で製作することができることからＣＭＯＳセンサとしばしば呼ばれる）を含む。最終の視覚画像を形成することに加えて、典型的に、ビデオ信号からの事前写真処理に関する数多くの機能のために、電子画像センサが使用される。被写体の明るさ測定結果に基づいて、好適な露出値を得るために、自動露出制御処理（以後、「ＡＥ処理」と呼ぶ）を行う。次いで、画像キャプチャー装置上で被写体をフォーカシングするようにフォーカス調節レンズを駆動するために、自動フォーカス検出処理（以後、「ＡＦ処理」と呼ぶ）を行う。被写体明るさ値もやはりビデオ信号から測定され、そして写真露出条件がこれにより決定される。ＡＥ、ＡＦ、及びその他の分析処理に加えて、画像キャプチャー装置はしばしば、キャプチャリングされるべき場面の視覚電子画像を表示する。この視覚画像は、頻繁に、例えば１秒当たり３０フレームの割合で更新され、そしてプレビュー画像又はプレビュー画像ストリームと呼ばれる。

一般に、視覚画像の電子表現を形成し、ＡＥ処理し、そしてＡＦ処理するために、単一の電子画像センサが使用される。これらのタスクは、順次実施される。それというのも、同じ電子画像センサが異なる機能に対して活用されることになるからである。典型的に、ＡＥ処理及びＡＦ処理を実施できる速度は、電子画像センサから視覚画像を読み取り処理することができる速度によって制約される。このことは、電子画像センサが処理を開始する時点と最終キャプチャーが最終的に獲得される時点との間にかなりの時間的な遅延を招くおそれがある。

従来技術において、ユーザは、ズーム設定値を調節し、そして画像を作成するようにカメラを向け、次いで、ユーザ入力を介してキャプチャー装置を作動させる。カメラ・フォーカスは、ミッドレンジ位置に調節され、そしてセンサからはあらゆる電荷が除去される。例えばＣＣＤセンサを使用する場合、このことは、高速フラッシュ技術を用いて行われることになる。次いで、カメラ・レンズをフォーカシングするために使用されるべき画像は、フォーカシング・モード中に、所定の時間、例えば１０ミリ秒間にわたって積分される。次いで、垂直クロック・シーケンスをライン・スキップ動作（例えば２ラインを読み、６ラインをダンプし、２ラインを読み、６ラインをダンプする、など）に設定するか、或いは、画像の中心領域内の選択されたラインだけ読み取る。

データ獲得後、これらの画像ラインを処理する水平空間帯域通過フィルタの平均絶対値出力（平均コントラスト）は、いかに良好に画像がフォーカシングされるかを見極めるために使用される。システム・コントローラはこの平均コントラスト値を記憶し、そしてレンズのフォーカスが調節される一方、センサの電荷の残りが高速フラッシュ・タイミングを用いて除去される。センサのトップ及びボトムのための高速フラッシュ・タイミングは、各フォーカス画像を読み出すのに費やされる時間を短縮するために、ＣＣＤと共に必要とされる。フラッシュされたセンサ・ラインは、露出分析又はビデオ信号出力のようないかなる目的にも利用することはできない。フォーカス画像の積分及び読み出しのプロセスは、次いで第２フォーカシング・サイクルのために繰り返される。平均コントラストが増大する場合には、レンズ・フォーカス位置は同じ方向にステップ状に再び進められる。平均コントラストが減少する場合には、フォーカス位置は反対方向に動かされる。最大平均コントラストを提供するまでレンズ・フォーカスが調節されるのに従って、これらのフォーカシング・サイクルは何度も繰り返される。平均コントラストが最大値に一旦達すると、フォーカスは許容可能になる。この時点でセンサ全体がクリアされる。次いで最終画像は、所定の時間にわたって積分される。最終画像はセンサから読み出される。

従来技術はまた、上記平均コントラスト計算以外のフォーカス分析技術を含む。今なおこれらのフォーカス分析技術は、異なるフォーカス位置で複数の画像を獲得するスルー・フォーカス動作に依存している。

時間の問題を解決するために、いくつかのキャプチャー装置は実際には２つの画像センサ、すなわちＡＥ又はＡＦ処理を可能にするように高速フレームレートで動作する一方のセンサ、及び視覚画像信号を生成するために低速フレームレートで動作する他方のセンサを有する。これはもちろん、第２センサ及びその制御の複雑さを伴う。追加された複雑さは、光学的及び機械的な複雑さ、並びに電子的な複雑さを含む。

本発明の目的は、単一の画像センサから複数の機能に関するデータを読み取るための改善された技術を提供することである。

この目的は、場面に対応する少なくとも２つのビデオ信号をキャプチャリングするためにキャプチャー装置を使用する方法であって：
ａ） 複数の画素を有する二次元画像センサを用意すること；
ｂ） 画像場面の第１ビデオ信号を生成するために、第１フレームレートで画像センサから第１画素群を読み取ること；
ｃ） 第２ビデオ信号を生成するために、第２フレームレートで画像センサから第２画素群を読み取ること；そして
ｄ） キャプチャー装置のパラメータのうちの１つ又は２つ以上を調節するために、ビデオ信号のうちの少なくとも１つを使用すること
を含んで成る方法で達成される。

キャプチャー装置パラメータを調節するための第１及び第２のビデオ信号を提供することによって、キャプチャー開始時と最終キャプチャー獲得時との間に必要とされる時間を短縮することができる。

図１は、本発明によるデジタル・キャプチャ装置を示すブロック・ダイヤグラムである。 図２は、本発明の好ましい態様によるフォーカス調節を示すフロー・ダイヤグラムである。 図３Ａは、センサからビデオ信号を読み取るための、従来技術における時間系列を示す図である。 図３Ｂは、センサからビデオ信号を読み取るための相対的時間系列を示す図である。 図３Ｃは、センサからビデオ信号を読み取るための相対的時間系列を示す図である。 図３Ｄは、センサからビデオ信号を読み取るための相対的時間系列を示す図である。 図３Ｅは、センサからビデオ信号を読み取るための相対的時間系列を示す図である。 図３Ｆは、センサからビデオ信号を読み取るための相対的時間系列を示す図である。 図４は、パンクロマティック画素とカラー画素とを画像センサ内で組み合わせる方法を示す図である。 図５Ａは、ＡＥ及びＡＦ計測及びビデオ表示を実施するための画像ゾーンを示す図である。 図５Ｂは、ＡＥ及びＡＦ計測及びビデオ表示を実施するための画素ゾーンを示す図である。 図５Ｃは、ＡＥ及びＡＦ計測及びビデオ表示を実施するための画素ゾーンを示す図である。

撮像装置、及び信号キャプチャー及び補正のため、及び露出制御のための関連回路を採用するデジタルカメラはよく知られているので、ここでの説明は、特に、本発明による方法及び装置の部分を形成する要素、又は本発明による方法及び装置とより直接的に協働する要素に向けることにする。本明細書に具体的には図示又は記載されていない要素は、当業者から選択される。説明しようとする態様の或る構成要件はソフトウェアで提供される。下記材料において本発明に基づいて示され説明されるシステムを考慮すると、本発明の実施に有用であると明細書中に、具体的には図示、記載又は示唆されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。

ここで図１を参照すると、本発明を具体化するデジタルカメラとして示される画像キャプチャー装置のブロック・ダイヤグラムが示されている。以下にデジタルカメラについて説明するが、本発明は、他のタイプの画像キャプチャー装置に明らかに適用することができる。開示されるカメラの場合、被写体場面からの光１０が撮像段階１１に入力され、この撮像段階において、光をレンズ１２によってフォーカシングすることにより、固体二次元画像センサ２０上に画像を形成し、典型的にはピクチャ要素（画素）の行及び列を残す。画像センサ２０は入射光を、画素毎に電気信号に変換する。好ましい態様の画像センサ２０は、アクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)法で製作することができることからＣＭＯＳセンサとしばしば呼ばれる）である。二次元画素アレイを有する他のタイプの画像センサを、これらが本発明と呼応して複数の画素群を非同期読み出しすることを支援するならば、使用することができる。多くの場合、二次元画素アレイを有する画像センサは、２つの直交する軸を有する方形格子パターンを成して配列された画素を有する。このことは本発明には必要でない。任意の二次元アレイの構成を本発明とともに使用することができる。

画像センサ２０は、被写体場面からの光１０を受容する。画像センサ２０の各画素からの、結果として生じる電気信号は典型的には、画素に達する光の強度、及び、画素が入射光からの信号を蓄積又は積分するのが可能になる時間長の両方に関連する。この時間は、積分時間又は露出時間と呼ばれる。これとの関連において、積分時間は、シャッタ１８が、光が画像センサ２０に達するのを可能にし、画像センサが同時に光を記録するように動作している時間である。全体的な光強度と積分時間との組み合わせは、露出と呼ばれる。光強度と積分時間との種々の組み合わせによって、同等の露出を達成できることが明らかである。例えば、高い光強度の場面とともに短い積分時間を使用するのと同じ露出を達成するために、極めて低い光強度の場面とともに長い積分時間を使用することができる。

図１は、露出を調整するためのいくつかの要素を含む。アイリス１４は、センサにおける光強度を修正する。シャッタ１８は、光が画像センサに達するのを可能にするか又は防止するためのメカニズムを提供する一方、タイミング発生器２６は、画像センサが画像をアクティブに記録しているときに制御方法を提供する。このように、シャッタ１８及びタイミング発生器２６は一緒に、積分時間を決定する。アイリス１４は、光路内の光を遮断するために機械的アパーチャを使用することによって、画像センサ２０に達する光の強度を制御する。アイリス１４は、可変サイズを有する機械的アパーチャを含むことができ、或いは、光路内に選択的に挿入することができる異なるサイズのいくつかの固定的なアパーチャを含むことができる。機械的シャッタとも呼ばれるシャッタ１８は典型的には、積分開始時に光路からカーテン又はブレードを取り除き、そして積分時間終了時に光路内にカーテン又はブレードを挿入するアクチュエータに結合されたカーテン又は可動ブレードを含む。いくつかのタイプの画像センサは、画像センサをリセットし、次いで所定の時間後に画像センサを読み出すことによって、積分時間が電子的に制御されるのを可能にする。リセットと読み出しとの間の時間間隔は、積分時間を制限し、そしてこれはタイミング発生器２６によって制御される。

図１は、いくつかの露出制御要素を示しているが、いくつかの態様は、これらの要素のうちの１つ又は２つ以上を含まない場合があり、或いは、別の露出制御メカニズムが設けられていてもよい。これらの変更形は、本発明を適用できる広範囲の画像キャプチャー装置において考えることができる。

前述のように、光強度と積分時間との種々の組み合わせによって、同等の露出を達成することができる。露出が同等でなくても、光強度と積分時間との特定の露出組み合わせが、所与の場面画像をキャプチャリングするためには、他の同等の露出よりも好ましいことがある。例えば、積分時間中に走ったり跳躍したりする運動選手の動きに起因するぼやけた画像を回避するために、スポーツ・イベントをキャプチャーするときには、短い積分時間が一般に好ましい。この場合、アイリス・ブロックは、高い光強度のための大きいアパーチャを提供することができ、そしてシャッタは短い積分時間を提供することができる。この事例は、小さなアパーチャよりも短い積分時間を優先する場面モード、特にスポーツ場面モードの一例として役立つ。一般に、場面モードは、或る特定の場面タイプを最適にキャプチャーするように露出を形成するために組み合わされる要素を選択して制御する優先権である。別の場面モード例は、風景場面モードである。この風景場面モードの場合、良好な焦点深度を提供するために、小さなアパーチャに優先権が与えられ、これとともに積分時間が最適な露出を提供するために調節される。さらに別の場面モード例は、手持ち型カメラぶれが懸念材料となる（この時点では積分時間は固定されたままであり、そしてアイリスは、センサにおける光強度を像出させるためにより大きいアパーチャを提供する）特定の光レベルに対して十分に積分時間が長くなるまで、場面光レベルの低下とともに積分時間が増大するのに伴って、良好な焦点深度のために小さなアパーチャを優先する一般場面モードである。

図１におけるシステム・コントローラ５０は、上に概略を示した露出調整要素を制御又は調節する。明るさセンサ１６は、可視スペクトル内の光に対して応答する少なくとも１つのセンサを含有する。例えば、明るさセンサ１６は、広い光感応を有する単一のセンサを有することができ、或いは、明るさセンサ１６は、狭い、そして種々異なる光感応、例えば赤、緑及び青感応を有する複数のセンサを有することもできる。明るさセンサ１６は、場面光強度を表す少なくとも１つの信号をシステム・コントローラ５０に提供する。例えば、システム・コントローラ５０によって受信された明るさ信号が、全体的な場面明るさレベルがセンサ２０にとって高すぎることを示すならば、システム・コントローラ５０は、光路内に特定のＮＤフィルタを挿入するようにフィルタ集成体に指示することができる。赤明るさ信号が特定の量だけ青明るさ信号レベルを超える場合には、システム・コントローラ５０は、光路内に特定の色バランス・フィルタを挿入することにより、利用可能なより多量の赤光を補償するようにフィルタ集成体１３に指示することができる。フィルタ集成体１３からのフィルタを使用することに加えて、システム・コントローラ５０は、種々の特定の量だけ開閉するようにアイリス１４に指示することができ、アイリス１４は、機械的シャッタ１８を開閉することができ、またアイリス１４は、システム・コントローラ５０を介してタイミング発生器２６を間接的に制御することができる。システム・コントローラ５０は、これらの前述の露出制御動作のうちのいずれかを個々に又は任意の組み合わせで用いることができる。

システム・コントローラ５０はまた、ユーザ入力７４から入力を受信する。上記場面モードは一般に、ユーザ入力としてユーザによって提供される。立て続けに複数の画像キャプチャーを撮影するときには、次のキャプチャーの場面光強度は、前のキャプチャー時に撮影されたデジタル化画像データから推定することもできる。デジタル信号プロセッサ３６を通るこのような画像データは、明るさセンサ１６からのデジタル信号を増強又はオーバライドするために、システム・コントローラ５０によって使用することができる。

システム・コントローラ５０は、明るさセンサ１６からの光強度信号、ユーザ入力７４（場面モードを含む）、及びシステム・コントローラ５０の入力を使用することにより、適切な露出を提供するためにどのように露出調整要素を制御すべきかを見極める。システム・コントローラ５０は、正しい露出を形成するためにどのように露出調整要素全てを制御又は調節すべきかを自動的に見極めることができる。或いは、ユーザ入力７４によって、ユーザは、ユーザによって選択された露出を形成するために、露出調整要素を手動で制御又は調節することもできる。さらに、ユーザは、いくつかの露出調整要素だけを手動で制御又は調節する一方、システム・コントローラ５０が残りの要素を自動的に制御するのを可能にすることもできる。システム・コントローラ５０はまた、ファインダ表示７０及び露出表示７２を介してユーザに露出に関する情報を提供する。ユーザのためのこのような情報は、自動又は手動で決定される積分時間、アパーチャ、及びその他の露出調整要素を含む。この情報は、種々の露出調整要素の動作の限界に基づいて正しい露出を達成できない場合、画像キャプチャーがどの程度まで露出不足又は露出過剰となるかを含むこともできる。

図１に示された態様を再び参照すると、レンズ・ユニット１２は、可動要素がズーム・コントール９によって定置要素に対して相対的に駆動されるモータ駆動式ズームレンズである。これは、カメラの視野を変化させるために、レンズの有効焦点距離がシステム・コントローラ５０によって変化させられるのを可能にする。加えて、画像センサ２０上の特定の距離からの光線をフォーカシングするために、フォーカス・コントール８によって、要素が駆動される。

図１に示された態様を再び参照すると、カメラは配向センサ１９を含む。配向センサは、カメラが保持されている方向に関するデータをシステム・コントローラ５０に提供する。

デジタルカメラとして図１に示された画像キャプチャー装置は、他の構成要件、例えば取り外し可能且つ交換可能なレンズを含むこともできる。本発明は任意のタイプのデジタルカメラ、又は同様の機能性が代わりの成分によって提供されている他の画像キャプチャー装置に適用されることは明らかである。例えば、デジタルカメラは、より複雑な焦点面配列の代わりに、比較的シンプルな全自動デジタルカメラ（この場合、シャッタ１８が比較的シンプルな可動ブレード・シャッタである）などであってよい。本発明は、カメラ以外の装置、例えば携帯電話機及び自動車内に含まれる撮像成分において実施することもできる。

画像センサ２０からアナログ信号は、アナログ信号プロセッサ２２によって処理され、そしてアナログ・デジタル（Ａ／Ｄ）変換器２４に印加される。タイミング発生器２６は、種々のクロック信号を生成することにより、行及び画素を選択し、そしてアナログ信号プロセッサ２２及びＡ／Ｄ変換器２４の動作を同期する。画像センサ段階２８は、画像センサ２０、アナログ信号プロセッサ２２、Ａ／Ｄ変換器２４、及びタイミング発生器２６を含む。画像センサ段階２８の成分は、別個に製作された集積回路であるか、或いはこれらは、ＣＭＯＳ画像センサとともに一般に製作されるように、単一集積回路として製作される。結果として生じる、Ａ／Ｄ変換器２４からのデジタル画素値ストリームは、デジタル信号プロセッサ（ＤＳＰ）３６と連携するメモリ３２内に記憶される。

デジタル信号プロセッサ３６は、システム・コントローラ５０に加えられたプロセッサである。複数のコントローラ及びプロセッサの中のカメラ機能コントロールのこのような分割は典型的であるが、これらのコントローラ又はプロセッサは、カメラの機能動作及び本発明の用途に影響を及ぼすことなしに、種々の方法で組み合わされる。これらのコントローラ及びプロセッサは、１つ又は２つ以上のデジタル信号プロセッサ装置、マイクロコントローラ、プログラミング可能な論理装置、又はその他のデジタル論理回路を含むことができる。２つのこのようなコントローラ又はプロセッサの組み合わせについて説明してきたが、１つのコントローラ又はプロセッサ、又は２つ以上のコントローラが、所要の機能の全てを実施するように指定されてもよいことは明らかである。これらの変化形の全ては同じ機能を実施することができ、本発明の範囲に含まれ、そして「処理段階」という用語は、例えば図１の処理段階３８におけるように、１つの語句の中にこの機能性の全てを含むために必要に応じて使用されることになる。

図示の態様の場合、ＤＳＰ ３６は、プログラム・メモリ５４内に永久記憶されて画像キャプチャリング中の実行のためにそのメモリ３２に複写されたソフトウェア・プログラムに従って、メモリ３２内のデジタル画像データを操作する。ＤＳＰ ３６は、図１８に示された画像処理を実施するために必要なソフトウェアを実行する。メモリ３２は、任意のタイプのランダム・アクセス・メモリ、例えばＳＤＲＡＭを含む。アドレス及びデータ信号のための経路を含むバス３０は、ＤＳＰ３６をその関連メモリ３２、Ａ／Ｄ変換器２４、及びその他の関連装置に接続する。

システム・コントローラ５０は、フラッシュＥＥＰＲＯＭ又はその他の不揮発性メモリを含むことができるプログラム・メモリ５４内に記憶されたソフトウェア・プログラムに基づいて、カメラの動作全体を制御する。このメモリは、画像センサ較正データ、ユーザ設定選択、及びカメラがオフにされたときに保存しなければならない他のデータを記憶するために使用することもできる。フォーカス・コントロール８、ズーム・コントロール９、レンズ１２、フィルタ集成体１３、アイリス１４、及びシャッタ１８を前記のように導き、画像センサ２０及び関連要素を操作するようにタイミング発生器２６を導き、及びキャプチャリングされた画像データを処理するようにＤＳＰ ３６を導くことにより、システム・コントローラ５０は、画像キャプチャーのシーケンスを制御する。画像がキャプチャリングされ処理された後、メモリ３２内に記憶された最終画像ファイルは、インターフェイス５７を介してホスト・コンピュータに転送され、取り外し可能なメモリカード６４又はその他の記憶装置上に記憶され、そして画像ディスプレイ８８上でユーザのために表示される。

バス５２は、アドレス、データ、及び制御信号のための経路を含み、システム・コントローラ５０を、ＤＳＰ ３６、プログラム・メモリ５４、システム・メモリ５６、ホスト・インターフェイス５７、メモリカード・インターフェイス６０、及びその他の関連装置に接続する。ホスト・インターフェイス５７は、表示、記憶、操作、又は印刷のために画像データを転送する際の、パーソナル・コンピュータ（ＰＣ）又はその他のホスト・コンピュータへの高速接続を提供する。このインターフェイスはＩＥＥＥ １３９４又はＵＳＢ ２．０シリアル・インターフェイス又は任意のその他の好適なデジタル・インターフェイスである。メモリカード６４は典型的には、ソケット６２に挿入されメモリカード・インターフェイス６０を介してシステム・コントローラ５０に接続されたコンパクト・フラッシュ（ＣＦ）カードである。利用されるその他のタイプの記憶装置の一例としては、ＰＣカード、マルチメディア・カード（ＭＭＣ）、又はセキュア・デジタル（ＳＤ）カードが挙げられる。

処理された画像は、システム・メモリ５６内の表示バッファに複写され、そしてビデオ信号を生成するために、ビデオ・エンコーダ８０を介して連続して読み出される。この信号は、外部モニタ上で表示するためにカメラから直接的に出力されるか、又は表示コントローラ８２によって処理され、そして画像表示８８上で提供される。この表示は典型的にはアクティブ・マトリックス・カラー液晶ディスプレイ（ＬＣＤ）であるが、その他のタイプのディスプレイも使用される。

ファインダ表示７０、露出表示７２、状態表示７６、及び画像表示８８の全て又は任意の組み合わせと、ユーザ入力７４とを含むユーザ・インターフェイスは、システム・コントローラ５０上で実行されるソフト・プログラムの組み合わせによって制御される。ファインダ表示、露出表示、及びユーザ入力表示は、ユーザ制御・状態インターフェイス６８である。ユーザ入力７４は典型的には、ボタン、ロッカースイッチ、ジョイスティック、回転ダイアル、又はタッチスクリーンの何らかの組み合わせを含む。システム・コントローラ５０は、光計測、場面モード、オートフォーカス、及びその他の露出機能を操作する。システム・コントローラ５０は、表示のうちの１つ又は２つ以上の上、例えば画像表示８８上に提供されるグラフィカル・ユーザ・インターフェイス（ＧＵＩ）を管理する。ＧＵＩは典型的には、種々のオプション選択肢を形成するためのメニュー、及びキャプチャリングされた画像を検査するためのレビューモードを含む。

ＩＳＯスピード等級は、デジタル静止カメラの重要な属性である。露出時間、レンズ・アパーチャ、レンズ透過率、場面照明のレベル及びスペクトル分布、及び場面反射率は、デジタル静止カメラの露出レベルを決定する。デジタル静止カメラからの画像が不十分な露出を用いて得られる場合、電子ゲイン又はデジタルゲインを増大させることにより、適正なトーン再現を一般に維持することはできるが、しかし、画像は、許容できない量のノイズを含有することになる。露出が増大するのに伴って、ゲインは減少し、従って、画像ノイズを通常は許容し得るレベルまで低減することができる。露出が過度に増大すると、明るい画像領域内に結果として生じる信号は、画像センサ又はカメラ信号処理の最大信号レベル容量を超えるおそれがある。このことにより、画像ハイライトがクリッピングされることにより均一な明るい領域を形成することになるか、又は画像ハイライトが周囲画像領域内にブルーミングを生じさせることがある。適切な露出を設定する上でユーザを案内することが重要である。ＩＳＯスピード等級は、このようなガイドとして役立つように意図されている。撮影者が容易に理解するようにするために、デジタル静止カメラのためのＩＳＯスピード等級は、写真フィルムカメラのためのＩＳＯスピード等級に直接に関連するべきである。例えば、デジタル静止カメラのＩＳＯスピード等級がＩＳＯ ２００である場合、同じ露出時間及びアパーチャが、ＩＳＯ ２００等級のフィルム／プロセス・システムに適しているべきである。

ＩＳＯスピード等級は、フィルムＩＳＯスピード等級と調和するように意図されている。しかし、電子撮像システムとフィルム・ベースの撮像システムとの間には、正確な等価性を排除する差がある。デジタル静止カメラは、可変のゲインを含むことができ、そして画像データがキャプチャリングされた後で、デジタル処理を行うことができ、カメラ露出範囲全体にわたってトーン再現が達成されるのを可能にする。従って、デジタル静止カメラにとっては、所定の範囲のスピード等級を有することが可能である。この範囲は、ＩＳＯスピード・ラチチュードとして定義される。混同を防止するために、単一の値が固有ＩＳＯスピード等級として指定されており、これとともにＩＳＯスピード・ラチチュードの上限及び低減は、スピード範囲、すなわち、固有ＩＳＯスピード等級とは異なる有効スピード等級を含む範囲を示す。このことを念頭に置いて、固有ＩＳＯスピードは、特定のカメラ出力信号特性をもたらすためにデジタル静止カメラの焦点面に提供された露出から計算された数値である。固有スピードは普通、通常の場面に対して所与のカメラ・システムのピーク画質を生成する露出指数値であり、露出指数は、画像センサに提供される露出に対して反比例する数値である。

上記デジタルカメラは、単一の画像をキャプチャリングするために、又は画像ストリームをキャプチャリングするために構成して操作することができる。例えば単一の最大解像度画像をキャプチャリングするように、画像センサ段階２８を構成することができ、また積分時間を制御するように、機械的シャッタ１８を使用することができる。この事例は、スチール写真のための単一画像キャプチャーに適している。或いは、制限された解像度による画像から成る画像ストリームをキャプチャリングするように、画像センサ段階を構成することもでき、また積分時間を電子制御するように、画像センサを構成することもできる。この事例の場合、センサの読み出し速度又は機械的シャッタの作動速度によって制限されることなしに、連続的な画像ストリームをキャプチャリングすることができる。この事例は例えば、ビデオカメラの場合におけるように、ビデオ信号を提供するために使用される画像ストリームをキャプチャリングするのに有用である。これらの事例において概略を示した形態は、単一画像キャプチャリング及び画像ストリームキャプチャリングのために採用される形態の例であるが、しかし、単一画像キャプチャリング及び画像ストリームキャプチャリングのために、別の形態を使用することもできる。本発明は、単一画像キャプチャリング又は画像ストリームキャプチャリングを可能にする画像キャプチャー装置において実施することができる。さらに、本発明を組み込んだ画像キャプチャー装置は、単一画像キャプチャリングと画像ストリームキャプチャリングとの間でユーザが選択するのを可能にする。

図１において示された画像センサ２０は典型的には、シリコン基板上に製作された二次元の感光性画素アレイを含む。これらの感光性画素は、各画素における入射光を、測定される電気信号に変換する方法を提供する。センサが露光されるのに伴って、自由電子が発生し、そしてこれらは各画素における電子構造内部に捕捉される。所定の時間にわたってこれらの自由電子を捕捉し、次いで捕捉された電子の数を測定するか、又は自由電子が発生する速度を測定することによって、各画素における光レベルを測定することができる。前者の事例の場合、電荷結合素子（ＣＣＤ）におけるように、蓄積電荷が画素アレイから電荷対電圧測定回路にシフトさせられるか、又はアクティブ画素センサ（ＡＰＳ又はＣＭＯＳセンサ）におけるように、各画素に近接した領域が電荷対電圧測定回路の要素を含有することができる。

以下の説明では画像センサに全般的に言及するときにはいつでも、言うまでもなくこれは図１の画像センサ２０を表す。さらに、画像センサ・アーキテクチャ及び画素パターンの全ての例及びこれらの等価物を画像センサ２０に対して使用できることも明らかである。

図１及び図２は、本発明の提案されたフォーカス動作シーケンスの好ましい態様を示す。図２を参照すると、ブロック２００には、ユーザが場面のプレビュー画像を観察し、ズーム・コントロール９を調節し、そして画像を作成するようにキャプチャー装置を向けることが記載されている。ブロック２０２には、ユーザ入力７４を介してユーザによって選択された、又はシステム・コントローラ５０を介してキャプチャー装置によって自動的に選択された場面モードを有することが記載されている。次いで、ブロック２０５において、ユーザは、ユーザ入力７４を介してキャプチャー装置を作動させる。キャプチャー装置のフォーカスは、初期位置２１０に調節され、そしてセンサ２０からいかなる電荷も除去される。センサは、ブロック２１５において、所定の時間間隔にわたって露出を積分（集光）することが可能になる。第１画素群が画像センサ２０から読み出され、アナログ信号プロセッサ２２によって調節された後、第１ビデオ信号に変換され、そしてＤＳＰメモリ３２内に記憶される。ＡＦ処理２２５のために使用されるべき第２ビデオ信号を生成するために、第２画素群が同時又は非同期的に読み出される（２２０）。フォーカス画素を処理する水平空間帯域通過フィルタの平均絶対値出力（平均コントラスト）は、いかに良好に画像がフォーカシングされるかを見極めるために使用される（２３５）。この平均コントラスト値はシステム・コントローラ５０によって記憶され、そしてフォーカス・コントロール８が調節される（２３０）。次いで、ＡＦ処理のために使用される第２画素群を積分して読み出すプロセスが、更なるフォーカシング・サイクルのために繰り返される。平均コントラストが最大値に一旦達すると、フォーカスは許容可能になる。この時点でセンサ２０全体がクリアされる（２４０）。フォーカス・プロセス中、第１画素群から追加のプレビュー画像を獲得することにより、ディスプレイ上の場面プレビューのためのビデオ出力を更新することができる。次いで、最終キャプチャーが所定の時間にわたって積分される（２４５）。最終キャプチャーはセンサ２５０から読み出される。

図３Ａ〜Ｃは本発明の時間系列の利点を示す。図３Ａ〜３Ｃにおいて、ビデオ信号のフレームを読み取るのに必要とされる相対的時間は、番号付きボックス（例えば画素Ｇ０１、Ｇ２４などの群）の幅によって示されている。

本発明の利点は、画素を読み取る際の効率及び並列性が、より高速の画素変換速度なしで、より高速のフレームレートを可能にすることである。本明細書中に使用される「フレームレート」という用語は、１つのビデオ信号フレームの開始から、次のビデオ信号フレームの開始までの時間の逆数である。画素レートは、１つの画素の読み出しから次の画素の読み出しまでの時間の逆数である。

各ボックス内の１番目の数字は、画素の群（例えば第１群又は第２群）を意味する。従来技術の場合、画素の群形成はなく、群番号は０によって、例えばＧ０１によって指定される。各ボックス内の２番目の数字はフレーム番号を意味する。いくつかのボックスの場合、３番目の数字（前に小数点が付く）がある。この数字は、画素群に対応するフレームの一部を意味する。例えばボックスＧ２１．２は、第２画素群、第１フレーム、第２のフレーム部分を読み取るために必要とされる時間間隔を意味する。本発明のタイミングの利点は、ボックスＧ１１及びＧ２１（又はＧ１２及びＧ２２など）がボックスＧ０１よりも短いという事実によって示される。

図３Ａは従来技術を示し、ここではプレビュー及び分析の両方のための画素群は、単一フレームで読み出される。この図面において、従来技術の時間間隔１５０のストリームは、連続するフレームに分割される。各フレームＧ０１〜Ｇ０５は、ビデオ・プレビュー及びその他の分析、例えばＡＦの両方のためのデータを含有する。ビデオ・プレビュー及びＡＦは区別可能な必要性を有するので、両機能に対する必要性を最適に満たすために、いずれの機能単独に対しても必要とされるものよりも多くの画素が読み出されることが必要となる。

図３Ｂは本発明の１つの態様を示す。これは、場面に対応する少なくとも２つのビデオ信号をキャプチャリングするためにキャプチャー装置を使用する方法であって：複数の画素を有する二次元画像センサを用意し；画像場面の第１ビデオ信号を生成するために、第１フレームレートで画像センサから第１画素群を読み取り；第２ビデオ信号を生成するために、第２フレームレートで画像センサから第２画素群を読み取り；そしてキャプチャー装置のパラメータのうちの１つ又は２つ以上を調節するために、ビデオ信号のうちの少なくとも１つを使用することを含む、方法の一例である。好適なハードウェア並列性を提供することにより、第１画素群からの第１群オーバラップ時間間隔１５２を、第２画素群からの第２群オーバラップ時間間隔１５３から分離することができる。２つの信号が分離されている状態で、各機能のために必要とされるフレームレートで、各ビデオストリームを同期的又は非同期的に読み取ることができる。ハードウェア並列性によって、各機能に対して必要とされる正確な数の画素だけを読み取ることによって、時間が節減されるだけではなく、各群に対応する時間間隔がオーバラップするのを可能にすることによっても、時間が節減される。図３Ｂにおいて、２つの画素群は２つの異なるフレームレートで読み取られる。例えば、１つ又は２つ以上のキャプチャー装置パラメータを調節するために第２ビデオ信号が使用され、この第２ビデオ信号は、第１ビデオ信号よりも高速のフレームレートである。１つの好ましい態様の場合、第２ビデオ信号は、キャプチャー装置のフォーカスを調節するために使用される。別の好ましい態様の場合、第２ビデオ信号は、キャプチャー装置の露出を調節するために使用される。別の好ましい態様の場合、第２ビデオ信号は、キャプチャー装置の露出及びフォーカスを調節するために使用される。これらの好ましい態様のそれぞれにおいて、ビデオ信号のうちの少なくとも１つは、キャプチャー装置のパラメータのうちの１つ又は２つ以上を調節するために使用される。加えて、これらの態様は、場面プレビューを生成するために第１ビデオ信号を使用することを含むこともできる。これらの態様において、処理のフローは、図２に示されている通りである。これは、画像センサ内の画素からプレビュー画像を生成し、そしてユーザーがこのようなプレビュー画像を観察し、そして画像場面の第１ビデオ信号を生成するために第１フレームレートで画像センサから第１画素群を読み取らせ、第２ビデオ信号を生成するために第２フレームレートで画像センサから第２画素群を読み取らせ；そして、ビデオ信号のうちの少なくとも１つが、キャプチャ・パラメータのうちの１つ又は２つ以上を調節するために使用されるように、キャプチャー装置を作動させることの一例である。

図３Ｂを再び参照すると、別の態様の場合、第２ビデオ信号のフレームレートは、画像キャプチャー装置のための場面モードに基づいて調節される。例えば、スポーツ場面モードを選択した場合、第２ビデオ信号のフレームレートは、オートフォーカス・システムの性能を改善するために、増大させられる。

図３Ｃは、ハードウェア並列性なしの事例における本発明の別の態様を示している。非オーバラップ時間間隔選択肢１ブロック１５４は、２つの画素群、すなわち一方はビデオ・プレビューのため、そして他方はＡＦ及び他の分析のための画素群に分割される。各画素群が特定の機能のために選択されるので、過剰な画素が読み出されることはない。この事例において、２つの画素群のフレームレートは同一である。なぜならばフレームがこのように交互にインターリーブされるからである。それでもなお、２つの画素群を別々に読み取る効率により、フレームレートは、図３Ａにおけるフレームレートよりも高いことが可能である。

図３Ｄは、ハードウェア並列性なしの事例における本発明の更なる利点を示している。非オーバラップ時間間隔選択肢２ブロック１５６において、第１画素群の各フレームに対する時間間隔は、３つの部分、例えばＧ１１．１、Ｇ１１．２、Ｇ１１．３に分割される。矢印は、所与のフレームを構成するための部分の集合を示す。第２画素群の各フレームは、隣接する時間間隔、例えばＧ２１において読み取られる。この選択肢において、第１画素群の各フレームは、第２画素群からのフレームを読み取ってこれらのフレームを第１画素群でインターリーブすることができるように分割される。これは、第２画素群が第１画素群よりも僅かに高い頻度で読み取られるのを可能にする。この例の場合、第１画素群のフレームが、全タイミングにわたる制御を単純にするために、互いに等しい部分に分割されている。第１画素群のフレームを２つの互いに等しくない部分に分割することも考えられる。例えば、Ｇ１１．１とＧ１１．２とを合体して、Ｇ１１．３よりも多くの回数を必要とする１つの部分にすることもできる。

図３Ｅは、ハードウェア並列性なしの事例における本発明の別の態様を示す。非オーバラップ時間間隔選択肢３ブロック１５７において、第１画素群の各フレームに対する時間間隔は、２つの部分、例えばＧ１１．１、Ｇ１１．２に分割される。矢印は、所与のフレームを構成するための部分の集合を示す。第２画素群の各フレームは、隣接する時間間隔、例えばＧ２１において読み取られる。この選択肢において、第１画素群の各フレームは、第２画素群からのフレームを読み取ってこれらのフレームを第１画素群でインターリーブすることができるように分割される。これは、第２画素群が第１画素群の２倍の頻度で読み取られるのを可能にする。

第１画素群のフレーム及び第２画素群のフレームの読み取り頻度を最適化するために、第１画素群のフレームを多くの異なる形式で分割できることは、当業者に明らかである。普通、最適なインターリーブは、第１画素群の完全なフレームが標準的なビデオ速度で、例えば３３ミリ秒毎に読み取られるように行われる。第２画素群のフレームは、他のカメラ動作、例えばレンズ動作との同期を助けるために、第２画素群の各フレーム間の一貫した時間間隔を提供するようにインターリーブされる。

図３Ｆは、インターリーブの概念をさらに拡張したものを示している。非オーバラップ時間間隔選択肢４ブロック１５８において、各画素群のフレームは、複数部分に分割される。矢印は、所与のフレームを構成するための部分の集合を示す。このことは、各画素群を読み取るためにタイミング全体にわたってより大きいフレキシビリティを可能にする。タイミング発生器２６及び画像センサ２０の特徴に応じて、時間間隔が所望の通り小さいことは極めて妥当である。例えば、時間間隔は、画像センサ２０の単一行を読み取るのに必要な時間であってよく、或いはより短い時間であってもよい。群は好都合には、任意の行、画素、又は論理境界でインターリーブすることができる。

カラー画像を生成するために、画像センサ内の画素アレイは典型的には、画素上に配置されたカラーフィルタのパターンを有する。センサ内で使用するために選択されたカラー光感応集合は３色を有しているが、しかし４色又は５色以上を含むこともできる。本明細書中に使用されるパンクロマティック光感応は、選択された色光感応集合において表されるスペクトル感光性よりも広いスペクトル感光性を有する光応答を意味する。パンクロマティック感光性は、可視スペクトル全体にわたって高い感光性を有することができる。パンクロマティック画素という用語は、パンクロマティック光感応を有する画素を意味する。パンクロマティック画素は一般に、カラー光感応集合よりも広いスペクトル感光性を有するが、各パンクロマティック画素は、関連するフィルタを有することもできる。このようなフィルタは、減光フィルタ又はカラーフィルタである。

図４は、本発明の好ましい態様におけるパンクロマティック画素とカラー画素とを混合する１つの可能な方法を示す。１つの画素群が、低解像度カラー画像を画定し、また第２画素群が、高解像度パンクロマティック画像を画定する。

図５Ａは、フォーカス及び露出の分析のために使用される画素ゾーンの配列を示す。Ｚ００〜Ｚ０８は、フォーカス分析のために使用される画像センサ２０内分のゾーンを示す。分析は、ユーザがＡＦ及び／又はＡＥのためのこれらのゾーンから単一のゾーンを選択するのを可能にすることによって行うことができる。或いは多ゾーン分析が、これらのゾーンの全てからのデータを使用して、種々の基準、例えば局所コントラスト挙動、カメラ配向（センサ１９から又はユーザ選択から）、及びカメラ設定情報に基づいて、各ゾーンを適応重み付けすることができる。特定のフォーカス・ゾーンＺ０２（３０２）が拡大されて図５Ｂに示されている。

図５Ｂは、パンクロマティック画素及びカラー画素を有するセンサ内でフォーカシングするために使用されるパンクロマティック画素３０２を強調して示す。この例において、第２画素群は、パンクロマティック画素だけを含む。フォーカシングのために読み取られる第２画素群が通常、第１画素群よりも高い頻度で読み出されるので、ＡＦ分析には普通、パンクロマティック画素が好ましい。第２画素群をより高い頻度で読み取ることにより、これらの画素のために利用可能な潜在的な露出時間が短くなるので、パンクロマティック画素の追加の感光性が利点となり得る。いくつかの事例ではカラー画素が好ましい。本発明において第１画素群がパンクロマティック画素若しくはカラー画素又はその両方を含み、そして第２画素群がパンクロマティック画素若しくはカラー画素又はその両方を含むことが明らかになる。２つの群における画素間の重要な差異は機能である。第２ビデオ信号は、キャプチャー装置のフォーカス、露出、及びその他のパラメータのために使用される。第１ビデオ信号は、場面全体の低解像度画像又はプレビュー画像を提供するために使用される。

キャプチャー装置のパラメータを適切に調節した後、二次元画像センサからの全ての画素を読み出すことにより、キャプチャ・パラメータ調節後に場面の画像の最終キャプチャーを提供することができる。

当業者に明らかなように、採用される画素の数をゾーン間で変化させ、そして特定の用途に合わせて最適化することができる。

図５Ｃは、フォーカシングのために使用される強調して示された画素（３０２）が、表示目的で読み出される強調して網掛けされて示された画素（３５０）とどのように区別されるかを示している。このことは、画素が異なる露出時間及び読み出し速度を有するのを可能にする。

８ フォーカス・コントロール
９ ズーム・コントロール
１０ 被写体場面からの光
１１ 撮像段階
１２ レンズ
１３ フィルタ集成体
１４ アイリス
１６ 明るさセンサ
１８ シャッタ
１９ 配向センサ
２０ 画像センサ
２２ アナログ信号プロセッサ
２４ アナログ・デジタル（Ａ／Ｄ）変換器
２６ タイミング発生器
２８ 画像センサ段階
３０ デジタル信号プロセッサ（ＤＳＰ）・バス
３２ デジタル信号プロセッサ（ＤＳＰ）・メモリ
３６ デジタル信号プロセッサ（ＤＳＰ）
３８ 処理段階

５０ システム・コントローラ
５２ システム・コントローラ・バス
５４ プログラム・メモリ
５６ システム・メモリ
５７ ホスト・インターフェイス
６０ メモリカード・インターフェイス
６２ メモリカード・ソケット
６４ メモリカード
６８ ユーザ制御・状態インターフェイス
７０ ファインダ表示
７２ 露出表示
７４ ユーザ入力
７６ 状態表示
８０ ビデオ・エンコーダ
８２ 表示コントローラ
８８ 画像表示

１５０ 従来技術の時間間隔
１５２ 第１群オーバラップ時間間隔
１５３ 第２群オーバラップ時間間隔
１５４ 非オーバラップ時間間隔選択肢１
１５６ 非オーバラップ時間間隔選択肢２
１５７ 非オーバラップ時間間隔選択肢３
１５８ 非オーバラップ時間間隔選択肢４
２００ ユーザ・プレビュー・ブロック
２０２ ユーザ場面モード・ブロック
２０５ ユーザ作動ブロック
２１０ 初期フォーカス・ブロック
２１５ 画像積分ブロック
２２０ 第２画素群読み取りブロック
２２５ コントラスト計算ブロック
２３０ フォーカス調節ブロック
２３５ フォーカス許容可能性決定ブロック
２４０ センサ・クリア・ブロック
２４５ 完全画像積分ブロック
２５０ センサからの読み取りブロック
３０２ フォーカス・ゾーン
３５０ 表示目的で読み出された画素

Claims (10)

1. 特定の画像場面に対応するビデオ信号を生成するための画像ストリームをキャプチャリングするためにキャプチャー装置を使用する方法であって、
   ａ） 複数の画素を有する二次元画像センサを用意するステップと、
   ｂ） 第１フレームレートで該画像センサから第１画素群を読み取って、該ビデオ信号を生成するために使用される、該特定の画像場面の第１ビデオ信号を生成するステップと、
   ｃ） 該第１画素群とは異なる、該第１画素群がすべての辺を取り囲む第２画素群を第２フレームレートで該画像センサから読み取って、該特定の画像場面の少なくとも一部分の第２ビデオ信号を生成するステップであって、該第１画素群のフレームを読み取る期間に該第２画素群のフレームを読み取る期間がインターリーブされ、該第１画素群の１フレームを読み取る回数が該第２画素群の１フレームを読み取る回数とは異なるステップと、
   ｄ） 少なくとも該第１画素群に変化をもたらすキャプチャー装置のパラメータのうちの１つ又は２つ以上を調節するために、該第２ビデオ信号を使用するステップと、
   ｅ） 該画像ストリームをキャプチャリングして該ビデオ信号を生成する間に、ｂ）からｄ）のステップを繰り返すステップと
   を含む方法。
2. 該第２ビデオ信号が該第１ビデオ信号よりも高速のフレームレートである請求項１に記載の方法。
3. 該第２ビデオ信号が、該キャプチャー装置のフォーカスを調節するために使用される請求項１に記載の方法。
4. 該第２ビデオ信号が、該キャプチャー装置の露出を調節するために使用される請求項３に記載の方法。
5. 該第２ビデオ信号が、該キャプチャー装置の露出を調節するために使用される請求項１に記載の方法。
6. ｆ） キャプチャ・パラメータの調節後に該場面の画像の最終キャプチャーを提供するために、該二次元画像センサからの画素を使用するステップをさらに含む請求項１または４に記載の方法。
7. 該画像センサが、パンクロマティック画素及びカラー画素を含む請求項１に記載の方法。
8. 該第１画素群が、パンクロマティック画素若しくはカラー画素又はその両方を含み、そして該第２画素群が、パンクロマティック画素若しくはカラー画素又はその両方を含む請求項７に記載の方法。
9. 該第２ビデオ信号がパンクロマティック画素だけを含む請求項７に記載の方法。
10. 該第２ビデオ信号のフレームレートが、該キャプチャー装置の場面モードに基づいて調節される請求項１に記載の方法。

Images