JP5718248B2 - 自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法 - Google Patents

自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法 Download PDF

Info

Publication number
JP5718248B2
JP5718248B2 JP2011542200A JP2011542200A JP5718248B2 JP 5718248 B2 JP5718248 B2 JP 5718248B2 JP 2011542200 A JP2011542200 A JP 2011542200A JP 2011542200 A JP2011542200 A JP 2011542200A JP 5718248 B2 JP5718248 B2 JP 5718248B2
Authority
JP
Japan
Prior art keywords
image
frame rate
image sensor
capture device
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011542200A
Other languages
English (en)
Other versions
JP2012513043A (ja
Inventor
リ、ジンチアン
ベラード、ルベン・エム.
ハング、スゼポ・アール.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2012513043A publication Critical patent/JP2012513043A/ja
Application granted granted Critical
Publication of JP5718248B2 publication Critical patent/JP5718248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本開示は、一般に自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法に向けられたものである。
技術における進歩は、より小さく、より強力な計算デバイス(computing devices)をもたらした。例えば、小さく、軽く、かつユーザによって容易に持ち運ばれるページング・デバイス、携帯用無線電話、および携帯情報端末(PDA)などの無線計算デバイスを含む様々な携帯用パーソナル計算デバイスが現在存在する。より具体的には、セルラ電話およびインターネット・プロトコル(IP)電話などの携帯用無線電話が無線ネットワーク上で音声およびデータパケットを通信できる。さらに、多くのそのような無線電話は、その中に組込まれた他のタイプのデバイスを含む。例えば、無線電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオ・ファイル・プレーヤーをも含み得る。そのような無線電話は、インターネットにアクセスするために使用可能なウェブブラウザ・アプリケーションのような複数のソフトウェア・アプリケーションを含む複数の実行可能な命令を処理できる。従って、これらの無線電話は著しい計算能力を包含できる。
デジタル信号プロセッサ(DSP)、画像プロセッサ、および他の処理デバイスは、デジタルカメラを含んだり、デジタルカメラによって捕捉された(captured)画像やビデオのデータを表示したりする携帯用パーソナル計算デバイスにおいて頻繁に使用される。そのような処理デバイスは、ビデオおよびオーディオの機能を提供したり、画像データのような受信されたデータを処理したり、他の機能を実行したりするために利用できる。
待ち時間(latency)および精度(accuracy)はデジタルカメラのオートフォーカス(AF)・システムの品質尺度である。待ち時間はデジタルカメラのフレームレート(frame rate)に反比例し得るものであって、ここでフレームレートは通常、フレーム/秒(FPS)で与えられる。精度は、オートフォーカス・サーチ(autofocus search)のアルゴリズムに関係し、シャープネスの統計値(sharpness statistics)に影響する確率誤差にも関係し得るものである。従来、不足した光の状態では、露出制御がノイズの影響を低減するために露出時間を通常増大させるはずであり、これにより、ハンドヘルド・デジタルカメラのフレームレートを減少させ、手振れぼやけ(hand-shake blur)を増大させるはずである。しかしながら、減少されフレームレートがオートフォーカスの待ち時間を増大させるはずである一方で、手振れぼやけまたは揺らぎ(jitter)がシャープネス統計値の精度を低下させ、これにより、最終的なオートフォーカスの精度に悪影響を及ぼすはずである。
特定の実施形態では、画像捕捉デバイスにおいて画像センサーによる画像捕捉のフレームレートをフレームレート閾値と比較することを含む方法が開示される。フレームレートがフレームレート閾値未満である場合、該方法はフレームレートをフレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させることを含む。該方法は修正フレームレートで捕捉される画像に対するオートフォーカス動作を行うことをさらに含む。
別の実施形態では、画像捕捉デバイスの画像センサーに結合されたレンズ・システムを使用して画像を捕捉する準備をすることを含む画像捕捉方法が開示される。また、該方法はこの画像センサーからの画像信号出力の画像信号利得を調整することを含む。該方法はこの画像捕捉デバイスにおけるデジタル信号プロセッサ使用してこの調整された画像信号を処理することをさらに含む。このデジタル信号プロセッサはこの画像捕捉デバイスにおける自動露出制御デバイスおよびオートフォーカス・デバイスに結合される。また、該方法はフレームレートが所定フレームレートを下回る場合に、自動露出制御装置を使用してこの画像捕捉デバイスの画像センサーによる画像捕捉のフレームレートを選択的に増大させることを含む。該方法は、フレームレートを増大させた後に、この自動露出制御装置を使用してこの画像捕捉デバイスの画像センサーの露出時間を低減することをさらに含む。また、該方法は画像の輝度レベルを調整するために画像信号利得を増大させることを含む。該方法は、画像をフォーカスするようにレンズ・システムのレンズ位置を調整する、オートフォーカス・デバイスを使用したオートフォーカス動作を行うことをさらに含む。
別の実施形態では、画像捕捉デバイスが開示される。該画像捕捉デバイスは画像センサーによる画像捕捉のフレームレートを増大フレームレートに選択的に増大させるように構成される自動露出制御デバイスを含む。該自動露出制御デバイスはこの画像センサーの露出時間を低減露出時間に低減し、画像輝度レベルを調整するためにこの画像センサーからの画像信号出力の画像信号利得を増大画像信号利得に増大させるようにさらに構成される。該画像捕捉デバイスは増大フレームレート、低減露出時間、および増大画像信号利得のうちの少なくとも1つを使用して画像に対するオートフォーカス動作を行うように構成されるオートフォーカス・デバイスをさらに含む。
別の実施形態では、画像捕捉デバイスが開示される。該画像捕捉デバイスは画像センサーによる画像捕捉のフレームレートを増大フレームレートに選択的に増大させるために自動露出を制御する手段を含む。該自動露出を制御する手段は、さらに、この画像センサーの露出時間を低減露出時間に低減し、画像輝度レベルを調整するためにこの画像センサーからの画像信号出力の画像信号利得を増大画像信号利得に増大させる。該画像捕捉デバイスは増大フレームレート、低減露出時間、および増大画像信号利得のうちの少なくとも1つを使用して画像に対するオートフォーカス動作を行う手段をさらに含む。
別の実施形態では、カメラを含む携帯用デバイスが開示される。該携帯用デバイスは画像センサーによる画像の捕捉のフレームレートをカメラでのフレームレート閾値に少なくとも等しい修正フレームレートに増大させるように構成される自動露出制御デバイスを含む。該自動露出制御デバイスは、カメラでの露出時間を低減露出時間に低減し、画像輝度レベルを調整するためにカメラでの画像信号利得を増大画像信号利得に増大させるようにさらに構成される。また、該携帯用デバイスはこれら修正フレームレート、低減露出時間、および増大画像信号利得で画像に対するオートフォーカス動作を行う手段を含む。
別の実施形態では、コンピュータ可読媒体が開示される。該コンピュータ可読媒体は、画像センサーによる画像の捕捉のフレームレートを増大させることをコンピュータに行わせるように働く複数のコンピュータ実行可能命令を含む。フレームレートは、画像捕捉デバイスでのフレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大される。これら複数のコンピュータ実行可能命令は、この画像捕捉デバイスでこの画像センサーの露出時間を低減することと、この画像捕捉デバイスでこの画像センサーからの画像信号出力の画像信号利得を増大させることとをコンピュータに行わせるようにさらに働く。
開示される実施形態によって提供される1つの特定の利点は、自動露出制御デバイスが1つまたは複数のオートフォーカス品質尺度を改善するためにオートフォーカス支援モードに切り替わることである。
開示される実施形態によって提供される別の利点は、オートフォーカスの待ち時間および精度のうちの1つあるいは両方が改善できることである。
本開示の他の態様、利点、および特徴は、次に続くセクションである図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む本出願全体のレビュー(review)後に明白になるはずである。
図1は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含む画像捕捉デバイスの第1の例示的な実施形態のブロック図である。 図2は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含む画像捕捉デバイスの第2の例示的な実施形態のブロック図である。 図3は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含む画像捕捉デバイスの第3の例示的な実施形態のブロック図である。 図4は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含む画像捕捉デバイスの第4の例示的な実施形態のブロック図である。 図5は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含んでいるカメラを含む携帯用デバイスの第1の例示的な実施形態のブロック図である。 図6は、自動露出制御デバイスによって支援されるオートフォーカス・デバイスを含んでいるカメラを含む携帯用デバイスの第2の例示的な実施形態のブロック図である。 図7は、自動露出制御によって支援されるオートフォーカス動作を行うための方法の第1の例示的な実施形態のフロー図である。 図8は、自動露出制御によって支援されるオートフォーカス動作を行うための方法の第2の例示的な実施形態のフロー図である。 図9は、自動露出制御によって支援されるオートフォーカス動作を行うための方法の特定の例示的な実施形態のフロー図である。 図10は、自動露出制御モジュールによって支援されるオートフォーカスを含むデバイスの特定の実施形態のブロック図である。 図11は、自動露出制御モジュールによって支援されるオートフォーカスを含む携帯用通信デバイスの特定の実施形態のブロック図である。
図1を参照すると、画像捕捉デバイス102が例示される。画像捕捉デバイス102はレンズ・システム108、画像センサー110、画像信号利得エレメント112、およびデジタル信号プロセッサ(DSP)114を含む。また、画像捕捉デバイス102はランダムアクセスメモリ・デバイス、あるいは読み出し専用メモリやフラッシュメモリのような不揮発性メモリ・デバイスなどであるメモリ116を含む。画像捕捉デバイス102は、オートフォーカス・デバイス(AF)118および自動露出制御デバイス(AEC)120をさらに含む。レンズ・システム108は画像104を受ける画像入力106に応答する。レンズ・システム108はデジタル信号プロセッサ114からのフィードバック入力を順番に受けるオートフォーカス・デバイス118に応答する入力を有する。
自動露出制御デバイス120はデジタル信号プロセッサ114に応答する入力を有する。自動露出制御デバイス120は画像センサー110および画像信号利得エレメント112に出力を提供する。特定の実施形態において、露出制御デバイス120は、画像センサー110の制御のために、フレームレート・データ122を画像センサー110に提供し、露出時間データ124も画像センサー110に提供する。デジタル信号プロセッサ114はメモリ116に結合され、メモリ116へのアクセスを有する。
画像センサー110はレンズ・システム108で受ける画像104のような画像を捕捉するように構成される。自動露出制御デバイスおよび/またはモジュール120は、画像センサー110による画像捕捉のフレームレートを増大フレームレートに増大させたり、画像センサー110の露出時間を低減露出時間に低減したり、画像センサー110からの画像信号出力の画像信号利得を増大画像信号利得に増大させたりするなどの複数の機能を行うように構成される。増大画像信号利得は自動露出制御デバイス120による制御に応じて捕捉画像の画像輝度レベルを調整できる。従って、画像信号利得エレメント112は自動露出制御デバイス120の制御下で調整され、デジタル信号プロセッサ114によって受けられるようにより高い輝度レベルを有する画像を提供する。
オートフォーカス・デバイス118は、自動露出制御デバイス120によって導かれる動作および機能制御に関して上述されたように増大フレームレート、低減露出時間、および増大画像信号利得を使用し、デジタル信号プロセッサ114によって受けて処理されるよう捕捉画像に対するオートフォーカス動作を行うように構成される。別の実施形態において、オートフォーカス・デバイス118は増大フレームレート、低減露出時間、および/または増大画像信号利得のうちの1つまたは複数の機能を使用してこの画像に対するオートフォーカス動作を行うように構成される。オートフォーカス・デバイス118によって上述の機能を行うことは、増大された画像精度、低減された揺らぎの影響、および低減された待ち時間をもたらすことができる。特定の例では、ユーザによって保持されたカメラのような画像捕捉デバイスの手揺らぎ(hand jitter)がオートフォーカス・デバイス118機能の使用を通じて低減される。
特定の実施形態において、自動露出制御デバイス120は、フレームレートが所定フレームレート未満でないときに、画像センサー110で画像104を統合(integrating)する統合時間(integration time)を低減するようにさらに構成される。所定フレームレートは製造時に決定された規定(dictated)あるいは定義(defined)フレームレートのようなデフォルトのフレームレートであることができる。代わりに、所定フレームレートは画像捕捉デバイス102のユーザ・インタフェースによってユーザ制御(user controlled)され得る。
動作中、画像104は入力106を介してレンズ・システム108で受けられる。レンズ・システム108は受けた画像104をフォーカスし、フォーカスされた画像を画像センサー110に提供する。画像センサー110は自動露出制御デバイス120によって制御または定義された複数の特定のパラメータ有し、この画像104を検知して検知画像データを画像信号利得エレメント112に提供する。特定の例において、フレームレート122および露出時間124は検知してこの検知画像を画像信号利得エレメント112に提供する画像センサー110のために自動露出制御デバイス120によって提供される。画像信号利得エレメント112は画像センサー110から受けた画像104に信号利得を適用する。また、画像信号利得エレメント112は自動露出制御デバイス120からの制御パラメータを受け、自動露出制御デバイス120からの調整された利得レベルを受けることができる。画像信号利得エレメント112は、この後、画像センサー110からの検知画像104にこの利得レベルを適用し、デジタル信号プロセッサ114に向けられる出力として適用された利得係数(gain factor)を有する利得強調(gain-enhanced)画像を提供する。
デジタル信号プロセッサ114は、この後、画像信号利得エレメント112からの利得強調画像を処理する。デジタル信号プロセッサ114はオートフォーカス・デバイス118および自動露出制御デバイス120の両方にフィードバック情報を提供する。デジタル信号プロセッサ114は画像信号利得エレメント112から受けた画像データを処理し、続いて捕捉画像104を強調するために複数の制御信号を調整する。例えば、デジタル信号プロセッサ114はレンズ・システム108のフォーカスを調整するためにオートフォーカス・デバイス118に複数の制御信号を送る。別の例として、デジタル信号プロセッサ114はフィードバック制御システム形式で画像センサー110に順番に提供される複数の制御信号を、フレームレート122、露出時間124、または両方を調整するために自動露出制御デバイス120に提供する。
デジタル信号プロセッサ114が画像信号利得エレメント112から強調画像データを受けた後、デジタル信号プロセッサ114はこの強調画像データをメモリ116に出力する。メモリ116で記憶された画像データは、付加的な電子デバイスに通信されたり、ユーザのために表示されたりできる。自動露出制御デバイス120およびオートフォーカス・デバイス118の動作をデジタル信号プロセッサ114の制御下で協調させること(coordinating)により、画像捕捉デバイス102はレンズ・システム108並びにこのレンズ・システム108でのレンズ・システム・フォーカスを調整する機能を行う際にオートフォーカス・デバイス118を支援する形式で自動露出制御デバイス120を採用できる。利用可能な強調(enhancement)の特定の例は、ハンドヘルド画像捕捉デバイス102を使用して画像104を捕捉するユーザの手揺らぎに起因し得る低減された揺らぎである。
図2を参照すると、画像捕捉デバイス202の別の実施形態が例示される。画像捕捉デバイス202は、自動露出制御デバイス204およびオートフォーカス・デバイス206を含む。特定の実施形態において、自動露出制御デバイス204およびオートフォーカス・デバイス206は、図1の自動露出制御デバイス120およびオートフォーカス・デバイス118に類似した形式で実施される(implemented)ことができる。
自動露出制御デバイス204は様々なパラメータを増大または減少させる能力を有する。特定の実施形態において、これら様々なパラメータはフレームレート208、露出時間210、利得212、統合時間214、および露出指数216を含む。特定の実施形態において、自動露出制御デバイス204は図1の画像センサー110のような、画像センサーの露出指数216を低減するように構成される。露出指数216は露出時間210と利得212の組み合わせを表す整数である。特定の実施形態において、露出指数216を約23だけ低減することは、図1の画像センサー110などの画像センサーで図1の画像104などの画像を統合する統合時間214を約半分(one half)だけ低減する結果にできる。
特定の例示される例において、自動露出制御デバイス204はフレームレート208を増大させ、露出時間210を減少させ、利得212を増大させ、統合時間214を減少させ、かつ露出指数216を減少させる。図2に例示されるように、これは低減された待ち時間218および増大された精度220を有するオートフォーカス・デバイス206をもたらす。上述されたように、フレームレート208および待ち時間218は互いに反比例するもので、フレームレート208を増大させることが低減された待ち時間218をもたらす。同様に、フレームレート208を増大させると共に露出時間210を減少させることは、手振れぼやけおよび揺らぎにおける低減をもたらすことができ、これはオートフォーカス・デバイス206の増大された精度220をもたらすことができる。
図3を参照すると、別の実施形態において、自動露出制御デバイス304およびオートフォーカス・デバイス306を含む画像捕捉デバイス302が図2の画像捕捉デバイス202および/または図1の画像捕捉デバイス102と類似した形式で調整される複数のパラメータを有することができる。特定の例示的な実施形態では、自動露出制御デバイス304がフレームレート308を増大させ、これが、例示されるように、順番に、低減された待ち時間318を有するオートフォーカス・デバイス306をもたらす。
図4を参照すると、画像捕捉デバイス402の別の特定の例示される実施形態が示される。画像捕捉デバイス402は自動露出制御デバイス404およびオートフォーカス・デバイス406を含む。図4の実施形態では、自動露出制御デバイス404によって、露出時間410が減少され、利得412が増大される。例示されるように、露出時間410を減少させて利得412を増大させる結果として、オートフォーカス・デバイス406は改善または増大された精度420を有する。
図5を参照すると、カメラ500を含む携帯用デバイスが例示される。このカメラ500を含む携帯用デバイスは、携帯用デバイスのためのアプリケーション・チップセット502をさらに含む。アプリケーション・チップセット502は自動露出制御デバイス504、並びにオートフォーカス・デバイス506のようなオートフォーカス動作を行う手段を含む。このオートフォーカス動作を行う手段は、オートフォーカシング(autofocusing)回路、プロセッサによって実行されるオートフォーカシング・ソフトウェア、機械的オートフォーカシング・デバイス、あるいはそれらの任意の組み合わせを含むことができる。自動露出制御デバイス504は、例示されるように、画像センサーによる画像の捕捉のフレームレート508をカメラ500でのフレームレート閾値に少なくとも等しい修正フレームレートに増大させるように構成される。また、自動露出制御デバイス504はカメラ500での露出時間を低減露出時間に低減し、画像輝度レベルを調整するためにカメラ500での画像信号利得512を増大画像信号利得に増大させるように構成される。オートフォーカス・デバイス506はこれら修正フレームレート、低減露出時間、および増大画像信号利得レベルでこの画像に対するオートフォーカス動作を行うように構成される。その結果は、図示されるように、低減された待ち時間518および改善された精度520である。特定の例示的な実施形態において、自動露出制御デバイス504およびオートフォーカス・デバイス506はカメラ500を含む携帯用電子デバイス内にある単一のアプリケーション・チップセット502内に配置される。
図6を参照すると、カメラ600を含む携帯用デバイスの特定の実施形態が例示される。このカメラ600を含む携帯用デバイスは画像センサー602を含む。特定の例示的な実施形態において、画像センサー602は図1の画像捕捉デバイス102におけるものと同様なコンポーネント110として実施され得る。このカメラ600を含む携帯用デバイス内の画像センサー602は、自動露出制御デバイス604、並びにオートフォーカス・デバイス606のようなオートフォーカス動作を行う手段をさらに含む。従って、これらカメラ600および画像センサー602を含む携帯用デバイスは、自動露出制御デバイス604とオートフォーカス・デバイス606との両方を画像センサー602内に埋め込んでいる。従って、自動露出制御デバイス604およびオートフォーカス・デバイス606は、より厳格な制御のために画像センサー602内に埋め込こまれる形式で実施され、回路集積によるコストを低下できる。
自動露出制御デバイス604は、例示されるように、画像センサーによる画像の捕捉のフレームレート608をカメラ600でのフレームレート閾値に少なくとも等しい修正フレームレートに増大させるように構成される。また、自動露出制御デバイス604はカメラ600での露出時間610を低減露出時間に低減し、画像輝度レベルを調整するためにカメラ600での画像信号利得612を増大画像信号利得に増大させるように構成される。オートフォーカス・デバイス606はこれら修正フレームレート、低減露出時間、および増大画像信号利得レベルでこの画像に対するオートフォーカス動作を行うように構成される。その結果は、図示されるように、減少された待ち時間618および改善された精度620である。
図7を参照すると、画像データを処理し捕捉する方法の特定の実施形態が700で示される。方法700は画像センサーによる画像捕捉のフレームレートを画像捕捉デバイスでのフレームレート閾値と702で比較することを含む。フレームレートがこのフレームレート閾値未満であるときに、方法700はフレームレートを、フレームレート閾値より大きいあるいは等しい修正フレームレートに704で増大させることを含む。方法700は修正フレームレートで捕捉される画像に対するオートフォーカス動作を706で行うことをさらに含む。特定の実施形態において、フレームレート閾値は画像捕捉デバイスにとって最大のフレームレートであり、修正フレームレートはこの最大のフレームレートにほぼ等しい。特定の実施形態において、画像捕捉デバイスに関する最大のフレームレートは約20フレーム/秒(FPS)から約30フレーム/秒(FPS)の範囲内にあることができる。代わりに、修正フレームレートは当該フレームレートの約1.5倍から当該フレームレートの約3倍の範囲内にある。具体的には、修正フレームレートはフレームレートのほぼ2倍であることができる。
特定の実施形態において、方法700は、オートフォーカス動作を行う前に、画像捕捉デバイスでの露出指数を低減することをさらに含む。特定の実施形態において、画像捕捉デバイスはデジタルカメラ、デジタルビデオカメラ、およびカメラ付き携帯電話(camera telephone)のうちの1つを含むことができる。さらに、方法700は、修正フレームレートで捕捉される画像に対するオートフォーカス動作を行う前に、画像輝度レベルを調整するために画像捕捉デバイスでの画像信号利得を増大させることを含むことができる。例示される方法700を行った結果は、手揺らぎの低減された影響および増大輝度レベルなどの恩恵を含むことができる。
別の特定の実施形態において、方法700は、修正フレームレートで捕捉される画像に対するオートフォーカス動作を行う前に、画像輝度レベルを調整するために画像捕捉デバイスでの画像信号利得を増大させることと、画像捕捉デバイスでの統合時間を減少させることとを含む。加えて、方法700は、フレームレートがフレームレート閾値未満でないときに、画像捕捉デバイスでの統合時間を低減することをさらに含むことができる。
図8を参照すると、画像データを処理および捕捉する方法の特定の実施形態が800で示される。画像捕捉方法800は画像捕捉デバイスの画像センサーに結合されるレンズ・システムを使用して画像を捕捉する準備を802ですることを含む。例えば、図1に示されるように、画像104は画像捕捉デバイス102の画像センサー110に結合されるレンズ・システム108を使用して捕捉され得る。また、方法800は画像センサーから出力された画像信号の画像信号利得を804で調整することを含む。例えば、図1に示されるように、画像センサー110から出力された画像信号は画像信号利得エレメント112を使用して調整され得る。方法800は画像捕捉デバイスにおけるデジタル信号プロセッサを使用してこの調整された画像信号を806で処理することをさらに含むもので、このデジタル信号プロセッサは画像捕捉デバイスに配置された自動露出制御装置およびオートフォーカス・デバイスに結合される。例えば、図1に示されるように、画像捕捉デバイス102に配置される自動露出制御装置120およびオートフォーカス・デバイス118に結合されるデジタル信号プロセッサ114は、調整された画像信号を処理できる。
また、方法800は、フレームレートが所定フレームレートを下回るときに自動露出制御装置を使用して画像捕捉デバイスの画像センサーによる画像捕捉のフレームレートを808で選択的に増大させることを含む。例えば、図1に示されるように、画像捕捉デバイス102の画像センサー110による画像捕捉のフレームレートは、122で指示される(indicated)ように、フレームレートが所定フレームレートを下回るときに自動露出制御装置120によって選択的に増大され得る。方法800は、フレームレートを増大させた後に、自動露出制御装置を使用して画像捕捉デバイスの画像センサーの露出時間を810で低減することをさらに含む。例えば、図1に示されるように、画像捕捉デバイス102の画像センサー110の露出時間は、124で指示されるように、フレームレートを増大させた後に、自動露出制御装置120によって低減され得る。
また、方法800は画像の輝度レベルを調整するために画像信号利得を812で増大させることを含む。例えば、図1に示されるように、画像信号利得エレメント112は画像の輝度レベルを調整するために画像センサー110から出力される画像信号の利得を増大するために使用され得る。方法800は画像をフォーカスするようにレンズ・システムのレンズ位置を調整する、オートフォーカス・デバイスを使用したオートフォーカス動作を814で行うことをさらに含む。例えば、図1に示されるように、オートフォーカス・デバイス118は、画像104をフォーカスするようにレンズ・システム108のレンズ位置を調整するオートフォーカス動作を行うために使用され得る。方法800は捕捉される画像の最高の画像コントラストに対応するレンズ位置を決定することをさらに含むことができる。方法800は、レンズ位置が決定された後に、フレームレート、露出時間、および画像信号利得を当初の値に戻すことをさらに含むことができる。
方法800は、自動露出制御装置を使用して露出指数を低減することと、画像の輝度レベルを調整するために自動露出制御装置を使用して画像信号利得を増大させることとをさらに含むことができる。例えば、図2に示されるように、画像捕捉デバイス202での露出指数216は自動露出制御デバイス204によって低減されることができ、画像信号の利得212は自動露出制御デバイス204によって増大されることができる。方法800は、画像捕捉デバイスの画像センサーで画像を統合する統合時間を減少させることをさらに含むことができる。例えば、図2に示されるように、画像捕捉デバイス202での統合時間214は自動露出制御デバイス204によって低減されることができる。
方法800は、フレームレートが所定フレームレート未満でないときに、画像捕捉デバイスの画像センサーで画像を統合する統合時間を低減することをさらに含むことができる。方法800は、フレームレートを増大させることによって画像捕捉デバイスでのオートフォーカスの待ち時間を減少させることと、この露出時間を減少させることおよび画像信号利得を増大させることによって画像捕捉デバイスでのオートフォーカスの精度を増大させることとをさらに含むことができる。例えば、図3に示されるように、オートフォーカスの待ち時間318は、自動露出制御デバイス304を使用してフレームレート308を増大させることによってオートフォーカス・デバイス306で減少され得る。また、図4に示されるように、例えば、オートフォーカス・デバイス406の精度420は自動露出制御デバイス404を使用して露出時間410を低減し画像信号の利得412を増大させることによって増大され得る。
図9を参照すると、自動露出制御によって支援されるオートフォーカス動作を行うための方法の特定の例示的な実施形態のフロー図が900で示される。図1に示されたメモリ116のようなコンピュータ可読媒体が提供され得る。コンピュータ可読媒体は、画像センサーによる画像捕捉のフレームレートを画像捕捉デバイスでのフレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させることを902でコンピュータに行わせるように働く複数のコンピュータ実行可能命令を含む。コンピュータ可読媒体は画像捕捉デバイスで画像センサーの露出時間を低減することを904でコンピュータに行わせるように働く複数のコンピュータ実行可能命令を含む。コンピュータ可読媒体は画像捕捉デバイスで画像センサーから出力される画像信号の画像信号利得を増大させることを906でコンピュータに行わせるように働く複数のコンピュータ実行可能命令をさらに含む。特定の実施形態において、フレームレート閾値は画像捕捉デバイスにとって最大のフレームレートであることができる。別の特定の実施形態において、コンピュータ可読媒体は、フレームレートがフレームレート閾値未満でないときに画像捕捉デバイスの画像センサーで画像を統合する統合時間を低減することをコンピュータに行わせるように働く複数のコンピュータ実行可能命令を含む。
図10は、自動露出制御によって支援されるオートフォーカス・モジュールを含むシステムの特定の実施形態のブロック図である。システム1000は、レンズ1068に結合され、携帯用マルチメディア・デバイスのアプリケーション・プロセッサ・チップセット1070にも結合される画像センサー・デバイス1022を含む。画像センサー・デバイス1022は、図1−6のシステムのうちの1つまたは複数を実施したり、図7−9の方法のいずれか、あるいはこれらのいずれかの組み合わせに従って動作させたりすることによる自動露出制御デバイスを使用してオートフォーカス動作を支援する自動露出制御モジュール1064によって支援されるオートフォーカスを含む。
自動露出制御モジュール1064によって支援されるオートフォーカスは、画像アレイ1066から画像データを受けてこの画像データを自動露出制御モジュール1064によって支援されるオートフォーカスに提供するように結合されるアナログ・デジタル変換器1026などを介して画像アレイ(image array)1066の出力を受けるように結合される。
また、画像センサー・デバイス1022はプロセッサ1010を含むことができる。特定の実施形態において、プロセッサ1010は自動露出制御モジュール1064によって支援されるオートフォーカスを実施するように構成される。別の実施形態において、自動露出制御モジュール1064によって支援されるオートフォーカスは画像処理回路として実施される。
また、プロセッサ1010は図1のデジタル信号プロセッサ114によって行われる1つまたは複数の動作のような複数の付加的画像処理動作を実行するように構成され得る。プロセッサ1010は処理された画像データを更なる処理、送信、記憶、表示、あるいはそれらの任意の組み合わせのために携帯用マルチメディア・デバイスのアプリケーション・プロセッサ・チップセット1070に提供することができる。
図11は、自動露出制御モジュールによって支援されるオートフォーカスを含むシステムの特定の実施形態のブロック図である。システム1100は携帯用電子デバイスにおいて実施されることができ、メモリ1132に結合される、デジタル信号プロセッサ(DPS)のような信号プロセサ1110を含む。システム1100は自動露出制御モジュール1164によって支援されるオートフォーカスを含む。例示的な例において、この自動露出制御モジュール1164によって支援されるオートフォーカスは、図1-6のシステムのいずれか含み、図7-9の方法のいずれか、あるいはそれらの任意の組み合わせに従って動作する。自動露出制御モジュール1164によって支援されるオートフォーカスは、信号プロセッサ1110内に存在したり、個別のデバイスであったりできる。自動露出制御モジュール1164によって支援されるオートフォーカスは、自動露出を制御する手段1198、およびオートフォーカス動作を行う手段1199を含む。これら自動露出を制御する手段1198およびオートフォーカス動作を行う手段1199は、ハードウェア回路、ファームウェア、プロセッサまたは制御装置の実行コード、フィールド・プログラマブル・アレー(field programmable array)、あるいはそれらの任意の組み合わせを含むことができる。
カメラ・インタフェース1168が信号プロセッサ1110に結合され、ビデオカメラ1170のようなカメラにも結合される。表示制御装置1126がこれら信号プロセッサ1110および表示装置1128に結合される。また、符号器/復号器(CODEC)1134がこの信号プロセッサ1110に結合され得る。スピーカー1136およびマイクロホン1138がCODEC 1134に結合され得る。無線インタフェース1140が信号プロセッサ1110および無線アンテナ1142に結合され得る。
また、信号プロセッサ1110は処理された画像データを生成するようにも適応できる。表示制御装置1126はこの処理画像データを受けてこの処理画像データを表示装置1128に提供するように構成される。加えて、メモリ1132はこの処理画像データを受けて記憶するように構成されることができ、無線インタフェース1140はアンテナ1142を介する送信のためにこの処理画像データを受けるように構成され得る。
特定の実施形態において、信号プロセッサ1110、表示制御装置1126、メモリ1132、CODEC 1134、無線インタフェース1140、およびカメラ・インタフェース1168はシステム-イン-パッケージ(system-in-package)またはシステム-オン-チップ(system-on-chip)デバイス1122に含まれる。特定の実施形態において、入力デバイス1130および電源1144はシステム-オン-チップ・デバイス1122に結合される。さらに、特定の実施形態において、図11に例示されるように、表示装置1128、入力デバイス1130、スピーカー1136、マイクロホン1138、無線アンテナ1142、ビデオカメラ1170、および電源1144はシステム-オン-チップ・デバイス1122の外部にある。しかしながら、表示装置1128、入力デバイス1130、スピーカー1136、マイクロホン1138、無線アンテナ1142、ビデオカメラ1170、および電源1144の各々は、インタフェースまたは制御装置などの、システム-オン-チップ・デバイス1122のコンポーネントに結合され得る。
当業者は、ここに開示された実施形態に関連して述べた様々な例示的な論理ブロック(logical blocks)、構成、モジュール、回路、およびアルゴリズムステップが電子ハードウェア、コンピュータ・ソフトウェア、あるいは両方の組み合わせとして実施され得ることがさらにわかるはずである。ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップがそれらの機能性の観点から一般的に上述された。そのような機能が、ハードウェアあるいはソフトウェアとして実施されるかどうかは、全システムに課された特定のアプリケーションおよび設計の制約に依存する。当業者は、各特定アプリケーション毎に様式を変えてこの記述された機能を実施できるが、そのような実施の決定は、本開示の範囲から逸脱すると解釈されるべきではない。
ここに開示された実施形態に関連して述べられたアルゴリズムや方法のステップは、ハードウェア、プロセッサによって実行されるソフトウェア・モジュール、あるいは2つの組み合わせにおいて直接具体化(embodied)され得る。ソフトウェア・モジュールは、ランダム・アクセス・メモリ(RAM)、フラッシュメモリ、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、レジスタ、ハードディスク、リムーバブル・ディスク、コンパクト・ディスク読み出し専用メモリ(CD−ROM)、あるいは当該技術において知られる他の任意形状の記憶媒体に常駐する(reside)ことができる。典型的な記憶媒体は、プロセッサが記憶媒体から情報を読み、またそれに情報を書くことができるように、プロセッサに結合され得る。代わりに、この記憶媒体はプロセッサと一体化され得る。プロセッサおよび記憶媒体は、特定用途向け集積回路(ASIC)に常駐できる。ASICは、計算デバイスまたはユーザ端末に常駐できる。代わりに、プロセッサおよび記憶媒体はユーザ端末や計算デバイスに個別のコンポーネントとして常駐できる。
開示された実施形態についての先の記述は、何れの当業者が開示された実施形態を製造したり使用したりできるようにするために提供される。これらの実施形態に対する様々な変形は当業者にとってすぐに思いつくはずであり、ここに定義された包括的原理(generic principles)は、本開示の精神または範囲から逸脱することなく、他の実施形態に応用され得る。従って、本開示は、ここに示される実施形態に限定されることを意図するものではなく、後続の特許請求の範囲によって定義されるような、原理および新規な特徴に合致する最も広い範囲を与えられることとなる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] 画像センサーによる画像捕捉のフレームレートを画像捕捉デバイスでのフレームレート閾値と比較することと、
前記フレームレートが前記フレームレート閾値未満であるときに、前記フレームレートを前記フレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させることと、
前記修正フレームレートで捕捉される画像に対するオートフォーカス動作を行うことと、
を備える方法。
[2] 前記フレームレート閾値は前記画像捕捉デバイスにとって最大のフレームレートであり、前記修正フレームレートは前記最大のフレームレートにほぼ等しいものである、[1]に記載の方法。
[3] 前記修正フレームレートは前記フレームレートの約1.5倍から前記フレームレートの約3倍の範囲内にある、[1]に記載の方法。
[4] 前記修正フレームレートは前記フレームレートのほぼ2倍である、[1]に記載の方法。
[5] 前記オートフォーカス動作を行う前に、前記画像捕捉デバイスでの露出指数を低減することをさらに備える、[1]に記載の方法。
[6] 前記画像捕捉デバイスはデジタルカメラ、デジタルビデオカメラ、およびカメラ付き携帯電話のうちの1つを備える、[1]に記載の方法。
[7] 前記修正フレームレートで捕捉される前記画像に対する前記オートフォーカス動作を行う前に、画像輝度レベルを調整するために前記画像捕捉デバイスでの画像信号利得を増大させることをさらに備える、[1]に記載の方法。
[8] 前記修正フレームレートで捕捉される前記画像に対する前記オートフォーカス動作を行う前に、前記画像輝度レベルを調整するために前記画像捕捉デバイスでの前記画像信号利得を増大させること、および前記画像捕捉デバイスにおいて統合時間を減少させることをさらに備える、[1]に記載の方法。
[9] 前記フレームレートが前記フレームレート閾値未満でないときに、前記画像捕捉デバイスでの統合時間を低減することをさらに備える、[1]に記載の方法。
[10] 画像捕捉デバイスの画像センサーに結合されるレンズ・システムを使用して画像を捕捉する準備をすることと、
前記画像センサーから出力される画像信号の画像信号利得を調整することと、
前記画像捕捉デバイスにおけるデジタル信号プロセッサ使用して前記調整された画像信号を処理することと、前記デジタル信号プロセッサは前記画像捕捉デバイスにおける自動露出制御装置およびオートフォーカス・デバイスに結合される、
前記フレームレートが所定フレームレートを下回るときに、前記自動露出制御装置を使用して前記画像捕捉デバイスの前記画像センサーによる画像捕捉の前記フレームレートを選択的に増大させることと、
前記フレームレートを増大させた後に、前記自動露出制御装置を使用して前記画像捕捉デバイスの前記画像センサーの露出時間を低減することと、
前記画像の輝度レベルを調整するために前記画像信号利得を増大させることと、
前記画像をフォーカスするように前記レンズ・システムのレンズ位置を調整する、前記オートフォーカス・デバイスを使用したオートフォーカス動作を行うことと、
を備える画像捕捉方法。
[11] 捕捉すべき前記画像の最高の画像コントラストに対応する前記レンズ位置を決定することをさらに備える、[10]に記載の画像捕捉方法。
[12] 前記レンズ位置が決定された後に、前記フレームレート、前記露出時間、および前記画像信号利得を当初の値に戻すことをさらに備える、[11]に記載の画像捕捉方法。
[13] 前記自動露出制御装置を使用して前記画像捕捉デバイスでの露出指数を低減すること、および前記画像の前記輝度レベルを調整するために前記自動露出制御装置を使用して前記画像信号利得を増大させることをさらに備える、[10]に記載の画像捕捉方法。
[14] 前記画像捕捉デバイスの前記画像センサーで前記画像を統合する統合時間を減少させることをさらに備える、[10]に記載の画像捕捉方法。
[15] 前記フレームレートが前記所定フレームレート未満でないときに、前記画像捕捉デバイスの前記画像センサーで前記画像を統合する前記統合時間を低減することをさらに備える、[10]に記載の画像捕捉方法。
[16] 前記フレームレートを増大させることによってオートフォーカスの待ち時間を減少させること、並びに前記露出時間を低減することおよび前記画像信号利得を増大させることによってオートフォーカスの精度を増大させることをさらに備える、[10]に記載の画像捕捉方法。
[17] 画像センサーによる画像捕捉のフレームレートを増大フレームレートに選択的に増大させ、前記画像センサーの露出時間を低減露出時間に低減し、画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大画像信号利得に増大させるように構成される自動露出デバイスと、
前記増大フレームレート、前記低減露出時間、および前記増大画像信号利得のうちの少なくとも1つを使用して画像に対するオートフォーカス動作を行うように構成されるオートフォーカス・デバイスと、
を備える画像捕捉デバイス。
[18] 前記自動露出制御デバイスは、前記フレームレートが所定フレームレート未満でないときに、前記画像センサーで前記画像を統合する統合時間を低減するようにさらに構成される、[17]に記載の画像捕捉デバイス。
[19] 前記自動露出制御デバイスは前記画像センサーの露出指数を低減するようにさらに構成される、[17]に記載の画像捕捉デバイス。
[20] 前記画像を捕捉するように構成される前記画像センサーをさらに備える、[17]に記載の画像捕捉デバイス。
[21] 画像センサーによる画像捕捉のフレームレートを増大フレームレートに選択的に増大させ、前記画像センサーの露出時間を低減露出時間に低減し、画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大画像信号利得に増大させるように自動露出を制御する手段と、
前記増大フレームレート、前記低減露出時間、および前記増大画像信号利得のうちの少なくとも1つを使用して画像に対するオートフォーカス動作を行う手段と、
を備える画像捕捉デバイス。
[22] カメラを含む携帯用デバイスであって、
画像センサーによる画像の捕捉のフレームレートを前記カメラでのフレームレート閾値に少なくとも等しい修正フレームレートに増大させ、前記カメラでの露出時間を低減露出時間に低減し、画像輝度レベルを調整するために前記カメラでの画像信号利得を増大画像信号利得に増大させるように構成される自動露出制御デバイスと、
前記修正フレームレート、前記低減露出時間、および前記増大画像信号利得で前記画像に対するオートフォーカス動作を行う手段と、
を備える携帯用デバイス。
[23] 前記自動露出制御デバイスおよび前記オートフォーカス動作を行う前記手段は前記携帯用デバイス内のアプリケーション・チップセットに配置される、[22]に記載の携帯用デバイス。
[24] 前記自動露出制御デバイスおよび前記オートフォーカス動作を行う前記手段は前記携帯用デバイスの画像センサーに配置される、[22]に記載の携帯用デバイス。
[25] コンピュータ可読媒体であって、
画像センサーによる画像の捕捉のフレームレートを画像捕捉デバイスでのフレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させること、
前記画像捕捉デバイスで前記画像センサーの露出時間を低減すること、並びに
前記画像捕捉デバイスで前記画像センサーから出力される画像信号の画像信号利得を増大させること、
をコンピュータに行わせるように働く複数のコンピュータ実行可能命令を備えるコンピュータ可読媒体。
[26] 前記フレームレート閾値は前記画像捕捉デバイスにとって最大のフレームレートである、[25]に記載のコンピュータ可読媒体。
[27] 前記複数のコンピュータ実行可能命令は、前記フレームレートが前記フレームレート閾値未満でないときに、前記画像捕捉デバイスの前記画像センサーで前記画像を統合する統合時間を低減することを前記コンピュータに行わせるようにさらに働く、[25]に記載のコンピュータ可読媒体。

Claims (21)

  1. 画像捕捉デバイスの画像センサーによる画像捕捉のフレームレートを前記画像捕捉デバイスでのフレームレート閾値と比較することと、
    前記フレームレートが前記フレームレート閾値未満であるときに、前記フレームレートを前記フレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させることと、
    前記修正フレームレートで捕捉される画像に対するオートフォーカス動作を行う前に、画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大させると共に前記画像センサーで前記画像を統合する統合時間を減少させることと、
    前記修正フレームレートで捕捉される画像に対するオートフォーカス動作を行うことと、
    前記フレームレートが前記フレームレート閾値未満でないときに、前記画像センサーで前記画像を統合する統合時間を低減することと
    を備え、前記画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減される方法。
  2. 前記フレームレート閾値は前記画像捕捉デバイスにとって最大のフレームレートであり、前記修正フレームレートは前記最大のフレームレートにほぼ等しいものである、請求項1に記載の方法。
  3. 前記修正フレームレートは前記フレームレートの約1.5倍から前記フレームレートの約3倍の範囲内にある、請求項1に記載の方法。
  4. 前記修正フレームレートは前記フレームレートのほぼ2倍である、請求項1に記載の方法。
  5. 前記画像捕捉デバイスはデジタルカメラ、デジタルビデオカメラ、およびカメラ付き携帯電話のうちの1つを備える、請求項1に記載の方法。
  6. 画像捕捉デバイスの画像センサーに結合されるレンズ・システムを使用して第1の画像を画像捕捉のフレームレートで捕捉することと、
    前記画像センサーから出力される画像信号の画像信号利得を調整することと、
    前記画像捕捉デバイスにおけるデジタル信号プロセッサ使用して前記調整された画像信号を処理することと、前記デジタル信号プロセッサは前記画像捕捉デバイスにおける自動露出制御装置およびオートフォーカス・デバイスに結合される、
    前記フレームレートが所定フレームレートを下回るときに、前記自動露出制御装置を使用して前記画像捕捉デバイスの前記画像センサーによる画像捕捉の前記フレームレートを増大させることと、
    前記フレームレートを増大させた後に、前記自動露出制御装置を使用して前記画像捕捉デバイスの前記画像センサーの露出時間を低減することと、
    前記画像捕捉デバイスの前記画像センサーに結合されるレンズ・システムを使用して第2の画像を画像補足の前記増大されたフレームレートで捕捉することと、
    前記第2の画像の輝度レベルを調整するために前記画像信号利得を増大させることと、
    前記第2の画像をフォーカスするように前記レンズ・システムのレンズ位置を調整する、前記オートフォーカス・デバイスを使用したオートフォーカス動作を行うことと、
    前記フレームレートを増大させることによってオートフォーカスの待ち時間を減少させること、並びに前記露出時間を低減することおよび前記画像信号利得を増大させることによってオートフォーカスの精度を増大させることと、
    前記フレームレートが前記所定フレームレート未満でないときに、前記画像捕捉デバイスの前記画像センサーで前記画像を統合する統合時間を低減すること、
    を備え、前記画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減される画像捕捉方法。
  7. 前記第2の画像の最高の画像コントラストに対応する前記レンズ位置を決定することをさらに備える、請求項に記載の画像捕捉方法。
  8. 前記レンズ位置が決定された後に、前記フレームレート、前記露出時間、および前記画像信号利得を当初の値に戻すことをさらに備える、請求項に記載の画像捕捉方法。
  9. 前記自動露出制御装置を使用して前記画像捕捉デバイスでの露出指数を低減すること、および前記画像の前記輝度レベルを調整するために前記自動露出制御装置を使用して前記画像信号利得を増大させることをさらに備える、請求項6に記載の画像捕捉方法。
  10. 1または複数の画素の画像データを含む画像を捕捉するように構成される画像センサと、
    前記画像センサーによる画像捕捉のフレームレートを、前記フレームレートがフレームレート閾値未満であるときに、増大フレームレートに増大させ、前記フレームレートがフレームレート閾値未満であるときに前記画像センサーで前記画像を統合する統合時間を低減統合時間に低減し、前記フレームレートがフレームレート閾値未満であるときに画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大画像信号利得に増大させるように構成される自動露出制御デバイスと、
    前記増大フレームレート、前記低減統合時間、および前記増大画像信号利得を使用して前記画像に対するオートフォーカス動作を行うように構成されるオートフォーカス・デバイスと、を備え、前記自動露出制御デバイスは、前記フレームレートが所定フレームレート未満でないときに、前記画像センサーで前記画像を統合する統合時間を低減するようにさらに構成され、画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減される画像捕捉デバイス。
  11. 前記自動露出制御デバイスは前記画像センサーの露出指数を低減するようにさらに構成される、請求項10に記載の画像捕捉デバイス。
  12. 1または複数の画素の画像データを含む画像を捕捉するように構成される画像センサと、
    前記画像センサーによる画像捕捉のフレームレートを、前記フレームレートがフレームレート閾値未満であるときに、増大フレームレートに増大させ、前記フレームレートがフレームレート閾値未満であるときに前記画像センサーで前記画像を統合する統合時間を低減統合時間に低減し、前記フレームレートがフレームレート閾値未満であるときに画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大画像信号利得に増大させるように構成される露出を制御する手段と、
    前記増大フレームレート、前記低減統合時間、および前記増大画像信号利得を使用して画像に対するオートフォーカス動作を行う手段と、を備え、
    前記露出を制御する手段は、前記フレームレートが所定フレームレート未満でないときに、前記画像センサーで前記画像を統合する統合時間を低減するようにさらに構成され、画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減される画像捕捉デバイス。
  13. カメラを含む携帯用デバイスであって、
    1または複数の画素の画像データを含む画像を捕捉するように構成される画像センサと、
    前記画像センサーによる画像捕捉のフレームレートを、前記フレームレートがフレームレート閾値未満であるときに修正フレームレートに増大させ、前記フレームレートがフレームレート閾値未満であるときに前記画像センサーで前記画像を統合する統合時間を低減統合時間に低減し、前記フレームレートがフレームレート閾値未満であるときに画像輝度レベルを調整するために前記画像センサーから出力される画像信号の画像信号利得を増大画像信号利得に増大させるように構成される自動露出制御デバイスと、
    前記修正フレームレート、前記低減統合時間、および前記増大画像信号利得で捕捉される画像に対するオートフォーカス動作を行う手段と、
    を備え、
    前記自動露出制御デバイスは、前記フレームレートが所定フレームレート未満でないときに、前記画像センサーで前記画像を統合する統合時間を低減するようにさらに構成され、画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減される携帯用デバイス。
  14. 前記自動露出制御デバイスおよび前記オートフォーカス動作を行う前記手段は前記携帯用デバイス内のアプリケーション・チップセットに配置される、請求項13に記載の携帯用デバイス。
  15. 前記自動露出制御デバイスおよび前記オートフォーカス動作を行う前記手段は前記携帯用デバイスの画像センサーに配置される、請求項13に記載の携帯用デバイス。
  16. コンピュータ可読記憶媒体であって、
    画像捕捉デバイスの画像センサーによる画像の捕捉のフレームレートを前記画像捕捉デバイスでのフレームレート閾値より大きいあるいは少なくとも等しい修正フレームレートに増大させること、
    前記画像捕捉デバイスで前記画像センサーの露出時間を低減すること
    前記画像捕捉デバイスで前記画像センサーから出力される画像信号の画像信号利得を増大させること、および
    前記フレームレートが前記フレームレート閾値未満でないときに、前記画像捕捉デバイスの前記画像センサーで前記画像を統合する統合時間を低減すること、
    をコンピュータに行わせるように働く複数のコンピュータ実行可能命令を備え、前記画像捕捉デバイスでの露出指数が前記統合時間を低減するために付加的に低減されるコンピュータ可読記憶媒体。
  17. 前記フレームレート閾値は前記画像捕捉デバイスにとって最大のフレームレートである、請求項16に記載のコンピュータ可読記憶媒体。
  18. 前記画像は1つまたは複数の画素の画像データを含み、前記画像に対する前記オートフォーカス動作は前記1つまたは複数の画素の画像データの全てを考慮すること含む請求項1に記載の捕捉方法。
  19. 前記第2の画像は1つまたは複数の画素の画像データを含み、前記第2の画像に対する前記オートフォーカス動作は1つまたは複数の画素の画像データの全てを考慮すること含む請求項に記載の方法。
  20. 前記オートフォーカス・デバイスは前記画像を表す前記1つまたは複数の画素の画像データの全てを考慮することにより前記画像に対する前記オートフォーカス動作を行うようにさらに構成される、請求項10に記載の方法。
  21. 前記オートフォーカス動作を行う手段は前記画像を表す前記1つまたは複数の画素の画像データの全てを考慮することにより前記画像に対する前記オートフォーカス動作を行うようにさらに構成される、請求項13に記載の携帯用デバイス。
JP2011542200A 2008-12-18 2009-11-24 自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法 Active JP5718248B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/338,147 US8149323B2 (en) 2008-12-18 2008-12-18 System and method to autofocus assisted by autoexposure control
US12/338,147 2008-12-18
PCT/US2009/065687 WO2010071731A1 (en) 2008-12-18 2009-11-24 System and method to autofocus assisted by autoexposure control

Publications (2)

Publication Number Publication Date
JP2012513043A JP2012513043A (ja) 2012-06-07
JP5718248B2 true JP5718248B2 (ja) 2015-05-13

Family

ID=41599362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011542200A Active JP5718248B2 (ja) 2008-12-18 2009-11-24 自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法

Country Status (7)

Country Link
US (1) US8149323B2 (ja)
EP (1) EP2371123B1 (ja)
JP (1) JP5718248B2 (ja)
KR (1) KR101275899B1 (ja)
CN (1) CN102246504B (ja)
TW (1) TW201037450A (ja)
WO (1) WO2010071731A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
KR101642964B1 (ko) * 2010-11-03 2016-07-27 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8866114B2 (en) * 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的***及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN103945119B (zh) * 2014-03-17 2018-01-23 广东明创软件科技有限公司 基于移动终端的提高摄像头对焦速度的方法及其移动终端
US9438812B2 (en) * 2014-07-15 2016-09-06 Himax Imaging Limited Method for controlling exposure level of frame in image sensor, computer readable recording media for performing the method, and image processing system
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
CN104394392B (zh) * 2014-11-14 2016-09-28 广东欧珀移动通信有限公司 一种白平衡调节方法、装置以及终端
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102477522B1 (ko) * 2015-09-09 2022-12-15 삼성전자 주식회사 전자 장치 및 그의 카메라 노출 조정 방법
CN105681665B (zh) * 2016-02-29 2018-12-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN111885294B (zh) * 2018-03-26 2022-04-22 华为技术有限公司 一种拍摄方法、装置与设备
JP2020136900A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像記録装置、および撮像方法
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN115336251B (zh) * 2020-03-25 2024-05-03 富士胶片株式会社 摄像装置、摄像方法及记录介质
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985723A (en) * 1988-05-16 1991-01-15 Minolta Camera Kabushiki Kaisha Photographic camera
US6452634B1 (en) * 1996-12-26 2002-09-17 Sony Corporation Charge transfer device and method of driving the same, and solid state imaging device and method of driving the same
JP3977906B2 (ja) * 1997-09-26 2007-09-19 オリンパス株式会社 自動焦点調節装置
JPH11113008A (ja) * 1997-10-08 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
US6970198B1 (en) * 2000-09-14 2005-11-29 Hewlett-Packard Development Company, L.P. Digital camera and method of improving image quality in live view mode
US20030193600A1 (en) * 2002-03-28 2003-10-16 Minolta Co., Ltd Image capturing apparatus
JP2004064279A (ja) 2002-07-26 2004-02-26 Kyocera Corp ディジタルカメラ
JP2005086499A (ja) 2003-09-09 2005-03-31 Minolta Co Ltd 撮像装置
EP1601189A2 (en) * 2004-05-26 2005-11-30 Fujinon Corporation Autofocus system
JP4591325B2 (ja) 2005-01-28 2010-12-01 カシオ計算機株式会社 撮像装置及びプログラム
JP4687322B2 (ja) 2005-08-12 2011-05-25 カシオ計算機株式会社 撮像装置
JP2007310143A (ja) * 2006-05-18 2007-11-29 Mitsubishi Electric Corp デジタルカメラ
CN100533245C (zh) 2006-05-23 2009-08-26 鸿富锦精密工业(深圳)有限公司 实时自动对焦的方法
US20070288973A1 (en) * 2006-06-02 2007-12-13 Logitech Europe S.A. Intelligent image quality engine
JP5089154B2 (ja) * 2006-12-11 2012-12-05 富士フイルム株式会社 オートフォーカスシステム
JP2008164731A (ja) * 2006-12-27 2008-07-17 Fujifilm Corp 撮影装置及びその制御方法
JP5036410B2 (ja) * 2007-05-31 2012-09-26 キヤノン株式会社 撮像装置及びその制御方法
JP2009065478A (ja) * 2007-09-06 2009-03-26 Fujifilm Corp 固体撮像素子の駆動方法及び撮像装置
US7876371B2 (en) * 2008-03-31 2011-01-25 Aptina Imaging Corporation Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques

Also Published As

Publication number Publication date
US20100157136A1 (en) 2010-06-24
WO2010071731A1 (en) 2010-06-24
EP2371123A1 (en) 2011-10-05
CN102246504B (zh) 2016-12-07
KR101275899B1 (ko) 2013-06-17
CN102246504A (zh) 2011-11-16
TW201037450A (en) 2010-10-16
EP2371123B1 (en) 2013-10-02
US8149323B2 (en) 2012-04-03
JP2012513043A (ja) 2012-06-07
KR20110095407A (ko) 2011-08-24

Similar Documents

Publication Publication Date Title
JP5718248B2 (ja) 自動露出制御によって支援されるオートフォーカスのためのシステムおよび方法
JP6205065B2 (ja) 撮影方法、撮影装置、プログラム及び記憶媒体
JP5190117B2 (ja) 可変画質を有する写真を生成するシステム及び方法
JP4251650B2 (ja) 画像処理装置及びプログラム
US20120236181A1 (en) Generating a zoomed image
EP2380343A1 (en) System and method to estimate autoexposure control and auto white balance
CN114500821B (zh) 拍照方法及装置、终端及存储介质
US9167150B2 (en) Apparatus and method for processing image in mobile terminal having camera
JP2006174412A (ja) 撮像装置
JP2013153330A (ja) 電子機器及び撮影制御方法
KR20120071967A (ko) 동영상 촬영 방법 및 동영상 촬영 장치
JP2007086221A (ja) 光学装置、撮像装置及び携帯端末装置
JP6534780B2 (ja) 撮像装置、撮像方法、およびプログラム
US9503652B2 (en) Method and apparatus for controlling image generation of image capture device by determining one or more image capture settings used for generating each subgroup of captured images
JP2007189295A (ja) 撮像装置及びそのプログラム
JPWO2021193403A5 (ja) 撮像装置、撮像方法、撮像プログラム、及び記録媒体
US8897462B2 (en) Audio processing apparatus, sound pickup apparatus and imaging apparatus
JP4806957B2 (ja) 撮像装置
JP4507188B2 (ja) 撮像装置、撮像方法および撮像プログラム
US20240080564A1 (en) Methods to achieve smooth zoom for video in cameras
CN116264614A (zh) 画质调试信息的控制方法、装置、终端及存储介质
KR101386145B1 (ko) 카메라의 프레임 수 조절 방법 및 이를 이용하는 단말기
CN117956268A (zh) 预览帧率控制方法及其装置
CN115134511A (zh) 一种高动态范围图像拍照方法、装置及存储介质
KR20070010773A (ko) 디지털 이미지 리사이즈 방법 및 이를 수행하는 디지털이미지 처리장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130807

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140421

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R150 Certificate of patent or registration of utility model

Ref document number: 5718248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250