JP2003534733A - 被写体の動きによって生じるデジタル画像のぶれを防止するカメラおよび方法 - Google Patents

被写体の動きによって生じるデジタル画像のぶれを防止するカメラおよび方法

Info

Publication number
JP2003534733A
JP2003534733A JP2001586910A JP2001586910A JP2003534733A JP 2003534733 A JP2003534733 A JP 2003534733A JP 2001586910 A JP2001586910 A JP 2001586910A JP 2001586910 A JP2001586910 A JP 2001586910A JP 2003534733 A JP2003534733 A JP 2003534733A
Authority
JP
Japan
Prior art keywords
value
sensor
image
pixel
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001586910A
Other languages
English (en)
Inventor
デイモン・エル・タル
Original Assignee
デイモン・エル・タル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デイモン・エル・タル filed Critical デイモン・エル・タル
Publication of JP2003534733A publication Critical patent/JP2003534733A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 被写体の動きによって生じるぶれを除去するデジタルカメラを提供する。 【解決手段】 デジタルカメラは、シーン撮像中に、電荷がアレイ内の個々のセンサによって収集される速度をモニタすることによって被写体の動きのぶれを除去するセンサアレイを有する。もし、フォトン(80)のセンサに衝突する速度が変化するなら、センサが見る画像の輝度は変化せざるを得ない。センサアレイに内蔵された回路(68)が、画像の輝度が変化していると検知する時、収集される電荷量は保存され、輝度変化が検知された時間が記録される。露光が中断した各々のセンサに対応する各々の画素は、そのセンサに対応する画素が、全体画像のダイナミックレンジに対応する強度を有するように、センサが受け取った露光を線形外挿することによって、適切な露光に調整される。その画像検知アレイは、好ましくは、アクティブ画素センサCMOS画像センサとして実行される。

Description

【発明の詳細な説明】
【0001】 (技術分野) 本発明は、一般に、センサアレイによるデジタル画像の撮像に関し、特に、デ
ジタル露光の間の被写体の動きによって生じる撮像画像のぶれを防止する技術に
関する。
【0002】 (背景技術) デジタル写真は、従来の35mm写真から、かなりのシェアを獲得しそうであ
る。これは、特に、家族、友人および休暇のスナップ写真を撮るプロでない撮影
者にあてはまる。デジタルカメラの解像度は、従来の35mmスナップショット
の効果的な解像度に急速に近づいている。デジタル写真は、画像を電子メールで
送ることができる、または、ウェブページ上に画像を掲載できるという便宜とと
もに、撮影後すぐに写真をプレビューできるという便宜を提供する。
【0003】 また、デジタル写真は、事業目的および商業目的の使用を増大させている。新
聞および業界紙の製造に使用されるソフトウェアと同様に、デジタル画像が、即
時の転換性をもって、かつ、簡便に電子文書に組み込めることは、多くの週刊新
聞社、不動産代理人、カタログ会社および他の会社が、画像を記録するためにデ
ジタル写真に移行することを意味する。
【0004】 概念上、デジタルカメラは、従来のフィルム写真に使用されるカメラと多くの
類似点を有する。カメラレンズは、従来の感光性写真フィルムに取って代わるセ
ンサアレイに画像を投影する。そのカメラレンズは、従来の合焦技術を用いてよ
い。そのレンズの焦点距離比またはF値を調整するために、開口絞りが使用され
てもよい。露光長を制御するためにシャッターが使用され、周囲光に代わって、
または、周囲光を補うためにフラッシュが使用されてもよい。これら全ての構成
要素は、従来のフィルムベースのカメラにおいて使用される構成要素と類似して
おり、その差異は、画像を記録するデジタルセンサに特有の特別な条件に関連す
る。
【0005】 デジタル写真および従来のフィルムベース写真の両方とも、レンズを用いて撮
像される実際のシーンから画像の各々の部分が受け取るフォトンの相対数につい
ての情報を検知および記録する。従来のフィルムベース写真は、感光性化学物質
を採用する。典型的には、ハロゲン化銀である。その感光性化学物質は、複数の
光のフォトンの吸収によって、化学的に活性化する。反応したハロゲン化銀の結
晶は、その後、化学反応によって現像され、画像を形成する。フィルムの特定部
分に衝突する光が多ければ多いほど、多くのハロゲン化結晶が活性化し、現像の
結果得られる画像が暗くなる。
【0006】 フィルムベース写真の解像度は、個々のハロゲン化銀粒子の大きさによる。そ
のハロゲン化銀粒子は、フィルムの表面に堆積される乳剤を形成する。典型的に
は、フィルム解像度とフィルム感光性との間にトレードオフが存在する。感光性
が大きいことは、画像を形成するのに用いられる露光が短期間で済むため、効果
的である。現在の写真乳剤は、比較的効率が高く、フィルムに衝突するフォトン
のおよそ20%から30%を検知する。
【0007】 従来のフィルムベースのカメラについて、画像品質は、フィルム選択、カメラ
の機械的および光学的品質、および、画像のフィルム平面への適切な合焦、およ
び適切な露光タイミングによる。
【0008】 デジタル写真は、センサアレイに依存する。アレイにおける各々のセンサは、
最終的に得られる画像の最小分解能要素、すなわち、画素に対応する。デジタル
カメラは、典型的に、長方形のアレイに配列された百万から数百万のセンサを有
する。そのセンサアレイは、1個のシリコンベースチップまたは他の半導体基板
上に形成されるマイクロ電子素子である。それらの素子は、例えば、蒸着、イオ
ンプレーティング、フォトレジストの塗布、その後に続くエッチングその他の従
来の半導体素子形成技術を用いて作成される。典型的なセンサは、ポテンシャル
井戸内に電荷を捕らえる半導体素子である。その電荷は、半導体素子によって吸
収されるフォトンの数に比例している。
【0009】 センサアレイが露光された後、アレイ内の各々のセンサのポテンシャル井戸に
おける電荷量が測定され、A/D変換器によってデジタル値に変換される。デジ
タルアレイを構成する半導体素子は、量子効率、すなわち、検知されるフォトン
の割合を有する。それは、約60%であってよい。それぞれ個々のハロゲン化銀
結晶が活性化されたり、活性化されなかったりする感光乳剤と異なり、アレイ内
の各々の半導体センサは、0から数千の電子対を有することが可能である。従っ
て、アレイ内の各々のセンサは、感光乳剤を構成する基本的に両極性の結晶より
も、ずっと大きなダイナミックレンジを有する。
【0010】 任意のセンサアレイ上に1つの画像を形成する理想的な露光に近いものは、そ
の画像の最も明るい部分が、アレイセンサを飽和状態にする露光である。このよ
うにすれば、センサアレイのダイナミックレンジがいっぱいに利用される。しか
し、典型的な半導体センサアレイのダイナミックレンジは、フィルムよりもずっ
と大きいので、センサのダイナミックレンジの一部しか利用しない露光で、条件
を満たす画像が得られる。それにもかかわらず、従来のデジタル写真において、
ダイナミックレンジにおけるその後の調整を可能にし、かつ、ノイズの問題を克
服するために、センサアレイの全ダイナミックレンジを使用することが望ましい
。熱雑音およびマイクロ電子素子内の他の要因によって個々のセンサ内に累積す
る無関係な電荷は、少数のフォトンしか蓄積しないセンサについて、より不具合
がある。
【0011】 デジタル画像を得る以外に、デジタルカメラは、画像を撮像する場合に従来の
フィルムベースのカメラとほとんど同じように機能する。必要なものは、固有の
特性に基づいた新しい機能を提供し、画像の撮像に新しい技術を導入するデジタ
ルカメラである。
【0012】 (発明の開示) (発明の概要) 本発明のデジタルカメラは、撮像される被写体の動きによって生ずるぶれを画
像から除去することができるセンサアレイを用いる。これは、シーンが撮像され
ている間、電荷がアレイ内の個々のセンサによって収集される速度をモニタする
ことによって達成される。もし、フォトンがそのセンサに衝突する速度が変化す
るなら、センサが受け取る画像の輝度は、変化せざるを得ない。画像の輝度を変
化させることは、撮像されている被写体が動いていることを意味する。センサア
レイに内蔵された回路が、画像輝度が変化していることを検知するとき、収集さ
れる電荷量が保護され、動きが検知された時間が記録される。収集される電荷量
は、1つの特定センサの正面にある液晶シャッター等の光学シャッターを閉じる
ことによって、または、電荷を記憶領域に移動させることによって保護されても
よい。露光が完了するとき、動きが検知されなかった画像部分は、通常のダイナ
ミックレンジの画像強度を有する。動きが検知された、従って、露光が完了する
前に露光が中断した画像部分は、ダイナミックレンジが減少する。露光が中断し
た各々のセンサに対応する各々の画素は、センサに対応する画素が画像全体のダ
イナミックレンジに対応する強度を有するように、センサが受け取った露光を線
形外挿することによって、適切な露光に調整される。従って、例えば、動きが検
知される前に、全露光時間の10分の1の間しか露光されなかった特定のセンサ
に関しては、センサに対応する値が、10の因数によって乗じられるであろう。
【0013】 従来のデジタルカメラまたはフィルムベースカメラで撮像されるシーン内の動
きの結果物は、動いた被写体のぶれであり、その動く被写体が通過する画像部分
の覆いである。本発明のデジタルカメラに関して、露光中の被写体の動きの効果
は、単に、ダイナミックレンジを減じること、および、動いた被写体およびその
動く被写体によって覆われた画像部分に関連するノイズをやや増大させることで
ある。減じられたダイナミックレンジおよび増大する画像のノイズの効果は、動
きによって生じるぶれよりも見た目に明らかでない。
【0014】 画像検知アレイは、好ましくは、アクティブ画素センサとして、CMOSにお
いて実行される。CMOS技術は、安いコストを提供し、動きの検知を実行する
ために必要な追加のオンチップ回路の費用効率の高い実行、および、ぶれ除去機
能を可能にする。
【0015】 本発明の目的は、被写体の動きによって生じるぶれを除去するデジタルカメラ
を提供することである。
【0016】 本発明のもう1つの目的は、1回の露光中に、ぶれた画像とぶれる前の画像の
両方の画像を撮像できるデジタルカメラを提供することである。
【0017】 本発明の更なる目的は、微光条件の下でぶれを減じるデジタルカメラを提供す
ることである。
【0018】 本発明の更なる目的は、被写体の動きによるぶれ防止を組み込むデジタルカメ
ラ用の低コストデジタルセンサを提供することである。
【0019】 (好ましい実施の形態の説明) 以下に、図面を参照して、本発明の好ましい実施の形態について説明する。 特に、同様の部品には同様の符号が付されている図1から図6を参照すると、
図3には、写真の被写体であるシーン20が示される。シーン20内には、その
シーンのデジタル撮像中には静止したままである大きな四角22がある。第2の
小さな四角24は、露光の最初の10%の間は静止しているが、その後、図3に
示されるように、経路28に沿って、大きな四角22を横断して、位置26まで
一定の速度で動く。図4は、従来のデジタルカメラまたはフィルムによって記録
される際の図3のシーンを示す。図4における経路28によって示されるように
、小さい四角24の画像は、図4の画像を横断してぶれる。
【0020】 図5に示されるように、望まれる画像は、小さな四角24の動きによって生じ
るぶれが除去された状態の図3のシーン20を示す。ぶれ防止の機構は、フォト
センサアレイ32における個々のフォトセンサ30のレベルで達成される。図6
は、長方形アレイに配置された500個のセンサ30を含む20×25個のセン
サ30を含むフォトセンサアレイ32を図式的に示す。アレイ内の個々のセンサ
30は、単一の画像素子すなわち画素34に対応する。
【0021】 図7に示されるデジタルカメラ36は、シャッター40を通してセンサアレイ
32に向かって風景20の画像を投影するレンズ38を有する。そのシャッター
40は、電子的または機械的であってよい。センサアレイ32は、個々のフォト
ンのシーン20の別々の部分からの到着を検知できるセンサ30を含む。従来の
デジタルカメラにおいて、個々のセンサは、センサアレイに向かって画像が投影
される期間中に特定のセンサにより受け取られるフォトンの数に比例する電荷を
累積する。各々の画素に関して、フォトンの数、すなわち、露光中に累積される
電荷の数は、その後、電圧として測定される。その電圧は、A/Dコンバータに
よって、特定のセンサに当たるフォトンの数に対応するデジタル値に変換される
。その後、フォトンの数は、特定の画素の最終画像において、輝度と相関付けら
れる。
【0022】 露光中における小さな四角24等の被写体の動きは、センサに累積する電荷の
、時間に関する二次導関数をモニタすることによって検知できる。センサに累積
する電荷の時間に関する一次導関数は、フォトンが検知され、センサ上に電荷が
累積する速度を示す。累積電荷の時間に関する二次導関数は、センサ上の累積電
荷の速度における変化率を示す。もし、特定のフォトセンサに結像された被写体
の輝度が一定のままであるなら、センサに累積する電荷の蓄積率は、一定のまま
であり、従って、累積電荷の時間に関する二次導関数は0である。特定のセンサ
に関する累積電荷の二次導関数の値が0でないことは、特定のセンサがモニタし
ている画像の一部の輝度が変化していることを意味する。画像の一部の輝度が変
化している場合、輝度の変化は、撮像される被写体の動きに起因すると確実にみ
なせる。被写体の輝度の変化の他の唯一の原因は、被写体の照度の変化である。
典型的な画像が撮像される1/10秒から1/100秒の間に、被写体の照度の
変化があるとは考えられない。
【0023】 一旦、動きが特定のセンサに検知されると、その動きの効果は、2つの値を記
憶することよって除去されうる。1つの値は、動きが検知される時間に対応する
、露光全体に占める割合としての値であり、もう1つの値は、動きが検知される
前にセンサによって受け取られた光の量に対応する値である。その後、各々のセ
ンサに対応する電圧を読み取る間または読み取った後に、動きが検知されたこれ
ら特定のセンサについての電圧値が、動きが検知される前に各々の特定のセンサ
によって受け取られた光の線形外挿に基づいて計算された値によって置換される
【0024】 図6は、動きの検知が個々のセンサレベルで行われるアレイ32が、図3に示
されるシーン20に対して露光された後の、そのアレイの各々のセンサに対応す
る値を示す。図6において、各々の画素34に割り当てられる値は、動きが特定
の画素34に関して検知された時点で、センサによって記録される値、または、
特定のセンサで動きが全く検知されないなら、露光中の積分の最終値に相当する
画素値である。それらの数は、センサアレイ32が記録できる最大輝度と比較し
たときの被写体の輝度を百分率で示す。大きな四角22の表面輝度は60であり
、小さな四角24の表面輝度は40であり、背景の表面輝度は20である。
【0025】 図3に示されるシーンにおいて、露光の最初の10%の間には全く動きが起こ
らない。その後、小さな四角24が、大きな四角22に向かって一定の速度で動
き始める。小さな四角24の移動速度は、大きな四角22に向かって、露光が完
了するまで露光が5%追加される毎に、1画素、すなわち1つのセンサ分だけ動
くのに十分である。図5に示される最終画像において、背景に対応する各々の画
素に割り当てられる値は20であり、小さな四角24に対応する各々の画素に割
り当てられる値は40であり、大きな四角22に対応する各々の画素に割り当て
られる値は60である。それ故、図6に示されるように実際に記録される値は、
特定のセンサによる露光の積分が動きを検知した結果中断したという事実を補正
するために、線形外挿による補正を要する。
【0026】 4の値を有する個々の画素42は、小さな四角24が右に動き、背景を露光し
、その検知された動きに応じて電荷の累積が中止する前の10%の露光の間に小
さな四角24を撮像したそれらのセンサを示す。動きが全く起こらないなら記録
されたであろう露光を線形外挿するために、実際に記録された値は、露光全体に
占める割合で割られ、40の値が与えられる。次の列44における画素は、15
%の露光が完了するまで動きが検知されないので、6の値を有する。15%は、
動きが発生する前の10%と、動きは発生したが輝度の変化がないときの5%を
示す。小さな四角24は、均一な輝度を有すると想定される。6の値は、15%
で割られ、もし動きが全く起こらないならその四角が記録されたであろう値を示
す40の値を得る。画素の第3の列46は、露光の20%が完了するまで動きが
検知されないので、8の値を有する。8の値は、20%で割られ、40の値が生
成される。
【0027】 第4の列48の画素は、前進する小さな四角24によって覆われ、かつ、10
%の露光をその背景の速度で受け取った背景を表わし、結果として2の値を得る
。その2の値は、10%で割られ、結果として、画素48に対して20の値を得
る。小さな四角は、背景を横断して進むので、小さな四角が背景画素の前を動く
以前にその背景画素が累積する値は増加し、一方、背景画素が露光されたその露
光の割合も増す。従って、大きな四角22のちょうど前にある画素の列50は、
その値が8であり、全露光の40%に達する露光を有する。また、8は40%で
割られ、20の背景レベルとなる。
【0028】 小さな四角24は、大きな四角22を横切るので、小さな四角24によって隠
れる画素の第1の列53は、27の値をもち、露光全体の45%に相当する露光
を有し、表面輝度が60である。同様に、動きが検知される全てのセンサが、フ
ォトンの累積を中止し、検知された露光を全露光長に対応する同等の露光に調整
するように正規化される。結果は、図5に示されるように、動きの結果の全てが
除去され、それによって、小さな四角24の動きによって生じるぶれを除去する
【0029】 もちろん、撮影される被写体の動きによって生じるぶれの防止は、損失がない
わけではない。ぶれの検知および除去に関連する積分期間の短さは、結果として
、ダイナミックレンジを減少させ、記録される信号上のノイズの効果を増大させ
る。これらの効果は、均一に照らされた大きな表面上でより顕著であるが、ぶれ
がどこで防止されたとしても、本質的に存在する。しかし、これら画像劣化の小
さな原因は、画像のぶれと比較して、ずっと顕著ではなく、かつ、美学的にずっ
と好ましい。
【0030】 画像のぶれを除去する概念が、例えばCCDアレイを含む多くの技術で実行さ
れる一方、もし、CMOSファウンドリを利用する技術が採用されるなら、追加
のオンボード処理の必要性が、集積チップに最も効果的に組み込まれる。従って
、図1および図2等に示される好ましい実施の形態は、製造の容易さと、画素の
ノイズレベルを判断し、かつ、それを相殺する各々の画素における回路とを組み
合せることができるアクティブ画素センサである。アクティブ画素センサ技術の
実行は、多くの電荷結合素子に匹敵し、より解像度の高い、より大きい画像アレ
イを構成するために使用できる。
【0031】 図1は、アクティブ画素センサの回路図である。図1において、NMOSトラ
ンジスタ54のドレインは、定電圧源56に接続され、NMOSトランジスタ5
4のソースは、フォトダイオード58のカソードに接続され、フォトダイオード
58のアノードは、接地される。
【0032】 NMOSトランジスタ60のドレインは、定電圧源56に結合され、第2のト
ランジスタ60のソースは、第3のNMOSトランジスタ64のドレインに結合
される。第2のNMOSトランジスタ60のゲートは、フォトダイオード58の
カソードに結合される。
【0033】 図1に示されるアクティブ画素センサは、フォトダイオード58を利用して、
光の強度を検知し、それを、電気信号に変換する。その後、その電気信号は、N
MOSトランジスタ64のソースから出力される。アクティブ画素センサの動作
は、当業者によって理解される。
【0034】 第1の期間中に、NMOSトランジスタ64は、トランジスタ64のゲートに
印可される信号によってオンされる。その第1の期間中、NMOSトランジスタ
54はオンされず、ノード66の電圧は、第2のNMOSトランジスタ60およ
び第3のNMOSトランジスタ64によって増幅され、よって、第3のNMOS
トランジスタ64のソースから第1の電圧が得られる。この第1の電圧は、ノイ
ズを示す。第2の期間において、第1のNMOSトランジスタ54は、リセット
信号によってオンされる。フォトダイオード58によって光誘導電流が生成され
、定電圧源56から第1のNMOSトランジスタ54およびフォトダイオード5
8を通って、接地に向かって流れる。それ故、ノード66の電圧を、第2の電圧
まで充電する。第3の期間において、第1のNMOSトランジスタ54はオフさ
れ、ノード66の第2の電圧は、第2のNMOSトランジスタ60および第3の
NMOSトランジスタ64によって増幅される。よって、端子から読み出される
値から第2の電圧が得られる。第2の電圧と第1の電圧との差は、フォトダイオ
ード58によって検知される光の強度に対応する。
【0035】 モニタノード66に接続される動き検知回路68は、フォトダイオード58の
カソードにおける時間に関する電圧変化を検知する。動き検知回路68は、ダイ
オード58に対する光束が変化しているかどうかの判断に対応するノード66に
おける電圧の二次導関数を抽出する。ダイオード58に対して変化する光束は、
そのダイオードによって表示される画素に関して動きが生じていることを示す。
動きが検知されるとき、動き検知回路68が、時間を記録し、余分な光がフォト
ダイオード58に到達することを防ぐ液晶シャッター70を閉じるために使用で
きる。時間は、ランプ電圧源71の電圧を記憶することによって記録されてもよ
い。電圧源71は、各々のフォトダイオード58に関する動き検知回路68に供
給される。電圧源71は、露光が完了するまで、露光の最初から安定した比率で
絶えず上昇する。任意の瞬間に電圧源71から得られる電圧は、経過した露光の
割合に対応する。動きが検知され、液晶シャッタ70が閉められたとき、または
、ノード66の値が記憶されるとき、電圧源71の電圧が同時に記憶される。
【0036】 液晶シャッタ70は、動きが検知される前にフォトダイオードによって得られ
た値を保存する。その後、続けて、その動き以前の値が読み出される。この読み
出された値は、上述されたように、図6に示される画素42、44、46、48
、50および52の値に対応する。各々の画素毎に得られた値は、特定のフォト
ダイオード58ごとに、記録された全露光の割合で割ることによって調整しなけ
ればならず、その割合は、ランプ電圧源71から記録される値によって示される
【0037】 ダイオードアレイにおける各々のフォトダイオード58について、時間の値に
対応する電圧が読み取られてもよい。あるいは、各々のフォトダイオードに対し
て記録された電圧値は、フォトダイオードが露光された全露光の割合によって割
ることによって調整される。
【0038】 多くの方法が、被写体が動くことによって画像がぶれることを防ぐために必要
な情報を収集するために使用できる。電圧または電荷は、露光の終わりに、また
は、動きが検知されるとすぐに記憶装置に移されることが可能である。露光の終
わりに、累積された電荷は、各々のフォトセンサ30に対して順次読み出される
ことが可能である。平行に配置された記憶装置の集合が、電圧71を記録するた
めに使用でき、それは、特定のフォトセンサに対応する電圧が記録される時間を
記録する。
【0039】 液晶シャッタ70が液晶シャッタアレイ(図示されない)の一部を形成すると
き、シャッターが閉められた時間を記録するために、液晶の起動が使用されても
よい。
【0040】 また、動き検知およびぶれ防止が、センサアレイ内の個々のセンサレベルで生
じるように、動き検知回路68が、問題の画素の値の線形外挿を判断し、かつ、
この値を直接リードアウトに供給するために必要な計算を、簡単に実行すること
も可能である。
【0041】 フォトダイオード58内に少量のノイズが存在しうるので、全電荷、従ってフ
ォトダイオードにおける電圧が小さい場合に、ノイズが、ノード66における電
圧を、ゼロでない二次導関数を有するようにみせる場合がある。従って、動きの
検知の条件が、フォトダイオードによって受光された全ての検知光におけるノイ
ズの効果を考慮に入れる減少オフセットを含むことが望ましい。
【0042】 従って、特定の画素に関して動きを検知する名目上の条件は、二次導関数が0
でないことであり、フォトンが個々のセンサによって捕らえられ、または、収集
される速度が変化することである。しかし、実際の装置においては、特に、積分
期間の始めあたりの、ノイズのランダム性、および、光の統計性が、フォトンの
収集速度を変化しているようにみせる可能性があるときには、ノイズが考慮され
なくてはならない。
【0043】 図2は、順に接地76に接続される、下にあるN型材料74に結合されたP型
材料72から成るCMOSフォトダイオード58を示す。電圧は、導電ストリッ
プ78によって供給される。その導電ストリップを通して、電圧が、P型材料に
印加される。P型材料に進入するフォトン80は、電子対およびホール対を生成
する。そのホール対は、電子対をそのまま残して接地に移動する。電子対は、次
に図1のノード66でモニタされる導電ストリップ78における電圧を低減する
【0044】 フォトセンサのアレイが、ビデオまたは動画を収集するために使用される場合
、被写体の動きによって生じるぶれの効果は、脳に重要な手掛かりを与える。こ
れらの手掛かりは、動画を見ることを容易にする。従って、単一のカメラが、動
画と静止画を両方とも撮像するために使用される場合、ぶれのある画像およびぶ
れのない画像の両方の画像を収集することは役立つ。このようにして、もしビデ
オの単一のフレームが望まれるなら、ぶれなしで示され得る。これは、動き検知
回路に、動きが検知される時間のノード66における電圧をモニタおよび記録さ
せ、そうでないとしても、フォトダイオード58によって収集される光の全体値
に影響を与えさせないことによって達成できる。その後、ぶれのないフレームを
構成することが望まれているとき、動き検知回路の結果は、オフチップで追加さ
れる。
【0045】 ぶれ防止技術の実行は、例えばCCDアレイで採用される、CMOSまたは他
の製造システムにおいて実行できる種々のデバイスレベルの解決策を含んでもよ
いことが理解されるべきだ。さらに、CMOS実装に関して、フォトダイオード
58によって記憶された電荷は、中間電荷記憶領域に移され、単独で、または、
ぶれの検知に続いて収集される画像のぶれ部分とともに順次読み出されてもよい
【0046】 概念的には、ぶれ防止機能を持つフォトアレイは、調整可能マスクに結合され
た感光アレイとしてみなされてもよいことが理解されるべきだ。その調整可能マ
スクは、フォトアレイの一部を、動いている画像の一部から保護するために使用
される。そのマスクおよびフォトアレイは、さらに、調整可能マスクの効果を補
償するために必要とされる画像強度の選択的向上システムに結合される。
【0047】 デジタルカメラの生成物として形成される画像における1つの特定の画素は、
色を記録するため、または、他の理由のために、多くの実センサから集められた
情報を使用してもよいことが理解されるべきだ。他方、もし、デジタルズーム機
能が使用されるなら、単一のセンサが、記録されたデジタル画像における複数の
画素に対応してもよい。ここでは、特定のセンサとデジタル画像の特定の画素と
の間に明確な相関が存在する限り、画素とセンサとの1対1の対応が存在すると
定義される。
【0048】 本発明は、本明細書で図示され説明された特定の構成および変形に限定されず
、特許請求の範囲に近いその変形等を含む。
【図面の簡単な説明】
【図1】 本発明のフォトダイオードアレイの一部の回路図である。
【図2】 図1のフォトダイオードの図式的な等角図。
【図3】 デジタルカメラによって撮像される、動く要素を持つシーンの図
式的な図。
【図4】 従来のデジタルカメラによって得られる図3のシーンの画像を示
す図。
【図5】 本発明の装置および方法を採用するデジタルカメラによって得ら
れる図3のシーンのデジタル画像。
【図6】 本発明のセンサアレイに採用される個々のフォトダイオードセン
サによって記録される電圧の図式的な図。
【図7】 図3に示されるシーンの画像を形成するデジタルカメラの図式的
な図。
【符号の説明】
22 大きな四角 24 小さな四角 32 センサアレイ 36 デジタルカメラ 38 レンズ 40 シャッター

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 写真の被写体の動きによって生じるぶれを防止する回路を組
    み込んだデジタルカメラであって、 撮像アレイに配列された複数のフォトセンサと、 前記撮像アレイに画像を投影する写真レンズと、 プログラム可能なメモリと を備え、 各々の前記フォトセンサは、そのフォトセンサによって受け取られるフォトン
    の数に比例した第1の値を生成し、 前記撮像アレイにおける各々の前記フォトセンサは、そのフォトセンサによっ
    て受け取られるフォトンの数に比例した前記第1の値の時間に関する二次導関数
    を計算できる1つの回路に接続され、 前記メモリは、各々の前記回路に接続され、各々の前記フォトセンサに関する
    露光時間の長さに対応した、各々の前記フォトセンサに関する少なくとも1つの
    時間値を記憶し、 各々の前記回路に接続された各々の前記フォトセンサに関する露光時間の前記
    長さは、動きが検知されたことを示す選択基準を満たした前記第1の値の前記二
    次導関数によって定められるデジタルカメラ。
  2. 【請求項2】 前記第1の値は電圧であり、各々の前記フォトセンサはフォ
    トダイオードである請求項1に記載のデジタルカメラ。
  3. 【請求項3】 さらに、複数の前記フォトセンサの各々の正面に液晶シャッ
    タを備える請求項1に記載のデジタルカメラ。
  4. 【請求項4】 前記フォトセンサは、CMOS技術に基づく請求項1に記載
    のデジタルカメラ。
  5. 【請求項5】 前記フォトセンサは、アクティブ画素センサである請求項4
    に記載のデジタルカメラ。
  6. 【請求項6】 写真の被写体の動きによって生じる画像のぶれを防止する方
    法であって、 選択期間中に、フォトセンサのアレイ上に画像を形成するステップと、 前記選択期間中に、各々の前記センサに関して、そのセンサにフォトンが衝突
    する速度に比例した少なくとも1つの第1の値をモニタし、その第1の値の二次
    導関数を計算するステップと、 前記選択期間中に、各々の前記センサに関して、前記第1の値の二次導関数を
    計算し、その二次導関数と、動きと判定する基準とを比較するステップと、 前記選択期間中に、各々の前記センサに関して、動きが検知されるという条件
    下において、前記二次導関数が動きと判定する前記基準を満たすという理由で、
    経過した前記選択期間の割合に対応する第2の値を記録し、かつ、前記第1の値
    を記録するステップと を含む方法。
  7. 【請求項7】 前記第1の値を記録するステップが、前記センサに光が入射
    することによって前記第1の値が変化することを防ぐために、液晶シャッタを閉
    じるステップを含む請求項6に記載の方法。
  8. 【請求項8】 前記第2の値は、露光中、線形に増加する電圧である請求項
    6に記載の方法。
  9. 【請求項9】 さらに、処理画像を形成するステップを含み、 その画像を構成する各々の画素は、前記アレイにおける1つのセンサに対応し
    、 その処理画像を形成するステップが、 動きがセンサで検知されなかった場合には、各々の前記画素に対し、各々のセ
    ンサによって検知される光に比例する1つの値を割り当てるステップと、 動きが特定のセンサについて検知された場合に、経過した露光の割合によって
    割られた前記第1の値の記録物に等しい1つの値を割り当てるステップと を含む請求項6に記載の方法。
  10. 【請求項10】 写真の被写体の動きによって生じる画像のぶれを防止する
    方法であって、 選択期間中に、フォトセンサの1つのアレイに画像を形成するステップと、 前記選択期間中に、各々のセンサに関して、前記センサのフォトン収集速度を
    モニタするステップと、 各々の前記センサに関して、前記フォトン収集速度が選択された量よりも多く
    変化するという条件下で、収集されるフォトンに比例した第1の値を記録し、か
    つ、経過したその選択時間の割合に比例する第2の値を記録するステップと、 各々のセンサに関して、前記フォトン収集速度が選択された量よりも多く変化
    しない場合に、前記選択期間全体にわたって収集されるフォトンに比例する第3
    の値を記録するステップと を含む方法。
  11. 【請求項11】 さらに、記憶媒体において、その各々が前記センサアレイ
    の1つのセンサと1対1の対応を有する複数の画素から成る画像を作るステップ
    と、 1つの特定の画素に対応するセンサが、そのセンサに関して記録された第1お
    よび第2の値を有するとき、特定の前記画素に、前記第2の値によって割られた
    前記第1の値に比例する値を割り当て、かつ、1つの特定の画素が、その画素に
    関して記録された第3の値を有するとき、特定の前記画素に、前記第3の値に比
    例する値を割り当てるステップと を含む請求項10に記載の方法。
  12. 【請求項12】 前記第1の値を記録するステップが、前記フォトセンサに
    によって収集されたフォトンが前記第1の値の記録物を形成するように、液晶シ
    ャッタを閉めるステップを含む請求項11に記載の方法。
  13. 【請求項13】 さらに、前記フォトン収集速度が選択された量よりも多く
    変化するという条件を満たし、そのために前記第1の値および前記第2の値が記
    録された各々のセンサに関して、前記選択期間全体にわたって収集されるフォト
    ンに比例する第4の値を記録するステップを含む請求項11に記載の方法。
  14. 【請求項14】 さらに、複数の連続する画像を記録して動画を形成するス
    テップと、 動画として見られるときは、ぶれが個々の画像から除去されず、静止画として
    見られるときは、ぶれが各々のフレームから除去されるように、その動画を記憶
    媒体に記憶するステップと を含む請求項13に記載の方法。
JP2001586910A 2000-05-19 2001-05-17 被写体の動きによって生じるデジタル画像のぶれを防止するカメラおよび方法 Pending JP2003534733A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/574,533 US6441848B1 (en) 2000-05-19 2000-05-19 Preventing blur caused by motion of the subject in a digital image
US09/574,533 2000-05-19
PCT/US2001/016141 WO2001091450A2 (en) 2000-05-19 2001-05-17 Preventing blur caused by motion of the subject in a digital image

Publications (1)

Publication Number Publication Date
JP2003534733A true JP2003534733A (ja) 2003-11-18

Family

ID=24296544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001586910A Pending JP2003534733A (ja) 2000-05-19 2001-05-17 被写体の動きによって生じるデジタル画像のぶれを防止するカメラおよび方法

Country Status (3)

Country Link
US (2) US6441848B1 (ja)
JP (1) JP2003534733A (ja)
WO (1) WO2001091450A2 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6441848B1 (en) * 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6921897B1 (en) 2000-09-21 2005-07-26 Lockheed Martin Corporation Circuit and method for varying the integration time of moving charges from a photodetector
JP2004015236A (ja) * 2002-06-04 2004-01-15 Canon Inc 撮像装置
US20040100560A1 (en) * 2002-11-22 2004-05-27 Stavely Donald J. Tracking digital zoom in a digital video camera
US7453514B2 (en) 2003-05-07 2008-11-18 Pure Digital Technologies, Inc. Digital photography device having a rolling shutter
JP2004361486A (ja) * 2003-06-02 2004-12-24 Nikon Corp デジタルスチルカメラ
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US20050259179A1 (en) * 2004-05-24 2005-11-24 Jerry Lynn Robertson Electro-optical shutter
US20080211908A1 (en) * 2005-05-16 2008-09-04 Human Monitoring Ltd Monitoring Method and Device
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
US7598979B2 (en) * 2005-09-21 2009-10-06 Aptina Imaging Corporation Imaging device with blur reduction system including a primary array and at least one navigation array
US7509038B2 (en) * 2005-09-29 2009-03-24 Seiko Epson Corporation Determining maximum exposure time to limit motion blur during image capture
US7777191B2 (en) * 2005-10-20 2010-08-17 The Board Of Trustees Of The Leland Stanford Junior University Method and system of adaptive exposure for a camera
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8687087B2 (en) * 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US7714903B2 (en) * 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
CN101166238B (zh) * 2006-10-20 2011-07-06 陈家祺 一种影像感应器及其使用方法
US8115824B2 (en) * 2008-01-09 2012-02-14 European Space Agency Active pixel sensor apparatus for use in a star tracker device
US7961224B2 (en) * 2008-01-25 2011-06-14 Peter N. Cheimets Photon counting imaging system
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8823808B2 (en) * 2009-10-27 2014-09-02 Intellectual Ventures Fund 83 Llc Method for improved digital video image quality
US8698092B2 (en) 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
CA2970908C (en) 2014-12-15 2023-06-27 Gvbb Holdings S.A.R.L. Image capture having improved temporal resolution and perceived image sharpness

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3399307A (en) 1965-05-20 1968-08-27 Bell & Howell Co Motion sensing exposure system for optical instruments
US3690234A (en) 1971-01-18 1972-09-12 Us Air Force Apparatus for taking photographs at times of minimum image motion
JPS5724528B2 (ja) 1972-05-22 1982-05-25
US4264161A (en) 1977-10-12 1981-04-28 Canon Kabushiki Kaisha Motion detecting device in exposure control system for optical instruments
DE2750068C2 (de) 1977-11-09 1984-10-18 Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar Fotografische Kamera
US5030984A (en) 1990-07-19 1991-07-09 Eastman Kodak Company Method and associated apparatus for minimizing the effects of motion in the recording of an image
US5392088A (en) 1992-09-04 1995-02-21 Nikon Corporation Target follow-up device and camera comprising the same
US5475466A (en) 1993-02-02 1995-12-12 Nikon Corporation Camera having target follow up function
US5739856A (en) 1993-10-07 1998-04-14 Nikon Corporation Photographic subject position predicting apparatus
US5841126A (en) 1994-01-28 1998-11-24 California Institute Of Technology CMOS active pixel sensor type imaging system on a chip
US5949483A (en) 1994-01-28 1999-09-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US5471515A (en) 1994-01-28 1995-11-28 California Institute Of Technology Active pixel sensor with intra-pixel charge transfer
US6021172A (en) 1994-01-28 2000-02-01 California Institute Of Technology Active pixel sensor having intra-pixel charge transfer with analog-to-digital converter
JPH0876003A (ja) 1994-09-07 1996-03-22 Nikon Corp 自動焦点調節装置
JPH0875993A (ja) 1994-09-07 1996-03-22 Nikon Corp 自動焦点調節装置
JPH08129129A (ja) 1994-11-02 1996-05-21 Nikon Corp 自動焦点調節装置および自動焦点調節装置を備えたカメ ラ
US5705846A (en) 1995-07-31 1998-01-06 National Semiconductor Corporation CMOS-compatible active pixel image array using vertical pnp cell
US5793322A (en) 1995-11-07 1998-08-11 California Institute Of Technology Successive approximation analog-to-digital converter using balanced charge integrating amplifiers
US5990506A (en) 1996-03-20 1999-11-23 California Institute Of Technology Active pixel sensors with substantially planarized color filtering elements
US5915133A (en) 1996-04-11 1999-06-22 Asahi Kogaku Kogyo Kabushiki Kaisha Camera with a photographic mode automatic selecting apparatus
US5886659A (en) 1996-08-21 1999-03-23 California Institute Of Technology On-focal-plane analog-to-digital conversion for current-mode imaging devices
US5952645A (en) 1996-08-27 1999-09-14 California Institute Of Technology Light-sensing array with wedge-like reflective optical concentrators
US5995163A (en) 1996-09-30 1999-11-30 Photobit Corporation Median filter with embedded analog to digital converter
US5887049A (en) 1996-11-12 1999-03-23 California Institute Of Technology Self-triggered X-ray sensor
US5909026A (en) 1996-11-12 1999-06-01 California Institute Of Technology Integrated sensor with frame memory and programmable resolution for light adaptive imaging
US5800691A (en) 1996-12-23 1998-09-01 Guest Elchrom Scientific Ag Electrophoresis gels containing sample wells with enlarged loading area
JP3963568B2 (ja) 1997-05-28 2007-08-22 オリンパス株式会社 カメラの自動焦点調節装置
US5900623A (en) 1997-08-11 1999-05-04 Chrontel, Inc. Active pixel sensor using CMOS technology with reverse biased photodiodes
US5962844A (en) 1997-09-03 1999-10-05 Foveon, Inc. Active pixel image cell with embedded memory and pixel level signal processing capability
US6005619A (en) 1997-10-06 1999-12-21 Photobit Corporation Quantum efficiency improvements in active pixel sensors
US5952642A (en) * 1997-12-15 1999-09-14 Ncr Corporation Method and apparatus for detecting item substitutions during entry of an item into a self-service checkout terminal
US6049247A (en) 1997-12-16 2000-04-11 Photobit Corporation Low-voltage common source switched-capacitor amplifier
US6043690A (en) 1998-03-10 2000-03-28 Photobit Corporation Bidirectional follower for driving a capacitive load
US6166367A (en) * 1998-03-26 2000-12-26 Photobit Corporation Programmable analog arithmetic circuit for imaging sensor
US6043478A (en) 1998-06-25 2000-03-28 Industrial Technology Research Institute Active pixel sensor with shared readout structure
US6215113B1 (en) * 1999-04-22 2001-04-10 National Science Council CMOS active pixel sensor
US6310366B1 (en) * 1999-06-16 2001-10-30 Micron Technology, Inc. Retrograde well structure for a CMOS imager
US6441848B1 (en) * 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image

Also Published As

Publication number Publication date
WO2001091450A3 (en) 2002-05-30
US20020154232A1 (en) 2002-10-24
US6441848B1 (en) 2002-08-27
WO2001091450A2 (en) 2001-11-29
US7050091B2 (en) 2006-05-23

Similar Documents

Publication Publication Date Title
US6441848B1 (en) Preventing blur caused by motion of the subject in a digital image
US7884871B2 (en) Images with high speed digital frame transfer and frame processing
EP2035891B1 (en) Method and system for image stabilization
JP4928674B2 (ja) 広いダイナミックレンジを達成するための時間インデックス付け方法を用いた多サンプリング方法
US8085321B2 (en) Method and apparatus for providing a rolling double reset timing for global storage in image sensors
US7711254B2 (en) Electronic blur correction device and electronic blur correction method
JP5051473B2 (ja) 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置
US20130135486A1 (en) High dynamic range imaging with multi-storage pixels
EP1362475B1 (en) Photodiode cmos imager with column-feedback soft-reset
US20080106625A1 (en) Multi image storage on sensor
US20120120282A1 (en) Reducing Temporal Aliasing
JP5944387B2 (ja) 画像センサーおよび検知方法
US20020125409A1 (en) Image sensing element, image sensing apparatus, and information processing apparatus
CN113382187A (zh) 图像传感器及包括其的拍摄设备
JPH02101878A (ja) 固体撮像装置
JP2003219281A (ja) 撮像装置およびそのシャッタ駆動方法
JP2987454B2 (ja) 撮像装置
JPH11274466A (ja) 固体撮像装置及びこれを備えたカメラ
JPH05336454A (ja) 固体撮像素子
JP2002185860A (ja) 撮像装置
JP2001257940A (ja) 撮像装置
JP2006115191A (ja) 撮像装置、シェーディング補正装置、シェーディング補正方法
JP2003204489A (ja) 撮像装置
JPH04168890A (ja) ビデオカメラ