JP3992992B2 - 被写体像取得装置 - Google Patents

被写体像取得装置 Download PDF

Info

Publication number
JP3992992B2
JP3992992B2 JP2002041427A JP2002041427A JP3992992B2 JP 3992992 B2 JP3992992 B2 JP 3992992B2 JP 2002041427 A JP2002041427 A JP 2002041427A JP 2002041427 A JP2002041427 A JP 2002041427A JP 3992992 B2 JP3992992 B2 JP 3992992B2
Authority
JP
Japan
Prior art keywords
focus
scanning
focusing
evaluation value
subject image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002041427A
Other languages
English (en)
Other versions
JP2003241070A (ja
Inventor
純一 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002041427A priority Critical patent/JP3992992B2/ja
Priority to EP03003178A priority patent/EP1341022B1/en
Priority to DE60321413T priority patent/DE60321413D1/de
Priority to US10/367,871 priority patent/US6885819B2/en
Publication of JP2003241070A publication Critical patent/JP2003241070A/ja
Application granted granted Critical
Publication of JP3992992B2 publication Critical patent/JP3992992B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被写体像取得装置に係り、特に被写体像の合焦状態を変化させ且つ被写体像に応じた被写体像情報から合焦状態の目安となる合焦評価値を求めつつ、前記合焦状態を連続的および間欠的の少なくとも一方にて変化させて複数の合焦評価値を得る合焦走査によって、合焦評価値が最も適正な値となる合焦点を探索してピント合わせを行なう被写体像取得装置に関するものである。
【0002】
【従来の技術】
一般に、ディジタルカメラにおいては、撮影光学系のうちの合焦に寄与するフォーカスレンズ(フォーカシングレンズ)を駆動しながら、例えばCCD(電荷結合素子)撮像素子等の撮像素子により画像情報を取込み、例えばその画像情報の高周波成分を合焦評価値、すなわち「AF(オートフォーカシング)評価値」としてフォーカス駆動範囲を走査し、前記AF評価値がピークとなる位置に前記フォーカスレンズを再設定することにより、自動合焦(AF)動作を行っているものが多い。通常この自動合焦(AF)方式をCCDAFと称する。
図10および図11に、最も基本的なCCDAF動作を模式的に示す。このCCDAF動作においては、自動合焦のための合焦走査を開始しようとするその時点におけるフォーカスレンズ位置、すなわち初動位置、にかかわらず、まず走査開始点を無限遠端に移動させ、そこから最至近端までを走査して、ピーク位置を検出し、そのピーク位置に合焦させる。図10および図11中の曲線は、走査によって検出されるAF評価値を縦軸にとって模式的に示している。なお、レンズ駆動系の構成によっては、ギヤのバックラッシュ等を除去するための動作が必要となるが、それは周知のしかも多種多様の技術に係るものであるので、以下の説明および関連する各図においては、バックラッシュ等を除去するための構成および動作についての説明は省略している。
【0003】
図10および図11に示すように、自動合焦が指令されると、初動位置(すなわち、その時点でのフォーカスレンズ停止位置)Poから走査開始点である無限遠端、つまり無限遠合焦位置Piへフォーカスレンズがこの場合繰り込み方向へ一旦移動され、そこから最至近端、つまり最至近合焦位置Pnまで繰り出し方向への合焦走査範囲全域の合焦走査が行なわれる。この全域走査によりAF評価値のピーク位置を合焦点、つまり最終合焦位置Peとして検出し、全域走査後にフォーカスレンズを前記繰り込み方向への戻し動作により最終合焦位置Peに設定して自動合焦を完了する。
図10は、初動位置Poがレンズ移動範囲の中央位置Pcよりも無限遠寄りにある場合であり、図11は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにある場合を示している。
【0004】
図10および図11においては、走査開始点への移動動作および合焦点への戻し動作などの実際の合焦走査以外のレンズ駆動が比較的多く存在するため、無駄な時間を費やしている。例えば、図11では、初動位置Poが最至近端Pnに近いにもかかわらず、一旦、無限遠端Piまで戻すため、ほぼレンズ移動範囲全体を戻すことになる。
これに対して、図12、図13および図14に示す方式は、フォーカスレンズを初動位置Poから、無限遠端および最至近端のうちの「近い方の端」まで一旦戻して、そこから走査するようにしたものである。すなわち、図12〜図14に示すように、自動合焦が指令されると、レンズ移動範囲両端の無限遠合焦位置Piおよび最至近合焦位置Pnのうちの初動位置Poから近い方の一端を走査開始点として、当該位置へフォーカスレンズが一旦移動され、そこから他端まで合焦走査範囲全域の合焦走査が行なわれる。この全域走査によりAF評価値のピーク位置を合焦点、つまり最終合焦位置Peとして検出し、全域走査後にフォーカスレンズを戻し動作により最終合焦位置Peに設定して自動合焦を完了する。
【0005】
図12は、初動位置Poがレンズ移動範囲の中央位置Pcよりも無限遠寄りにある場合であり、図13は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにある場合であり、そして図14は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにあり、特に、図14は、最終合焦位置Peが初動位置Poから前記近い方の一端までの間に存在する場合を示している。このような方式により、全域走査の走査開始までの時間を短縮することができる。
但し、この図12〜図14の方式では、初動位置Poによって走査方向が変化するため、AF評価値に「走査方向依存性」がある場合には、その分の補正が必要である。現実に、上述したようなバックラッシュや、フォーカスレンズの移動方向の違いによる機械的時定数等の相違に起因して、AF評価値には走査方向依存性があるのが普通であるので、試作段階においてデータを取得して適正な走査方向依存性補正を施す必要がある。
【0006】
さらに、自動合焦動作を高速化しようとする場合には、合焦走査時間の短縮が重要な項目となる。すなわち、図10および図11、並びに図12〜図14において、自動合焦時間の大半を実際に占めているのは、初動位置Poから走査開始点までの移動動作や全域走査後の最終合焦位置Peへの戻し動作ではなく、全域操作時間、すなわち合焦走査範囲の全域を走査するのに要する時間、である。
走査によって取得すべきデータの数は、フォーカスレンズや撮像素子としてのCCDの性能によって決定されるが、通常の場合は、フォーカスレンズを駆動するフォーカスモータがパルスモータであれば、該フォーカスモータの2〜4パルスに1つ程度のデータが必要になる。撮像素子等の画像情報取得周期は、通常1/30秒程度であるので、フォーカスモータの1パルスあたり、1/60〜1/120秒程度の時間を要するような駆動が要求される。すなわち、フォーカスモータパルスレートとしては、60〜120ppsで駆動させながら、データを取得することになる。
一方、走査開始点への移動動作や、合焦点への戻し動作は、作動機構における機械的な制約のみで決定されるため、通常は500〜1000ppsのパルスレートで駆動される。すなわち、同一のパルス数を移動するとしても、両者の間には4〜17倍もの時間の差があることになる。よって、自動合焦動作に要する自動合焦時間の短縮には、走査すべき範囲を狭くすることの方が効果的である。
【0007】
図15、図16および図17は、上述した状況を考慮した従来の他の自動合焦方式を示しており、合焦走査において「AF評価値のピークを検出した場合は、そこで走査を中断し、そのピーク位置へレンズを移動させる」というシーケンスを用いて高速化する方式である。この方式においては、「何をもってピークを判断するか?」ということが非常に重要である。すなわち、実際の被写体としては、いくつかの遠近の被写体が混在し得るため、AF評価値にも複数のピークが発生することが少なくない。このように、AF評価値に複数のピークが発生している場合に、撮影者の意図したピークに適切に合焦させるためには、ピークにおけるAF評価値の絶対値や他のAF評価値(周辺のAF評価値、他のピーク状部分のAF評価値など)に対する相対値、さらには、ピーク前後でのAF評価値の傾斜の程度等を厳密に判断して、ピークを検出することになる。
【0008】
そのため、図15〜図17に示すように、走査過程においてピークらしき部分を通過した後も、しばらく、すなわちある程度の範囲、は、走査を継続してから判断することになる。すなわち、図15〜図17のように、自動合焦が指令されると、レンズ移動範囲両端の無限遠合焦位置Piおよび最至近合焦位置Pnのうちの初動位置Poから近い方の一端を走査開始点として、当該位置へフォーカスレンズが一旦移動され、そこから他端へ向かって合焦走査が行なわれる。この合焦走査の過程でAF評価値のピークが検出されるとその後もある程度の範囲は走査を継続しつつ先のピークを判定し、その判定に基づいてAF評価値のピーク位置を合焦点、つまり最終合焦位置Peとして検出して走査を停止し、フォーカスレンズを戻し動作により最終合焦位置Peに設定して自動合焦を完了する。図15は、初動位置Poがレンズ移動範囲の中央位置Pcよりも無限遠寄りにある場合であり、図16は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにある場合であり、そして図17は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにあり、最終合焦位置Peが初動位置Poから前記近い方の一端までの間に存在する場合を示している。
【0009】
このような方式においては、通常の場合、合焦ミスを最低限とするために、ピーク判定の基準をかなり厳しく設定しておき、曖昧な場合には全域走査となるようにする場合が多い。とはいえ、ピークが検出された場合には、図14の場合に対応する図17のように、走査範囲を格段に狭くすることができるため、走査時間が激減し、自動合焦動作の高速化を図ることができる。
上述したような「逆方向走査」および「ピーク検出で走査中断」以外の高速化手法としては、特開平5−241066号公報に示されるように「初動位置からいきなり走査を開始する」という方式が考えられる。すなわち、特開平5−241066号公報には、自動合焦の高速化のために、合焦走査を初動位置から近い方の端の方向に向けて開始し、初動位置から近い方の端までの間でピークが検出されない場合には、前記初動位置に戻して、今度は遠い方の端に向けて再び合焦走査を実施することが示されている。その具体的な挙動を図18、図19および図20に示している。
【0010】
すなわち、図18〜図20に示すように、自動合焦が指令されると、初動位置Poを走査開始点として、レンズ移動範囲両端の無限遠合焦位置Piおよび最至近合焦位置Pnのうちの初動位置Poから近い方の一端まで第1回目の合焦走査(図示「走査1」)が行なわれ、さらに、元の初動位置Poへフォーカスレンズが一旦移動され、その初動位置Poから他端まで第2回目の合焦走査(図示「走査2」)が行なわれる。この走査によりAF評価値のピーク位置を合焦点つまり最終合焦位置Peとして検出し、全域走査後にフォーカスレンズを戻し動作により最終合焦位置Peに設定して自動合焦を完了する。
図18は、初動位置Poがレンズ移動範囲の中央位置Pcよりも無限遠寄りにある場合であり、図19は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにある場合であり、そして図20は、初動位置Poがレンズ移動範囲の中央位置Pcよりも最至近点寄りにあり、且つ最終合焦位置Peが初動位置Poから前記近い方の一端までの間に存在する場合を示している。
【0011】
図20の場合には、自動合焦が指令され、初動位置Poを走査開始点として、レンズ移動範囲両端のうちの初動位置Poから近い方の一端まで第1回目の合焦走査(走査1)が行なわれた時点で、この走査によりAF評価値のピークを検出すると、初動位置Poから他端までの第2回目の合焦走査(走査2)を行なうことなく、そのピーク位置を合焦点、つまり最終合焦位置Peとして検出し、フォーカスレンズを戻し動作により最終合焦位置Peに設定して自動合焦を完了する。
この特開平5−241066号公報の方式により、走査開始点への移動動作が排除されるため、その分だけ自動合焦の高速化を図ることができる。図18〜図20に示す特開平5−241066号公報の方式は、図12〜図14の方式に適用しているため、「ピーク検出での走査中断」動作は考慮していないが、当然、「ピーク検出での走査中断」動作を組み合わせることも可能であり、そうすれば更に動作が高速化される。
【0012】
【発明が解決しようとする課題】
ただし、上述した特開平5−241066号公報に基づく図18〜図20における「初動位置から走査を開始する」動作には、幾つかの問題点がある。すなわち、この方式では、特に、図18および図19に示すように、初動位置Poから一端まで合焦走査を行なってから、フォーカスレンズを元の初動位置Poに戻し、初動位置Poから他端までの合焦走査を行なうことになり、合焦走査の一部が不連続となってしまう。この「走査の一部が不連続となることが、性能的に悪影響しないか?」という点がこの方式の問題点である。現実に、走査不連続点では、AF評価値の取得時刻にずれがあるため、AF評価値自体も不連続となる懸念が生じるし、その上、走査不連続点では走査方向も異なるため、走査方向依存性がAF評価値に何らかの悪影響を及ぼす危険もある。すなわち、図21に示すように、ピーク位置Peと走査不連続点とがほぼ重なる場合には、ピーク検出精度が低下するおそれがある。しかも、更に重大なことに、走査不連続点と初動位置だけでなく、さらに初動位置は多くの場合前回合焦位置とも一致することから、同一被写体の連続撮影を考えた場合に、最も合焦点が存在する可能性が高い部分において、走査の不連続が生じ、ピーク検出精度が多少低下してしまうという事実である。
【0013】
さらには、同一被写体の連続撮影を考えて初動位置Po付近に合焦点のある確率が高いことを考慮すると、この付近にある合焦点を、第1回目の走査(図18〜図20に示す走査1)で検出することができれば、高い確率で第2回目の走査(図18〜図20に示す走査2)を行なわずに済むのに対して、初動位置Poから走査を開始すると、図22に示すように、走査方向とは逆方向にわずかにずれた被写体に対しては、どうしても第2回目の合焦走査(走査2)の範囲になってしまう。このような観点からも特開平5−241066号公報に示された技術は一考の余地がある。
また、特開平5−241066号公報の技術においては、初動位置Poが端点に近い場合にも、好ましくない状況が発生する。すなわち、図23に示すように、第1回目の合焦走査(走査1)が非常に短くなってしまい、そのため、この範囲にピークらしきものがあっても、これをピークと断定するのは困難となる。すると、必然的に第2回目の合焦走査(走査2)へ移行することになり、自動合焦の高速化の効果が失効してしまい、走査不連続点の存在に起因する合焦精度の低下の懸念だけが残ることになる。すなわち、デメリットのみが残ってしまう状況が存在するわけである。
【0014】
したがって、上述を考慮すると、典型的には、次の2つの点が解決すべき課題として要求されている。
(1)同一の被写体の連続撮影時において、合焦精度を確保するとともに、より一層の高速化を図ること。すなわち、初動位置Po近傍が走査不連続点とならないようにして、初動位置Po近傍での合焦精度を確保するとともに、当該初動位置Po近傍に存在する可能性が高い合焦点を、洩らすことなく、第1回目の合焦走査(走査1)にて検出可能にする。
(2)無限遠近傍または最至近近傍の撮影後の走査シーケンスの適正化を図り、より一層高い合焦精度を維持するようにすること。すなわち、第1回目の合焦走査(走査1)として、ピークを認識するために充分な長さを確保することができない場合には、自動合焦を有効に高速化することが困難となり、合焦精度の低下の可能性のみが残る。よって、自動合焦の走査シーケンスの上で、このような状況を避けるような構成とする。
【0015】
すなわち、本発明は、上述した事情に鑑みてなされたもので、合焦走査に関連する動作を適正化して無駄な動作を抑制し、特に、被写体が同一の被写体で且つほぼ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上し得る被写体像取得装置を提供することにある
【0019】
【課題を解決するための手段】
請求項1に記載した本発明に係る被写体像取得装置は、上述した目的を達成するために、被写体像を所定の結像面上に結像させるための撮影光学系と、
前記被写体像を映像信号に変換するための撮像手段と、
前記撮影光学系または前記撮像手段を光軸方向に移動させて前記撮像手段上の被写体像の合焦状態を変化させるフォーカス作動手段と、
前記撮像手段によって得られる前記映像信号から合焦評価値を求める合焦評価値検出手段と、
合焦動作完了時の合焦評価値を記憶する合焦完了評価値記憶手段と、を備え、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を、
初動位置から所定の方向に第1の所定量だけ離れた走査開始位置へ移動させた後、
前記走査開始位置から前記所定の方向とは逆の方向に向かって移動させ、
当該移動中に前記合焦評価値検出手段が、合焦評価値が適正な値となる合焦位置を探索し、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を前記合焦位置へ移動させる被写体像取得装置であって、
前記合焦完了評価値記憶手段に記憶されている前回の合焦動作完了時の合焦評価値と、当該合焦動作開始前の合焦評価値とを比較し、
これらがほぼ同一の場合には前記第1の所定量を第2の所定量に設定し、
これらが異なる場合には前記第1の所定量をゼロもしくは前記第2の所定量より大きい値に設定する
ことを特徴としている。
【0024】
請求項に記載した本発明に係る被写体像取得装置は、前記所定の方向を、当該走査範囲の両側の端点のうちの前記初動位置から遠い側の端点へ向かう方向とすることを特徴としている。
【0025】
請求項に記載した本発明に係る被写体像取得装置は、請求項1または2に記載の被写体像取得装置が、カメラであることを特徴としている。
請求項に記載した本発明に係る被写体像取得装置は、請求項1または2に記載の被写体像取得装置が、画像入力装置であることを特徴としている。
請求項に記載した本発明に係る被写体像取得装置は、請求項1または2に記載の被写体像取得装置が、光学的観察装置であることを特徴としている。
請求項に記載した本発明に係る被写体像取得装置は、請求項1または2に記載の被写体像取得装置が、顕微鏡であることを特徴としている。
請求項に記載した本発明に係る被写体像取得装置は、請求項1または2に記載の被写体像取得装置が、望遠鏡であることを特徴としている。
請求項に記載した本発明に係る被写体像取得装置は、請求項または2に記載の被写体像取得装置が、複写機であることを特徴としている。
【0038】
【作用】
すなわち、本発明に係る被写体像取得装置は、被写体像を所定の結像面上に結像させるための撮影光学系と、
前記被写体像を映像信号に変換するための撮像手段と、
前記撮影光学系または前記撮像手段を光軸方向に移動させて前記撮像手段上の被写体像の合焦状態を変化させるフォーカス作動手段と、
前記撮像手段によって得られる前記映像信号から合焦評価値を求める合焦評価値検出手段と、
合焦動作完了時の合焦評価値を記憶する合焦完了評価値記憶手段と、を備え、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を、
初動位置から所定の方向に第1の所定量だけ離れた走査開始位置へ移動させた後、
前記走査開始位置から前記所定の方向とは逆の方向に向かって移動させ、
当該移動中に前記合焦評価値検出手段が、合焦評価値が適正な値となる合焦位置を探索し、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を前記合焦位置へ移動させる被写体像取得装置であって、
前記合焦完了評価値記憶手段に記憶されている前回の合焦動作完了時の合焦評価値と、当該合焦動作開始前の合焦評価値とを比較し、
これらがほぼ同一の場合には前記第1の所定量を第2の所定量に設定し、
これらが異なる場合には前記第1の所定量をゼロもしくは前記第2の所定量より大きい値に設定するように構成する。
このような構成により、合焦走査に関連する動作を適正化して無駄な動作を抑制し、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上することができる。
【0043】
本発明に被写体像取得装置は、前記所定の方向を、当該走査範囲の両側の端点のうちの前記初動位置から遠い側の端点へ向かう方向とする。
このような構成により、特に、合焦走査の効率を一層向上することができる。
【0044】
本発明に係る被写体像取得装置は、カメラである。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得カメラを提供することができる。
【0045】
本発明に係る被写体像取得装置は、画像入力装置である。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得画像入力装置を提供することができる。
【0046】
本発明に係る被写体像取得装置は、光学的観察装置である。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得光学的観察装置を提供することができる。
【0047】
本発明に係る被写体像取得装置は、顕微鏡である。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得顕微鏡を提供することができる。
【0048】
本発明に係る被写体像取得装置は、望遠鏡である。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得望遠鏡を提供することができる。
【0049】
本発明に係る被写体像取得装置は、複写機である。
このような構成により、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得複写機を提供することができる。
【0060】
【発明の実施の形態】
以下、本発明の実施の形態に基づき、図面を参照して本発明に係るカメラ、被写体像取得装置、自動合焦システムおよび自動合焦方法について詳細に説明する。
図1〜図9は、本発明の実施の形態に係るディジタルカメラの構成および動作を説明するための図である。図1は、本発明の一つの実施の形態に係るディジタルカメラの要部の構成を示す模式的なブロック図、図2〜図7は、当該ディジタルカメラの自動合焦動作における合焦走査を説明するための図、そして図8および図9は、当該カメラの自動合焦動作の概略を説明するためのフローチャートである。
図1に示すカメラは、光学系1、シャッタ/絞り部2、フォーカス駆動系3、ズーム駆動系4、シャッタ/絞り駆動系5、ローパスフィルタ(LPF)6、撮像素子7、A/D(アナログ−ディジタル)変換器8、画像処理部9、システムコントローラ10、メモリ群11、表示部12、半押し検出部13、全押し検出部14、受光部15、ストロボ発光部16、ストロボ制御部17、カメラ操作部18およびレリーズ押圧部を具備している。
図1において、被写体光は、撮影光学系である光学系1に入射される。光学系1は、光軸方向に沿う進退移動により被写体像のピント合わせ、つまり合焦動作のための焦点調節を行なうフォーカスレンズ(フォーカシングレンズ群)1aと、光軸方向に沿う進退により光学系1の焦点距離を調節して被写体像の拡大/縮小を行なうズームレンズ(ズーミングレンズ群)1bと、フォーカスレンズ1aおよびズームレンズ1bと共に被写体像を結像させる対物レンズ1cとを備えている。フォーカスレンズ1aとズームレンズ1bとの間には、シャッタ/絞り部2が配置され、このシャッタ/絞り部2により、フォーカスレンズ1aに入射する光量が制限される。フォーカスレンズ1aは、フォーカス作動手段としてのフォーカス駆動系3により、ズームレンズ1bは、ズーム駆動系4により、そしてシャッタ/絞り部2は、シャッタ/絞り駆動系5によりそれぞれ駆動される。
光学系1を通過した被写体光は、光の高周波成分を除去するローパスフィルタ6を介して、撮像手段としての撮像素子7に入射する。撮像素子7は、複数の光電変換画素を2次元マトリクス状に配列した撮像面を有し、前記撮像面に被写体光に基づいて入射結像される被写体像を電気信号からなる画像データに変換して出力する。
【0061】
上述したフォーカスレンズ1a、ズームレンズ1bおよび対物レンズ1cからなる光学系1と、シャッタ/絞り部2と、ローパスフィルタ6と、撮像素子7とで、鏡胴ユニットUを構成している。
撮像素子7から出力された画像データは、A/D変換器8によりディジタル値に変換された後、画像処理部9に与えられる。画像処理部9は、与えられた画像データに対して圧縮/伸長処理および解像度の変更等のような所要の画像処理を施す。
【0062】
システムコントローラ10は、当該ディジタルカメラ全体の制御を行なうものであり、所定のプログラムに従って各種演算処理を行なうマイクロプロセッサ等を用いて構成したCPU(中央処理ユニット)、CPUの処理プログラム等を格納した読出し専用の半導体メモリ等からなるROM(リードオンリメモリ)、およびCPUにおける各種処理の過程で利用するワークエリアや各種データを格納するデータ格納エリアなどを有する書込み/読出し自在の半導体メモリ等からなるRAM(ランダムアクセスメモリ)などを有している。また、システムコントローラ10には、先に述べたフォーカス駆動系3、ズーム駆動系4およびシャッタ/絞り駆動系5と、画像処理部9で得られる画像データを格納するためのメモリ等を含むメモリ群11と、前記画像データを表示する液晶ディスプレイ等のモニタ、撮影等に係る各種情報を表示する表示液晶ディスプレイ(表示LCD)および自動合焦による焦点調整結果を報知するAF発光ダイオード(AFLED)などを含む表示部12とが接続されている。システムコントローラ10は、これら接続された各部を制御する。
【0063】
また、このディジタルカメラには、2段操作のレリーズボタン等のレリーズ押圧部Bが設けられ、撮影者がレリーズ押圧部Bの1段目操作、つまり半押し操作により、自動合焦(オートフォーカシング)等の被写体像調整の指示を与え、さらにレリーズ押圧部Bの2段目操作、つまり全押し操作により被写体像撮像の指示を与えるようにしている。すなわち、このディジタルカメラは、レリーズ押圧部Bの半押し操作を検出する半押し検出部13、およびレリーズ押圧部Bの全押し操作を検出する全押し検出部14を備えており、これら半押し検出部13および全押し検出部14は、システムコントローラ10に接続されている。
さらに、このディジタルカメラは、被写体輝度を計測する受光部15、被写体に照明光を照射するストロボ発光部16、および受光部15で計測される被写体輝度に基づいてストロボ発光部16の発光制御を行なうストロボ制御部17を備えており、ストロボ制御部17は、システムコントローラ10からのストロボ発光についての制御指示に基づいてストロボの発光制御を行なう。また、当該ディジタルカメラには、ストロボモードを設定するストロボモードスイッチ等のように撮影者の操作により撮影動作を設定するためのカメラ操作部18が設けられており、システムコントローラ10は、カメラ操作部18の操作に基づいて撮影動作に関する種々の設定を行なう。
【0064】
図1に示したディジタルカメラは、基本的な構成自体には特別な構成はなく、従来の一般に市販されているディジタルカメラと同等である。本願発明に係る自動合焦機能は、レリーズ押圧部Bの半押し動作を半押し検出部13が検出すると、システムコントローラ10がそれに応答し、光学系1のフォーカスレンズ1aをフォーカス駆動系3を介して、連続的に、または間欠的に、あるいは両者を適宜組み合わせて駆動しつつ、A/D変換器8および画像処理部9を介して得られる撮像素子7で取得された画像データに基づいてAF評価値を求めて合焦走査を実行することによって行なわれる。
【0065】
なお、システムコントローラ10は、撮像素子7によって得られる画像データから合焦状態の目安となる合焦評価値を求める合焦評価値検出手段、およびフォーカス駆動系3を介してフォーカスレンズ1aを駆動させながら前記合焦評価値検出手段を作動させて複数の合焦評価値を得る走査により、合焦評価値が最も適正な値となる合焦点を探索し、フォーカスレンズ1aを前記合焦点に駆動させてピント合わせを行なう合焦制御手段、そして前記合焦制御手段において、フォーカスレンズ1aの初動位置から所定の方向に第1の所定量だけ移動させた点から、前記所定の方向とは逆の方向に向かって走査を開始するように、前記走査の走査開始点および走査方向を設定する第1の走査制御手段、フォーカスレンズ1aの初動位置から、当該走査範囲の両側の端点のうちの、前記初動位置に近い側の端点までの距離が第2の所定量よりも小さい場合に、前記近い側の端点へ移動させた後に、該端点から他の端点へ向かって走査を開始するように、前記走査の走査開始点および走査方向を設定する第2の走査制御手段、次に行われる合焦動作が電源投入後の1回目の合焦動作か、2回目以降の合焦動作かを判別する動作回数判別手段、前記合焦動作において、合焦点が検出されたか否かを示す動作結果を記憶する動作結果記憶手段、前記合焦動作における最終的な合焦評価値を記憶する評価値記憶手段、装置電源投入状態において常時継続的に合焦評価値を取得し且つ記憶する継続評価値記憶手段、前記第1の所定量および前記第2の所定量のうちの少なくとも一方を、前記動作回数判別手段の判別結果に応じて可変制御する第3の走査制御手段、前記第1の所定量および前記第2の所定量のうちの少なくとも一方を、前記動作結果記憶手段に記憶されている前回の合焦動作時における動作結果に基づいて可変制御する第4の走査制御手段、前記第1の所定量を、前記評価値記憶手段に記憶されている前回の合焦動作時における最終的な合焦評価値と当該合焦動作開始時における合焦評価値との比較結果に応じて可変制御する第5の走査制御手段、前記第1の所定量を、前記継続評価値記憶手段に記憶されている前回の合焦動作終了時から当該合焦動作開始時に至るまでの合焦評価値の時系列的な変化状況に応じて可変制御する第6の走査制御手段、および前記第1の所定量および前記第2の所定量のうちの少なくとも一方を、光学系1の焦点距離情報に応じて可変制御する第7の走査制御手段等の各機能を有している。
【0066】
次に、従来、対応が要求されていた課題に対するこの実施の形態における対応策について、図2〜図7に示す自動合焦動作を示す模式図を参照して説明する。
まず、課題(1)の回避方法であるが、この実施の形態においては、図2〜図7に示すように、走査開始点Psを、開始しようとする合焦走査の走査方向とは逆方向に初動位置Poからずらしてスタート位置を補正し、第1回目の走査(走査1)で初動位置Poを通過するようにする。このようにすることにより、図5および図6に示すように、初動位置Poが合焦位置Peにほぼ一致していても、初動位置Po付近での走査は常に連続となり、この近傍における合焦精度を低下させることがなくなる。その上、直前の合焦位置とは微妙に被写体距離が変化した場合にも、第1回目の合焦走査(走査1)の範囲内で検出することが可能となり、同一被写体に対する連続撮影時における画期的な自動合焦の高速化を図ることができる(図5および図6を参照)。このスタート位置補正のためのずらし量(Po→Ps)が第1の所定量であり、以下の説明においては、これを「フォーカス戻し量Fr」と称する。
【0067】
フォーカス戻し量Frを大きくするほど、第1回目の合焦走査(走査1)で初動位置近傍に位置する合焦点を検出することができる可能性は高くなるが、その分だけ、フォーカス戻し量Frについての戻し時間が大きくなり、自動合焦の高速化には逆行するので、適切な戻し量を設定することが重要である。このようなフォーカス戻し量の設定については、後述する。
次に、第1回目の合焦走査(走査1)の走査方向について、常に一定方向に走査する方式と、条件によって至近方向と無限遠方向との走査を使い分ける方式とが考えられる。特に、AF評価値の走査方向依存性が顕著で、容易に補正できないレベルである場合には、走査方向を1方向に規定せざるをえなくなる。逆に、AF評価値の走査方向依存性が容易に補正できる場合は、図18〜図23の特開平5−241066号公報の場合とほぼ同様に第1回目の合焦走査(走査1)を近い方の端部へ向かう走査とするようにフォーカス戻しによるスタート位置補正の方向を設定すると、第1回目の合焦走査(走査1)後に第2回目の合焦走査(走査2)の開始点までの戻し量が少なくて済むため、自動合焦動作の高速化の点では、若干有利になると考えられる。
【0068】
さらに、第1回目の合焦走査(走査1)の終了後に、該第1回目の合焦走査(走査1)の範囲内においてピーク判定して、ピークが検出された場合には第2回目の合焦走査を省略する方式を前提とした場合には、近い方の端点方向へ第1回目の合焦走査(走査1)を開始した方が、全走査に対する第1回目の合焦走査(走査1)の割合が小さくなり、第1回目の合焦走査(走査1)の範囲内に合焦点があった場合の自動合焦の高速化に寄与する。
そして、課題(2)についての対策としては、単純に「第1回目の走査と第2の回目の走査に分けるメリットがないと予測される場合には、走査開始点を一方の端点まで移動させて他方の端点へ向けて走査を開始する」ということになる。具体的には、初動位置Poから近い方の端点までの距離(Fs)が第2の所定量としての所定値(Fs1)よりも小さい場合には、全フォーカス範囲の途中からの走査をせずに、図7に示すように、素直にその近い方の端点まで移動させた後に、遠い方の端点に向かって走査を開始させるようなシーケンスを用いる。
【0069】
このようにすることにより、不連続な分割走査による高速化のメリットがないと予想される状況のもとでは、より確実な全域連続走査を実施することになり、合焦精度を犠牲にする状況の発生を低減させることができる。
次に、上述の第1の所定量であるフォーカス戻し量(Fr)の設定について説明する。既に説明したように、フォーカス戻しによるスタート位置補正によって初動位置近傍を走査する本方式においては、同一被写体の連続撮影時にその威力を発揮する。逆に言えば、電源オン直後の1ショット目(厳密には、最初の撮影動作ではなく、合焦動作として初めてかどうか)では、あまり意味がないことになるので、シーケンスを変えた方が賢明である場合が発生する。すなわち、電源オンの直後は、通常は、「常焦点(パンフォーカス〜一般的に撮影される被写体の多くが存在する被写体距離であり、通常は、なるべく絞りを絞り込んで被写界深度が広くなるようにして被写体の多くが被写界深度内となるようにする)」位置にフォーカス駆動されるが、この状態で、レリーズ操作によって、この常焦点位置近傍を最初に走査しても、合焦点が存在する可能性は高くない。
【0070】
このような場合の対応策として幾つかの処置が考えられる。まずは、電源オン後の1ショット目は素直に、走査範囲のいずれか一方の端点から走査を開始するという方法であり、これは、1ショット目においては、上述した第2の所定量である所定値Fs1の値を大きくすることにより、実現される。もう一つは、電源オン後の1ショット目であっても、やはり被写体が存在する確率が高いのは常焦点位置の周辺であろうという予測のもとに、2ショット目以降よりはフォーカス戻し量Fr(第1の所定量)を大きめに設定するという方法である。前者は、撮影可能な最至近距離が長めのカメラ(例えば、撮影可能距離80cm〜∞)において有効であるが、撮影可能な最至近距離が短めのカメラ(例えば、撮影可能距離30cm〜∞)では、後者が有効となる。なぜならば、仮に30cmまで撮影可能であっても、実際に30cm近辺で撮影する状況は、一般の撮影者にとっては、極めてまれであり、したがって、至近端からの走査ではなく、常焦点位置から特定のフォーカス量を戻した点のような特定の距離位置から走査する方が、自動合焦が短時間で終了する可能性が高くなるからである。
これらの方法によって、電源オン後の1ショット目においてもより適切なAF動作を実施することが可能となる。
【0071】
同様にして、2ショット目以降であっても、前回の合焦結果があまり信用できない場合や、明らかに被写体が変化または大きく移動している場合などにおいても、フォーカス戻し量Frおよび端点から走査を開始させるかどうかの判定値Fs1の少なくともいずれかを適切に設定し直した方が、自動合焦の一層の高速化、および高精度化を図ることができるはずである。
すなわち、まず、「前回の合焦結果が合焦失敗(AFNG)」であった場合について考える。合焦走査の結果、ピークが見つからなかった場合には、やむを得ず常焦点位置にフォーカス駆動するのが一般的であるが、この場合にも上述した場合と同様に、この点周辺に被写体が存在する確率は高くない。したがって、素直に端点からの合焦走査とするか、またはフォーカス戻し量を大きめに設定することが望ましい。これによって、前回に合焦失敗であった後においても、一層適切な合焦動作を実施することができるはずである。
【0072】
次に、もっと積極的に「同一被写体の連続撮影かどうか」を判断して、その結果に応じて、フォーカス戻し量(Fr)を設定するという手法が考えられる。例えば、前回の合焦完了時のAF評価値を記憶しておいて、今回のAF動作前のAF評価値と比較して、これらがほぼ同一であるならば、被写体が変化していないと判断し、フォーカス戻し量を比較的小さい値にすることにより初動位置のごく近傍を最初に走査するようにすることができる。逆に、AF評価値が全く異なる場合は、その近傍に合焦点がある可能性は低いので、フォーカス戻し量を「0」とすると効率的である。この場合、上述した「初回の自動合焦」や「前回の合焦失敗」の場合と同様に、逆にフォーカス戻し量を(0とする代わりに)大きめに設定することも、場合によっては有効である。
【0073】
さらに高度な手法として、前回の合焦後から継続的にAF評価値を取込むようにして、途中で1回でも大きな変化があった場合には、被写体が変化したと判断するようなこともできる。いずれの場合も、AF評価値の相違の程度および変化の度合いによって、被写体の変化の程度を段階的に判断し、それによってフォーカス戻し量の値を、細かく設定することも可能であり、このような制御により、それぞれの状況に応じて、精度および速度の面で常に最適な自動合焦動作を実施させることができる。なお、「被写体が変化していないと判断される場合は自動合焦動作を実施しない」という手法も、高速化においては有効な方法であるが、どうしても、微妙なピントのずれが発生する懸念があり、合焦精度を保つという観点では、本実施の形態のように狭い範囲であっても走査を実施し、合焦点を探る方が好ましい場合が多いと思われる。
【0074】
そして、ズーム位置によって、上述した2つの所定量を示す数値FrおよびFs1の少なくとも一方を微調整することも有意義である。すなわち、通常、ワイド(Wide:広角〜単焦点)とテレ(Tele:望遠〜長焦点)では、ワイドの方がフォーカス駆動範囲が狭くなるため、合焦走査時間としては短くなる。したがって、ワイド状態においては、合焦動作の高速化を最重点で考える必要が薄いので、より精度重視に数値を変更する。例えば、ワイドの時は、極力走査不連続点が発生しないように、数値Fs1の値を大き目にとって、多くの場合で端点からの走査開始となるように設定することが好ましい。このようにすることにより、ズーム点に応じて、精度と速度の釣り合いが取れた自動合焦動作を実現することができる。なお、ズーム情報検出手段つまり光学系の焦点距離情報を検出出力する焦点距離出力手段としては、光学系1に関連して配設した抵抗板等を用いて各ズーム点での出力値を検出する手段でもよく、ズーム域のうちの1点の基準点のみを機械的に検出し、それ以外はモータパルスをカウントすることによって相対的にズーム情報を検出するような手段であっても構わない。
【0075】
次に、上述した実施の形態における具体的な処理の一例を図8および図9に示すフローチャートを参照して説明する。このフローチャートに示す制御処理は、主としてシステムコントローラ10において行なわれる。ちなみに、このフローチャートにおいては、被写体の変化を前回のAF評価値との比較により判別する手法と、ズーム位置検出情報を用いて上述した2つの所定量を示す数値FrおよびFs1の少なくとも一方を制御する手法については、反映させていない。
まず、図8および図9に示すように、カメラの電源がオンとなると(ステップ#1)、合焦動作回数の初期化およびフォーカスレンズ1aの常焦点位置Pjへの移動等の初期設定がなされ(ステップ#2、ステップ#3)、レリーズ押圧部Bが半押しされるのを待つ(ステップ#5)。このステップ#3とステップ#5との間にAF評価値を継続的に取得し(ステップ#4)、後にフォーカス戻し量設定時に「被写体が変化したかどうか?」の判定(ステップ#9、ステップ#10)の材料として用いられる。この時点で、合焦動作が未実施(Nt=0)である場合には、この継続的AF評価値は必要ないので、合焦動作回数Ntの値に応じて、ステップ#4でAF評価値を取得するか否かを判断するようにしてもよいが、制御の流れが煩雑になること、不要の情報を取得しても特に問題はないことから、常に取得するようなシーケンスとしている。
【0076】
レリーズ押圧部Bの半押しが半押し検出部13により検出されると(ステップ#5)、引き続き撮影準備動作に移行する。まず、合焦動作が1回目か?(ステップ#6)、もしくは前回の合焦動作が合焦失敗(AFNG)で終了しているか?(ステップ#7)を判別し、合焦動作が1回目もしくは前回が合焦失敗であった場合には、フォーカス戻し量として値Fr1を選択する(ステップ#8)。この値Fr1(電源オン直後に合焦失敗の後(常焦点位置)におけるフォーカス戻し量(Po〜Ps))は比較的大きい数値であり、その後の合焦動作で、まず常焦点中心の広いエリアを走査するような設定である。合焦動作時間優先という見地において、Fr1の値を、比較的大きい数値ではなく、「0」に設定することもカメラの構成によってはあり得る。
【0077】
さらに、ステップ#9およびステップ#10においては、前回の合焦動作時から、被写体が変化しているか否かを、3段階に判別し、Frの値をそれぞれで設定する。すなわち、完全に被写体が変化していると判断される場合には、初動位置から戻して走査を実施するメリットが少ないため、値Fr=0に設定し(ステップ#11)、逆に、ほぼ同一条件での連続撮影だと判断される場合には、Frを比較的小さいFr3(前回撮影と同一シーンであると思われる場合のフォーカス戻し量)という値に設定する(ステップ#13)。これらの中間的な場合、すなわち概ね被写体は変化していないと判断される場合、には、Fr3よりは大きめのFr2(前回撮影とおおむね同一シーンであると思われる場合のフォーカス戻し量(Fr1>Fr2>Fr3))という数値に設定される(ステップ#12)。なお、被写体が変化しているか否かを判別するファクタとして前回合焦以後の経過時間を含めても良い。すなわち、長時間が経過していれば被写体が変化している可能性が高いし、長時間が経過していなければ被写体が変化している可能性が低いことを判定に利用する。
【0078】
次に、初動位置Poがいずれかの端点に近い場合は、端点まで移動してから合焦走査を開始する方が高い合焦精度が期待できるため、端点までの近さを判定する(ステップ#14、ステップ#15)。初回の合焦動作時や前回合焦失敗(AFNG)時は、いずれもステップ#8を通過しており、既に端点から近くないことが明確であるが、制御の流れを簡略化するため、同一の流れの上に戻している。ステップ#15で端点まで近いと判断された場合は、近い方の端点まで移動し(ステップ#16)、遠い方の端点に向けて合焦走査を開始する(ステップ#17)。走査途中でピークが検出された場合は(ステップ#18、ステップ#19)、走査を中断して、「合焦成功(AFOK)表示」を行った後にピーク位置にフォーカスレンズ1aを駆動させる(ステップ#29)。合焦成功表示および後述する合焦失敗(AFNG)表示は、通常はファインダ近辺に配置された合焦発光ダイオード(AFLED)の点灯または点滅によって行われることが多いが、他の方法を採用しても良い。一方、全域走査してもピークが検出されなかった場合には(ステップ#18、ステップ#19)、再度、全域のAF評価値を検証して、ピークと判断できるポイントがあるかどうかを判断する(ステップ#27)。
【0079】
ここで、ステップ#18のピーク判定は、偽合焦(間違ったピークに合焦させてしまうこと)を避けるために、比較的厳しい判定を実施するが、ステップ#27のピーク判定は、全域のデータを用いて判定するため、比較的緩い基準でピークを判定するようになっている。ステップ#27でピークありと判断された場合は、ステップ#18の場合と同様にステップ#29へ進み、表示動作および合焦動作を実施する。一方、全域走査でもピークが検出されない場合には、「合焦失敗(AFNG)」表示を行うとともに、次回に備えて、合焦失敗(AFNG)であった事実を記憶させ、常焦点位置へとフォーカスレンズを駆動させる(ステップ#28)。
一方、ステップ#15で端点まで遠いと判断した場合には、設定されているFrの値の分だけフォーカス位置を遠い方の端点に向かって移動させ(ステップ#20)、その位置から、近い方の端点に向かって走査を開始する(ステップ#21)。この場合にも、上述と同様に、走査中にもピーク判定を実施しながら走査を行ない(ステップ#22、ステップ#23)、端点に到達した場合は、残りの領域を走査すべく、第1回目の走査(走査1)の走査開始点まで戻してから、ピーク検出を実施しつつ(ステップ#25、ステップ#26)、遠い方の端点まで第1回目の走査(走査1)とは逆方向に第2回目の走査(走査2)を実施する。ステップ#22またはステップ#25のピーク検出においてピークが検出された場合の挙動は、ステップ#18におけるピーク検出の場合と同様であり、全域走査が完了(ステップ#26)した後の挙動も、ステップ#19の全域走査完了後の挙動と同様である。
次に、ステップ#28またはステップ#29において合焦結果の表示やフォーカスレンズ1aの駆動を済ませた後に、レリーズ半押しが継続しているか?(ステップ#31)、レリーズ押圧部Bが全押しされているか?(ステップ#32)、を半押し検出部13および全押し検出部14を用いて検出する。この際、継続的にAF評価値を取得し(ステップ#30)、ステップ#4におけるAF評価値の取得の場合と同様に、次回の被写体変化の判定(ステップ#9、ステップ#10)で用いることになる。
【0080】
ステップ#31において、レリーズ半押し解除が検出された場合には、合焦動作回数をアップカウントしてから(ステップ#34)、初めのステップ#5におけるレリーズ半押し待ち状態へ移行し、あるいは、ステップ#32においてレリーズ全押しが検出された場合には、所定の撮影動作を実施した後に(ステップ#33)、ステップ#34の合焦動作回数のアップカウント、ステップ#5のレリーズ半押し待ちへと移行する。いずれの場合にも、フォーカスレンズ1aの位置は、ステップ#28またはステップ#29にて設定された合焦位置もしくは常焦点位置を保ったまま、ステップ#5へと移行する。
なお、図8および図9においては、煩雑になるのを防止するため、合焦動作に係る動作以外の動作(AEおよびAWB等)についての説明は省略してある。
【0081】
以上が本発明の一つの実施の形態によるディジタルカメラであるが、本発明の主要構成を逸脱しない限り、様々な方式と組み合わせることが可能である。
例えば、ピーク検出により合焦走査を中断する/しないや、第2回目の合焦走査(走査2)の走査方向を第1回目の合焦走査(走査1)の走査方向と同一とする/逆にする等々は、対応する機種の特性や要求される性能によって、それぞれにメリットがあり、本発明は、いずれにも対応させることができる。
また、上述においては、本発明による自動合焦方法を用いた自動合焦システムをディジタルカメラに適用した実施の形態について説明したが、その他のカメラに適用しても良いし、本発明の自動合焦方法および自動合焦システムは、カメラに限らず、他の画像入力装置、例えばイメージスキャナまたは複写機等、あるいは、光学的観察装置、例えば顕微鏡、望遠鏡、双眼鏡または内視鏡等、のような被写体像を取得する被写体像取得装置に広く適用することができる。
【0082】
【発明の効果】
以上述べたように、本発明によれば、合焦走査に関連する動作を適正化して無駄な動作を抑制し、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を向上し得る被写体像取得装置および自動合焦方法を提供することができる。
すなわち、本発明の請求項1の被写体像取得装置によれば、被写体像を所定の結像面上に結像させるための撮影光学系と、
前記被写体像を映像信号に変換するための撮像手段と、
前記撮影光学系または前記撮像手段を光軸方向に移動させて前記撮像手段上の被写体像の合焦状態を変化させるフォーカス作動手段と、
前記撮像手段によって得られる前記映像信号から合焦評価値を求める合焦評価値検出手段と、
合焦動作完了時の合焦評価値を記憶する合焦完了評価値記憶手段と、を備え、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を、
初動位置から所定の方向に第1の所定量だけ離れた走査開始位置へ移動させた後、
前記走査開始位置から前記所定の方向とは逆の方向に向かって移動させ、
当該移動中に前記合焦評価値検出手段が、合焦評価値が適正な値となる合焦位置を探索し、
前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を前記合焦位置へ移動させる被写体像取得装置であって、
前記合焦完了評価値記憶手段に記憶されている前回の合焦動作完了時の合焦評価値と、当該合焦動作開始前の合焦評価値とを比較し、
これらがほぼ同一の場合には前記第1の所定量を第2の所定量に設定し、
これらが異なる場合には前記第1の所定量をゼロもしくは前記第2の所定量より大きい値に設定することにより、
合焦走査に関連する動作を適正化して無駄な動作を抑制し、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上することができる。
【0087】
本発明の請求項の被写体像取得装置によれば、前記所定の方向を、当該走査範囲の両側の端点のうちの前記初動位置から遠い側の端点へ向かう方向とするようにしたので、合焦走査の効率を一層向上することができる。
【0088】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置がカメラであるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得るカメラを提供することができる。
【0089】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置が画像入力装置であるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得る画像入力装置を提供することができる。
【0090】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置が光学的観察装置であるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得る光学的観察装置を提供することができる。
【0091】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置が顕微鏡であるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得る顕微鏡を提供することができる。
【0092】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置が望遠鏡であるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得る望遠鏡を提供することができる。
【0093】
本発明の請求項の被写体像取得装置によれば、請求項1または2に記載の被写体像取得装置が複写機であるので、特に、被写体が同一の被写体で且つ同一の状況に近い可能性の程度にさらに的確に対応させて合焦走査の効率および合焦の確実性を一層向上させ得る複写機を提供することができる。
【図面の簡単な説明】
【図1】本発明の一つの実施の形態に係るディジタルカメラの構成を模式的に示すブロック図である。
【図2】図1のディジタルカメラの第1の状態における合焦動作を説明するための模式図である。
【図3】図1のディジタルカメラの第2の状態における合焦動作を説明するための模式図である。
【図4】図1のディジタルカメラの第3の状態における合焦動作を説明するための模式図である。
【図5】図1のディジタルカメラの第4の状態における合焦動作を説明するための模式図である。
【図6】図1のディジタルカメラの第5の状態における合焦動作を説明するための模式図である。
【図7】図1のディジタルカメラの第6の状態における合焦動作を説明するための模式図である。
【図8】図1のディジタルカメラの合焦動作の制御の流れの一部を説明するためのフローチャートである。
【図9】図1のディジタルカメラの合焦動作の制御の流れの残部を説明するためのフローチャートである。
【図10】従来の最も基本的なディジタルカメラの第1の状態における合焦動作を説明するための模式図である。
【図11】図10と同様の従来の最も基本的なディジタルカメラの第2の状態における合焦動作を説明するための模式図である。
【図12】高速化を図った従来の第1のディジタルカメラの第1の状態における合焦動作を説明するための模式図である。
【図13】図12の従来のディジタルカメラの第2の状態における合焦動作を説明するための模式図である。
【図14】図12の従来のディジタルカメラの第3の状態における合焦動作を説明するための模式図である。
【図15】高速化を図った従来の第2のディジタルカメラの第1の状態における合焦動作を説明するための模式図である。
【図16】図15の従来のディジタルカメラの第2の状態における合焦動作を説明するための模式図である。
【図17】図15の従来のディジタルカメラの第3の状態における合焦動作を説明するための模式図である。
【図18】高速化を図った従来の(特開平5−241066号公報に示された)第3のディジタルカメラの第1の状態における合焦動作を説明するための模式図である。
【図19】図18の従来のディジタルカメラの第2の状態における合焦動作を説明するための模式図である。
【図20】図18の従来のディジタルカメラの第3の状態における合焦動作を説明するための模式図である。
【図21】図18の従来のディジタルカメラの第4の状態における合焦動作を説明するための模式図である。
【図22】図18の従来のディジタルカメラの第5の状態における合焦動作を説明するための模式図である。
【図23】図18の従来のディジタルカメラの第6の状態における合焦動作を説明するための模式図である。
【符号の説明】
1 光学系
1a フォーカスレンズ(フォーカシングレンズ)
1b ズームレンズ(ズーミングレンズ)
1c 対物レンズ
2 シャッタ/絞り部
3 フォーカス駆動系
4 ズーム駆動系
5 シャッタ/絞り駆動系
6 ローパスフィルタ(LPF)
7 撮像素子
8 A/D(アナログ−ディジタル)変換器
9 画像処理部
10 システムコントローラ
11 メモリ群
12 表示部
13 半押し検出部
14 全押し検出部
15 受光部
16 ストロボ発光部
17 ストロボ制御部
18 カメラ操作部
B レリーズ押圧部
U 鏡胴ユニット

Claims (8)

  1. 被写体像を所定の結像面上に結像させるための撮影光学系と、
    前記被写体像を映像信号に変換するための撮像手段と、
    前記撮影光学系または前記撮像手段を光軸方向に移動させて前記撮像手段上の被写体像の合焦状態を変化させるフォーカス作動手段と、
    前記撮像手段によって得られる前記映像信号から合焦評価値を求める合焦評価値検出手段と、
    合焦動作完了時の合焦評価値を記憶する合焦完了評価値記憶手段と、を備え、
    前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を、
    初動位置から所定の方向に第1の所定量だけ離れた走査開始位置へ移動させた後、
    前記走査開始位置から前記所定の方向とは逆の方向に向かって移動させ、
    当該移動中に前記合焦評価値検出手段が、合焦評価値が適正な値となる合焦位置を探索し、
    前記フォーカス作動手段が、前記撮影光学系または前記撮像手段を前記合焦位置へ移動させる被写体像取得装置であって、
    前記合焦完了評価値記憶手段に記憶されている前回の合焦動作完了時の合焦評価値と、当該合焦動作開始前の合焦評価値とを比較し、
    これらがほぼ同一の場合には前記第1の所定量を第2の所定量に設定し、
    これらが異なる場合には前記第1の所定量をゼロもしくは前記第2の所定量より大きい値に設定する
    ことを特徴とする被写体像取得装置。
  2. 前記所定の方向を、当該走査範囲の両側の端点のうちの前記初動位置から遠い側の端点へ向かう方向とすることを特徴とする請求項1に記載の被写体像取得装置。
  3. 前記被写体像取得装置がカメラである
    ことを特徴とする請求項1または2に記載の被写体像取得装置。
  4. 前記被写体像取得装置が画像入力装置である
    ことを特徴とする請求項1または2に記載の被写体像取得装置。
  5. 前記被写体像取得装置が光学的観察装置である
    ことを特徴とする請求項1または2に記載の被写体像取得装置。
  6. 前記被写体像取得装置が顕微鏡である
    ことを特徴とする請求項1または2に記載の被写体像取得装置。
  7. 前記被写体像取得装置が望遠鏡である
    ことを特徴とする請求項または2に記載の被写体像取得装置。
  8. 前記被写体像取得装置が複写機である
    ことを特徴とする請求項または2に記載の被写体像取得装置。
JP2002041427A 2002-02-19 2002-02-19 被写体像取得装置 Expired - Fee Related JP3992992B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002041427A JP3992992B2 (ja) 2002-02-19 2002-02-19 被写体像取得装置
EP03003178A EP1341022B1 (en) 2002-02-19 2003-02-19 Camera, device for capturing object image, automatic focus adjusting system and method for adjusting automatic focus for the same
DE60321413T DE60321413D1 (de) 2002-02-19 2003-02-19 Kamera, Vorrichtung zur Objektaufnahme, Autofokussystem und Autofokusverfahren
US10/367,871 US6885819B2 (en) 2002-02-19 2003-02-19 Camera, device for capturing object image, automatic focus adjusting system and method for adjusting automatic focus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002041427A JP3992992B2 (ja) 2002-02-19 2002-02-19 被写体像取得装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007167006A Division JP4535462B2 (ja) 2007-06-25 2007-06-25 被写体像取得装置

Publications (2)

Publication Number Publication Date
JP2003241070A JP2003241070A (ja) 2003-08-27
JP3992992B2 true JP3992992B2 (ja) 2007-10-17

Family

ID=27678343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002041427A Expired - Fee Related JP3992992B2 (ja) 2002-02-19 2002-02-19 被写体像取得装置

Country Status (4)

Country Link
US (1) US6885819B2 (ja)
EP (1) EP1341022B1 (ja)
JP (1) JP3992992B2 (ja)
DE (1) DE60321413D1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4360851B2 (ja) 2003-07-02 2009-11-11 株式会社リコー 画像入力装置
US7259923B2 (en) * 2003-08-12 2007-08-21 Ricoh Company, Ltd. Lens barrel
KR100562404B1 (ko) * 2003-12-19 2006-03-17 삼성테크윈 주식회사 추가 스캐닝이 수행되는 카메라의 자동 포커싱 방법
US7474454B2 (en) * 2004-06-18 2009-01-06 Angstrom, Inc. Programmable micromirror motion control system
US8537204B2 (en) * 2004-07-08 2013-09-17 Gyoung Il Cho 3D television broadcasting system
US7350922B2 (en) * 2004-02-13 2008-04-01 Angstrom, Inc. Three-dimensional display using variable focal length micromirror array lens
US7751694B2 (en) * 2004-02-13 2010-07-06 Angstrom, Inc. Three-dimensional endoscope imaging and display system
US7580178B2 (en) * 2004-02-13 2009-08-25 Angstrom, Inc. Image-guided microsurgery system and method
US7898144B2 (en) * 2006-02-04 2011-03-01 Angstrom, Inc. Multi-step microactuator providing multi-step displacement to a controlled object
US7382516B2 (en) * 2004-06-18 2008-06-03 Angstrom, Inc. Discretely controlled micromirror with multi-level positions
US7330297B2 (en) * 2005-03-04 2008-02-12 Angstrom, Inc Fine control of rotation and translation of discretely controlled micromirror
US7274517B2 (en) * 2005-03-10 2007-09-25 Angstrom, Inc. Micromirror array lens with focal length gradient
US7410266B2 (en) * 2004-03-22 2008-08-12 Angstrom, Inc. Three-dimensional imaging system for robot vision
US7339746B2 (en) * 2004-03-22 2008-03-04 Angstrom, Inc. Small and fast zoom system using micromirror array lens
US7768571B2 (en) * 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
US8049776B2 (en) * 2004-04-12 2011-11-01 Angstrom, Inc. Three-dimensional camcorder
US7742232B2 (en) * 2004-04-12 2010-06-22 Angstrom, Inc. Three-dimensional imaging system
US20070040924A1 (en) * 2005-08-19 2007-02-22 Stereo Display, Inc. Cellular phone camera with three-dimensional imaging function
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
US7619614B2 (en) * 2004-04-12 2009-11-17 Angstrom, Inc. Three-dimensional optical mouse system
JP4407379B2 (ja) * 2004-05-21 2010-02-03 株式会社ニコン 電子カメラおよび画像処理システム
US7667896B2 (en) 2004-05-27 2010-02-23 Angstrom, Inc. DVD recording and reproducing system
US7354167B2 (en) 2004-05-27 2008-04-08 Angstrom, Inc. Beam focusing and scanning system using micromirror array lens
US7777959B2 (en) * 2004-05-27 2010-08-17 Angstrom, Inc. Micromirror array lens with fixed focal length
JP2005351997A (ja) * 2004-06-09 2005-12-22 Canon Inc レンズ装置
JP4482418B2 (ja) * 2004-10-08 2010-06-16 富士フイルム株式会社 内視鏡装置
US7489434B2 (en) 2007-05-02 2009-02-10 Angstrom, Inc. Hybrid micromirror array lens for reducing chromatic aberration
US7619807B2 (en) * 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
EP1679546B1 (en) 2005-01-07 2014-12-24 Canon Kabushiki Kaisha Focus control method and focus control apparatus
US20060198011A1 (en) * 2005-03-04 2006-09-07 Stereo Display, Inc. Volumetric three-dimensional device using two-dimensional scanning device
US20060203117A1 (en) * 2005-03-10 2006-09-14 Stereo Display, Inc. Video monitoring system using variable focal length lens
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070041077A1 (en) * 2005-08-19 2007-02-22 Stereo Display, Inc. Pocket-sized two-dimensional image projection system
JP2007114283A (ja) * 2005-10-18 2007-05-10 Ricoh Co Ltd 画像入力装置
JP2007225897A (ja) * 2006-02-23 2007-09-06 Fujifilm Corp 合焦位置決定装置及び方法
US9736346B2 (en) 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7365899B2 (en) * 2006-08-10 2008-04-29 Angstrom, Inc. Micromirror with multi-axis rotation and translation
US7589884B2 (en) * 2006-09-22 2009-09-15 Angstrom, Inc. Micromirror array lens with encapsulation of reflective metal layer and method of making the same
US7589885B2 (en) * 2006-09-22 2009-09-15 Angstrom, Inc. Micromirror array device comprising encapsulated reflective metal layer and method of making the same
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7488082B2 (en) 2006-12-12 2009-02-10 Angstrom, Inc. Discretely controlled micromirror array device with segmented electrodes
JP4989977B2 (ja) * 2007-01-05 2012-08-01 株式会社エルモ社 焦点調整装置、撮影装置および焦点調整方法
US7535618B2 (en) * 2007-03-12 2009-05-19 Angstrom, Inc. Discretely controlled micromirror device having multiple motions
US9505606B2 (en) * 2007-06-13 2016-11-29 Angstrom, Inc. MEMS actuator with discretely controlled multiple motions
EP2006733B1 (en) * 2007-06-19 2013-05-22 Samsung Electronics Co., Ltd. Auto focus apparatus and method for camera
JP5082631B2 (ja) * 2007-07-06 2012-11-28 株式会社ニコン 撮影装置
US7605988B2 (en) * 2007-07-23 2009-10-20 Angstrom, Inc. Compact image taking lens system with a lens-surfaced prism
US7589916B2 (en) * 2007-08-10 2009-09-15 Angstrom, Inc. Micromirror array with iris function
JP2009151124A (ja) * 2007-12-20 2009-07-09 Sharp Corp センサモジュール、電子情報機器、オートフォーカス制御方法、制御プログラムおよび可読記憶媒体
US20090185067A1 (en) * 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
US8810908B2 (en) * 2008-03-18 2014-08-19 Stereo Display, Inc. Binoculars with micromirror array lenses
US8622557B2 (en) * 2008-05-20 2014-01-07 Stereo Display, Inc. Micromirror array lens with self-tilted micromirrors
US20090303569A1 (en) * 2008-05-20 2009-12-10 Stereo Didplay, Inc. Self-tilted micromirror device
JP5374953B2 (ja) 2008-07-30 2013-12-25 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法
US7852454B2 (en) * 2008-09-25 2010-12-14 Eastman Kodak Company Dual range focus element
KR100965320B1 (ko) * 2008-10-08 2010-06-22 삼성전기주식회사 연속 오토포커스 자동 제어장치 및 자동 제어방법
US8164682B2 (en) * 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
JP2010166256A (ja) * 2009-01-14 2010-07-29 Sony Corp 情報処理装置、情報処理方法、およびプログラム
CN102405439B (zh) 2009-02-19 2014-10-22 株式会社理光 照相机主体、可安装到照相机主体上/可从照相机主体上拆卸的成像单元以及成像设备
TWI403818B (zh) * 2009-07-07 2013-08-01 Univ Nat Taiwan 自動對焦方法
JP2012093409A (ja) * 2010-10-25 2012-05-17 Ricoh Co Ltd 撮像装置および撮像方法
CN103105660A (zh) * 2011-11-09 2013-05-15 华晶科技股份有限公司 镜头致动装置及其镜头致动方法
JP6105917B2 (ja) * 2012-12-17 2017-03-29 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
CN103713375B (zh) * 2013-12-12 2016-05-25 东莞市南星电子有限公司 一种用于定焦镜头对焦的自动调节治具及其调节方法
CN104717418A (zh) * 2013-12-16 2015-06-17 腾讯科技(深圳)有限公司 对焦方法、装置及电子设备
JP6453543B2 (ja) * 2014-01-22 2019-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
KR102521613B1 (ko) * 2018-05-04 2023-04-13 엘지이노텍 주식회사 액체 렌즈 제어 회로, 카메라 모듈 및 액체 렌즈 제어 방법
CN109348110B (zh) * 2018-11-21 2023-11-03 珠海市新德汇信息技术有限公司 一种人像拍照自动抓拍装置
CN112213619A (zh) * 2020-09-16 2021-01-12 杭州长川科技股份有限公司 探针台聚焦方法、装置、计算机设备和存储介质
CN112213618B (zh) * 2020-09-16 2022-12-06 杭州长川科技股份有限公司 探针台聚焦方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2681912B2 (ja) * 1986-01-22 1997-11-26 株式会社ニコン 自動合焦装置
JPH03117275A (ja) * 1989-09-29 1991-05-20 Sanyo Electric Co Ltd オートフォーカスカメラ
JP3136661B2 (ja) * 1991-06-24 2001-02-19 株式会社ニコン 自動焦点調節装置
US5589911A (en) * 1992-12-09 1996-12-31 Olympus Optical Co., Ltd. Autofocusing apparatus for camera having multiple ranging device
JP2001208959A (ja) * 2000-01-24 2001-08-03 Fuji Photo Film Co Ltd 撮像装置、自動合焦方法及び合焦の手順を記録した記録媒体

Also Published As

Publication number Publication date
US6885819B2 (en) 2005-04-26
EP1341022A2 (en) 2003-09-03
DE60321413D1 (de) 2008-07-17
US20030165333A1 (en) 2003-09-04
JP2003241070A (ja) 2003-08-27
EP1341022A3 (en) 2006-06-07
EP1341022B1 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
JP3992992B2 (ja) 被写体像取得装置
JP5911531B2 (ja) 光学機器
EP1684503B1 (en) Camera and autofocus control method therefor
JP4390286B2 (ja) カメラ及びその制御方法及びプログラム及び記憶媒体
JP5322783B2 (ja) 撮像装置及び該撮像装置の制御方法
JP4094458B2 (ja) 画像入力装置
JP2006053545A (ja) 光学機器
JP5896763B2 (ja) 光学機器および自動焦点調節を行う方法
JP2003125275A (ja) 被写体像調整装置及び撮像装置
JP2010139666A (ja) 撮像装置
JP2008298943A (ja) 焦点調節装置および撮像装置
JP4535462B2 (ja) 被写体像取得装置
JP5796388B2 (ja) 焦点検出装置および撮像装置
JP2006023653A (ja) 光学機器
JP4308494B2 (ja) カメラ、被写体像取得装置、自動合焦システムおよび自動合焦方法
JP2005024858A (ja) デジタル一眼レフカメラ
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP2004120582A (ja) カメラ
JP5987285B2 (ja) 焦点調節装置および撮像装置
JP2006091293A (ja) 撮影装置
JP5619227B2 (ja) 撮像装置及び該撮像装置の制御方法
JP2006113293A (ja) 撮影装置
JP2011027901A (ja) 撮像装置
JP2018116265A (ja) 焦点検出装置、制御方法、プログラム及び記憶媒体
JP2006235354A (ja) 焦点検出装置およびデジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees