JP7112863B2 - 情報処理装置、情報処理方法、プログラム、及び画像測定装置 - Google Patents

情報処理装置、情報処理方法、プログラム、及び画像測定装置 Download PDF

Info

Publication number
JP7112863B2
JP7112863B2 JP2018054688A JP2018054688A JP7112863B2 JP 7112863 B2 JP7112863 B2 JP 7112863B2 JP 2018054688 A JP2018054688 A JP 2018054688A JP 2018054688 A JP2018054688 A JP 2018054688A JP 7112863 B2 JP7112863 B2 JP 7112863B2
Authority
JP
Japan
Prior art keywords
focus position
calculated
subject
reliability
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018054688A
Other languages
English (en)
Other versions
JP2019168520A (ja
Inventor
博行 吉田
幸真 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP2018054688A priority Critical patent/JP7112863B2/ja
Priority to US16/358,836 priority patent/US10895730B2/en
Priority to CN201910216554.8A priority patent/CN110300255B/zh
Priority to DE102019203963.4A priority patent/DE102019203963A1/de
Publication of JP2019168520A publication Critical patent/JP2019168520A/ja
Application granted granted Critical
Publication of JP7112863B2 publication Critical patent/JP7112863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、例えば測定や観察等のために被写体の画像を撮影する際に利用可能な情報処理装置、情報処理方法、プログラム、及び画像測定装置に関する。
被写体を撮影して得られる画像をコンピュータにより処理して、観察や測定等を行うシステムが知られている。例えば顕微鏡により得られた拡大画像を用いた検査や、CNC(Computer Numerical Control)による測定等において、そのようなシステムが用いられる。
特許文献1に記載の画像測定装置では、手動により焦点位置が移動されながら撮影された手動被写体画像群像の各コントラスト情報に基づいて、おおよそのフォーカス位置である第1の合焦位置が算出される。算出された第1の合焦位置を基準として探索範囲が設定され、探索範囲内にて自動により焦点位置が移動されながら被写体が撮影される。その撮影された自動被写体画像群の各コントラスト情報に基づいて、最終的なフォーカス位置である第2の合焦位置が算出される。これにより自動で焦点位置を移動させる走査において、無駄な走査の発生を十分に抑えることが可能となり、最終的なフォーカス位置を高速で算出することが可能となる(明細書段落[0061][0072][0075]図4、5等)。
特開2015-55770号公報
このように合焦位置を高速に算出して、オートフォーカスにかかる時間を短縮することを可能とする技術が求められている。
以上のような事情に鑑み、本発明の目的は、合焦位置を高速に算出してオートフォーカスにかかる時間を短縮することを可能とする情報処理装置、情報処理方法、プログラム、及び画像測定装置を提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、取得部と、第1の算出部と、駆動部とを具備する。
前記取得部は、撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する。
前記第1の算出部は、前記取得された手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出可能である。
前記駆動部は、ユーザからのオートフォーカスの指示に基づいて、前記算出された第1の合焦位置に、前記撮像装置の焦点位置を移動させることが可能である。
この情報処理装置では、手動により焦点位置を移動させながら被写体を撮影した手動被写体画像群の各コントラスト情報に基づいて、例えばモデル関数等を用いたフィッティングが実行される。これにより被写体に対する撮像装置の第1の合焦位置を高速に算出することが可能となる。ユーザからのオードフォーカスの指示に対しては、算出された第1の合焦位置に焦点位置を移動させればよいので、オートフォーカスにかかる時間を短縮することが可能となる。
前記情報処理装置は、さらに、前記算出された前記第1の合焦位置の信頼度を算出する信頼度算出部を具備してもよい。この場合、前記駆動部は、前記算出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、前記算出された第1の合焦位置に前記撮像装置の焦点位置を移動させてもよい。
前記情報処理装置は、さらに、前記算出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像装置の第2の合焦位置を算出可能な第2の算出部を具備してもよい。
前記取得部は、前記手動被写体画像群の各焦点位置情報を取得可能であってもよい。この場合、前記信頼度算出部は、前記取得された焦点位置情報に基づいて、前記第1の合焦位置の信頼度を算出してもよい。
前記第1の算出部は、前記フィッティングを実行することで、コントラストのピーク値を算出し、前記ピーク値に対応する前記焦点位置を前記第1の合焦位置として算出してもよい。この場合、前記信頼度算出部は、前記コントラストのピーク値に基づいて、前記第1の合焦位置の信頼度を算出してもよい。
前記駆動部は、ユーザの手動による前記焦点位置を移動させるための操作に応じた前記焦点位置の移動動作を制御可能であってもよい。
前記駆動部は、前記焦点位置の移動速度、及び前記焦点位置の移動速度の変化を制御可能であってもよい。
前記情報処理装置は、さらに、前記算出された前記第1の合焦位置の信頼度に関する通知情報を出力可能な通知部を具備してもよい。
前記通知情報は、前記算出された第1の合焦位置の信頼度、及びユーザの手動による前記焦点位置を移動させるための操作の方法に関する情報の少なくとも一方を含んでもよい。
前記情報処理装置は、さらに、前記コントラストのピーク値を算出可能であるか否かを判定する判定部を具備してもよい。この場合、前記第1の算出部は、前記コントラストのピーク値が算出可能であると判定されるごとに、前記第1の合焦位置を算出してもよい。
前記第1の算出部は、過去に算出された前記第1の合焦位置、及び過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置を算出してもよい。この場合、前記信頼度算出部は、過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置の信頼度を算出してもよい。
前記第1の算出部は、前記過去に算出された前記第1の合焦位置の信頼度に基づいて重み付けを行い、前記第1の合焦位置を算出してもよい。
前記取得部は、前記撮像装置の焦点位置を自動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である自動被写体画像群を取得可能であってもよい。この場合、前記第2の算出部は、前記算出された第1の合焦位置、及び前記取得された自動被写体画像群の各コントラスト情報に基づいて、前記第2の合焦位置を算出してもよい。
前記情報処理装置は、さらに、オートフォーカスに関する通常モード、及び高精度モードを切替え可能に選択する選択部を具備してもよい。この場合、前記駆動部は、前記通常モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、前記算出された第1の合焦位置に前記撮像装置の焦点位置を移動させることが可能であり、前記高精度モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、前記算出された第1の合焦位置を基準とした探索範囲のいずれかの端点に、前記撮像装置の焦点位置を移動させることが可能であってもよい。
前記情報処理装置は、さらに、前記高精度モードが選択されている場合に、前記探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像の各コントラスト情報をもとに、前記被写体に対する前記撮像装置の第3の合焦位置を算出可能な第3の算出部を具備してもよい。
前記判定部は、前記第1の合焦位置の算出から所定の時間が経過するまでに、前記オートフォーカスの指示が入力されない場合に、前記第1の合焦位置を無効と判定してもよい。
前記情報処理装置は、さらに、複数の領域に分割された算出用マップを記憶する記憶部を具備してもよい。前記第1の算出部は、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出してもよい。
前記第1の算出部は、前記複数の分割領域のうち、前記第1の合焦位置の算出の基準となる前記被写体画像内の基準領域と重なり合う前記分割領域を算出対象領域として、前記算出対象領域ごとの前記分割合焦位置の情報をもとに前記第1の合焦位置を算出してもよい。
前記第1の算出部は、前記算出対象領域の前記基準領域に重なる範囲の大きさと、前記算出対象領域のコントラスト情報とをもとに重み付けを行い、前記第1の合焦位置を算出してもよい。
前記駆動部は、前記焦点位置を前記探索範囲のいずれかの端点まで第1の速度で移動させ、前記探索範囲内にて前記第1の速度よりも小さい第2の速度で前記焦点位置を移動させてもよい。
前記撮像装置は、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能であってもよい。この場合、前記駆動部は、前記撮影位置を前記2次元内にて移動させることが可能であってもよい。また前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動されてもよい。
前記記憶部は、前記算出用マップの領域ごとに、当該領域に対応する前記被写体画像の分割領域のコントラスト情報及び分割合焦位置の情報を記憶してもよい。この場合、前記第1の算出部は、前記撮影位置が移動された場合に、移動前に記憶された前記算出用マップの領域ごとの前記コントラスト情報及び前記分割合焦位置情報を参照して、移動後の前記被写体画像の分割領域の前記分割合焦位置を算出してもよい。
前記取得部は、対物レンズを含む光学系により結像された前記被写体の像が撮影されることで得られた前記複数の被写体画像を取得してもよい。この場合、前記記憶部は、前記光学系に使用される前記対物レンズ毎に、前記第1の合焦位置の算出に用いられる前記算出用マップを記憶してもよい。
本発明の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得することを含む。
前記取得された手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置が算出される。
ユーザからのオートフォーカスの指示に基づいて、前記算出された第1の合焦位置に、前記撮像装置の焦点位置が移動される。
本発明の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得するステップ。
前記取得された手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出するステップ。
ユーザからのオートフォーカスの指示に基づいて、前記算出された第1の合焦位置に、前記撮像装置の焦点位置を移動させるステップ。
本発明の一形態に係る画像測定装置は、撮像部と、前記取得部と、前記第1の算出部と、前記駆動部とを具備する。
前記撮像部は、被写体を撮影することで被写体画像を生成することが可能である。
以上のように、本発明によれば、合焦位置を高速に算出してオートフォーカスにかかる時間を短縮することが可能となる。
本発明の一実施形態に係る画像測定装置の構成例を示す模式的な図である。 図1に示すPC本体の構成例を示す模式的なブロック図である。 フォーカス位置の算出例を示すフローチャートである(予測AF)。 フォーカス位置の算出例を示すフローチャートである(高速モードAF)。 フォーカス位置の算出例を示すフローチャートである(高精度モードAF)。 手動によるカメラの位置の調整について説明するための図である。 1stサーチ範囲の設定について説明するための図である。 手動によるカメラの位置の調整について説明するための図である。 高速モードAFにおけるカメラの移動動作を説明するための図である。 高速モードAFにおけるカメラの移動動作を説明するための図である。 高精度モードAFにおけるカメラの移動動作を説明するための図である。 第1の合焦位置の有効性の判定方法の一例を説明するための図である。 手動被写体画像群の各コントラスト情報をもとにした、第1の合焦位置の算出の概要を説明するための写真及び図である。 手動被写体画像群の各コントラスト情報をもとにした、第1の合焦位置の算出の概要を説明するための写真及び図である。 複数の分割領域の設定を説明するための図である。 分割領域情報の更新の一例を示すフローチャートである。 コントラストマップの移動を説明するための図である。 コントラストマップの移動を説明するための図である。 コントラストマップの移動を説明するための図である。 分割領域情報を用いた第1の合焦位置及びその信頼度の算出例を説明するための図である。 比較例として挙げる従来のAFを説明するための図である。 比較例として挙げる従来のAFを説明するための図である。 比較例として挙げる従来のAFの処理時間を示すグラフである。 1stサーチが実行される場合の処理時間を示すグラフである。
以下、本発明に係る実施形態を、図面を参照しながら説明する。
[画像測定装置の構成]
図1は、本発明の一実施形態に係る画像測定装置の構成例を示す模式的な図である。画像測定装置300は、非接触型の画像測定機100と、この画像測定機100を駆動制御すると共に必要なデータ処理を実行するPC(Personal Computer)200とを有する。PC200は、本実施形態に係る情報処理装置として機能する。なお本実施形態に係る情報処理装置として、PC以外のコンピュータが用いられてもよい。
画像測定機100は、試料移動手段である架台111と、架台111上に載置されるステージ112と、ステージ112の上方に配置される撮像ユニット114とを有する。
架台111はベース部115を有し、ベース部115は、第1の方向(X軸方向)を短手方向とし、第1の方向に直交する第2の方向(Y軸方向)を長手方向とする主面116を有する。ベース部115の2つの長辺部には、上方(Z軸方向)に延在する2つの支柱部113a及び113bが設置される。2つの支柱部113a及び113bの間には、X軸方向に延在するガイド部113cが設置される。
ステージ112は、被測定対象となるワーク3が載置される載置面117を有し、この載置面117が水平方向と平行となるように架台111の主面116上に載置される。架台111の主面116には、ステージ112をY軸方向に移動させる図示しないY軸駆動機構が備えられている。PC200によりY軸駆動機構が制御されることで、ステージ112がY軸方向に沿って移動される。Y軸駆動機構の構成は限定されず、適宜設計されてよい。
撮像ユニット114は、2本の支柱部113a及び113bの間に設置されたガイド部113cに取り付けられる。ガイド部113cには、図示しないX軸駆動機構が備えられている。PC200によりX軸駆動機構が制御されることで、撮像ユニット114がX軸方向に沿って移動される。X軸駆動機構の構成は限定されず、適宜設計されてよい。
撮像ユニット114には、撮像装置(撮像部)として機能するカメラ118が、ステージ112と対向するように装着される。カメラ118としては、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等を有するものが用いられる。その他のカメラが用いられてもよい。
カメラ118は、ワーク3を被写体として撮影することで、その被写体画像を生成することが可能である。カメラ118は、光軸方向であるZ軸方向(合焦軸方向)に移動可能に設けられており、所定の範囲内の任意の焦点位置でワーク3の被写体画像を撮影することが可能である。撮像ユニット114には、カメラ118をZ軸方向に移動させる図示しないZ軸駆動機構が備えられている。PC200によりZ軸駆動機構が制御されることで、カメラ118がZ軸方向に沿って移動される。これによりカメラ118の焦点位置が移動される。
Z軸方向へカメラ118を移動させて焦点位置を移動させることは、例えばマウスやジョイスティックボックス等を介したユーザの操作に基づいて実行される。またPC200の制御により自動的にカメラ118を移動させることで、焦点位置を移動させることも可能である。ユーザの操作に基づいた焦点位置の移動は、手動による焦点位置の移動に相当する。PC200の制御による焦点位置の移動は、自動による焦点位置の移動に相当する。
画像測定機100の種類は限定されない。ワーク3を撮影することで生成される被写体画像を用いて測定や観察等を実行するものであり、手動及び自動により焦点位置を移動可能な機器であれば、どのような機器が用いられてよい。例えばCNC画像測定機、CNC三次元測定機等の画像プローブ、硬さ試験機等が挙げられる。また光学顕微鏡で得られた拡大像をデジタルカメラにより撮影するデジタル顕微鏡においても本発明は適用可能である。この場合、対物レンズを含む結像光学系により被写体の拡大像が生成される。当該結像光学系は、撮像装置(撮像部)に含まれるものとし、典型的には、対物レンズをZ軸方向へ移動させることで、焦点位置が移動される。
図1に示す例では、撮像ユニット114がX軸方向に駆動され、ステージ112がY軸方向に駆動される。これによりカメラ118の撮影位置をステージ112の載置面117に対して、XY平面方向で相対的に移動させることが可能となる。すなわち本画像測定機100では、カメラ118により、ワーク3が載置される載置面117に沿う2次元内の任意の撮影位置で、ワーク3を撮影することが可能である。ここで撮影位置とは、カメラ118により撮影される撮影範囲の位置であり、撮影範囲に含まれる領域の画像が、被写体画像として撮影される。
カメラ118の撮影位置をXY平面方向で移動させるための構成は限定されない。例えばステージ112がX軸方向及びY軸方向にそれぞれ駆動可能であってもよい。また撮像ユニット114がX軸方向及びY軸方向にそれぞれ駆動可能であってもよい。あるいはステージ112及び撮像ユニット114がともにXY平面方向に駆動可能であり、相対的な位置関係が適宜制御されてもよい。
PC200は、PC本体221と、キーボード222と、ジョイスティックボックス(以下、J/Sと記載する)223と、マウス224と、ディスプレイ225と、プリンタ226とを有する。キーボード222、J/S223、及びマウス224は、ユーザの指示が入力される操作入力部として機能する。ディスプレイ225は、表示部として機能し、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。プリンタ226は、例えば測定結果等をプリントアウトすることが可能である。
図2は、PC本体221の構成例を示す模式的なブロック図である。PC本体221は、CPU(Central Processing Unit)235、ROM(Read Only Member)236、RAM(Random Access Memory)237、画像メモリ238、表示制御部239を有する。またPC本体221は、画像測定機100やキーボード222、又はHDD(Hard Disk Drive)240等と接続される各種のI/F(インタフェース)241-245を有する。
カメラ118から転送され入力される撮影されたワーク3の被写体画像の情報は、I/F241を介して多値画像として画像メモリ238に格納される。画像情報は、例えば汎用のデジタルシリアル通信線としてのUSBケーブル及びUSBポートを介して転送される。
CAD(Computer Aided Design)データによるオフラインティーチングが実行される場合は、図示しないCADシステムにより作成されるワーク3のCADデータが、I/F242を介してCPU235に入力される。CPU235に入力されたCADデータは、例えばCPU235にてビットマップ等の画像情報に展開された後、画像メモリ238に格納される。この画像メモリ238に格納された画像情報は、表示制御部239を介してディスプレイ225に表示される。
キーボード222、J/S223及びマウス224から入力されるコード情報や位置情報等は、I/F244を介してCPU235に入力される。CPU235は、ROM236に格納されたマクロプログラム、及びHDD240からI/F245を介してRAM237に格納された各種プログラムに従って、測定実行処理や測定結果の表示処理等を実行する。各種プログラムには、例えば測定実行プログラムや測定結果表示プログラム等、及び本発明に係る情報処理方法を実行するためのプログラムが含まれる。
CPU235は、上記の測定実行処理に従って、I/F243を介して画像測定機100を駆動制御することが可能である。例えば、ユーザの操作によりJ/S223やマウス224から入力された入力情報に基づき、画像測定機100のX,Y軸駆動機構が制御されて、ステージ112や撮像ユニット114がX、Y軸方向に相対的に移動される。
ステージ112や撮像ユニット114が移動した位置において、手動又は自動によりZ軸駆動機構が制御されてカメラ118がZ軸方向に沿って移動される。そして焦点が合ったフォーカス位置に焦点位置が合わせられる。フォーカス位置によりワーク3が撮影されることで、新たな撮影範囲内のワーク3の被写体画像がディスプレイ225に表示される。このフォーカス位置の算出については、後に詳しく説明する。
なお、HDD240は、上記各種プログラムやデータ等を格納する記録媒体であり、RAM237は、各種プログラムを格納する他、各種処理におけるCPU235のワーク領域を提供する。HDD240、ROM236、RAM237等は、本実施形態おいて記憶部に相当する。なおプログラムは、インターネット等のネットワークを介して、PC200にインストールされてもよい。
またPC200は、例えばカメラ118に対してフレームレートを指定する信号や図示しない照明装置の光量を指定する信号等を送信することが可能である。カメラ118は、照明装置から光を照射されたワーク3をPC200により指定されたフレームレートで撮影し、撮影した画像情報を上述したようにUSBケーブル等を介してバルク転送によりPC200に転送する。なお照明装置としては、種々の照明が使用可能であり、例えばPWM(Pulse Width Modulation)制御のLED(Light Emitting Diode)等が用いられる。
カメラ118による被写体画像の撮影に応じて、画像測定機100が有する図示しない位置制御部等により、カメラ118の位置情報がPC200に送信される。例えばカメラ118の撮影動作に同期して、Z軸駆動機構に設けられたリニアスケール等からZ座標値が読み出される。読み出されたZ座標値が、被写体画像を撮影したカメラ118の位置情報として送信される。
具体例として、例えばカメラ118は、被写体画像の露光中にZ座標値のラッチ信号(例えばストローブ信号等でもよい)を出力する。出力されたラッチ信号に基づいて、位置制御部等によりZ座標値がラッチされる。PC200により、ラッチされたZ座標値が取得される。もちろんこのような処理に限定される訳ではない。
本実施形態では、カメラ118の位置121が移動されることで、焦点位置が移動される。しかしながら焦点位置の移動はこれに限定されない。例えばカメラ118に設けられたレンズ等の光学系を調整することで、焦点位置が移動されてもよい。画像測定機100としてデジタル顕微鏡が用いられる場合には、光学顕微鏡の光学系が調整(対物レンズの移動等)されることで、焦点位置が移動されてもよい。すなわち被写体画像の焦点位置を移動させる方法及びそのための構成は限定されない。
図2に模式的に示すように、本実施形態では、所定のプログラムに従って動作するCPU235により、取得部250、合焦位置算出部251、信頼度算出部252、駆動部253、ピーク判定部254、通知部255、及びモード選択部256が実現される。
取得部250は、カメラ118により生成される被写体画像を取得する。本実施形態では、カメラ118の位置(焦点位置)を手動により移動させながらワーク3を撮影することで生成される複数の被写体画像である手動被写体画像群が取得される。またカメラ118の位置(焦点位置)を自動により移動させながらワーク3を撮影することで生成される複数の被写体画像である自動被写体画像群が取得される。
また取得部250は、取得した被写体画像が撮影される際のカメラ118の位置情報を取得することが可能である。カメラ118の位置情報は、取得した被写体画像が撮影される際の、カメラ118の焦点位置情報に相当する。本開示では、被写体画像が撮影される際のカメラ118の位置情報(焦点位置情報)のことを、被写体画像の位置情報(焦点位置情報)として説明を行う場合がある。
合焦位置算出部251は、第1~第3の算出部として機能し、第1~第3の合焦位置を算出することが可能である。第1~第3の合焦位置の算出は、過去に算出された第1~第3の合焦位置を更新して、現在の第1~第3の合焦位置として算出することを含む。
信頼度算出部252は、第1の合焦位置の信頼度を算出することが可能である。信頼度の算出は、過去に算出された信頼度を更新して、現在の信頼度として算出することを含む。
駆動部253は、カメラ118の位置(焦点位置)を移動させることが可能である。駆動部253は、J/S223等を介した、ユーザの手動によるカメラ118の位置(焦点位置)を移動させるための操作に応じて、カメラ118の位置(焦点位置)を移動させる。また駆動部253は、PC200から出力される、自動によりカメラ118の位置(焦点位置)を移動させるための制御に基づいて、カメラ118の位置(焦点位置)を移動させる。
ピーク判定部254は、判定部として機能し、コントラストのピーク値が算出可能であるか否かを判定することが可能である。すなわちピーク判定部254は、取得された被写体画像及びその被写体画像の位置情報に基づいて、コントラストのピーク値を算出可能な条件を満たしているか否かを監視する。これによりピーク値が算出可能な状態であるか否かを判定することが可能である。
通知部255は、本実施形態に係る画像測定装置300の動作に関する任意の通知情報を出力することが可能である。例えば通知部255により、信頼度算出部252により算出された第1の合焦位置の信頼度に関する通知情報等が出力される。通知情報の出力方法は限定されず、例えば所定のGUIの表示、音声出力、ランプの点滅等、任意の方法が用いられてよい。
モード選択部256は、選択部として機能し、オートフォーカス(Auto Focus:以下AFと記載する)に関する高速モード及び高精度モードを切替可能に選択する。
これらの各ブロックにより、以下に示す本実施形態に係る情報処理方法が実行される。すなわちPC200による情報処理は、HDD240等に記憶されたソフトウェアと、PC200のハードウェア資源との協働により実現される。なお取得部250等の各ブロックを実現するために専用のハードウェアが用いられてもよい。
[画像測定装置の動作]
本実施形態に係る画像測定装置300の動作として、フォーカス位置の算出について説明する。図3~図5は、フォーカス位置の算出例を示すフローチャートである。図6~図12は、図3~図5に示す各ステップを説明するための図である。
以下の説明では、Z軸方向におけるカメラ118の移動が、焦点位置の移動に相当する。またカメラ118の移動範囲が、焦点位置の移動範囲に相当する。
図3は、カメラ118により撮影された被写体画像がディスプレイ225に表示されるライブ表示が開始される際の処理例であり、AFの指示が入力される前の処理例である。
ユーザはAFを開始するために、まずフォーカス位置の近くまで、手動によりカメラ118の位置121を移動させる。ユーザは、カメラ118により撮影された被写体画像をディスプレイ225で確認しながら、フォーカス位置に向かってカメラ118を移動させる。例えば手動によりカメラ118を動かす操作を促すGUIやアナウンス等が、通知部255により出力されてもよい。
例えば図6に示すように、Z軸方向の所定の位置にフォーカス位置Z_focusがあるとする。そしてユーザが、フォーカス位置Z_focusよりも上方の位置Aから下方に向けてカメラ118を移動させるとする。ユーザは、位置Aからフォーカス位置Z_focusを通り過ぎた位置Bまでカメラ118を移動させる。
この際に、ディスプレイ225に表示される被写体画像は、ぼやけた状態から鮮明な状態となり、再度ぼやけた状態となる。すなわち被写体画像のコントラストが低い状態から高い状態となり、再度低い状態となる。これによりユーザは、フォーカス位置Z_focusを通りすぎたこと、及びフォーカス位置Z_focusのおおよその位置を把握することが可能となる。
ユーザは、位置Bからフォーカス位置Z_focusに向けて上方に再びカメラ118を移動させる。そしてフォーカス位置Z_focusを通り過ぎた位置Cにカメラ118を移動させる。このようにしてフォーカス位置Z_focusの近くまで、カメラ118の位置121が手動で設定され、AFの指示が入力される。
なお図3に示すように、カメラ118は、所定の範囲としての移動可能範囲120内にて、移動可能に構成されている。また本実施形態では、カメラ118の位置121を基準として、1stサーチ範囲122及び2ndサーチ範囲123が設定されている。1stサーチ範囲122及び2ndサーチ範囲123は、後述する1stサーチ及び2ndサーチの実行時に、自動によりフォーカス位置をサーチすることが可能な範囲である。
1stサーチ範囲122及び2ndサーチ範囲123は、カメラ118の位置121を基準として上方及び下方に所定の大きさで設定される。すなわちZ軸方向の上向きをプラスとして、±Lmmの範囲が1stサーチ範囲122として設定され、±L'mmの範囲が2ndサーチ範囲123として設定される。
1stサーチ範囲122の大きさ(Lmmの大きさ)の方が、2ndサーチ範囲123の大きさ(L'mmの大きさ)よりも大きく設定される。1stサーチ範囲122及び2ndサーチ範囲123の大きさは限定されず、例えば焦点深度等をもとに適宜設定されてよい。Z軸方向においてカメラ118が移動すると、それにともなって1stサーチ範囲122及び2ndサーチ範囲123も移動する。
本実施形態では、この手動によるカメラ118の位置121の調整が行われている際に、図3に示す予測AFが実行される。なお手動による調整時に撮影された複数の被写体画像260は、手動被写体画像群265に含まれる画像となる。図6~図8に示す例では、Image0~Image8までの被写体画像260が、手動被写体画像群265に含まれる画像となる。
図3に示すように、カメラ118による撮影が開始される。所定のフレームレートでワーク3が撮影されることで、複数の被写体画像260が生成される(ステップ101)。図6に示す例では、まず位置AにてImage0の被写体画像260が撮影される。
取得部250により、位置Aにて撮影されたImage0の被写体画像260が取得される。また取得部250により、Image0の被写体画像260の位置情報Z0が取得される。すなわちImage0の被写体画像260が撮影された際の、カメラ118の位置情報Z0が取得される(ステップ102)。
取得されたImage0の被写体画像260は、記憶部に構成されるメインメモリに格納される。Image0の被写体画像260の位置情報Z0は、記憶部に構成される履歴バッファに格納される(ステップ103)。
合焦位置算出部251により、取得されたImage0の被写体画像260のコントラスト値が算出され、履歴バッファへ格納される(ステップ104)。
コントラスト値は、被写体画像260のコントラスト情報をもとに算出されるコントラストの評価値である。コントラスト値は、被写体画像260の各画素の輝度値をもとに算出されるが、その算出方法は限定されない。
例えば隣接する画素の輝度値の差の総和によりコントラスト値が算出されてもよい。あるいは、輝度値の絶対値の総和や、被写体画像260の周波数成分をもとにコントラスト値が算出されてもよい。その他、任意の方法でコントラスト値は算出されてもよい。なお全ての画素の輝度値の情報が用いられず、間引いたデータが用いられてもよい。
ピーク判定部254により、移動可能範囲120内におけるコントラストのピーク値が算出可能であるか否かが判定される(ステップ105)。
本実施形態では、履歴バッファに格納された各被写体画像260のコントラスト値の最大値である最大コントラスト値と、その被写体画像260の位置情報とが読み出される。また履歴バッファから位置情報が最下端となる被写体画像260のコントラスト値である最下端コントラスト値、及び位置情報が最上端となる被写体画像260のコントラスト値である最上端コントラスト値が読み出される。
これら読み出された最大コントラスト値、最下端コントラスト値、及び最上端コントラスト値と、図6に示す所定の閾値としてのロックオン閾値134とに基づいて、コントラストのピーク値が算出可能であるか否かが判定される。
具体的には、最大コントラスト値がロックオン閾値134よりも大きく、最下端コントラスト値及び最上端コントラスト値の両方が、ロックオン閾値134よりも小さい場合に、コントラストのピーク値が算出可能であると判定される。
ピーク値算出の判定方法は限定されず、他の方法が用いられてもよい。例えばロックオン閾値よりもコントラスト値が小さい2つの被写体画像260が存在する。そして、その2つの被写体画像260の間の位置にて撮影されたコントラスト値がロックオン閾値よりも大きい被写体画像260が存在する。この場合に、コントラストのピーク値が算出可能であると判定されてもよい。ロックオン閾値の具体的な値は限定されず、任意に設定されてよい。
図6に示す例では、まだ位置AにてImage0の被写体画像260が撮影された状態であるので、ステップ105はNoとなる。従って、ステップ102に戻り、Image1の被写体画像260、及びImage1の被写体画像260の位置情報Z1が取得される。
ステップ102からステップ105までのループが繰り返され、位置Bにて撮影されたImage5の被写体画像260、及びその位置情報Z5が取得される。そうすると、コントラストのピーク値が算出可能であると判定され(ステップ105のYes)、ステップ106に進む。
ステップ106では、第1の算出部として機能する合焦位置算出部251により、手動被写体画像群265の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行される。そしてワーク3に対するカメラ118の第1の合焦位置125が算出される(フォーカス・ロックオン)。
図6に示すように、本実施形態では、モデル関数へのフィッティングにより、移動可能範囲120内の焦点位置とコントラスト値との関係を表す関数が算出される。そしてその関数のピーク値がコントラストのピーク値として算出され、コントラストのピーク値に対応するカメラ118の位置(焦点位置)が第1の合焦位置125として算出される。モデル関数へのフィッティングとしては、例えば最小二乗法を用いたガウス関数のフィッティング等が挙げられるが、それに限定されない。
モデル関数へのフィッティングを実行することで、第1の合焦位置125を、焦点の合ったフォーカス位置Z_focusとして精度よく算出することが可能となる。
図7に示すように、第1の合焦位置125が算出され、フォーカス・ロックオン状態となると、第1の合焦位置125を基準とした探索範囲として、1st予測サーチ範囲127が設定される。1st予測サーチ範囲127は、1stサーチ範囲122よりも小さい範囲で、第1の合焦位置125を中心として上方及び下方に所定の大きさで設定される。すなわちZ軸方向の上向きをプラスとして、±Nmmの範囲が、1st予測サーチ範囲127として設定される。
1st予測サーチ範囲127の大きさ(Nmmの大きさ)は、焦点深度等をもとに適宜設定されてよい。例えば焦点深度が狭い光学系の場合、1st予測サーチ範囲127は小さく設定される。焦点深度が広い光学系の場合、1st予測サーチ範囲127は大きく設定される。
信頼度算出部252により、第1の合焦位置125の信頼度が算出される(ステップ107)。本実施形態では、ステップ102からステップ105までのループが繰り返されることで取得された手動被写体画像群265の位置情報(位置情報Z0~Z5)及びステップ106にて算出されたコントラストのピーク値に基づいて、第1の合焦位置125の信頼度が算出される。
図6を例として、手動被写体画像群265の位置情報Z0~Z5に基づいて、被写体画像260が撮影された際のカメラ118の各位置の間隔ΔZ1~ΔZ5が算出される。このカメラ118の各位置の間隔ΔZ1~ΔZ5に基づいて、手動被写体画像群265が撮影される際のカメラ118の移動速度(例えば平均移動速度等)が算出される。
カメラ118の移動速度が平均移動速度に近いほど、第1の合焦位置125の信頼度が高いと判定される。すなわち速度のばらつきが小さいほど信頼度が高いと判定され、速度のばらつきが大きいほど信頼度が低いと判定される。またカメラ118の平均移動速度が速くなるほど第1の合焦位置125の信頼度が低いと判定される。なお平均移動速度が所定の移動速度より遅い場合は、さらに正確なコントラストカーブが取得可能であるため信頼度を高くすることが可能である。
また、カメラ118の各位置の間隔ΔZ1~ΔZ5がほぼ一定である場合には、手動被写体画像群265が撮影される際のカメラ118の移動速度は一定に保たれていると判定され、第1の合焦位置125の信頼度が高いと判定される。各位置の間隔ΔZ1~ΔZ5にばらつきがある場合には、カメラ118の移動速度が安定しておらず、第1の合焦位置125の信頼度が低いと判定される。各位置の間隔ΔZ1~ΔZ5にばらつきは、例えば標準偏差等を用いることで評価することが可能である。
またステップ106にて算出されるコントラストのピーク値が大きいほど、第1の合焦位置125の信頼度は高いと判定される。コントラストのピーク値が小さいほど、第1の合焦位置125の信頼度は低いと判定される。
このように本実施形態では、手動被写体画像群265が撮影される際のカメラ118の移動速度、速度の一定性(変化量)、及びコントラストのピーク値に基づいて、第1の合焦位置125の信頼度が算出される。第1の合焦位置125の信頼度は、重み係数として算出される。信頼度が高いほど重み係数は大きくなり、信頼度が低いほど重み係数小さくなる。算出される信頼度(重み係数)が、例えば0~1等の所定の範囲に含まれるように、正規化されてもよい。
第1の合焦位置125の信頼度を算出するための具体的な方法やアルゴリズムは限定されない。例えば上記したカメラ118の移動速度、速度の一定性(変化量)、及びコントラストのピーク値のいずれか1つ、あるいは任意の組み合わせに基づいて、信頼度が算出されてもよい。あるいは、他のパラメータが用いられてもよい。例えばモデル関数のフィッティングに用いられるコントラスト値の数等が、信頼度判定に用いられてもよい。
合焦位置算出部251及び信頼度算出部252により、予測情報の生成及び更新が実行される(ステップ108)。予測情報は、AFの指示の入力に応じて参照される情報であり、第1の合焦位置125、及び第1の合焦位置125の信頼度(重み係数)を含む。図6に示す例では、Image0~Image5までの手動被写体画像群265に基づいた予測情報が生成される。
なお履歴バッファに格納された各被写体画像260のコントラスト値、及び各被写体画像260の位置情報も予測情報に含まれる。その他、任意の情報が予測情報として生成されてもよい。
図8に示すように、手動により位置Bから位置Cに向けて、カメラ118が移動される。その際にも、図3に示す予測AFが実行される。Image6~Image8までの手動被写体画像群265、及びその位置情報Z6~Z8が順に取得され、各被写体画像260のコントラスト値が算出される(ステップ102~105のループ)。
位置Cにて撮影されたImage8の被写体画像260、及びその位置情報Z8が取得されると、コントラストのピーク値が算出可能であると判定され(ステップ105のYes)。なおこの判定ステップにおいて、最大コントラスト値、最下端コントラスト値、及び最上端コントラスト値の読出しは、例えば前回の第1の合焦位置125の算出にて最後に取得されたImage5の被写体画像250以降の、Image5~Image8までの手動被写体画像群265を対象に実行される。
モデル関数へのフィッティングにより、コントラストのピーク値、及び第1の合焦位置125が算出される(ステップ106)。第1の合焦位置125の信頼度(重み係数)が算出される(ステップ107)。このように本実施形態では、ステップ105にてコントラストのピーク値が算出可能であると判定されるごとに、第1の合焦位置125が算出される。
合焦位置算出部251及び信頼度算出部252により、予測情報が更新される(ステップ108)。本実施形態では、以下の式に基づいて、第1の合焦位置125及び第1の合焦位置125の信頼度(重み係数)が更新される。
Zfocus_c=(Zfocus_p×Wpast+Zfocus_n×Wnew)/(Wpast+Wnew)
Wcurrent=Wpast+Wnew
式中のパラメータは以下の通りである。
Zfocus_c…更新後の第1の合焦位置
Zfocus_p…前回の更新後の第1の合焦位置
Zfocus_n…今回算出された第1の合焦位置
Wcurren…更新後の信頼度
Wpast…前回の更新後の信頼度
Wnew…今回算出された信頼度
このように、本実施形態では、第1の算出部として機能する合焦位置算出部251により、過去に算出された第1の合焦位置125、及び過去に算出された第1の合焦位置125の信頼度に基づいて、予測情報に含まれる第1の合焦位置(Zfocus_p)が更新され、現在の第1の合焦位置(Zfocus_c)として算出される。もちろんモデル関数を用いたフィッティングを実行することで算出された今回の第1の合焦位置(Zfocus_n)も用いられる。
予測情報に含まれる第1の合焦位置(Zfocus_p)を更新して、現在の第1の合焦位置(Zfocus_c)を算出することは、手動被写体画像群265の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、第1の合焦位置125を算出する処理に含まれる。すなわちフィッティングと更新の両方が適宜実行されることで、ワーク3に対するカメラ118の第1の合焦位置125が算出される。
過去に算出された第1の合焦位置125の信頼度に基づいて重み付けを行い現在の第1の合焦位置125を算出することで、信頼性の高い第1の合焦位置125が算出される。すなわちフォーカス位置Z_focusの検出精度を向上させることが可能となる。
また信頼度算出部252により、過去に算出された第1の合焦位置125の信頼度に基づいて、予測情報に含まれる信頼度(Wpast)が更新され、更新後の第1の合焦位置125の信頼度(Wcurren)が算出される。もちろん今回の第1の合焦位置125の信頼度(Wnew)も用いられる。なお予測情報の更新方法は限定されず、上記の式とは異なる算出方法等が適宜用いられてもよい。
図4及び図5は、ユーザによりAFの指示が入力された場合に実行されるAF処理の一例を示すフローチャートである。図4は、AFに関するモードとして高速モードが選択れた場合の処理例である。高速モードは、ワーク3の観察用に選択されるモードであり、本実施形態において、通常モードに相当する。
図5は、AFに関するモードとして、高精度モードが選択された場合の処理例である。高精度モードは、ワーク3の測定用に選択されるモードであり、高速モードよりもさらに精度の高いAFが実現される。
高速モード、及び高精度モードは、例えばユーザの指示やPC200による設定に応じて、図2に示すモード選択部256により適宜選択される。例えば、現在どちらのモードが選択されているかが、GUIやアナウンス等を介して、通知部255により出力されてもよい。
図4に示すように、高速モードが選択されている場合、駆動部253により、予測情報が取得される(ステップ201)。取得された予測情報を使用可能か否かが判定される(ステップ202)。本実施形態では、予測情報に含まれる第1の合焦位置125の信頼度が所定の閾値よりも大きいか否かが判定される。すなわち上記した、更新後の第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が、所定の閾値よりも大きいか否かが判定される。所定の閾値は、任意に設定されてよい。
第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が所定の閾値よりも大きい場合は、図9に示すように、カメラ118の位置(焦点位置)が、第1の合焦位置125に移動される。すなわち第1の合焦位置(Zfocus_c)をフォーカス位置Z_focusとして、その位置へカメラ118が移動される(ステップ203)。これによりサーチ動作をすることなくAFが完了するので、AFにかかる時間を大幅に短縮することが可能となる。
またカメラ118を、十分に大きい速度、例えば最大速度である第1の速度Vmax1で移動させればよいので、AFにかかる時間は非常に短くなる。
第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が所定の閾値よりも小さい場合、第1の合焦位置125をフォーカス位置Z_focusとする代わりに、1stサーチが実行される。1stサーチは、第1の合焦位置125を基準とした1st予測サーチ範囲127に対して実行される。
従って1stサーチの開始位置として、1st予測サーチ範囲127のいずれかの端点に、カメラ118の位置が移動される(ステップ204)。典型的には、AFの指示が入力された際のカメラ118の位置に近い方の端点に、カメラ118の位置が移動される。これによりAFにかかる時間を短縮することが可能となる。
1stサーチが実行され、第2の算出部として機能する合焦位置算出部251により、ワーク3に対するカメラ118の第2の合焦位置が算出される(ステップ205)。
例えば図10に示すように、駆動部253により、カメラ118の位置が、1st予測サーチ範囲127にて第1の速度Vmax1よりも小さい第2の速度V1で移動される。第1の速度V1の具体的な値は限定されず、高い精度でフォーカス位置Z_focusを算出することが可能となるように、焦点深度等をもとに任意に設定されてよい。
1st予測サーチ範囲127内にて、カメラ118の位置を自動により移動させながらワーク3が撮影され、複数の被写体画像270が生成される。この複数の被写体画像270は、自動被写体画像群275に含まれる画像となる。図10に示す例では、Image2~Image6までの被写体画像270が、自動被写体画像群275に含まれる画像となる。なおImage0及びImage1の被写体画像270も、第2の合焦位置130の算出に用いられてもよい。
合焦位置算出部251により、自動被写体画像群275の各コントラスト情報に基づいて、1st予測サーチ範囲127内の第2の合焦位置130が算出される。すなわち自動被写体画像群275の各コントラスト情報をもとに、コントラストのピーク値が算出される。そしてコントラストのピーク値に対応するカメラ118の位置が第2の合焦位置130として算出される。この第2の合焦位置130が、フォーカス位置Z_focusとして算出される。
典型的には、第2の合焦位置130は、自動被写体画像群275の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで算出される。モデル関数へのフィッティングとしては、例えば最小二乗法を用いたガウス関数のフィッティング等が挙げられるが、それに限定されない。その他、コントラスト値、及びピーク値の算出方法として、任意の方法が採用されてよい。
図10に示す例では、1st予測サーチ範囲127の端点でImage6の被写体画像270が撮影されたときに、コントラストのピーク値が算出されている。そしてImage6の被写体画像270の撮影時にてカメラ118の移動が停止される。なお1st予測サーチ範囲の下端に移動する前に、ピーク値が算出された時点にて、カメラ118の移動が停止されてもよい。これにより処理時間を短縮することが可能である。例えはモデル関数のパラメータを算出するために必要な数のコントラスト値が算出された時点で、カメラ118の移動が停止される。
駆動部253により、カメラ118の位置(焦点位置)が、第2の合焦位置130に移動される。すなわち第2の合焦位置130をフォーカス位置Z_focusとして、その位置へカメラ118が移動される(ステップ203)。このように第1の合焦位置125を基準とした1st予測サーチ範囲127に対して1stサーチを実行することで、無駄な走査の発生を十分に抑えることが可能となり、フォーカス位置Z_focusを高速で算出することが可能となる。
なお第1の合焦位置125を基準とした1st予測サーチ範囲127として、第1の合焦位置125を中心とした所定の大きさの範囲ではなくて、1st予測サーチ範囲127の開始位置128から1stサーチ範囲122の反対側の端点(図10の例では下端131)までの範囲が設定されてもよい。これによりさらに広い範囲を操作することが可能となり、高い精度でのフォーカス位置Z_focusが算出可能となる。
図5を参照して、高精度モードが選択されている場合について説明する。図5に示すステップ301~304は、図4に示す高速モードにおけるステップ201、202、204、及び205と同様である。予測情報に含まれる更新後の第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が、所定の閾値よりも大きい場合は、ステップ302にてYesとなる。そして第1の合焦位置(Zfocus_c)をサーチ基準位置として、2ndサーチが実行される。
更新後の第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が、所定の閾値よりも小さい場合は、ステップ302にてNoとなる。そして1stサーチを実行することで、第2の合焦位置130が算出される(ステップ303及び304)。算出された第2の合焦位置130をサーチ基準位置として、2ndサーチが実行される。
図11に示すように、サーチ基準位置を基準とした2nd予測サーチ範囲135が設定される。2nd予測サーチ範囲135は、2ndサーチ範囲123よりも小さい範囲で、サーチ基準位置(第1合焦位置又は第2の合焦位置)を中心として上方及び下方に所定の大きさで設定される。2nd予測サーチ範囲135の大きさ(Mmmの大きさ)は、焦点深度等をもとに適宜設定されてよい。
2ndサーチの開始位置として、2nd予測サーチ範囲135のいずれかの端点に、カメラ118の位置が移動される(ステップ305)。図11に示す例では、2nd予測サーチ範囲135の下端に、カメラ118が移動されている。もちろん現在のカメラ118の位置に近い方の端点が、2ndサーチの開始位置として選択されてもよい。
2ndサーチが実行され、第3の算出部として機能する合焦位置算出部251により、ワーク3に対するカメラ118の第3の合焦位置140が算出される(ステップ306)。例えば図11に示すように、駆動部253により、カメラ118の位置が、2nd予測サーチ範囲135にて第2の速度V1よりも小さい第3の速度V2で移動される。第3の速度V2の具体的な値は限定されず、1stサーチよりも高い精度でフォーカス位置Z_focusを算出することが可能となるように、焦点深度等をもとに任意に設定されてよい。
2nd予測サーチ範囲135内にて、カメラ118の位置を自動により移動させながらワーク3が撮影され、複数の被写体画像270が生成される。この複数の被写体画像270は、自動被写体画像群275に含まれる画像となる。図11に示す例では、Image0~Image8までの被写体画像270が、自動被写体画像群275に含まれる画像となる。
合焦位置算出部251により、自動被写体画像群275の各コントラスト情報に基づいて、2nd予測サーチ範囲135内の第3の合焦位置140が算出される。すなわち自動被写体画像群275の各コントラスト情報をもとに、コントラストのピーク値が算出される。そしてコントラストのピーク値に対応するカメラ118の位置が第3の合焦位置140として算出される。この第3の合焦位置140が、高精度モードにおけるフォーカス位置Z_focusとして算出される。
典型的には、第3の合焦位置140は、自動被写体画像群275の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで算出される。モデル関数へのフィッティングとしては、例えば最小二乗法を用いたガウス関数のフィッティング等が挙げられるが、それに限定されない。その他、コントラスト値、及びピーク値の算出方法として、任意の方法が採用されてよい。
図11に示す例では、2nd予測サーチ範囲135の上端に移動する前に、ピーク値が算出された時点にて、カメラ118の移動が停止されている。これにより処理時間を短縮することが可能である。一方で、2nd予測サーチ範囲135の上端や、図に示すように2ndサーチ範囲の上端まで、カメラ118が移動されてもよい。これにより広い範囲を操作することが可能となり、高い精度でのフォーカス位置Z_focusが算出可能となる。カメラ118の移動範囲は、例えはモデル関数のパラメータを算出するために必要な数のコントラスト値が算出されたか否か等に基づいて、適宜設定されてよい。
駆動部253により、カメラ118の位置(焦点位置)が、第3の合焦位置140に移動される。すなわち第3の合焦位置140をフォーカス位置Z_focusとして、その位置へカメラ118が移動される(ステップ307)。このように高速モードにて算出されたフォーカス位置Z_focusを基準として、2ndサーチを実行することで、測定用の非常に精度の高いフォーカス位置Z_focusを算出することが可能となる。
手動によるカメラ118の位置の調整が行われた後、AFの指示が入力されるまでに、ワーク3の交換や移動が行われたとする。または照明強度の変更等、撮影条件が変更されたとする。このような場合には、フォーカス位置Z_focusも変わってしまうので、図4及び図5に示す処理によりカメラ118の位置を適性にフォーカス位置Z_focusへ移動させることが難しい。すなわちAFが不調となってしまう可能性が高い。
AFが不調とならないように、本実施形態では、信頼度判定部252により、第1の合焦位置125の算出から所定の時間が経過するまでにAFの指示が入力されない場合に、第1の合焦位置125は無効と判定される。
フォーカス位置Z_focusが変わってしまうのは、第1の合焦位置125が算出された後に、ワーク3の交換等が行われる場合が多い。そのような変更等が行われない場合は、ユーザは手動でカメラ118の位置を調整した後に、すみやかにAFの指示を入力すると考えられる。
この点を考慮して、第1の合焦位置125の算出から所定の時間が経過した場合は、ワーク3等の変更等が行われる可能性が高いと判断し、その場合は第1の合焦位置125は無効とされる。これにより無駄なサーチを回避することが可能となる。なお所定の時間は適宜設定されてよい。
所定の時間の設定について、図12に示すように、コントラストのピーク値に基づいた処理が実行されてもよい。すなわちコントラストピーク値が所定の割合で減衰され、その減衰されたピーク値がロックオン閾値134よりも小さくなったときに、第1の合焦位置125が無効と判定される。
すなわち図12に示す例では、ピーク値がロックオン閾値134よりも小さくなるまでの時間が、所定の時間として設定されている。所定の割合、及びロックオン閾値134は任意に設定されてよい。例えは所定の割合として、フレームレート等が採用されてよい。
第1の合焦位置125が無効となった後は、例えばGUIやアナウンス等を介してその旨が通知され、再度手動によりカメラ118の位置を調整する操作が促される。そして図3の示す予測AFが再度実行される。
なおAFの指示が入力されるまでにフォーカス位置Z_focusも変わってしまった場合もAFを継続して、フォーカス位置Z_focusを算出することも可能である。例えば図4のステップ202にて、第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が所定の閾値よりも大きいと判定され、ステップ203にて、カメラ118の位置が第1の合焦位置125に移動される。
その位置で撮影された被写体画像のコントラスト値に基づいて、AFが適正に実行されたか否かが判定される。例えば第1の合焦位置125で撮影された被写体画像のコントラスト値が所定の閾値よりも小さい場合には、AFは不調であると判定される。そして、第1の合焦位置125を基準とした1stサーチ範囲122全体をサーチすることで、コントラストのピーク値が算出される。算出されたコントラストのピーク値に対応するカメラ118の位置(焦点位置)がフォーカス位置Z_focusとして算出される。
第1の合焦位置125を基準とした1stサーチ範囲122全体をサーチしても、コントラストのピーク値が算出されない場合には、移動可能範囲120内にてカメラ118の位置が適宜移動される。移動後の位置を基準とした1stサーチ範囲122全体をサーチすることで、フォーカス位置Z_focusを算出することが可能である。
図4のステップ202にて、第1の合焦位置(Zfocus_c)の信頼度(Wcurren)が所定の閾値よりも小さいと判定され、ステップ204及び205にて、1stサーチが実行されたとする。1st予測サーチ範囲127にて、コントラストのピーク値が算出されない場合は、1stサーチ範囲122内の他の範囲をサーチすることで、コントラストのピーク値を算出する。算出されたコントラストのピーク値に対応するカメラ118の位置(焦点位置)がフォーカス位置Z_focusとして算出される。
1stサーチ範囲122全体をサーチしても、コントラストのピーク値が算出されない場合には、カメラ118の位置を適宜移動させ、移動後の位置を基準とした1stサーチ範囲122全体をサーチすればよい。
高精度モードが選択されている場合には、1stサーチ範囲122全体をサーチすることにより算出されたコントラストのピーク値を、サーチ基準位置として、2ndサーチが実行されればよい。なお、手動の調整後にワークを変更して、AFを指示するといったことはほとんどないと考えられるので、ここで説明したようなケースは非常に少ない。
次に、手動被写体画像群265の各コントラスト情報をもとにした、第1の合焦位置125の算出について、詳細な処理例を説明する。図13及び図14は、その処理例の概要を説明するための写真及び図である。
図13Aの写真及び図13Bの図に示すように、本実施形態では、被写体画像260を分割する複数の分割領域280が設定される。その複数の分割領域280の各コントラスト情報をもとに、分割領域280ごとに図3に例示する第1の合焦位置の算出と同様のアルゴリズムを適用することで、分割合焦位置、及び分割合焦位置の信頼度が算出される。
そして分割領域280ごとに、分割合焦位置、及び分割合焦位置の信頼度を含む予測情報が生成/更新され、記憶部に記憶される。また履歴バッファに格納される分割領域ごとのコントラスト値、及び分割領域の位置情報も予測情報に含まれる。分割領域の位置情報は、その分割領域を含む被写体画像260の位置情報に相当する。
被写体画像260全体の第1の合焦位置125及びその信頼度(重み係数)が算出される際には、当該分割領域280ごとに記憶された予測情報(以下、分割領域情報と記載する)が適宜用いられる。
例えば図13に示す例では、分割領域280を示すセル281内に、以下の内容を表す分割領域情報が表示されている。
Y…現在のカメラのZ位置(焦点位置)での分割領域280の明るさ(分割領域280内の全画素の輝度平均値であり、例えば8bitの256諧調で表される)
C…現在のカメラのZ位置(焦点位置)での分割領域280のコントラスト値
Cp…分割領域280における現在までの最大のコントラスト値
Zp…最大コントラスト値Cpの分割領域280が撮像されたカメラのZ位置(焦点位置)。画像が撮影されたときのカメラのZ位置であり、段落[0181]に示す数式においてZcで表される値が用いられる。
W…図10に示す基準領域282に重なる範囲の大きさによる重み係数(後に説明する)
例えばこれらの情報が分割領域情報として記憶される。これらに限定されず他の情報が分割領域情報として記憶されてよい。
図13の中では、分割領域280を表すセル281が表示されていない領域283がある。この領域283は、上記した分割領域情報を算出することが不可能な領域である。例えば図3に示すステップ106及び107における分割合焦位置、及びその信頼度の算出が未だ実行されていない領域等が該当する。
図13Bにおいて斜線が記載されていない分割領域280aは、図13Aでは赤色のセルとして表示される。この分割領域280aは、分割合焦位置及びその信頼度が確定された領域である。
図13Bの右斜め上に伸びる斜線が記載され分割領域280bは、図13Aでは黄色のセルとして表示される。この分割領域280bは、現在のZ位置より上には分割合焦位置は存在しないと判定された領域である。一方で、現在のZ位置よりも下には分割合焦位置が存在する可能性があると判定された領域であり、従って分割合焦位置が確定していない領域となる。
図13Bの左斜め上に伸びる斜線が記載され分割領域280cは、図13Aでは青色のセルとして表示される。この分割領域280cは、現在のZ位置より下には分割合焦位置は存在しないと判定された領域である。一方で、現在のZ位置よりも上には分割合焦位置が存在する可能性があると判定された領域であり、従って分割合焦位置が確定していない領域となる。
被写体画像260全体の第1の合焦位置125及びその信頼度(重み係数)が算出される際には、分割合焦位置及びその信頼度(重み係数)が確定した赤色のセル(分割領域280a)の情報が用いられる。なお色の種類は限定されない。
図14に示すように、被写体画像260全体の第1の合焦位置125及びその信頼度(重み係数)が算出される際には、まず第1の合焦位置125の算出の基準となる被写体画像260内の基準領域282が設定される。典型的には、基準領域282は、被写体画像260の中央に所定のサイズで設定される。この位置に限られず、基準領域282は、カメラ視野内の任意の位置に任意のサイズで設定されてよい。
この基準領域282と重なり合う分割領域280が、算出対象領域284として設定される。これら算出対象領域284ごとの、分割合焦位置及びその信頼度(重み係数)を含む分割領域情報をもとに、被写体画像260全体の第1の合焦位置125及びその信頼度(重み係数)が算出される。
この際に、算出対象領域284の基準領域282に重なる領域の大きをもとに、重み付けが行われる。これにより高い精度で第1の合焦位置125その信頼度(重み係数)を算出することが可能となる。
上記した重み係数のWは、算出対象領域284となるセル全体が基準領域282に含まれる場合は、1.0となる。セルの一部が基準領域282に含まれる場合は、0.0から1.0までの間の値になる。セルが全く含まれない、すなわち算出対象領域284とならない分割領域280に対しては、Wは0.0となる。Wは、重み付け係数が正しく計算されているかをデバッグするための表示機能として利用可能である。
例えば、算出対象領域284の分割合焦位置に重み係数のWを乗算し、その値を全て足し合わせることで、被写体画像260全体の第1の合焦位置125が算出される。また分割合焦位置に重み係数のWを乗算し、その値を全て足し合わせることで、被写体画像260全体の第1の合焦位置125のその信頼度(重み係数)が算出される。もちろん重み付けの方法は限定されず、任意に方法が用いられてよい(後に図20を参照しながら具体的な算出例を説明する)。
図13及び図14に示す分割領域280及び分割領域情報は、内部処理のために用いられる情報である。従って実際には、ユーザが画像を確認するためのディスプレイ225には、分割領域280を表すセルや分割領域情報は表示されない。もちろんユーザの操作時にこれらの情報が表示されてもよいが、典型的にはデバッグ用の情報として利用される。
図15は、複数の分割領域280の設定を説明するための図である。図15に示すように、記憶部には、マシン座標系とコントラストマップ座標系とが記憶されている。マシン座標系とは、ステージ112及び撮像ユニット114の位置を示すための座標系であり、このマシン座標系をもとに撮影位置285の座標が算出される。マシン座標系は、撮影位置285が移動可能な範囲を含む範囲で設定される。マシン座標系の座標の単位はmmである。
このマシン座標系と、原点、X軸、及びY軸を同じくして、コントラストマップ座標系が設定される。図15に示すように、マシン座標系が設定される範囲286が格子状に分割される。この分割された複数の領域287の位置座標を示す座標系として、コントラストマップ座標系が設定される。
このコントラストマップ座標系を基準としてコントラストマップ288が設定される。本実施形態では、コントラストマップ288は、撮影範囲(カメラの視野)289よりも大きい範囲で、撮影範囲289を含む位置に設定される。コントラストマップ288は、本実施形態において、算出用マップとして機能する。
このコントラストマップ288の複数の領域290に対応して被写体画像260(撮影範囲289内の画像)を分割するように分割領域280が設定される。図15では、グレーの色が付された部分が複数の分割領域280となる(図13等と比べて分割領域の数は少なく図示されている)。従ってコントラストマップ288の複数の領域290の大きさ、すなわちコントラストマップ座標系の複数の領域287の大きさは、分割領域280の大きさをどの程度に設定するかにより定められる。例えは分割領域280の大きさを、n×n(pixel)とする場合、その大きさに基づいて、コントラストマップ座標系及びコントラストマップ288が設定される。
本実施形態では、撮影される被写体画像260のピクセルサイズが既知であるので、キャリブレーションによりピクセルサイズから分割領域280の1辺の大きさがmm単位で算出可能である。この算出されたmm単位の大きさを用いて、コントラストマップ座標系の単位もmmで設定されている。本実施形態では、被写体画像260の大きさは、2048×1536(pixel)であり、分割領域280のセル281大きさは、128×128(pixel)である。これらがmm単位のマシン座標系にマッピングされている。
撮影範囲289よりも大きい範囲に設定されるコントラストマップ288の大きさは限定されない。本実施形態では、撮影範囲289に含まれる複数の分割領域280(図15では7×5個のセル)を8方向に同じ大きさだけ拡大した21×15のセル数からなるコントラストマップ288が設定される。これに限定されず、任意に設定されてよい。
このように記憶部に記憶されているコントラストマップ288を基準として、複数の分割領域280が設定される。複数の分割領域280ごとの上記した分割領域情報は、例えばPC200に被写体画像260が転送されるたびに更新される。例えはXYZ軸方向においてカメラの位置が移動されるために分割領域情報が更新される。
分割領域情報として、例えば、以下の情報が記憶される。
Cp…最大コントラスト値
Zp…最大コントラストのZ位置
Cu…現在までに手動で移動された範囲の最上端のコントラスト値
Zu…現在までに手動で移動された範囲の最上端のZ位置
Cl…現在までに手動で移動された範囲の最下端のコントラスト値
Zl…現在までに手動で移動された範囲の最下端のZ位置
Cc…現在画像のコントラスト値(段落[0160]のコントラスト値を表すCに相当)
Zc…現在画像のZ位置
Bc…現在画像の明るさ(段落[0160]の明るさを表すYに相当)
W…基準領域に重なる範囲の大きさによる重み係数
Cb…前の画像のコントラスト値
Zb…前の画像のZ位置
Bb…前の画像の明るさ
Cb1~n…過去n枚の画像のコントラスト値(履歴バッファ)
Zb1~n…過去n枚の画像のZ位置(履歴バッファ)
Bb1~n…過去n枚の画像の明るさ(履歴バッファ)
Zfocus_c…分割合焦位置
Wcurrent…分割合焦位置の信頼度(重み係数)
なお現在画像のZ位置Zcは、現在の画像転送が完了したZ位置Zco、一つ前の画像転送が完了したZ位置Zpo、画像のフレーム転送遅延時間tdelay、画像転送間隔tframe(=1/フレームレート)を用いて以下の内挿計算により算出可能である。なおこれに限定されるわけではない。またコントラスト等の計算には、画像の間引きデータが使用されてもよい。
Zc=Zco-(Zco-Zpo)×tdelay/tframe
図16は、分割領域情報の更新の一例を示すフローチャートである。まずコントラストマップ288が初期化される(ステップ401)。次の画像が転送されるまで待機する(ステップ402)。マシン座標系をもとに撮影位置285のXYZ座標が取得される(ステップ403)。例えばリニアスケールから座標値が読み出される。
X軸及びY軸が停止しているか否か判定される。すなわちX座標値とY座標値とが移動しているか否かが判定される(ステップ404)。X座標値及びY座標値が移動している場合は(ステップ404のNo)、被写体画像260は流れた画像となり正確なコントラスト値が算出できないので、処理がスキップされてステップ402に戻る。
X座標値及びY座標値が移動していない場合には(ステップ404のYes)、XY平面上におけるカメラの位置とピクセルサイズの情報をもとに、コントラストマップ288が設定される(ステップ405)。カメラの視野289に含まれる分割領域280のコントラスト値が計算される(ステップ406)。
各セルの分割領域情報が以下のように更新される(ステップ407)。
もしCc>Cpなら、Cp=Cc、Zp=Zc…最大コントラスト値を更新
もしZc>Zuなら、Cu=Cc、Zu=Zc…最上端のコントラスト値を更新
もしZc>Zlなら、Cl=Cc、Zl=Zc…最下端のコントラスト値を更新
Cp、Zp、Cu、Zu、Cl、Zlが確定したら、図3のステップ105の判定が実行される。そして0コントラストのピーク値が検出可能と判定されるごとに、モデル関数によるフィッティングによりコントラストのピーク値、及び分割合焦位置が算出される(ステップ406)。また分割合焦位置の信頼度(重み係数)が算出される(ステップ407)。そして、段落[0111]にて例示した式等を用いて、分割領域情報(予測情報に相当)が更新される(ステップ408)。
この際、以下のような判定が実行されてもよい。
もしCuとCpが同じ、かつ、CuがClより大きい場合は、フォーカス位置はZuよりも上側にあるとして、分割合焦位置の確定が保留される(青色のセルが表示される)。
もしClとCpが同じ、かつ、ClがCuより大きい場合は、フォーカス位置はZlよりも下側にあるとして、分割合焦位置の確定が保留される(黄色のセルが表示される)。
フローチャートに戻り、ステップ408では、前後の画像の明るさの差である、BcとBbとの差が算出される。このBcとBbとの差が所定の閾値よりも大きい場合は、該当セルの情報がリセット(初期化)される(ステップ409)。すなわち画像(セル内)の明るいさが急激に変化した場合は、ワーク3の交換等の大きな変化が発生したと判断される。そして以前のコントラスト情報は使えなくなったと判断されリセットが実行される。分割合焦位置が確定されている場合は、そのロックオンも解除される。
BcとBbとの差が所定の閾値以下の場合は、各セルのCp及びZpが時間減少率だけ小さくされる(ステップ410)。これは、図12に示す処理に準じるものである。ステップ410の処理が終了すると、ステップ402に戻る。すなわちプログラムの起動時から終了まで、ループ処理が継続される。
次に、図17~図19を参照して、撮影位置285の移動にともなう処理について説明する。例えば、手動による調整時において、ワーク3をXY平面方向に移動させて画面中央に移動させたり、高さ調整をしたりする操作が入力される。例えはこのような調整時や、ターゲットの探索時に、XY平面方向において撮影位置285が移動される。
例えば図15に示す応対から、図17に示す状態まで、撮影位置285が載置面に沿う2次元内にて移動されたとする。そうすると、撮影位置285の座標情報と、ピクセルサイズの情報とをもとに、コントラストマップ288の設定位置が、撮影位置285の移動に応じて移動される(図17の矢印A及びB参照)。
図18は、撮影位置285が移動された後の状態を示す図である。図18において、濃いグレーの色で表現されている移動後の分割領域280において、分割領域280ごとの分割領域情報が更新される。移動前の分割領域280'は、薄いグレーの色で表現された部分280'aと、斜線が記載された部分280'bとからなる。この移動前の分割領域280'は、撮影範囲289から外れるので、これらの分割領域情報は更新されない。
移動前の分割領域280'のうち、薄いグレーの色で表現された部分280'aは、移動後のコントラストマップ288内に含まれる。この撮影範囲289から外れた領域であるが、移動後のコントラストマップ288に含まれる領域280'aは、記憶保持領域291となる。記憶保持領域291では、過去に分割領域280として設定された際に更新された分割領域情報が保持される。一方、斜線が記載された部分280'bは、移動後のコントラストマップ288からも外れるので、この部分に関しては、過去に更新された分割領域情報は削除される。
図18に示す状態から、図19に示す状態まで、撮影位置285が移動されたとする。濃いグレーの色で表現された分割領域280の各セル281について分割領域情報が更新される。また移動前の分割領域に相当するセルのうち、移動後のコントラストマップに含まる記憶保持領域291について分割領域情報が保持される。分割領域280の分割領域情報が更新される際には、移動前に記憶が保持されていた、記憶保持領域291の分割領域情報が適宜参照される。
すなわち図19に示す分割領域280のうち、図18に示す移動時にて設定された記憶保持領域291と重なる部分292と、図19に示す移動時にて設定された記憶保持領域291と重なる部分293とについては、過去に記憶された分割領域情報が参照されて、分割領域情報が更新される。これにより演算に係る時間の短縮、及び演算量の低減を図ることが可能となる。なお、図18で斜線が記載された部分280'bの一度削除された分割領域情報が復活されるということはない。
このように本実施形態では、撮影範囲289よりも大きい範囲でコントラストマップ288が設定され、その設定位置が撮影位置285の移動に応じて移動される。これにより撮影位置285が移動された場合でも、その位置におけるフォーカス位置Z_focusを高速で算出することが可能となる。すなわち撮影位置285の移動可能範囲の任意の位置において、高速にフォーカス位置Z_focusを算出することが可能となる。
また設定されたコントラストマップ288の領域290(セル)ごとに、当該領域に対応する被写体画像260の分割領域280の、コントラスト情報、分割合焦位置、及びその信頼度(重み係数)を含む分割領域情報が記憶される。そして撮影位置285が移動された場合には、移動前に記憶されたコントラストマップ288の領域290ごとの分割領域情報が参照されて、移動後の分割領域280の分割領域情報が更新される。この結果、短い時間で移動後の分割領域280の分割合焦位置及びその信頼度(重み係数)が算出可能となる。
図20は、分割領域情報を用いた第1の合焦位置125及びそのその信頼度(重み係数)の具体的な算出例を説明するための図である。図20に示すように、被写体画像260の中央に基準領域282が設定される。そして基準領域282と重なり合う算出対象領域284が設定される。算出対象領域284の分割領域情報を用いて、第1の合焦位置Zfocus_c(図中及び式ではZfcと記載している)、及びその信頼度Wcurrent(図中及び式ではWcと記載している)が以下の式にて算出される。
Zfc=Σ(Zfci,j×Si,j)/ΣSi,j
Wc=Σ(Wci,j×Si,j)/ΣSi,j
なお、パラメータは以下の通りである。
(Zfci,j、Wci,j)…算出対象領域284の各(分割合焦位置、その信頼度(重み係数))
Si,j…基準領域282と算出対象領域284とが重なる領域の大きさ
このように、算出対象領域284の基準領域282に重なる領域の大きさをもとに、重み付けが行われる。これにより高い精度で第1の合焦位置125及びその信頼度(重み係数)を算出することが可能となる。なお、上記の式と同様の式にて、被写体画像260全体のCu、Cl、Zu、及びZlが算出されて、第1の合焦位置125の確定が判定されてもよい。
なお対物レンズを含む結像光学系により結像されたワークの像が撮影される場合では、結像光学系に使用される対物レンズが、リボルバ等の切替機構により切替えられたり、またはユーザにより交換されたりする場合がある。例えば所望の倍率を有する対物レンズの切替え又は交換(以下、統一して対物レンズの切替えと記載する)が行われることで、所望の倍率にて被写体画像を観察することができる。
対物レンズの切替えが実行可能である場合、例えば結像光学系に使用される対物レンズ毎に、第1の合焦位置の算出に用いられるコントラストマップが記憶されてもよい。例えば3種類の対物レンズが切替え可能である場合には、各対物レンズに対応する3つのコントラストマップが記憶される。記憶部には、使用される対物レンズ毎に、コントラストマップ及び当該コントラストマップを基準として設定された分割領域ごとの分割領域情報が記憶される。なお切替えて使用可能な対物レンズの数、及びそれに対応して記憶されるコントラストマップの数は限定されない。
対物レンズが切替えられる場合には、対物レンズに対応するコントラストマップ及び分割領域情報が適宜読み出されて第1の合焦位置の算出が実行される。例えばユーザが第1の対物レンズで操作を実行する場合、プログラムは、第1の対物レンズに対応する第1のコントラストマップを読み出し、被写体画像の入力ごとに分割領域情報を更新する。その後、ユーザが第2の対物レンズに切り替えて操作を実行すると、プログラムは、第2の対物レンズに対応する第2のコントラストマップを読み出し、第2のコントラストマップを基準として算出された分割領域情報を更新する。その後、ユーザが再び第1の対物レンズに切替えて操作をする場合には、再び第1のコントラストマップが読み出される。そして前回更新された第1のコントラストマップを基準とする分割領域情報が、被写体画像の入力ごとに再度更新される。
このように対物レンズ毎にコントラストマップが記憶され、対物レンズの切替えに応じて対応するコントラストマップが読み出されることで、対物レンズの切替え直後であっても予測AFを実行することが可能となる。
また例えば対物レンズにズームレンズが用いられ、当該ズームレンズのズーム位置が制御されることで、複数の段階で倍率が切替えられてもよい。この場合、例えば切替えられる倍率毎に、第1の合焦位置の算出に用いられるコントラストマップが記憶されてもよい。例えばズーム位置の制御により3段階の倍率の切替えが可能である場合には、各倍率に対応する3つのコントラストマップが記憶される。ユーザの操作時には、対物レンズの倍率に対応するコントラストマップ及び分割領域情報が適宜読み出されて、第1の合焦位置の算出が実行される。これにより倍率の切替え直後であっても予測AFを実行することが可能となる。
図21及び図22は、比較例として挙げる従来のAFを説明するための図である。図21に示すように、サーチ範囲922の下方部分にフォーカス位置Z_focusが存在するとする。そしてAFの指示をもとに、サーチ範囲922の中心Oから上向きに低い速度Vsearchにてサーチが開始されるとする。この場合、図21に示すように、カメラ918がサーチ範囲922の上端932に移動するまでコントラストピークは発見されない。
そうすると図22に示すように、サーチ範囲922の上端932から中心Oまで高速である速度Vmaxでカメラ918戻される。そして今度はサーチ範囲922の下端931に向かって速度Vsearchにてサーチが実行される。このサーチでImage22の被写体画像970が取得されたときに、ようやくコントラストピークが発見される。そしてカメラ918がフォーカス位置Z_focusに移動される。
すなわち従来のAFでは、図21に示すように、最初のサーチが無駄となってしまい、フォーカス位置Z_focusの算出に長い時間が費やされてしまう。すなわちAFの時間が長くなってしまう。例えば焦点深度が狭い光学系において、手動の調整の操作性を向上させるためにサーチ範囲を広くした場合等に、図21及び図22で示すようなサーチの無駄が発生しやすい。フォーカス位置Z_focusが、最初の移動方向とは反対側の端部に近い場合に存在する場合には、走査距離はサーチ範囲922の大きさの1.5倍ほどにもなってしまう。
図23は、比較例として挙げる従来のAFの処理時間を示すグラフである。図中の「1st fit range」は、コントラストカーブ(Fitted curve)のモデル式のパラメータを求めるために、各被写体画像のコントラスト値を最小二乗法で当てはめる範囲である。例えば所定の閾値よりも大きいコントラスト値が用いられる。
図23Aは、Z=約+1.8mmの位置からAFが開始され、1回のサーチが実行された場合の図である。図23Aに示す例は、図21及び図22に示すAFの動作に対応するものである。すなわち位置Jからサーチ範囲の上端となる位置Kまでサーチが実行される。その範囲ではコントラストピークが発見されず、位置Jまで高速にカメラが戻される。そして位置Lまでサーチが実行されてフォーカス位置が算出されている。
図23Aに示すように、フォーカス位置が見つかるまでに、約2秒かかっており、カメラがフォーカス位置まで移動されるまでには、約2.3秒かかっている。これに対して本実施形態では、AFの指示の入力と同時にカメラがフォーカス位置(第1の合焦位置)に移動される。従って、AFにかかる時間を約2秒ほど短縮することが可能である。
図23Bは、Z=約-1.8mmの位置からAFが開始され、1回のサーチが実行された場合の図である。開始位置である位置Jから低速のサーチが実行されるので、フォーカス位置が見つかるまでに、約0.9秒かかっており、カメラがフォーカス位置まで移動されるまでには、約1.4秒かかっている。
これに対して本実施形態では、AFの指示の入力と同時にカメラがフォーカス位置(第1の合焦位置)に移動される。従って、AFにかかる時間を約0.9秒ほど短縮することが可能である。このように最初のサーチ方向にフォーカス位置が存在する場合でも、従来のAFよりも高速にフォーカス位置を算出することが可能となる。
図24は、本実施形態において、1stサーチが実行される場合の処理時間を示すグラフである。図中の「1st fit range」は、1stサーチが実行される1st予測サーチ範囲に相当する。
図24Aは、フォーカス位置の上方からAFが開始される場合の図である。AFの指示をもとに、フォーカス位置より上のZ=約+1.8mmからAFが開始される。図24Aに示すように、1st予測サーチ範囲の開始位置まで高速でカメラが移動され、1st予測サーチ範囲内で低速のサーチが実行される。低速のサーチにより、コントラストカーブが算出され、それをもとに第2の合焦位置がフォーカス位置として算出される。
図24Aに示すように、約0.7秒にて、フォーカス位置Z_focusが見つかっている。そして、約1、1秒にて、カメラがフォーカス位置まで移動される。すなわち1stサーチが実行される場合でも、AFにかかる時間が短縮されており、従来のAFと比べて約1.2秒の差があり、約2.1倍の高速化が実現されている。
図24Bは、フォーカス位置の下方からAFが開始される場合の図である。AFの指示をもとに、フォーカス位置より下の上のZ=約-1.8mmからAFが開始される。図24Bに示すように、1st予測サーチ範囲の開始位置まで高速でカメラが移動され、1st予測サーチ範囲内で低速のサーチが実行される。低速のサーチにより、コントラストカーブが算出され、それをもとに第2の合焦位置がフォーカス位置として算出される。
図24Bに示すように、約0.7秒にて、フォーカス位置Z_focusが見つかっている。そして、約1、1秒にて、カメラがフォーカス位置まで移動される。すなわち1stサーチが実行される場合でも、AFにかかる時間が短縮されており、従来のAFと比べて約0.3秒の差があり、約1.3倍の高速化が実現されている。
以上、本実施形態に係る画像測定装置300では、手動によりカメラ118の位置(焦点位置)を移動させながらワーク3を撮影した手動被写体画像群265の各コントラスト情報に基づいて、例えばモデル関数等を用いたフィッティングが実行される。これによりワーク3に対するカメラ118の第1の合焦位置125を高速に算出することが可能となる。ユーザからのオードフォーカスの指示に対しては、算出された第1の合焦位置125にカメラ118の位置(焦点位置)を移動させればよいので、オートフォーカスにかかる時間を短縮することが可能となる。
また第1の合焦位置125の信頼度を算出することで、第1の合焦位置125をフォーカス位置とするか、それとも1stサーチを実行するかを適宜判断することが可能となっている。これによりフォーカス位置の精度を高く維持することが可能となる。
例えば画像測定機としてデジタル顕微鏡が用いられるとする。光学顕微鏡の対物レンズは焦点深度が狭いため、コントラストピーク(フォーカス位置)から少しでも外れるとコントラストは小さくなる。このことは高倍率になるほど顕著になる。このような焦点深度が狭い光学系においては、サーチ速度を遅くすることが必要である。一方、AFを使いやすくするためには、サーチ範囲を大きくすることが必要となる。サーチ速度が遅く、サーチ範囲が大きくなると、AFの実行時間が長くなってしまう。
本実施形態に係る画像測定装置300では、AF実行前の準備作業として、ユーザがカメラのZ位置を調節する過程で、フォーカス位置を通り過ぎるたびに、プログラムはフォーカス位置として第1の合焦位置125として算出する。すなわちAF処理に入る前から画像のコントラストが監視されることで、フォーカス位置(第1の合焦位置125)があらかじめ取得される。AF実行時には、算出された第1の合焦位置125までカメラが高速で移動される。これにより非常に高速なAFが実行可能となる。
すなわち本実施形態では、作業者がマニュアル操作で目から得ているワークの画像と同一の画像情報に対して常時コントラストピークが取得される。これによりAFの際にフォーカス位置を探し出すためのサーチ動作をなくすことが可能であり、カメラをダイレクトにフォーカス位置に移動することができる。
この結果、サーチ動作を省略したサーチレスAFを実現することが可能となり、AF時間短縮による測定スループットの向上、及び作業者の操作性向上を実現することが可能となる。また第1の合焦位置の信頼度を算出することで、高速かつ高精度なAFを実現することが可能となる。
またプログラムは、カメラ視野を格子状に細分化したコントラストマップを持ち、AF以外の時も格子内におけるコントラストのピーク値を探し続ける。XYZ軸スケールの位置情報と被写体画像のピクセルサイズは既知であり、ステージ及び撮像ユニットが移動すると、プログラム内部のコントラストマップも連動して移動される。XYZ軸スケールの位置情報から、カメラ視野外の領域までカバーしたコントラストマップを持つことで、任意の位置で高速・高精度にAFを実行することが可能となる。すなわち視野の任意の位置で高速・高精度のAFが可能になり、操作性が大幅に向上する。また高精度でありながら、使いやすさと時間短縮の両立が実現される。
また本発明は、ソフトウェアのアルゴリズムのみで対応可能であり、特別なハードウェアは不要なので、コストアップなしに性能を向上させることができる。この結果、コストアップなしに、従来のAF精度を維持したまま高速化を図ることが可能となる。
また本発明によれば、以下のような効果を得ることが可能となる。なおこれらの効果が全て得られるということではなく、条件等により以下の効果のいずれかが得られるということである。
見たいところに素早くピント合わせし、ストレスのない観察や測定が可能。
XYZ軸リニアスケールとの組合せにより、高精度三次元測定をさらにスピードアップさせることが可能。
広いフォーカスサーチ範囲のどの位置からでも高速AFを実行することが可能。
光学顕微鏡のフォーカス合せの使い勝手をさらに向上させることが可能。
焦点深度が狭い高倍対物レンズになるほど、フォーカスの合せ易さを体感することが可能。
電動ステージの顕微鏡光学系とカメラのみの安価なシステム構成で本発明を実現することが可能。
高速AF用の高価なオプションは不要。
過去出荷したシステムにおいても、ソフトウェアのバージョンアップのみでAFの高速化を実現することが可能。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記では、コントラストのピーク値が算出されるごとに第1の合焦位置及びその信頼度が更新された。これに限定されず、最新の第1の合焦位置及びその信頼度に基づいて、AFが実行されてもよい。あるいは、第1の合焦位置及び信頼度が算出された時点で、予測AFが終了されてもよい。常時予測AFが実行されることで、高い精度で第1の合焦位置を算出することが可能となる。一方、途中で予測AFを終了させることで、演算量の低減や処理時間の短縮を図ることが可能となる。
また信頼度を用いることなく、過去に算出された第1の合焦位置の平均を、更新後の第1の合焦位置として算出することも可能である。例えば許容されるAF精度に基づいて、信頼度を用いるか否か、第1の合焦位置を更新するか否か等が、適宜設定されてよい。
第1の合焦位置の信頼度が低い場合に改めて合焦位置を算出する方法も限定されず、任意に設定されてよい。上記の特許文献1に開示されている技術を適宜用いることが可能である。もちろんその他のサーチ方法等が採用されてもよい。
上記したように、手動被写体画像群が撮影される際のカメラの移動速度、速度の一定性(変化量)、及びコントラストのピーク値に応じて、第1の合焦位置の信頼度が変わってくる。
この点に着目して、図2に示す駆動部により、ユーザの手動によるカメラの位置(焦点位置)を移動させるための操作に応じたカメラの移動動作(焦点位置の移動動作)が、適宜制御されてもよい。すなわち手動による焦点位置を移動させるための操作に応じて、実際にどのように焦点位置が移動されるかが、適宜制御されてもよい。
例えばカメラの移動速度、及び移動速度の変化(変化量)が制御される。実際には、高速による移動、あるいは低速による移動が行われるような操作が入力されていたとしても、第1の合焦位置の信頼度が高くなるような適正な速度で、カメラ118が移動される。例えば速度の上限値や下限値が設定されていてもよい。
また実際には、移動速度の一定性が低いような、すなわち移動速度の変化(変化量)が大きくなるような操作が入力されていたとしても、カメラ118が一定の速度で移動される。このように、手動被写体画像群が撮影される際の手動操作に応じたカメラの移動動作を適宜制御することで、第1の合焦位置の信頼度を向上させることが可能となる。この結果、1stサーチをすることなくダイレクトにカメラをフォーカス位置に移動させることが可能となり、AFにかかる時間を短縮することが可能となる。
上記のような第1の合焦位置が更新される場合等において、1回目の手動によるカメラの位置の調整時には、操作通りの移動動作を実行する。2回目以降の手動によるカメラの位置の調整時に、カメラ118の移動速度、及び移動速度の変化(変化量)を適宜制御する。これにより、1回目の調整時にはすばやくフォーカス位置(第1の合焦位置)の目星をつけることが可能となる。そして2回目以降の調整時にて、信頼度の高い第1の合焦位置を算出することが可能となる。
図2に示す通知部により、信頼度算出部により算出された第1の合焦位置の信頼度に関する通知情報として、算出された第1の合焦位置の信頼度、及びユーザの手動による焦点位置を移動させるための操作の方法に関する情報の少なくとも一方が通知されてもよい。
例えば手動による操作によりフォーカス位置を通り過ぎ、第1の合焦位置が算出されるごとに、GUIや音声等を介して、第1の合焦位置の信頼度が通知されてもよい。もちろん「高・中・低」等の、信頼度の程度が通知されてもよい。これによりユーザは、信頼度の高い第1の合焦位置が算出可能となる操作方法を、直感的に取得することが可能となる。
またGUIや音声等を介して、カメラの移動速度、及び移動速度の変化(変化量)を指示するティーチング情報が出力されてもよい。例えば「速度を落としてください」「一定に動かしてください」等のティーチング情報が通知情報として出力される。これによりユーザの操作を、信頼度の高い第1の合焦位置が算出可能となる操作に誘導することが可能となる。またユーザは、信頼度の高い第1の合焦位置が算出可能となる操作方法を、容易に取得することが可能となる。
高精度モードが選択されている場合に、第1の合焦位置の信頼度が所定の閾値よりも高い場合には、2ndサーチを実行することなく、カメラの位置がダイレクトに第1の合焦位置に移動されてもよい。すなわち非常に高い信頼度が算出された場合には、その第1の合焦位置は、2ndサーチを実行することで算出される高精度のフォーカス位置と見做される。例えばユーザの移動動作におけるカメラの移動動作が、2ndサーチにおけるカメラの移動動作と同レベルである場合には、2ndサーチが省略可能となる。そのような手動による移動動作が行われたか否かを判定するために、適宜信頼度の算出アルゴリズムや閾値等が設定されればよい。
もちろん、ユーザの移動動作におけるカメラの移動動作が、2ndサーチにおけるカメラの移動動作と同レベルとなるように、駆動部により、手動動作に応じたカメラの移動動作が制御されてもよい。あるいはティーチング情報等を適宜通知することで、2ndサーチにおけるカメラの移動動作と同レベルとなるように、ユーザの移動動作におけるカメラの移動動作が誘導されてもよい。
例えば図15に示すコントラストマップ288の大きさについて、撮影位置285の移動可能範囲の全体、すなわちコントラストマップ座標系全体にコントラストマップ288が設定されてもよい。これにより撮影位置285の移動にともなうコントラストマップ288の移動処理が不要となる。一方、上記実施形態のようにコントラストマップ288の大きさを、座標系の一部分の大きさとすることで、PC200のメモリにかかる負担等を軽減させることが可能となる。
例えばCNC装置等において、AF前の自動実行中の動作に対して、図3で例示した処理が実行され予測情報が生成されてもよい。予測情報が使用可能である場合(例えば予測情報に含まれる第1の合焦位置の信頼度が所定の閾値よりも大きい場合)には、第1の合焦位置をフォーカス位置として、その位置へカメラが移動される。これによりサーチ動作をすることなくAFが完了するので、AFにかかる時間を大幅に短縮することが可能となる。なお上記した手動よる焦点位置の移動動作に対応する処理を自動的に実行することで、予測情報が生成されてもよい。
以上説明した本発明に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
3…ワーク
100…画像測定機
112…ステージ
114…撮像ユニット
117…載置面
118…カメラ
121…カメラの位置(焦点位置)
125…第1の合焦位置
127…1st予測サーチ範囲
130…第2の合焦位置
135…2nd予測サーチ範囲
140…第3の合焦位置
200…PC
221…PC本体
250…取得部
251…合焦位置算出部
252…信頼度算出部
253…駆動部
254…ピーク判定部
255…通知部
256…モード選択部
260…被写体画像
265…手動被写体画像群
270…被写体画像
275…自動被写体画像群
280…分割領域
282…基準領域
284…算出対象領域
285…撮影位置
288…コントラストマップ
289…撮影範囲(カメラの視野)
289…コントラストマップの複数の領域
291…記憶保持領域
300…画像測定装置

Claims (25)

  1. 撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出可能な第1の算出部と、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部と、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させることが可能な駆動部と
    を具備し、
    前記第1の算出部は、過去に算出された前記第1の合焦位置、及び過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置を算出し、
    前記信頼度算出部は、過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置の信頼度を算出する
    情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記第1の算出部は、過去に算出された前記第1の合焦位置の信頼度に基づいて重み付けを行い、前記第1の合焦位置を算出する
    情報処理装置。
  3. 撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出可能な第1の算出部と、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部と、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させることが可能な駆動部と、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像装置の第2の合焦位置を算出可能な第2の算出部と
    を具備し、
    前記取得部は、前記撮像装置の焦点位置を自動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である自動被写体画像群を取得可能であり、
    前記第2の算出部は、算出された前記第1の合焦位置、及び取得された前記自動被写体画像群の各コントラスト情報に基づいて、前記第2の合焦位置を算出する
    情報処理装置。
  4. 撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出可能な第1の算出部と、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させることが可能な駆動部と、
    オートフォーカスに関する通常モード、及び高精度モードを切替え可能に選択する選択部と
    を具備し、
    前記駆動部は、前記通常モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に前記撮像装置の焦点位置を移動させることが可能であり、前記高精度モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置を基準とした探索範囲のいずれかの端点に、前記撮像装置の焦点位置を移動させることが可能である
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、さらに、
    前記高精度モードが選択されている場合に、前記探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像の各コントラスト情報をもとに、前記被写体に対する前記撮像装置の第3の合焦位置を算出可能な第3の算出部を具備する
    情報処理装置。
  6. 請求項1、2、4又は5のうちいずれか1項に記載の情報処理装置であって、さらに、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部を具備し、
    前記駆動部は、算出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、算出された前記第1の合焦位置に前記撮像装置の焦点位置を移動させる
    情報処理装置。
  7. 請求項6に記載の情報処理装置であって、さらに、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像装置の第2の合焦位置を算出可能な第2の算出部を具備する
    情報処理装置。
  8. 請求項3、6又は7のうちいずれか1項に記載の情報処理装置であって、
    前記取得部は、前記手動被写体画像群の各焦点位置情報を取得可能であり、
    前記信頼度算出部は、取得された前記焦点位置情報に基づいて、前記第1の合焦位置の信頼度を算出する
    情報処理装置。
  9. 請求項1、2、3、6、7又は8のうちいずれか1項に記載の情報処理装置であって、
    前記第1の算出部は、前記フィッティングを実行することで、コントラストのピーク値を算出し、前記ピーク値に対応する前記焦点位置を前記第1の合焦位置として算出し、
    前記信頼度算出部は、前記コントラストのピーク値に基づいて、前記第1の合焦位置の信頼度を算出する
    情報処理装置。
  10. 請求項1から9のうちいずれか1項に記載の情報処理装置であって、
    前記駆動部は、ユーザの手動による前記焦点位置を移動させるための操作に応じた前記焦点位置の移動動作を制御可能である
    情報処理装置。
  11. 請求項10に記載の情報処理装置であって、
    前記駆動部は、前記焦点位置の移動速度、及び前記焦点位置の移動速度の変化を制御可能である
    情報処理装置。
  12. 請求項1から11のうちいずれか1項に記載の情報処理装置であって、さらに、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部と、
    出された前記第1の合焦位置の信頼度に関する通知情報を出力可能な通知部と
    を具備する情報処理装置。
  13. 請求項12に記載の情報処理装置であって、
    前記通知情報は、算出された前記第1の合焦位置の信頼度、及びユーザの手動による前記焦点位置を移動させるための操作の方法に関する情報の少なくとも一方を含む
    情報処理装置。
  14. 請求項に記載の情報処理装置であって、さらに、
    前記コントラストのピーク値を算出可能であるか否かを判定する判定部を具備し、
    前記第1の算出部は、前記コントラストのピーク値が算出可能であると判定されるごとに、前記第1の合焦位置を算出する
    情報処理装置。
  15. 請求項1から14のうちいずれか1項に記載の情報処理装置であって、さらに、
    複数の領域に分割された算出用マップを記憶する記憶部を具備し、
    前記第1の算出部は、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出する
    情報処理装置。
  16. 請求項15に記載の情報処理装置であって、
    前記撮像装置は、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能であり、
    前記駆動部は、前記撮影位置を前記2次元内にて移動させることが可能であり、
    前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動される
    情報処理装置。
  17. コンピュータが実行する情報処理方法であって、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する合焦位置算出ステップと、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出ステップと、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと
    を具備し、
    前記合焦位置算出ステップは、過去に算出された前記第1の合焦位置、及び過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置を算出し、
    前記信頼度算出ステップは、過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置の信頼度を算出する
    情報処理方法。
  18. コンピュータが実行する情報処理方法であって、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する第1の合焦位置算出ステップと、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出ステップと、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと、
    算出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像装置の第2の合焦位置を算出可能な第2の合焦位置算出ステップと
    を具備し、
    前記取得ステップは、前記撮像装置の焦点位置を自動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である自動被写体画像群を取得し、
    前記第2の合焦位置算出ステップは、算出された前記第1の合焦位置、及び取得された前記自動被写体画像群の各コントラスト情報に基づいて、前記第2の合焦位置を算出する
    情報処理方法。
  19. コンピュータが実行する情報処理方法であって、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する合焦位置算出ステップと、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと、
    オートフォーカスに関する通常モード、及び高精度モードを切替え可能に選択する選択ステップと
    を具備し、
    前記動ステップは、前記通常モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に前記撮像装置の焦点位置を移動させ、前記高精度モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置を基準とした探索範囲のいずれかの端点に、前記撮像装置の焦点位置を移動させる
    情報処理方法。
  20. コンピュータに情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する合焦位置算出ステップと、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出ステップと、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと
    を具備し、
    前記合焦位置算出ステップは、過去に算出された前記第1の合焦位置、及び過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置を算出し、
    前記信頼度算出ステップは、過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置の信頼度を算出する
    プログラム。
  21. コンピュータに情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する第1の合焦位置算出ステップと、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出ステップと、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像装置の第2の合焦位置を算出可能な第2の合焦位置算出ステップと
    を具備し、
    前記取得ステップは、前記撮像装置の焦点位置を自動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である自動被写体画像群を取得し、
    前記第2の合焦位置算出ステップは、算出された前記第1の合焦位置、及び取得された前記自動被写体画像群の各コントラスト情報に基づいて、前記第2の合焦位置を算出する
    プログラム。
  22. コンピュータに情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    撮像装置の焦点位置を手動により移動させながら被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得ステップと、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像装置の第1の合焦位置を算出する合焦位置算出ステップと、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像装置の焦点位置を移動させる移動ステップと、
    オートフォーカスに関する通常モード、及び高精度モードを切替え可能に選択する選択ステップと
    を具備し、
    前記動ステップは、前記通常モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に前記撮像装置の焦点位置を移動させ、前記高精度モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置を基準とした探索範囲のいずれかの端点に、前記撮像装置の焦点位置を移動させる
    プログラム。
  23. 被写体を撮影することで被写体画像を生成することが可能な撮像部と、
    前記撮像の焦点位置を手動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像の第1の合焦位置を算出可能な第1の算出部と、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部と、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像の焦点位置を移動させることが可能な駆動部と
    を具備し、
    前記第1の算出部は、過去に算出された前記第1の合焦位置、及び過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置を算出し、
    前記信頼度算出部は、過去に算出された前記第1の合焦位置の信頼度に基づいて、前記第1の合焦位置の信頼度を算出する
    画像測定装置。
  24. 被写体を撮影することで被写体画像を生成することが可能な撮像部と、
    前記撮像の焦点位置を手動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像の第1の合焦位置を算出可能な第1の算出部と、
    出された前記第1の合焦位置の信頼度を算出する信頼度算出部と、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも大きい場合に、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像の焦点位置を移動させることが可能な駆動部と、
    出された前記第1の合焦位置の信頼度が所定の閾値よりも小さい場合に、前記被写体に対する前記撮像の第2の合焦位置を算出可能な第2の算出部と
    を具備し、
    前記取得部は、前記撮像の焦点位置を自動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である自動被写体画像群を取得可能であり、
    前記第2の算出部は、算出された前記第1の合焦位置、及び取得された前記自動被写体画像群の各コントラスト情報に基づいて、前記第2の合焦位置を算出する
    画像測定装置。
  25. 被写体を撮影することで被写体画像を生成することが可能な撮像部と、
    前記撮像の焦点位置を手動により移動させながら前記被写体を撮影することで生成される複数の被写体画像である手動被写体画像群を取得する取得部と、
    得された前記手動被写体画像群の各コントラスト情報に基づいて、所定の関数を用いたフィッティングを実行することで、前記被写体に対する前記撮像の第1の合焦位置を算出可能な第1の算出部と、
    ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に、前記撮像の焦点位置を移動させることが可能な駆動部と、
    オートフォーカスに関する通常モード、及び高精度モードを切替え可能に選択する選択部と
    を具備し、
    前記駆動部は、前記通常モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置に前記撮像の焦点位置を移動させることが可能であり、前記高精度モードが選択されている場合は、ユーザからのオートフォーカスの指示に基づいて、算出された前記第1の合焦位置を基準とした探索範囲のいずれかの端点に、前記撮像の焦点位置を移動させることが可能である
    画像測定装置。
JP2018054688A 2018-03-22 2018-03-22 情報処理装置、情報処理方法、プログラム、及び画像測定装置 Active JP7112863B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018054688A JP7112863B2 (ja) 2018-03-22 2018-03-22 情報処理装置、情報処理方法、プログラム、及び画像測定装置
US16/358,836 US10895730B2 (en) 2018-03-22 2019-03-20 Information processing apparatus, information processing method, program, and vision measuring apparatus with high speed autofocus
CN201910216554.8A CN110300255B (zh) 2018-03-22 2019-03-21 信息处理装置、信息处理方法、程序和视觉测量装置
DE102019203963.4A DE102019203963A1 (de) 2018-03-22 2019-03-22 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und bildverarbeitungsmessvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018054688A JP7112863B2 (ja) 2018-03-22 2018-03-22 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Publications (2)

Publication Number Publication Date
JP2019168520A JP2019168520A (ja) 2019-10-03
JP7112863B2 true JP7112863B2 (ja) 2022-08-04

Family

ID=67848546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018054688A Active JP7112863B2 (ja) 2018-03-22 2018-03-22 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Country Status (4)

Country Link
US (1) US10895730B2 (ja)
JP (1) JP7112863B2 (ja)
CN (1) CN110300255B (ja)
DE (1) DE102019203963A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11763538B2 (en) * 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus
JP7409604B2 (ja) * 2019-12-18 2024-01-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
TWI781490B (zh) * 2020-02-27 2022-10-21 日商斯庫林集團股份有限公司 對焦位置檢測方法、對焦位置檢測裝置、記錄媒體及對焦位置檢測用程式
CN112394270B (zh) * 2020-11-27 2022-03-29 华南理工大学 一种oled器件在线质量检测方法及应用
CN116547578A (zh) * 2021-06-24 2023-08-04 深圳市大疆创新科技有限公司 镜头的对焦控制方法和装置、拍摄装置
WO2022269961A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 顕微鏡システム、情報処理装置及び制御方法
US11714273B1 (en) * 2022-06-23 2023-08-01 Araceli Biosciences Inc. System and method for microscope high-speed auto-focusing including an imaged subject based on a corrected contrast distribution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198244A1 (en) 2013-01-14 2014-07-17 Samsung Electronics Co., Ltd. Focus aid system
JP2015055770A (ja) 2013-09-12 2015-03-23 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412713B2 (ja) * 1994-07-21 2003-06-03 富士写真光機株式会社 ピント調整方法
JPH11103408A (ja) * 1997-09-26 1999-04-13 Fuji Photo Optical Co Ltd カメラのレンズ駆動装置
JP5336952B2 (ja) * 2009-07-02 2013-11-06 キヤノン株式会社 光学機器
US8766153B2 (en) * 2011-02-17 2014-07-01 Mitutoyo Corporation Vision measuring device and auto-focusing control method
JP5668227B2 (ja) * 2011-02-17 2015-02-12 株式会社ミツトヨ 画像測定装置
JP2013142769A (ja) * 2012-01-11 2013-07-22 Olympus Corp 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法
EP2975444B1 (en) * 2013-03-13 2023-04-26 Sony Group Corporation Information processing device, information processing method, and information processing program
JP6210722B2 (ja) * 2013-05-08 2017-10-11 株式会社ミツトヨ 画像測定装置及び画像測定プログラム
JP2018054688A (ja) 2016-09-26 2018-04-05 キヤノン株式会社 現像剤担持体、現像剤担持体の製造方法、プロセスカートリッジ及び電子写真装置
WO2018053846A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 对焦方法、摄像装置和无人机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198244A1 (en) 2013-01-14 2014-07-17 Samsung Electronics Co., Ltd. Focus aid system
JP2015055770A (ja) 2013-09-12 2015-03-23 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Also Published As

Publication number Publication date
US20190293917A1 (en) 2019-09-26
CN110300255B (zh) 2022-08-09
CN110300255A (zh) 2019-10-01
DE102019203963A1 (de) 2019-09-26
JP2019168520A (ja) 2019-10-03
US10895730B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
JP7112863B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
JP6239232B2 (ja) 高性能エッジフォーカスツール
US20190268573A1 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
EP3035104B1 (en) Microscope system and setting value calculation method
US10120163B2 (en) Auto-focus method for a coordinate-measuring apparatus
TW200527907A (en) Autofocus control method, autofocus controller, and image processor
JP2008014827A (ja) レンズの偏芯調整方法及び装置
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US10827114B2 (en) Imaging system and setting device
JP2012042525A (ja) 3次元形状測定装置およびプログラム
US20210190999A1 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
JP6501536B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6746722B2 (ja) 顕微鏡用スライドガラスの曲面の高さの測算方法及び顕微鏡
US20180149846A1 (en) Method and microscope for measuring and calculating heights on curved surface of microscope slide
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2023034160A (ja) 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム
JP2022152480A (ja) 3次元計測装置、3次元計測方法、プログラム、システム、及び物品の製造方法
JP5610579B2 (ja) 3次元寸法測定装置
JP2006153636A (ja) 3次元計測方法および3次元計測方法をコンピュータに実行させるプログラム
JP7262800B2 (ja) 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体
CN114175631A (zh) 图像处理设备、图像处理方法、程序和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R150 Certificate of patent or registration of utility model

Ref document number: 7112863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150