JP7077485B2 - 画像取得装置および画像取得方法 - Google Patents

Description

本開示は、撮像対象となるワークの合焦点画像を撮像する技術に関する。

一般に、高倍率のレンズを使用する撮像装置（カメラ）で撮像対象を撮影する場合、被写界深度（画像の中で焦点が合っているかのように見える範囲）が浅くなる。撮像対象となるワークの凹凸によっては、ワーク中の評価対象部分に焦点が合わず、ワークの評価（検査、位置決めなど）に悪影響を及ぼしやすい。

その対策として、撮像対象となるワークの全焦点画像を作成し、この全焦点画像に基づいてワーク中の評価を行なう方法が知られている（たとえば特開２０１６－２１１１５号公報参照）。全焦点画像とは、ワークと撮像装置との距離を撮像装置の光軸方向に変化させながら焦点の異なる複数の画像を撮影し、局所領域ごとに合焦度（焦点が合っている度合い）を評価し、合焦度の高い局所画像を組合せて全体画像を再構成したものである。このようにして作成された全焦点画像は、全てのピクセルにおいてほぼ焦点が合ったものとなる。

特開２０１６－２１１１５号公報

特開２０１６－２１１１５号公報に開示された方法では、評価対象となるワークを撮像するたびに全焦点画像を生成する必要がある。被写界深度に対してワークの凹凸が大きい場合には多数の画像に対して全焦点画像を生成することになり、画像処理の計算量が大きくなる。そのため、高速で全焦点画像を生成することができず、ワークの評価に時間が掛かってしまうという問題がある。

本開示は、上述の課題を解決するためになされたものであって、その目的は、評価対象となるワークの合焦点画像を高速に取得することを可能にすることである。

本開示による画像取得装置は、ワークの画像を取得する。この画像取得装置は、モデル登録の対象となるワークの画像であるモデル画像を用いて合焦点画像を取得する対象となる第１領域を登録する第１登録部と、モデル画像を用いて位置合わせに用いられる第２領域を登録する第２登録部と、評価対象となるワークの画像であるワーク画像を撮影する撮像装置と、撮像装置およびワークの少なくとも一方を撮像装置の光軸方向に移動可能に構成された移動装置と、移動装置を作動させながら撮像装置が撮像した焦点の異なる複数のワーク画像のうちの最も合焦度の高い画像の深さ位置を合焦点位置として取得する第１取得部と、合焦点位置のワーク画像に対して第２領域との位置合わせを実施することによってワーク画像における第２領域に対応する領域を特定する位置合わせ部と、モデル画像における第２領域とワーク画像における第２領域に対応する領域との位置関係に基づいて撮像時のワークの姿勢を示す情報を取得可能に構成された姿勢推定部と、ワークの姿勢を示す情報を用いてワーク画像における第１領域に対応する領域の位置を出力する領域出力部と、を備える。

本開示によれば、評価対象となるワークの合焦点画像を高速に取得することを可能にすることができる。

画像取得システムの構成を概略的に示す図（その１）である。 モデル領域の登録手順の一例を示すフローチャート（その１）である。 ワーク対象領域の計算手順の一例を示すフローチャート（その１）である。 画像取得システムの構成を概略的に示す図（その２）である。 モデル領域の登録手順の一例を示すフローチャート（その２）である。 ワーク対象領域の計算手順の一例を示すフローチャート（その２）である。 画像取得システムの構成を概略的に示す図（その３）である。 モデル領域の登録手順の一例を示すフローチャート（その３）である。 ワーク対象領域の計算手順の一例を示すフローチャート（その３）である。 画像取得システムの構成を概略的に示す図（その４）である。 モデル領域の登録手順の一例を示すフローチャート（その４）である。 ワーク対象領域の計算手順の一例を示すフローチャート（その４）である。 画像取得システムの構成を概略的に示す図（その５）である。 ニューラルネットワークのモデルの一例を示す図である。 モデル領域の登録手順の一例を示すフローチャート（その５）である。 モデル領域の学習手順の一例を示すフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

実施の形態１．
図１は、本実施の形態による画像取得装置１を含む画像取得システムの構成を概略的に示す図である。この画像取得システムは、画像取得装置１と、撮像対象であるワーク２が設置される台座３とを含む。

画像取得装置１は、撮像装置１１と、移動装置１２と、画像処理部１３と、モデル登録部１４と、姿勢推定部１５と、合焦点画像取得部１６とを含む。

撮像装置１１は、カメラ１１１と、トリガ発生装置１１２とを含む。カメラ１１１は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を用いてワーク２を撮影する。トリガ発生装置１１２は、カメラ１１１の撮像タイミングを示すトリガ入力信号Ｔｒｉｇをカメラ１１１に出力する。カメラ１１１は、トリガ発生装置１１２からのトリガ入力信号Ｔｒｉｇに基づいてワーク２を撮影する。

移動装置１２は、アクチュエータ１２１を含む。アクチュエータ１２１は、撮像装置１１（カメラ１１１）を光軸方向に移動させることによって、ワーク２と撮像装置１１との光軸方向の相対距離を調整可能に構成される。以下では、図１に示すように、撮像装置１１の光軸方向に沿う方向を「Ｚ軸方向」、光軸方向に垂直であってかつ互いに垂直な方向をそれぞれ「Ｘ軸方向」および「Ｙ軸方向」とも称する。

なお、移動装置１２は、ワーク２が設置される台座３をＸ軸方向およびＹ軸方向に沿って移動させることによって、ワーク２をＸ軸方向およびＹ軸方向（平面方向）に移動させる機能を有してもよい。なお、本実施の形態では、ワーク２の撮像時において台座３のＸＹ座標位置（Ｘ軸方向およびＹ軸方向の位置）は固定されているものとする。

また、移動装置１２は、ワーク２が設置される台座３をＺ軸方向に沿って移動させることによって、ワーク２と撮像装置１１のＺ軸方向の相対距離を調整する機能を有してもよい。なお、以下では、説明の便宜上、ワーク２の撮像時において台座３のＺ座標位置（Ｚ軸方向の位置）は固定されているものとして説明する。

移動装置１２は、撮像装置１１のＸＹＺ座標位置を示す情報を移動部位置情報Ｅｎｃとしてトリガ発生装置１１２に出力する機能を有してもよい。この場合、トリガ発生装置１１２は、移動部位置情報Ｅｎｃに基づいてトリガ入力信号Ｔｒｉｇをカメラ１１１に出力するようにしてもよい。たとえば、撮像装置１１をＺ軸方向に移動させながらあるワーク２を撮像する場合に、トリガ発生装置１１２は、移動部位置情報Ｅｎｃに基づいて撮像装置１１のＺ座標位置が所定量変化したと判定される毎にトリガ入力信号Ｔｒｉｇをカメラ１１１に出力するようにしてもよい。このようにすると、撮像装置１１をＺ軸方向に移動させながら複数枚の画像を撮像することができる。

撮像装置１１をＺ軸方向に移動させながら複数枚の画像を撮像する場合、撮像装置１１は、撮像された複数枚の画像（以下「画像スタックＳｔａｃｋ」ともいう）を画像処理部１３およびモデル登録部１４に出力する。

画像処理部１３は、合焦点位置取得部（第１取得部）１３１と、位置合わせ部１３２とを含む。合焦点位置取得部１３１は、画像スタックＳｔａｃｋに含まれる複数枚の画像の各々に対して合焦点指標を計算し、計算された合焦点指標の大きさに基づいて画像スタックＳｔａｃｋの合焦点位置（深さ位置）ＰｏｓＺを計算する。なお、合焦点指標が計算される対象となる各画像の領域は、各画像の全体の領域であってもよいし、予め決められた局所領域であってもよい。

「合焦点位置ＰｏｓＺ」は、たとえば、画像スタックＳｔａｃｋに含まれる複数の画像のうちの、最も焦点が合っている画像が撮像されたときの撮像装置１１のＺ座標位置で表わすことができる。したがって、合焦点位置ＰｏｓＺの計算に用いられる「合焦点指標」は、撮像装置１１でワーク２を撮像した画像をもとに計算可能で、かつ撮像装置１１とワーク２のＺ軸方向の相対距離に従って変化し、合焦度が最も高い時に極大あるいは極小をとる指標であることが望ましい。

たとえば、合焦点位置取得部１３１は、下記の式（１）および式（２）に示す行列を画像の各画素に対して畳み込んだ画像の要素の総和を合焦点指標として計算することができる。

上記の手法で合焦点指標を計算する場合、合焦点位置取得部１３１は、画像スタックＳｔａｃｋに含まれる複数枚の画像のうちの合焦点指標が最大である画像を選択し、選択された画像が撮像されたときの撮像装置１１のＺ座標位置を合焦点位置ＰｏｓＺとして計算する。合焦点位置取得部１３１は、計算された合焦点位置ＰｏｓＺを位置合わせ部１３２に出力する。

位置合わせ部１３２は、撮像装置１１から取得した画像スタックＳｔａｃｋのうちから、合焦点位置ＰｏｓＺに対応する画像を選択し、選択された画像におけるワーク基準領域ＷＲｏｉＰｏｓを計算する。

「ワーク基準領域ＷＲｏｉＰｏｓ」は、画像スタックＳｔａｃｋにおけるモデル基準領域ＭＲｏｉＰｏｓに対応する領域であり、ＸＹＺ座標位置によって特定される。「モデル基準領域ＭＲｏｉＰｏｓ」は、位置合わせの基準となるモデル基準画像（たとえばワーク２上のパターンの境界など）が含まれる領域であり、ＸＹＺ座標位置によって特定される。モデル基準領域ＭＲｏｉＰｏｓは、後述のモデル基準登録部１４２によって予め登録される。

たとえば、位置合わせ部１３２は、画像スタックＳｔａｃｋの画像に対してモデル基準領域ＭＲｏｉＰｏｓ内の画像をＸＹ軸方向にずらしながら画像スタックＳｔａｃｋの各領域とモデル基準領域ＭＲｏｉＰｏｓ内の画像との差を順次計算し、計算された差が最小となる領域のＸＹ座標位置をワーク基準領域ＷＲｏｉＰｏｓのＸＹ座標位置として特定する処理（以下「平面位置合わせ」ともいう）を行なう。そして、位置合わせ部１３２は、平面位置合わせによって特定されたワーク基準領域ＷＲｏｉＰｏｓのＸＹ座標位置に合焦点位置ＰｏｓＺ（Ｚ座標位置）を組合せた信号を、ワーク基準領域ＷＲｏｉＰｏｓ（ＸＹＺ座標位置）を示す信号として姿勢推定部１５に出力する。

モデル登録部１４は、モデル対象登録部（第１登録部）１４１と、モデル基準登録部（第２登録部）１４２とを含む。モデル対象登録部１４１およびモデル基準登録部１４２は、たとえば図示しないコンピュータに設けられる。

モデル対象登録部１４１は、作業者がワーク２上の領域のうちからワーク２の評価のために合焦点画像ＩＦｏｃｕｓを取得したい領域として指定した領域のＸＹＺ座標位置を「モデル対象領域ＭＲｏｉＰａｔ」として登録する。作業者は、ディスプレイに表示された画像に対してコンピュータを操作して指定したい領域を囲む等の操作を行なうことによって、モデル対象領域ＭＲｏｉＰａｔを指定することができる。

モデル基準登録部１４２は、作業者がワーク２上の領域のうちからモデル基準画像が含まれる領域として指定した領域のＸＹＺ座標位置を、上述の「モデル基準領域ＭＲｏｉＰｏｓ」として登録する。作業者は、ディスプレイに表示された画像に対してコンピュータを操作して指定したい領域を囲む等の操作を行なうことによって、モデル基準領域ＭＲｏｉＰｏｓを指定することができる。

なお、モデル対象領域ＭＲｏｉＰａｔおよびモデル基準領域ＭＲｏｉＰｏｓを指定する際にディスプレイに表示される画像は、画像スタックＳｔａｃｋに含まれる複数枚の画像のうちから、作業者が選択した画像であってもよいし、コンピュータが自動的に選択した画像であってもよい。

姿勢推定部１５は、位置合わせ部１３２によって計算されたワーク基準領域ＷＲｏｉＰｏｓと、モデル基準登録部１４２によって予め登録されているモデル基準領域ＭＲｏｉＰｏｓとに基づいて、評価対象として撮像されたワーク２の姿勢を推定する。

なお、ワーク２の姿勢を３次元的に推定するためには少なくとも３つ以上のワーク基準領域ＷＲｏｉＰｏｓが存在することが望ましい。そのため、本実施の形態においては、モデル基準登録部１４２によって、３つ以上のモデル基準領域ＭＲｏｉＰｏｓが予め登録される。そして、上述の位置合わせ部１３２は、３つ以上のモデル基準領域ＭＲｏｉＰｏｓにそれぞれ対応する３つ以上のワーク基準領域ＷＲｏｉＰｏｓを姿勢推定部１５に出力する。

姿勢推定部１５は、ワーク姿勢推定部１５１と、合焦点領域出力部１５２とを含む。ワーク姿勢推定部１５１は、ワーク基準領域ＷＲｏｉＰｏｓとモデル基準領域ＭＲｏｉＰｏｓとに基づいて、撮像されたワーク２の姿勢を推定する。

ワーク２の３つ以上の領域のＸＹＺ座標位置が既知であるとき、下記の式（３）が成り立つ。

式（３）において、右辺の行列Ａの各成分（ａ１１，ａ１２，…，ａ３４）は任意の定数である。式（３）において、ｘ，ｙ，ｚが任意のモデル基準領域ＭＲｏｉＰｏｓのＸＹＺ座標位置を表わし、x’，y’，z’がワーク基準領域ＷＲｏｉＰｏｓのＸＹＺ座標位置を表わすとき、上記の式（３）の右辺の行列Ａがワーク２の３次元的な姿勢Ｐを表わす。したがって、３つ以上のモデル基準領域ＭＲｏｉＰｏｓとワーク基準領域ＷＲｏｉＰｏｓとの位置関係の組合わせをもとに式（３）の右辺と左辺が等しいと近似できる行列Ａの各成分を求めることで、ワーク２の姿勢Ｐを３次元的に推定することができる。なお、上記の推定手法はあくまで一例であって、ワーク２の姿勢を推定する手法は上記の推定手法に限定されるものではない。

合焦点領域出力部１５２は、ワーク姿勢推定部１５１によって推定されたワーク２の姿勢Ｐと、モデル対象登録部１４１によって予め登録されているモデル対象領域ＭＲｏｉＰａｔとに基づいて、画像スタックＳｔａｃｋにおけるモデル対象領域ＭＲｏｉＰａｔに対応する領域のＸＹＺ座標位置を「ワーク対象領域ＷＲｏｉＰａｔ」として計算する。ワーク対象領域ＷＲｏｉＰａｔは、ワーク２の全体画像のうちの合焦点画像ＩＦｏｃｕｓを取得したい部分領域であり、ワーク２の評価対象となる領域である。

合焦点領域出力部１５２は、計算されたワーク対象領域ＷＲｏｉＰａｔを外部に出力する。外部に出力されたワーク対象領域ＷＲｏｉＰａｔは、たとえばワーク２の位置決め等に用いられる。また、合焦点領域出力部１５２は、計算されたワーク対象領域ＷＲｏｉＰａｔを合焦点画像取得部１６にも出力する。

合焦点画像取得部１６は、画像スタックＳｔａｃｋに含まれる複数枚の画像のうちから、ワーク対象領域ＷＲｏｉＰａｔに最も焦点が合っている画像を画像処理部１３と同様の手法で特定し、特定された画像のワーク対象領域ＷＲｏｉＰａｔ内の画像を合焦点画像ＩＦｏｃｕｓとして取得して外部に出力する。合焦点画像ＩＦｏｃｕｓは、たとえばワーク２の検査などに用いられる。なお、合焦点画像取得部１６は、画像取得装置１の外部に設けられてもよい。また、ワーク２の評価に合焦点画像ＩＦｏｃｕｓは用いられない場合には、合焦点画像取得部１６を省略可能である。

＜モデル領域の登録手順＞
図２は、モデル領域（モデル対象領域ＭＲｏｉＰａｔおよびモデル基準領域ＭＲｏｉＰｏｓ）の登録手順の一例を示すフローチャートである。図２のフローチャートは、モデル登録の対象となるワーク２が画像取得装置１にセットされた状態で開始される。

まず、モデル登録の対象となるワーク２の画像スタックＳｔａｃｋ（以下「モデル画像スタックＭＳｔａｃｋ」ともいう）を取得する処理が実行される（ステップＳ１０）。たとえば、移動装置１２を用いて撮像装置１１をＺ軸方向に移動させながら撮像装置１１で複数枚の画像を撮像することによって、モデル画像スタックＭＳｔａｃｋが取得される。

次いで、モデル対象領域ＭＲｏｉＰａｔを登録する処理が実行される（ステップＳ２０）。たとえば、作業者が、モデル対象登録部１４１を用いて、モデル画像スタックＭＳｔａｃｋに対してモデル対象領域ＭＲｏｉＰａｔとして登録したい領域を囲む等の操作を行なうことによって、モデル対象領域ＭＲｏｉＰａｔが登録される。

次いで、モデル基準領域ＭＲｏｉＰｏｓを登録する処理が実行される（ステップＳ３０）。たとえば、作業者が、モデル基準登録部１４２を用いて、モデル画像スタックＭＳｔａｃｋに対してモデル基準領域ＭＲｏｉＰｏｓとして登録したい領域を囲む等の操作を行なうことによって、モデル基準領域ＭＲｏｉＰｏｓが登録される。

＜ワーク対象領域ＷＲｏｉＰａｔの計算手順＞
図３は、ワーク対象領域ＷＲｏｉＰａｔ（ワーク２の全体画像のうちの合焦点画像ＩＦｏｃｕｓを取得したい部分領域）の計算手順の一例を示すフローチャートである。図３のフローチャートは、評価対象となるワーク２が画像取得装置１にセットされた状態で開始される。

まず、評価対象となるワーク２の画像スタックＳｔａｃｋ（以下「ワーク画像スタックＷＳｔａｃｋ」ともいう）を取得する処理が実行される（ステップＳ１１）。たとえば、移動装置１２を用いて撮像装置１１をＺ軸方向に移動させながら撮像装置１１で複数枚の画像を撮像することによって、ワーク画像スタックＷＳｔａｃｋが取得される。

次いで、合焦点位置取得部１３１によって、ワーク画像スタックＷＳｔａｃｋの合焦点位置ＰｏｓＺを計算する処理が実行される（ステップＳ４０）。この処理では、たとえば、ワーク画像スタックＷＳｔａｃｋ内の画像において、モデル基準登録部１４２により予め登録されている３つ以上のモデル基準領域ＭＲｏｉＰｏｓをそれぞれ含む３つ以上の計算領域が抽出され、抽出された３つ以上の計算領域ごとに合焦点位置ＰｏｓＺが計算される。これにより、モデル基準領域ＭＲｏｉＰｏｓの数と同じ数（３つ以上）の合焦点位置ＰｏｓＺが計算される。

なお、ステップＳ４０で抽出される各計算領域は、たとえばモデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置とが大きくは異なってはいないことを想定して、各モデル基準領域ＭＲｏｉＰｏｓを中心として各モデル基準領域ＭＲｏｉＰｏｓを所定量拡大した領域に設定される。このようにすることで、各計算領域内に各モデル基準領域ＭＲｏｉＰｏｓが含まれる状態にすることができる。

次に、位置合わせ部１３２によって、ワーク基準領域ＷＲｏｉＰｏｓを計算する処理が行なわれる（ステップＳ５０）。この処理では、ステップＳ４０で計算された合焦点位置ＰｏｓＺ毎にワーク基準領域ＷＲｏｉＰｏｓを計算する処理が行なわれる。各処理では、合焦点位置ＰｏｓＺの計算領域に対して上述の平面位置合わせを行なってワーク基準領域ＷＲｏｉＰｏｓのＸＹ座標位置が特定され、特定されたワーク基準領域ＷＲｏｉＰｏｓのＸＹ座標位置に合焦点位置ＰｏｓＺを組合せた信号が、ワーク基準領域ＷＲｏｉＰｏｓ（ＸＹＺ座標位置）とされる。上記の処理が合焦点位置ＰｏｓＺ毎に順次行なわれることによって、モデル基準領域ＭＲｏｉＰｏｓの数と同じ数（３つ以上）のワーク基準領域ＷＲｏｉＰｏｓが計算される。

次に、ワーク姿勢推定部１５１によって、撮像されたワーク２の姿勢を推定する処理が行なわれる（ステップＳ６０）。この処理では、たとえば、上述のように、３つ以上のモデル基準領域ＭＲｏｉＰｏｓと３つ以上のワーク基準領域ＷＲｏｉＰｏｓとの位置関係の組合わせをもとに上述の式（３）の行列Ａの各成分を求めることで、ワーク２の姿勢Ｐが３次元的に推定される。

次に、合焦点領域出力部１５２によって、ワーク対象領域ＷＲｏｉＰａｔを計算する処理が行なわれる（ステップＳ７０）。この処理では、ステップＳ６０で推定されたワーク２の姿勢Ｐを加味して、ワーク画像スタックＷＳｔａｃｋにおけるモデル対象領域ＭＲｏｉＰａｔに対応する領域が、ワーク対象領域ＷＲｏｉＰａｔとして計算される。なお、ワーク対象領域ＷＲｏｉＰａｔがワーク画像スタックＷＳｔａｃｋに含まれない場合には、図示しないブザー等を用いて作業者に報知してもよい。

最後に、合焦点画像取得部１６によって、ワーク対象領域ＷＲｏｉＰａｔに最も焦点が合っている画像を合焦点画像ＩＦｏｃｕｓとして取得する処理が行なわれる（ステップＳ７１）。

以上のように、本実施の形態による画像取得装置１によれば、予め登録されたモデル基準領域ＭＲｏｉＰｏｓについてのみ合焦点位置ＰｏｓＺ、ワーク基準領域ＷＲｏｉＰｏｓ、ワーク姿勢Ｐの推定を行なうことによって、ワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを取得することができる。すなわち、全焦点画像を生成することなく、ワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを取得することができる。そのため、全焦点画像を生成する場合に比べて、少ない計算量でワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを取得することができる。

仮に全焦点画像を生成する場合には、画像取得エリアごとに平面方向、高さ方向の位置決めを実施する必要があり、評価領域の大きさに応じて計算量が線形に増加する。これに対し、本実施の形態による画像取得装置１によれば、全焦点画像を生成しないため、計算量が大幅に軽減される。その結果、評価対象となるワーク２の合焦点画像ＩＦｏｃｕｓを高速に取得することができる。

実施の形態２．
上述の実施の形態１においては、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置とが大きくは異なってはいない場合を想定していた。しかしながら、実際には、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置とが大きく異なる場合も想定され得る。

そこで、本実施の形態２においては、撮像視野内の位置合わせのための基準となる領域（以下「視野位置合わせ領域」ともいう）を予め登録しておき、視野位置合わせ領域に対する位置合わせ（粗位置合わせ）を行なった上で、上述の実施の形態１と同様の処理を行なう。これにより、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置とが大きく異なる場合にも対応可能となる。

図４は、本実施の形態２による画像取得装置１Ａを含む画像取得システムの構成を概略的に示す図である。画像取得装置１Ａは、上述の図１に示す画像取得装置１に対して、モデル登録部１４の内部にモデル視野登録部（第３登録部）１４３を追加するとともに、視野画像処理部１７を追加したものである。その他の構造、機能、処理は、上述の図１に示す画像取得装置１と同じであるため、ここでの詳細な説明は繰返さない。

モデル視野登録部１４３は、たとえば図示しないコンピュータに設けられており、視野位置合わせ領域を登録する。作業者は、ディスプレイに表示された画像に対してコンピュータを操作して指定したい領域を囲む等の操作を行なうことによって、視野位置合わせ領域を登録することができる。なお、視野位置合わせ領域には、モデル登録時の視野フォーカス位置の計算領域ＭＲｏｉＶＦｏｃｕｓと、モデル視野位置合わせ領域ＭＲｏｉＶＰａｔとが含まれる。モデル視野登録部１４３は、登録された視野位置合わせ領域を視野画像処理部１７に出力する。

視野画像処理部１７は、視野合焦点位置取得部（第２取得部）１７１と、視野位置合わせ部１７２とを含む。視野合焦点位置取得部１７１は、合焦点位置取得部１３１と同様の手法で、視野合焦点位置ＶＦｏｃｕｓを計算して視野位置合わせ部１７２に出力する。視野位置合わせ部１７２は、位置合わせ部１３２と同様の手法で、視野位置ＶＰｏｓ（後述の視野位置ずれ量ＯｆｆｓｅｔＸＹＺ）を出力する。

図５は、本実施の形態２によるモデル領域の登録手順の一例を示すフローチャートである。図５のフローチャートは、図２のフローチャートに対して、ステップＳ８０，Ｓ８１を追加したものである。その他のステップ（上述の図２に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

モデル画像スタックＭＳｔａｃｋの取得（ステップＳ１０）、モデル対象領域ＭＲｏｉＰａｔの登録（ステップＳ２０）、モデル基準領域ＭＲｏｉＰｏｓの登録（ステップＳ３０）が行なわれた後、モデル視野登録部１４３によって、視野位置合わせ領域を登録する処理が行なわれる（ステップＳ８０）。この処理では、モデル登録時の視野フォーカス位置の計算領域ＭＲｏｉＶＦｏｃｕｓとモデル視野位置合わせ領域ＭＲｏｉＶＰａｔとが登録される。

次いで、モデル視野合焦点位置ＭＶＦｏｃｕｓを登録する処理が行なわれる（ステップＳ８１）。この処理では、モデル画像スタックＭＳｔａｃｋ中の各画像の計算領域ＭＲｏｉＶＦｏｃｕｓについて、視野合焦点位置取得部１７１を用いて合焦点指標が計算され、合焦点指標が最大である画像のＺ座標位置がモデル視野合焦点位置ＭＶＦｏｃｕｓとして登録される。

図６は、本実施の形態２によるワーク対象領域ＷＲｏｉＰａｔの計算手順の一例を示すフローチャートである。図６のフローチャートは、上述の図３のステップＳ４０，Ｓ５０をそれぞれステップＳ４１，Ｓ５１に変更し、さらにステップＳ９０，Ｓ１００を追加したものである。その他のステップ（上述の図３に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

ワーク画像スタックＷＳｔａｃｋの取得（ステップＳ１１）が行なわれた後、視野合焦点位置取得部１７１によって、ワーク視野合焦点位置ＷＶＦｏｃｕｓを計算する処理が行なわれる（ステップＳ９０）。この処理では、ワーク画像スタックＷＳｔａｃｋ中の各画像の計算領域ＭＲｏｉＶＦｏｃｕｓについて合焦点指標が計算され、合焦点指標に基づいて合焦度が最も高いと判定される画像のＺ座標位置がワーク視野合焦点位置ＷＶＦｏｃｕｓとして計算される。

次いで、視野位置合わせ部１７２によって、視野位置合わせが行なわれる（ステップＳ１００）。この処理では、モデル視野合焦点位置ＭＶＦｏｃｕｓに対するワーク視野合焦点位置ＷＶＦｏｃｕｓの深さ位置ずれ量ＯｆｆｓｅｔＺを加味して、モデル視野位置合わせ領域ＭＲｏｉＶＰａｔに対応するワーク視野位置合わせ領域ＷＲｏｉＶＰａｔが計算され、ワーク視野位置合わせ領域ＷＲｏｉＶＰａｔとモデル視野位置合わせ領域ＭＲｏｉＶＰａｔとの位置ずれ量が、視野位置ずれ量ＯｆｆｓｅｔＸＹＺとして計算される。この視野位置ずれ量ＯｆｆｓｅｔＸＹＺが、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置との３次元的な位置ずれ量に相当する。上述の視野位置ＶＰｏｓは、ステップＳ１００で計算される視野位置ずれ量ＯｆｆｓｅｔＸＹＺと同義である。

次に、合焦点位置取得部１３１によって、ワーク画像スタックＷＳｔａｃｋの合焦点位置ＰｏｓＺを計算する処理が実行される（ステップＳ４１）。この処理では、ステップＳ１００で計算された視野位置ずれ量ＯｆｆｓｅｔＸＹＺを加味してモデル基準領域ＭＲｏｉＰｏｓに対応するワーク基準領域ＷＲｏｉＰｏｓが計算され、上述の図３のステップＳ４０と同様に、ワーク基準領域ＷＲｏｉＰｏｓごとの合焦点位置ＰｏｓＺが計算される。

次に、位置合わせ部１３２によって、ワーク基準領域ＷＲｏｉＰｏｓを計算する処理が行なわれる（ステップＳ５１）。この処理では、ステップＳ１００で計算された視野位置ずれ量ＯｆｆｓｅｔＸＹＺを加味してワーク基準領域ＷＲｏｉＰｏｓを計算し、上述の図３のステップＳ５０と同様にワーク基準領域ＷＲｏｉＰｏｓごとの位置ずれ量が計算される。

以降においては、上述の図３で説明したワーク２の姿勢を推定する処理（ステップＳ６０）、ワーク対象領域ＷＲｏｉＰａｔを計算する処理（ステップＳ７０）、ワーク対象領域ＷＲｏｉＰａｔの合焦点画像ＩＦｏｃｕｓを取得する処理（ステップＳ７１）が行なわれる。

以上のようにすることで、本実施の形態２による画像取得装置１Ａにおいては、上述の実施の形態１と同様に、評価対象となるワーク２のワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを高速に取得することができる。さらに、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置との視野位置ずれ量ＯｆｆｓｅｔＸＹＺを加味してワーク対象領域ＷＲｏｉＰａｔを計算することができる。そのため、モデル登録時のワーク２のセット位置と評価対象となるワーク２のセット位置とが大きく異なる場合にも、ワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを取得することができる。

実施の形態３．
上述の実施の形態１，２においては、撮像装置１１あるいは台座３をＺ軸方向に移動させた場合の撮像視野内に、位置合わせのための基準として登録できる図柄が存在する場合を想定している。しかしながら、実際には、ワーク２のＸＹ軸方向の大きさが大きいために、撮像装置１１あるいは台座３をＺ軸方向に移動させた場合の撮像視野内に、位置合わせのための基準として登録できる図柄がない場合も想定され得る。

上記の点に鑑み、本実施の形態３においては、撮像装置１１あるいは台座３をＺ軸方向に加えてＸＹ軸方向にも移動させることによってＸＹ軸方向にスライドさせた複数の撮像視野でワーク２を撮像し、複数の撮像視野のうちのいずれかの視野の画像で位置合わせのための基準を登録するようにしている。

図７は、本実施の形態３による画像取得装置１Ｂを含む画像取得システムの構成を概略的に示す図である。画像取得装置１Ｂは、上述の図４に示す画像取得装置１Ａに対して、撮像位置記録部１２２を追加したものである。その他の構造、機能、処理は、上述の画像取得装置１Ａと同じであるため、ここでの詳細な説明は繰返さない。

撮像位置記録部１２２は、ワーク２を撮像した時の移動部位置情報Ｅｎｃを撮像位置信号ＶＰｏｓとして記録し、記録した撮像位置信号ＶＰｏｓをワーク姿勢推定部１５１に出力する。なお、本実施の形態３においては、上述のように、撮像装置１１あるいは台座３をＺ軸方向に加えてＸＹ軸方向にも移動させることによって、ＸＹ軸方向にスライドさせた複数の撮像視野でワーク２を撮像することを想定している。

ワーク姿勢推定部１５１は、実施の形態１および実施の形態２で説明した機能に加えて、撮像位置記録部１２２からの撮像位置信号ＶＰｏｓを受ける機能を有する。

図８は、本実施の形態３によるモデル領域の登録手順の一例を示すフローチャートである。図８のフローチャートは、図５のフローチャートに対して、ステップＳ１１０，Ｓ１２０を追加したものである。その他のステップ（上述の図５に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

まず、ＸＹ軸方向のすべての視野の撮像が完了したかどうかが判定される（ステップＳ１１０）。ＸＹ軸方向のすべての視野の撮像が完了していない場合（ステップＳ１１０においてＮＯ）、撮像位置記録部１２２によって現在の撮像位置信号ＶＰｏｓを記録する処理が行なわれる（ステップＳ１２０）。その後、上述の図５に示すステップＳ１０～Ｓ８１の処理が行なわれる。その後、処理はステップＳ１１０に戻され、ＸＹ軸方向のすべての視野の撮像が完了するまで、ステップＳ１１０，Ｓ１２０，Ｓ１０～Ｓ８１までの処理がＸＹ軸方向の視野毎に繰り返される。そして、ＸＹ軸方向のすべての視野の撮像が完了した場合（ステップＳ１１０においてＹＥＳ）、モデル登録処理は終了される。

図９は、本実施の形態３によるワーク対象領域ＷＲｏｉＰａｔの計算手順の一例を示すフローチャートである。なお、図９に示したステップのうち、上述の図６に示したステップと同じ番号を付しているステップについては、既に説明したため詳細な説明はここでは繰り返さない。

まず、ＸＹ軸方向のすべての視野の撮像が完了したかどうかが判定される（ステップＳ１１１）。ＸＹ軸方向のすべての視野の撮像が完了していない場合（ステップＳ１１１においてＮＯ）、撮像位置記録部１２２によって現在の撮像位置信号ＶＰｏｓを記録する処理が行なわれる（ステップＳ１２１）。その後、上述の図６に示すステップＳ１１～Ｓ５１の処理が行なわれる。その後、処理はステップＳ１１１に戻され、ＸＹ軸方向のすべての視野の撮像が完了するまでステップＳ１１１，Ｓ１２１，Ｓ１１～Ｓ５１までの処理が視野毎に繰り返される。

そして、ＸＹ軸方向のすべての視野の撮像が完了した場合（ステップＳ１１１においてＹＥＳ）、ワーク２の姿勢を推定する処理が行なわれる（ステップＳ６１）。この処理では、ステップＳ４１で計算された各視野の合焦点位置ＰｏｓＺと、ステップＳ５１で計算された各視野のワーク基準領域ＷＲｏｉＰｏｓと、ステップＳ１２１で記録された各視野の撮像位置信号ＶＰｏｓとに基づいて、ワーク２の姿勢が推定される。

以後は、実施の形態１，２と同様に、ワーク対象領域ＷＲｏｉＰａｔを計算する処理（ステップＳ７０）、合焦点画像ＩＦｏｃｕｓとして取得する処理（ステップＳ７１）が行なわれる。

以上のようにすることで、本実施の形態３による画像取得装置１Ｂにおいては、上述の実施の形態１，２と同様に、評価対象となるワーク２のワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを高速に取得することができる。さらに、本実施の形態３による画像取得装置１Ｂは、ＸＹ軸方向にスライドさせた複数の撮像視野でワーク２を撮像し、複数の視野のうちのいずれかの視野の画像で位置合わせのための基準を登録するようにしている。そのため、１つの撮像視野内に位置合わせのための基準として登録できる構造物がない場合にも、ワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを取得することができる。

実施の形態４．
実施の形態１、２、３においては、ワーク２の位置合わせの基準と、撮像装置１１による撮像領域との間に位置ずれがないことを想定している。しかしながら、ワーク２が複数の部品を組み立てて構成されるモジュールなどの場合には、ワーク２の組み立て誤差の影響で、位置合わせの基準と撮像領域の間に多少の位置ずれが生じる場合も想定され得る。

上記の点に鑑み、本実施の形態４においては、撮像領域ごとに位置合わせの基準に対する位置ずれを補正するための位置合わせの基準を登録するようにしている。

図１０は、本実施の形態４による画像取得装置１Ｃを含む画像取得システムの構成を概略的に示す図である。画像取得装置１Ｃは、上述の図１に示す画像取得装置１に対して、モデル登録部１４の内部に部位基準登録部１４４と、部位画像処理部１８とを追加したものである。その他の構造、機能、処理は、上述の図１に示す画像取得装置１と同じであるため、ここでの詳細な説明は繰返さない。

部位基準登録部１４４は、たとえば図示しないコンピュータに設けられており、ワーク２の部位ごとの位置合わせのための基準となる「部位位置合わせ領域」を登録する。作業者が、ディスプレイに表示された画像に対してコンピュータを操作して指定したい領域を囲む等の操作を行なうことによって、部位位置合わせ領域を登録することを想定している。なお、部位位置合わせ領域には、モデル登録時の部位フォーカス位置の計算領域ＭＲｏｉＰＦｏｃｕｓと、モデル部位位置合わせ領域ＭＲｏｉＰＰａｔとが含まれる。部位基準登録部１４４は、登録された部位位置合わせ領域を部位画像処理部１８に出力する。

部位画像処理部１８は、部位合焦点位置取得部１８１と、部位位置合わせ部１８２とを含む。

部位合焦点位置取得部１８１は、合焦点位置取得部１３１と同様の手法で、部位合焦点位置ＰＦｏｃｕｓを計算して部位位置合わせ部１８２に出力する。部位位置合わせ部１８２は、位置合わせ部１３２と同様の手法で、部位位置Ｐｐｏｓ（後述の部位位置ずれ量ＰＯｆｆｓｅｔＸＹＺ）を計算して合焦点領域出力部１５２に出力する。

本実施の形態４による合焦点領域出力部１５２は、上述による実施の形態１～３の合焦点領域出力部１５２の機能に加えて、部位位置ずれ量ＰＯｆｆｓｅｔＸＹＺを受ける機能を有する。

図１１は、本実施の形態４によるモデル領域の登録手順の一例を示すフローチャートである。図１１のフローチャートは、図２のフローチャートに対して、ステップＳ１３０，Ｓ１３１を追加したものである。その他のステップ（上述の図２に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

本実施の形態４によるモデル領域の登録では、モデル画像スタックＭＳｔａｃｋの取得（ステップＳ１０）、モデル対象領域ＭＲｏｉＰａｔの登録（ステップＳ２０）、モデル基準領域ＭＲｏｉＰｏｓの登録（ステップＳ３０）が行なわれた後、部位位置合わせ領域を登録する処理が行われる（ステップＳ１３０）。この処理では、部位基準登録部１４４によって、モデル登録時の部位フォーカス位置の計算領域ＭＲｏｉＰＦｏｃｕｓと、モデル部位位置合わせ領域ＭＲｏｉＰＰａｔが登録される。

次いで、モデル部位合焦点位置ＭＰＦｏｃｕｓを登録する処理が行なわれる（ステップＳ１３１）。この処理では、モデル画像スタックＭＳｔａｃｋ中の各画像の部位フォーカス位置の計算領域ＭＲｏｉＰＦｏｃｕｓについて、部位合焦点位置取得部１８１を用いて合焦点指標が算出され、モデル画像スタックＭＳｔａｃｋ中の各画像の計算領域ＭＲｏｉＶＦｏｃｕｓについて、視野合焦点位置取得部１７１を用いて合焦点指標が計算され、求められた合焦点位置（合焦点指標が最大である画像のＺ座標位置）がモデル部位合焦点位置ＭＰＦｏｃｕｓとして登録される。

図１２は、本実施の形態４によるワーク対象領域ＷＲｏｉＰａｔの計算手順の一例を示すフローチャートである。図１２のフローチャートは、上述の図３のフローチャートに対して、ステップＳ１４０、Ｓ１５０を追加したものである。その他のステップ（上述の図３に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

ワーク画像スタックＷＳｔａｃｋの取得（ステップＳ１１）が行なわれた後、ワーク部位合焦点位置ＷＰＦｏｃｕｓを計算する処理が行なわれる（ステップＳ１４０）。この処理では、部位基準登録部１４４に部位フォーカス位置の計算領域ＭＲｏｉＰＦｏｃｕｓとして登録された領域についてのワーク部位合焦点位置ＷＰＦｏｃｕｓを、部位合焦点位置取得部１８１により計算する処理が実施される。

ステップ１４０の実施後、ステップ１５０の処理が行なわれる。ステップＳ１５０では、部位基準登録部１４４によりモデル部位位置合わせ領域ＭＲｏｉＰＰａｔとして登録された領域について、モデル部位合焦点位置ＭＰＦｏｃｕｓに対するワーク部位合焦点位置ＷＰＦｏｃｕｓの部位深さ位置ずれ量ＰＯｆｆｓｅｔＺを加味した深さ位置をもとに、ワーク部位位置合わせ領域ＷＲｏｉＰＰａｔが算出され、ワーク部位位置合わせ領域ＷＲｏｉＰＰａｔとモデル部位位置合わせ領域ＭＲｏｉＰＰａｔとの位置ずれ量が、部位位置ずれ量ＰＯｆｆｓｅｔＸＹＺとして算出される。

次に、上述の図３で説明した、合焦点位置ＰｏｓＺを計算する処理（ステップＳ４０）、ワーク基準領域ＷＲｏｉＰｏｓを計算する処理（ステップＳ５０）、ワーク２の姿勢Ｐを推定する処理（ステップＳ６０）が行なわれる。

実施の形態４における、ワーク対象領域ＷＲｏｉＰａｔを計算する処理（ステップＳ７０）においては、ステップＳ６０で推定されたワーク２の姿勢Ｐと、モデル対象領域ＭＲｏｉＰａｔの位置と、ステップ１５０で算出された部位位置ずれ量ＰＯｆｆｓｅｔＸＹＺをもとに、ワーク画像スタックＷＳｔａｃｋにおけるワーク対象領域ＷＲｏｉＰａｔが算出される。

最後に、上述の図３で説明したワーク対象領域ＷＲｏｉＰａｔの合焦点画像ＩＦｏｃｕｓを取得する処理（ステップＳ７１）が行なわれる。

以上のようにすることで、本実施の形態４による画像取得装置１Ｃにおいては、上述の実施の形態１、２、３と同様に、評価対象となるワーク２のワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを高速に取得することができる。さらに、本実施の形態４による画像取得装置１Ｃは、撮像領域ごとに位置ずれを補正するための位置合わせの基準を登録するようにしている。そのため、複数の部品を組み立てて構成されるモジュールなどを撮像する場合に、組み立て誤差を吸収して、部品ごとの位置ずれの影響を受けずに合焦点画像を取得することが可能である。

実施の形態５．
実施の形態１、２、３、４においては、合焦点画像を取得したい領域ごとに、作業者がモデル領域の登録する作業を行なうことを想定している。しかしながら、ワーク２について合焦点画像を取得したい領域が大量にある場合には、登録作業に莫大な時間がかかることが懸念される。

上記の点に鑑み、本実施の形態５においては、過去に登録した撮像領域の画像をもとに撮像領域の候補を作成する機械学習機能を用いて、撮像領域の候補をもとにモデル領域を登録する。これにより、合焦点画像を取得したい領域が大量にある場合にも、モデル領域の登録を効率的に行うことができる。

図１３は、本実施の形態５による画像取得装置１Ｄを含む画像取得システムの構成を概略的に示す図である。画像取得装置１Ｄは、上述の図１に示す画像取得装置１に対して、学習部１９を追加したものである。その他の構造、機能、処理は、上述の図１に示す画像取得装置１と同じであるため、ここでの詳細な説明は繰返さない。

学習部１９は、サンプル画像生成部１９１、機械学習部１９２、学習データ記録部１９３、画像切り出し部１９４、判定部１９５を含む。なお、学習部１９は、必ずしも画像取得装置１Ｄに内蔵されることに限定されず、画像取得装置１Ｄの外部（たとえばクラウドサーバ）に存在していてもよい。

サンプル画像生成部１９１は、画像スタックＳｔａｃｋとモデル対象領域ＭＲｏｉＰａｔとをもとに、画像スタックＳｔａｃｋにおけるモデル対象領域ＭＲｏｉＰａｔの画像であるサンプル画像ＭＲｏｉＰａｔＩｍｇと、サンプル画像ＭＲｏｉＰａｔＩｍｇがモデル対象領域ＭＲｏｉＰａｔであるかどうかの真偽値である真偽値ｉｓＭＲｏｉＰａｔとの組合せを出力する。真偽値ｉｓＭＲｏｉＰａｔが偽の場合のサンプル画像ＭＲｏｉＰａｔＩｍｇは、モデル対象領域ＭＲｏｉＰａｔを元に、同程度の大きさで、モデル対象領域ＭＲｏｉＰａｔを含まない領域を出力する。

機械学習部１９２は、サンプル画像ＭＲｏｉＰａｔＩｍｇとその真偽値ｉｓＭＲｏｉＰａｔとの組合せに従って、モデル対象領域である確率を示す確率ＭＲｏｉＰａｔＰを学習し、学習結果を学習データＣとして学習データ記録部１９３に記録する。また、機械学習部１９２は、学習データ記録部１９３に記録されている学習データＣと、画像切り出し部１９４からの部分画像データＲｏｉＩｍｇとを入力として、部分画像データＲｏｉＩｍｇがモデル対象領域である確率を示す確率ＭＲｏｉＰａｔＰを出力する推論手段として機能する。機械学習部１９２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習を実施する装置である。

ここで、教師あり学習とは、ある入力と出力結果（ラベル）とのデータセットを大量に学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から出力結果を推定するモデルをいう。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、及び複数のニューロンからなる出力層で構成される。中間層は、１層、又は２層以上でもよい。

図１４は、ニューラルネットワークのモデルの一例を示す図である。図１４に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１～Ｘ３）に入力されると、その値に重みＷ１（ｗ１１～ｗ１６）を掛けた結果が中間層（Ｙ１，Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１～ｗ２６）を掛けた結果が出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。

本願において、ニューラルネットワークは、サンプル画像ＭＲｏｉＰａｔＩｍｇと真偽値ｉｓＭＲｏｉＰａｔとの組合せに基づいて作成されるデータセットに従って、いわゆる教師あり学習により上述の確率ＭＲｏｉＰａｔＰを学習し、その学習結果を学習データＣとして学習データ記録部１９３に記録する。

図１３に戻って、学習データ記録部１９３は、機械学習部１９２の学習結果である学習データＣを保存する機能を有する。

また、機械学習部１９２の学習は、複数種類のワーク２に対して作成されるデータセットに従って、学習してもよい。なお、機械学習部１９２は、同一の現場で使用される複数のワーク２からデータセットを取得してもよいし、異なる現場で独立して稼働する複数の工作機械から収集されるデータセットを利用して確率ＭＲｏｉＰａｔＰを学習してもよい。さらに、データセットを収集するワーク２を途中で対象に追加し、或いは、逆に対象から除去することも可能である。

画像切り出し部１９４は、画像スタックＳｔａｃｋを元に、部分画像データＲｏｉＩｍｇを切り出して機械学習部１９２に出力する。部分画像データＲｏｉＩｍｇの切り出し方は、画像スタックＳｔａｃｋを構成する各画像に対して、縦方向、横方向に等ピッチ、等サイズで画像を切り出す方法であってもよい。

判定部１９５は、機械学習部１９２からの確率ＭＲｏｉＰａｔＰを元に、部分画像データＲｏｉＩｍｇがモデル対象領域の候補となるか否かを判定し、モデル対象領域の候補となると判定された部分画像データＲｏｉＩｍｇを、推定モデル対象領域ＭＲｏｉＰａｔＥとして出力する。例えば、確率ＭＲｏｉＰａｔＰが予め設定されたしきい値Ｔｈとを比較した結果で、推定モデル対象領域ＭＲｏｉＰａｔＥを出力するようにしてもよい。

実施の形態５によるモデル対象登録部１４１は、画像スタックＳｔａｃｋと、推定モデル対象領域ＭＲｏｉＰａｔＥを入力として受け、モデル対象領域ＭＲｏｉＰａｔを出力する。

モデル対象登録部１４１は、図示省略のコンピュータに設けられている。推定モデル対象領域ＭＲｏｉＰａｔＥがある場合には、推定モデル対象領域ＭＲｏｉＰａｔＥを作業者に提示する。作業者は、コンピュータを操作して、推定モデル対象領域ＭＲｏｉＰａｔＥをモデル対象領域ＭＲｏｉＰａｔとして登録する。あるいは、画像が表示された画面上で推定モデル対象領域ＭＲｏｉＰａｔＥを修正する等の操作を行って、モデル対象領域ＭＲｏｉＰａｔとして登録することを想定している。

図１５は、本実施の形態５によるモデル領域の登録手順の一例を示すフローチャートである。図１５のフローチャートは、図２のフローチャートに対して、ステップＳ１６０，Ｓ１７０，Ｓ１８０を追加したものである。その他のステップ（上述の図２に示したステップと同じ番号を付しているステップ）については、既に説明したため詳細な説明はここでは繰り返さない。

本実施の形態５によるモデル登録では、ステップＳ１０の後、ステップＳ１６０が実施される。ステップＳ１６０では、機械学習部１９２で利用できる学習データＣが学習データ記録部１９３にあるかどうかが確認される。学習データＣがなければ（ステップＳ１６０においてＮＯ）、ステップＳ２０、すなわち実施の形態１のモデル領域の登録手順と同様の方法で、モデル領域の登録が実施される。

学習データＣがある場合（ステップＳ１６０においてＹＥＳ）には、ステップ１７０が実施される。ステップＳ１７０では、ステップＳ１０で取得した画像スタックＳｔａｃｋに対して画像切り出し部１９４により部分画像データＲｏｉＩｍｇが切り出され、学習データＣと合わせて機械学習部１９２に入力される。機械学習部１９２では、部分画像データＲｏｉＩｍｇがモデル対象領域である確率ＭＲｏｉＰａｔＰを計算する。この確率ＭＲｏｉＰａｔＰを元に、判定部１９５は、部分画像データＲｏｉＩｍｇがモデル対象領域の候補となるかどうかを判定し、モデル対象領域の候補となると判定された部分画像データＲｏｉＩｍｇを推定モデル対象領域ＭＲｏｉＰａｔＥとして、モデル対象登録部１４１に出力する。

本実施の形態５によるステップＳ２０では、推定モデル対象領域ＭＲｏｉＰａｔＥを参照しつつ、作業者が、合焦点画像を取得したい領域をモデル対象領域ＭＲｏｉＰａｔとして登録する。

さらに、本実施の形態５では、ステップＳ３０完了後、ステップＳ１８０が実施される。ステップＳ１８０では、後述の図１６に示すモデル領域の学習手順を実施するため、モデル画像スタックＭＳｔａｃｋとモデル対象領域ＭＲｏｉＰａｔとの組合せをサンプル画像生成部１９１に記録する。

図１６は、本実施の形態５におけるモデル領域の学習手順の一例を示すフローチャートである。モデル領域の学習においては、まず、ステップＳ２００が実施される。ステップＳ２００では、上述の図１５のステップＳ１８０において予め記録された、モデル画像スタックＭＳｔａｃｋとモデル対象領域ＭＲｏｉＰａｔとの組合せをもとに、サンプル画像生成部１９１が、サンプル画像ＭＲｏｉＰａｔＩｍｇと真偽値ｉｓＭＲｏｉＰａｔとの組合せを出力する。次に、機械学習部１９２が、サンプル画像ＭＲｏｉＰａｔＩｍｇと真偽値ｉｓＭＲｏｉＰａｔとの組合せの群からなるデータセットを学習し、与えられた画像が、モデル対象領域である確率である確率ＭＲｏｉＰａｔＰを推論するように学習する。

続いて、ステップＳ２０１が実施される。ステップＳ２０１では、機械学習部１９２の学習した結果である学習データＣがモデル領域登録において使用できるように、学習データＣが学習データ記録部１９３に記録される。

以上のようにすることで、本実施の形態５による画像取得装置１Ｄにおいては、上述の実施の形態１、２、３と同様に評価対象となるワーク２のワーク対象領域ＷＲｏｉＰａｔおよびその合焦点画像ＩＦｏｃｕｓを高速に取得することができる。さらに、本実施の形態５による画像取得装置１Ｄは、過去に登録した撮像領域の画像をもとに撮像領域の候補を作成する機械学習機能を用いて、撮像領域の候補をもとに領域を登録する。これにより、合焦点画像を取得したい領域が大量にある場合にも、手間なく登録作業を行うことができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ 画像取得装置、２ ワーク、３ 台座、１１ 撮像装置、１２ 移動装置、１３ 画像処理部、１４ モデル登録部、１５ 姿勢推定部、１６ 合焦点画像取得部、１７ 視野画像処理部、１８ 部位画像処理部、１９ 学習部、１２２ 撮像位置記録部、１３１ 合焦点位置取得部、１３２ 位置合わせ部、１４１ モデル対象登録部、１４２ モデル基準登録部、１４３ モデル視野登録部、１４４ 部位基準登録部、１５１ ワーク姿勢推定部、１５２ 合焦点領域計算部、１７１ 視野合焦点位置取得部、１７２ 視野位置合わせ部、１８１ 部位合焦点位置取得部、１８２ 部位位置合わせ部、１９１ サンプル画像生成部、１９２ 機械学習部、１９３ 学習データ記録部、１９４ 画像切り出し部、１９５ 判定部。

Claims (10)

1. ワークの画像を取得する画像取得装置であって、
   モデル登録の対象となるワークの画像であるモデル画像を用いて合焦点画像を取得する対象となる第１領域を登録する第１登録部と、
   前記モデル画像を用いて位置合わせに用いられる第２領域を登録する第２登録部と、
   評価対象となるワークの画像であるワーク画像を撮影する撮像装置と、
   前記撮像装置および前記ワークの少なくとも一方を前記撮像装置の光軸方向に移動可能に構成された移動装置と、
   前記移動装置を作動させながら前記撮像装置が撮像した焦点の異なる複数のワーク画像のうちの最も合焦度の高い画像の深さ位置を合焦点位置として取得する第１取得部と、
   前記合焦点位置のワーク画像に対して前記第２領域との位置合わせを実施することによって前記ワーク画像における前記第２領域に対応する領域を特定する位置合わせ部と、
   前記モデル画像における前記第２領域と前記ワーク画像における前記第２領域に対応する領域との位置関係に基づいて撮像時の前記ワークの姿勢を示す情報を取得可能に構成された姿勢推定部と、
   前記ワークの姿勢を示す情報を用いて前記ワーク画像における前記第１領域に対応する領域の位置を出力する領域出力部と、
   を備える、画像取得装置。
2. 前記モデル画像を用いて撮像視野の位置合わせに用いられる第３領域を登録する第３登録部と、
   前記撮像装置が撮像した焦点の異なる複数の前記ワーク画像のうちの前記第３領域において最も合焦度の高い画像の深さ位置を視野合焦点位置として取得する第２取得部と、
   前記合焦点位置のワーク画像における前記第３領域に対応する領域と、前記モデル画像における前記第３領域との位置合わせを実施することによって、前記ワーク画像における前記第３領域に対応する領域と前記モデル画像における前記第３領域との位置との位置ずれ量を取得する視野位置合わせ部とをさらに備え、
   前記第１取得部は、前記位置ずれ量を加味して前記合焦点位置を取得する、請求項１に記載の画像取得装置。
3. 前記撮像装置の光軸方向の撮像位置を視野毎に記録する位置記録部をさらに備え、
   前記姿勢推定部は、前記撮像位置に基づいて前記ワークの姿勢を示す情報を取得する、請求項１または２に記載の画像取得装置。
4. 前記モデル画像の部位ごとの位置合わせに用いられる部位領域を登録する部位領域登録部と、
   前記モデル画像の部位ごとの合焦点位置である部位合焦点位置を取得する部位焦点位置取得部と、
   前記部位合焦点位置のワーク画像における前記部位領域に対応する領域と、前記モデル画像における前記部位領域との位置合わせを実施する部位位置合わせ部とをさらに備える、請求項１～３のいずれか１項に記載の画像取得装置。
5. 前記第１登録部により登録された第１領域と前記撮像装置によって撮像された画像データの複数の組合せに基づいて前記第１領域と前記画像データとの対応を機械学習し、機械学習の結果を用いて、与えられた画像データが前記第１領域の候補となるかどうかを判定する機械学習部をさらに備える、請求項１～４のいずれか１項に記載の画像取得装置。
6. ワークの画像を取得する画像取得方法であって、
   モデル登録の対象となるワークの画像であるモデル画像を用いて合焦点画像を取得する対象となる第１領域を登録するステップと、
   前記モデル画像を用いて位置合わせに用いられる第２領域を登録するステップと、
   評価対象となるワークの画像であるワーク画像を撮像装置で撮影するステップと、
   前記撮像装置が撮像した焦点の異なる複数のワーク画像のうちの最も合焦度の高い画像の深さ位置を合焦点位置として取得するステップと、
   前記合焦点位置のワーク画像に対して前記第２領域との位置合わせを実施することによって前記ワーク画像における前記第２領域に対応する領域を特定するステップと、
   前記モデル画像における前記第２領域と前記ワーク画像における前記第２領域に対応する領域との位置関係に基づいて撮像時の前記ワークの姿勢を示す情報を取得するステップと、
   前記ワークの姿勢を示す情報を用いて前記ワーク画像における前記第１領域に対応する領域の位置を出力するステップと、
   を含む、画像取得方法。
7. 前記モデル画像を用いて撮像視野の位置合わせに用いられる第３領域を登録するステップと、
   前記撮像装置が撮像した焦点の異なる複数の前記ワーク画像のうちの前記第３領域において最も合焦度の高い画像の深さ位置を視野合焦点位置として取得するステップと、
   前記合焦点位置のワーク画像における前記第３領域に対応する領域と、前記モデル画像における前記第３領域との位置ずれ量を取得するステップとをさらに含み、
   前記合焦点位置を取得するステップは、前記位置ずれ量を加味して前記合焦点位置を取得するステップを含む、請求項６に記載の画像取得方法。
8. 前記撮像装置の光軸方向の撮像位置を視野毎に記録するステップをさらに含み、
   前記ワークの姿勢を示す情報を取得するステップは、前記撮像位置に基づいて前記ワークの姿勢を示す情報を取得する、請求項６または７に記載の画像取得方法。
9. 前記モデル画像の部位ごとの位置合わせに用いられる部位領域を登録するステップと、
   前記モデル画像の部位ごとの合焦点位置である部位合焦点位置を取得するステップと、 前記部位合焦点位置のワーク画像における前記部位領域に対応する領域と、前記モデル画像における前記部位領域との位置合わせを実施するステップとをさらに含む、請求項６～８のいずれか１項に記載の画像取得方法。
10. 登録された前記第１領域と前記撮像装置によって撮像された画像データの複数の組合せに基づいて前記第１領域と前記画像データとの対応を機械学習するステップと、
    機械学習の結果を用いて、与えられた画像データが前記第１領域の候補となるかどうかを判定するステップとをさらに備える、請求項６～９のいずれか１項に記載の画像取得方法。

Images