JP2009206354A

JP2009206354A - 電子部品実装機の画像認識装置及び画像認識方法

Info

Publication number: JP2009206354A
Application number: JP2008048408A
Authority: JP
Inventors: Kazumi Hoshikawa; 和美星川
Original assignee: Fuji Machine Manufacturing Co Ltd
Current assignee: Fuji Corp
Priority date: 2008-02-28
Filing date: 2008-02-28
Publication date: 2009-09-10

Abstract

【課題】電子部品実装機の画像認識装置において、ズーム機構を使用せずに、広い視野サイズと高い分解能とを両立させる。
【解決手段】小形部品を高精度で撮像する場合は、被写界深度の範囲内で撮像距離を短くしてカメラの分解能を高める高分解能撮像モードで撮像し、大型部品を視野サイズ内に収めて撮像する場合は、被写界深度の範囲内で撮像距離を長くしてカメラの視野サイズを拡大する視野拡大撮像モードで撮像する。このようにすれば、要求分解能と要求視野サイズに応じて高分解能撮像モードと視野拡大撮像モードとを切り替えることができるため、ズーム機構を使用せずに、高い分解能の撮像と広い視野サイズの撮像のいずれにも対応することができ、低コスト化と耐久性向上の要求を満たしながら、広い視野サイズと高い分解能とを両立させることができる。
【選択図】図２

Description

本発明は、電子部品等の撮像対象物を撮像するカメラの画像信号を画像処理して前記撮像対象物を認識する電子部品実装機の画像認識装置及び画像認識方法に関する発明である。

一般に、電子部品実装機においては、吸着ノズルに吸着した電子部品をカメラで撮像し、そのカメラの画像信号を画像処理して、電子部品の吸着位置、吸着姿勢、部品形状等を画像認識して、電子部品の吸着位置のずれ量、吸着姿勢の良否、電子部品の種類等を判定するようにしている。

吸着ノズルに吸着する電子部品は、サイズが小形のものから大型のものまで大小様々であり、小形部品を高精度に撮像するには高い分解能のカメラが必要となり、一方、大型部品を撮像するには広い視野サイズが必要となる。

そこで、広い視野サイズと高い分解能とを両立させるために、特許文献１（特開平４−７８１９９号公報）に記載されているように、カメラの光学系にズーム機構を設け、カメラで撮像した電子部品の画像に基づいて撮像倍率を自動設定してズーム機構を制御するようにしたものがある。
特開平４−７８１９９号公報（第１頁等参照）

しかし、カメラの光学系にズーム機構を設けると、カメラの光学系の構成が複雑化してコストアップする欠点がある。しかも、電子部品実装機の稼働中に吸着ノズルに吸着する電子部品のサイズの変化に応じてズーム機構を頻繁に動作させる必要があるため、ズーム機構の耐久性が問題となり、ズーム機構の経時劣化による撮像倍率の繰り返し精度の低下が問題となる。

本発明はこのような事情を考慮してなされたものであり、従ってその目的は、低コスト化と耐久性向上の要求を満たしながら、広い視野サイズと高い分解能とを両立させることができる電子部品実装機の画像認識装置及び画像認識方法を提供することにある。

上記目的を達成するために、本発明は、電子部品等の撮像対象物を撮像するカメラの画像信号を画像処理して前記撮像対象物を認識する電子部品実装機の画像認識装置において、前記カメラ側又は前記撮像対象物側を移動させて前記カメラの視野内に前記撮像対象物を収める移動手段と、前記移動手段により前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれ（ピンぼけ）を許容できる範囲内で短くして前記カメラの分解能を高める高分解能撮像モードと、前記移動手段により前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれを許容できる範囲内で長くして前記カメラの視野サイズを拡大する視野拡大撮像モードとを切り替える撮像モード切替手段とを備えた構成としたものである。

カメラのピントずれ（ピンぼけ）を許容できる範囲内であれば、カメラのピントが正確に合うピント位置から撮像対象物の位置がずれても、要求される画像認識精度（要求分解能）を確保することができる。また、カメラの光学系の撮像倍率が一定倍率で固定されている場合でも、カメラと撮像対象物との間の距離（以下「撮像距離」という）を長くすると、視野サイズが大きくなり（撮像倍率が小さくなり）、反対に、撮像距離を短くすると、視野サイズが小さくなり（撮像倍率が大きくなり）、カメラの画素面に結像する撮像対象物の１画素当たりの寸法が小さくなって、分解能［ｍｍ／画素］が高くなる。

この特性に着目して、本発明は、ピントずれを許容できる範囲内で撮像距離を短くして分解能を高める高分解能撮像モードと、ピントずれを許容できる範囲内で撮像距離を長くして視野サイズを拡大する視野拡大撮像モードとを切り替えるようにしたものであり、これにより、要求分解能と要求視野サイズに応じて高分解能撮像モードと視野拡大撮像モードとを切り替えることで、ズーム機構を使用せずに、高い分解能の撮像と広い視野サイズの撮像のいずれにも対応することができ、低コスト化と耐久性向上の要求を満たしながら、広い視野サイズと高い分解能とを両立させることができる。

この場合、請求項２のように、撮像対象物のサイズに応じて高分解能撮像モードと視野拡大撮像モードとを切り替えるようにすると良い。このようにすれば、小形部品を高分解能撮像モードで高精度に撮像し、高分解能撮像モードでは視野内に収まりきれない大型部品を視野拡大撮像モードで視野内に収めて撮像するという撮像対象物のサイズに応じた適切な撮像モードを選択することができる。

具体的には、請求項３のように、通常は高分解能撮像モードでカメラの視野内に撮像対象物を収めて撮像し、当該高分解能撮像モードでは撮像対象物がカメラの視野内に収まりきれないときに視野拡大撮像モードに切り替えてカメラの視野内に撮像対象物を収めて撮像するようにしても良い。このようにすれば、高分解能撮像モードと視野拡大撮像モードとの切り替えを自動的に且つ適正に行うことができる。

この際、高分解能撮像モードで撮像対象物がカメラの視野内に収まるか否かの判定を画像認識処理によって行うようにしても良いが、高分解能撮像モードで撮像対象物がカメラの視野内に収まるか否かは、撮像対象物の外形寸法によって予め分かっているため、請求項４のように、電子部品実装機の動作を管理するジョブデータに、撮像対象物毎に高分解能撮像モードと視野拡大撮像モードのいずれか一方の撮像モードを指定しておき、ジョブデータで指定された撮像モードで撮像対象物を撮像するようにしても良い。このようにすれば、高分解能撮像モードで撮像対象物がカメラの視野内に収まるか否かの判定を画像認識処理を行わずに、高分解能撮像モードと視野拡大撮像モードとの切り替えを自動的に且つ適正に行うことができ、画像認識処理の演算負荷を軽減することができる。

但し、本発明は、高分解能撮像モードと視野拡大撮像モードとの切り替えを作業者の手動操作によって行うようにしても良い。

以下、本発明を実施するための最良の形態を具体化した一実施例を説明する。
まず、図１に基づいて電子部品実装機全体の概略構成を説明する。
Ｘ軸スライド１１は、Ｘ軸ボールねじ１２によってＸ軸方向（図１の左右方向）にスライド移動可能に設けられ、このＸ軸スライド１１に対して、Ｙ軸スライド１３がＹ軸ボールねじ１４によってＹ軸方向（図１の紙面垂直方向）にスライド移動可能に設けられている。

Ｙ軸スライド１３には、吸着ヘッド１５が設けられ、この吸着ヘッド１５に吸着ホルダ１６がＺ軸駆動機構（図示せず）を介してＺ軸方向（上下方向）に昇降可能に設けられ、この吸着ホルダ１６に吸着ノズル１７が下向きに取り付けられている。

一方、Ｘ軸スライド１１には、吸着ノズル１７に吸着した電子部品（撮像対象物）をその下面側から一対の反射鏡２０，２１を介して撮像するＣＣＤカメラ等のカメラ２２（パーツカメラ）が下向きに設けられている。吸着ノズル１７に吸着した電子部品の下方に位置する反射鏡２０の上方には、吸着ノズル１７に吸着した電子部品をその下面側から照明するためのリング状のフロントライト２３が設けられている。

電子部品実装機の制御装置（図示せず）は、カメラ２２の画像信号を画像処理して、例えば、電子部品の吸着位置、吸着姿勢、部品形状等を画像認識して、電子部品の吸着位置のずれ量、吸着姿勢の良否、電子部品の種類等の少なくとも１つを判定する。

ところで、吸着ノズル１７に吸着する電子部品は、サイズが小形のものから大型のものまで大小様々であり、小形部品を高精度に撮像するには高い分解能のカメラが必要となり、一方、大型部品を撮像するには広い視野サイズが必要となる。

そこで、本実施例１では、カメラ２２と撮像対象物との間の距離（以下「撮像距離」という）をカメラ２２のピントずれ（ピンぼけ）を許容できる範囲内で短くしてカメラ２２の分解能を高める高分解能撮像モードと、カメラ２２のピントずれを許容できる範囲内で撮像距離を長くしてカメラ２２の視野サイズを拡大する視野拡大撮像モードとを撮像対象物のサイズに応じて切り替えるようにしている。この際、撮像距離の調整は、撮像対象物である電子部品を吸着した吸着ノズル１７の高さ位置をＺ軸駆動機構（移動手段）によって調整すれば良い。尚、カメラ２２の高さ位置を調整する高さ調整機構を備えている場合は、カメラ２２の高さ位置を調整して撮像距離を調整するようにしても良い。

ここで、高分解能撮像モードと視野拡大撮像モードについて説明する。
図２に示すように、カメラ２２のピントが正確に合うピント位置から撮像対象物の位置が多少ずれても、カメラ２２のピントずれ（ピンぼけ）を許容できる範囲内であれば、要求される画像認識精度（要求分解能）を確保することができる。一般に、カメラ２２のピンぼけを許容できる撮像対象物の位置の範囲は、被写界深度と呼ばれ、一方、ピンぼけを許容できる画素面の位置の範囲（ピンぼけが許容錯乱円よりも小さくなる範囲）は、焦点深度と呼ばれている。本実施例１において、「カメラ２２のピントずれを許容できる範囲」は、被写界深度に設定しても良いし、被写界深度よりも少し長い距離に設定しても良く、要は、要求される分解能（画像認識精度）を確保できるように「カメラ２２のピントずれを許容できる範囲」を設定すれば良い。

例えば、レンズの焦点距離ｆ＝５０ｍｍ、Ｆナンバー（レンズの絞り値）Ｆ＝１１、許容錯乱円σ＝３０μｍの場合は、被写界深度Ｌr ，Ｌf は次式で計算される。

被写界深度の範囲内で撮像距離を長くすると、視野サイズが大きくなり（撮像倍率が小さくなり）、反対に、被写界深度の範囲内で撮像距離を短くすると、視野サイズが小さくなり（撮像倍率が大きくなり）、画素面に結像する撮像対象物の１画素当たりの寸法が小さくなって、分解能［ｍｍ／画素］が高くなる。

上述した例では、撮像倍率の変化量が約１１，５％となる。
例えば、視野１／２インチサイズのＣＣＤカメラで撮像する場合、通常の視野サイズは５４．４×４０．８ｍｍであるのに対して、被写界深度の範囲内で最長の撮像距離で撮像すれば、視野サイズを６０．６９×４５．５２ｍｍまで拡大できる。これは、被写界深度の範囲内であれば、通常よりも横６．２９ｍｍ、縦４．７２ｍｍまで大きいサイズの撮像対象物を撮像できることを意味する。従って、小形部品を高精度で撮像する場合は、被写界深度の範囲内で撮像距離を短くしてカメラ２２の分解能を高める高分解能撮像モードで撮像し、大型部品を視野サイズ内に収めて撮像する場合は、被写界深度の範囲内で撮像距離を長くしてカメラ２２の視野サイズを拡大する視野拡大撮像モードで撮像すれば良い。本実施例では、高分解能撮像モードでは、例えば、被写界深度の最短の撮像距離（図２のＣ位置）で撮像し、視野拡大撮像モードでは、例えば、被写界深度の最長の撮像距離（図２のＡ位置）で撮像する。

但し、撮像距離は、被写界深度の最短の撮像距離（図２のＣ位置）と最長の撮像距離（図２のＡ位置）のみに限定されず、被写界深度の範囲内であれば、いずれの位置であっても撮像可能である。画素面に結像する像の大きさが撮像距離に比例して変化するため、例えば、予め、被写界深度の最短の撮像距離（図２のＣ位置）と最長の撮像距離（図２のＡ位置）で、それぞれ分解能を測定しておき、撮像対象物の撮像時に、実際の撮像距離（電子部品の高さ位置）に応じて最短の撮像距離での分解能と最長の撮像距離での分解能とを線形補間して実際の撮像距離での分解能を算出するようにしても良い。

或は、撮像対象物の大きさに基づいて、適当な視野サイズ（分解能）となる撮像距離を算出して、カメラと撮像対象物との間の距離がこの撮像距離になるように制御しても良い。

図３に示すように、被写界深度の最長の撮像距離Ａにおける視野サイズをＰa 、最短の撮像距離Ｃにおける視野サイズをＰc とすると、被写界深度の範囲内の任意の撮像距離Ｘにおける視野サイズＰx は次式で算出される。
Ｐx ＝Ｐc ＋（Ｘ−Ｃ）×（Ｐa −Ｐc ）／（Ａ−Ｃ）
このようにすれば、被写界深度の範囲内であれば、どのような撮像距離であっても、撮像対象物の寸法を精度良く画像認識することができる。

本実施例の画像認識システムを電子部品実装機に搭載する場合、電子部品実装機の制御装置（撮像モード切替手段）は、通常は高分解能撮像モードでカメラ２２の視野内に撮像対象物を収めて撮像し、当該高分解能撮像モードでは撮像対象物がカメラ２２の視野内に収まりきれないときに視野拡大撮像モードに切り替えてカメラ２２の視野内に撮像対象物を収めて撮像するようにしても良い。このようにすれば、高分解能撮像モードと視野拡大撮像モードとの切り替えを自動的に且つ適正に行うことができる。

この際、高分解能撮像モードで撮像対象物がカメラ２２の視野内に収まるか否かの判定を画像認識処理によって行うようにしても良いが、高分解能撮像モードで撮像対象物がカメラ２２の視野内に収まるか否かは、撮像対象物の外形寸法によって予め分かっているため、電子部品実装機の動作を管理するジョブデータに、撮像対象物毎に高分解能撮像モードと視野拡大撮像モードのいずれか一方の撮像モードを指定しておき、ジョブデータで指定された撮像モードで撮像対象物を撮像するようにしても良い。このようにすれば、高分解能撮像モードで撮像対象物がカメラ２２の視野内に収まるか否かの判定を画像認識処理を行わずに、高分解能撮像モードと視野拡大撮像モードとの切り替えを自動的に且つ適正に行うことができ、画像認識処理の演算負荷を軽減することができる。

以上説明した本実施例によれば、要求分解能と要求視野サイズに応じて高分解能撮像モードと視野拡大撮像モードとを切り替えることができるため、ズーム機構を使用せずに、高い分解能の撮像と広い視野サイズの撮像のいずれにも対応することができ、低コスト化と耐久性向上の要求を満たしながら、広い視野サイズと高い分解能とを両立させることができる。

尚、撮像対象物は、吸着ノズル１７に吸着した電子部品に限定されず、例えば、フィーダから供給される電子部品、回路基板の基準位置マーク等であっても良く、要は、電子部品実装機に搭載された様々なカメラの撮像画像処理技術に適用して実施できる。

本発明の一実施例で使用する電子部品実装機の構成を示す縦断面図である。被写界深度と焦点深度との関係を説明する図である。被写界深度の範囲内の任意の撮像距離Ｘにおける視野サイズＰx の算出方法を説明する図である。

符号の説明

１１…Ｘ軸スライド、１３…Ｙ軸スライド、１７…吸着ノズル、２０，２１…反射鏡、２２…カメラ、２３…フロントライト

Claims

電子部品等の撮像対象物を撮像するカメラの画像信号を画像処理して前記撮像対象物を認識する電子部品実装機の画像認識装置において、
前記カメラ側又は前記撮像対象物側を移動させて前記カメラの視野内に前記撮像対象物を収める移動手段と、
前記移動手段により前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれを許容できる範囲内で短くして前記カメラの分解能を高める高分解能撮像モードと、前記移動手段により前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれを許容できる範囲内で長くして前記カメラの視野サイズを拡大する視野拡大撮像モードとを切り替える撮像モード切替手段と
を備えていることを特徴とする電子部品実装機の画像認識装置。
前記撮像モード切替手段は、前記撮像対象物のサイズに応じて前記高分解能撮像モードと前記視野拡大撮像モードとを切り替えることを特徴とする請求項１に記載の電子部品実装機の画像認識装置。
前記撮像モード切替手段は、通常は前記高分解能撮像モードで前記カメラの視野内に前記撮像対象物を収めて撮像し、当該高分解能撮像モードでは前記撮像対象物が前記カメラの視野内に収まりきれないときに前記視野拡大撮像モードに切り替えて前記カメラの視野内に前記撮像対象物を収めて撮像することを特徴とする請求項２に記載の電子部品実装機の画像認識装置。
電子部品実装機の動作を管理するジョブデータに、撮像対象物毎に前記高分解能撮像モードと前記視野拡大撮像モードのいずれか一方の撮像モードが指定され、
前記撮像モード切替手段は、前記ジョブデータで指定された撮像モードで前記撮像対象物を撮像することを特徴とする請求項１又は２に記載の電子部品実装機の画像認識装置。
カメラ又は撮像対象物を移動させて前記カメラの視野内に前記撮像対象物を収めて撮像し、そのカメラの画像信号を画像処理して前記撮像対象物を認識する画像認識方法において、
前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれを許容できる範囲内で短くして前記カメラの分解能を高める高分解能撮像モードと、前記カメラと前記撮像対象物との間の距離を前記カメラのピントずれを許容できる範囲内で長くして前記カメラの視野サイズを拡大する視野拡大撮像モードとを前記撮像対象物のサイズに応じて切り替えることを特徴とする画像認識方法。