JP6694715B2 - 検査システム、プログラム、および、検査方法 - Google Patents

Description

本発明は、対象物における形態の異常を検査して表示する技術に関する。

自動車の駆動部に用いられるコネクティングロッドやハブなどの部品等は、その部品に傷等の異常が無いかどうかを調べる検査が行われる。このような部品の検査は、従来、作業者の目視により行われていた。

しかしながら、作業者の目視に依存すると、複数の作業者間で、検査にかかる時間や検査結果にばらつきが生じる。また、同一の作業者であっても、体調不良や集中力の低下により、検査に時間がかかったり、異常の見落としが発生したりする虞がある。このため、部品の検査を、自動かつ高速に行うことができる装置の開発が求められている。

部品の検査を行う装置は、例えば、特許文献１において提案されている。特許文献１の検査装置は、複数の光照射部を有する照明部と、部品を撮像する１つの撮像部と、を備えている。当該装置は、照明部および撮像部を制御することによって、照明部からの光の照射方向が異なる複数の検査画像を取得する。そして、取得した検査画像に基づいて部品を検査する。

特開２０１５−６８６６８号公報

特許文献１においては、取得された検査画像を装置の使用者に対してどのように表示するかについては開示されていない。

そこで、使用者が対象物の検査結果を視認しやすいように、検査結果を表示する技術が求められている。このような課題は、自動車関連の部品に限らず種々の完成品や部品を検査する場合に共通の課題である。

本発明は、上記課題に鑑みなされたものであり、使用者が対象物の検査結果を視認しやすい表示技術を提供することを目的とする。

上記課題を解決するため、第１の態様にかかる検査システムは、対象物を光照射条件を変更しながら複数の方向から撮像して得られた複数の撮像画像を基に前記対象物における形態の異常を検査する検査部と、前記検査部と通信可能であり、前記複数の方向のそれぞれに関して、前記複数の撮像画像のうちから特定の光照射条件下で撮像された１枚の撮像画像またはあらかじめ準備された参照画像のいずれかを各方向の代表撮像画像として表示画面に並べて表示する表示部と、を備える。

第２の態様にかかる検査システムは、第１の態様にかかる検査システムであって、前記複数の方向は、基準軸に沿う第１方向と、前記基準軸回りに回転対称な複数の軸に沿う複数の第２方向と、を含み、前記表示部は、前記表示画面において、前記第１方向から撮像した前記代表撮像画像の周囲に、前記複数の第２方向から撮像した複数の前記代表撮像画像を各軸の位置関係に対応して配置する。

第３の態様にかかる検査システムは、第１または第２の態様にかかる検査システムであって、前記表示部は、前記複数の代表撮像画像のうち異常が検出された方向から撮像された異常有り代表撮像画像を、前記複数の代表撮像画像のうち異常が検出されなかった方向から撮像された異常無し代表撮像画像とは異なる態様で前記表示画面に表示する。

第４の態様にかかる検査システムは、第３の態様にかかる検査システムであって、前記表示部は、前記異常有り代表撮像画像中において、異常が検出された部位を異常が検出されなかった部位とは異なる態様で前記表示画面に表示する。

第５の態様にかかる検査システムは、第３または第４の態様にかかる検査システムであって、前記表示部は、使用者によって前記異常有り代表撮像画像が選択された際に、前記異常有り代表撮像画像と同一の方向から撮像された各撮像画像を前記表示画面に表示する。

第６の態様にかかる検査システムは、第１から第５のいずれか１つの態様にかかる検査システムであって、前記検査部は、前記複数の撮像画像に加えてさらに、前記対象物を前記複数の方向とは異なる少なくとも１つの方向から撮像して得られた少なくとも１つの撮像画像を用いて、前記対象物における異常を検査する。

第７の態様にかかる検査システムは、第１から第６のいずれか１つの態様にかかる検査システムであって、検査の結果が前記検査部からリアルタイムで前記表示部に通信され、前記表示部がリアルタイムで前記複数の代表撮像画像を前記表示画面に並べて表示する。

第８の態様にかかる検査システムは、第１から第６のいずれか１つの態様にかかる検査システムであって、前記検査部での検査の結果を記憶する記憶部、をさらに備え、前記検査部での複数の検査の結果が前記記憶部に蓄積された後、前記表示部は、使用者によって前記複数の検査の結果から１つが選択された際に、選択された１つの検査の結果における前記複数の代表撮像画像を前記表示画面に並べて表示する。

第９の態様にかかるプログラムは、コンピュータにインストールされてＣＰＵによって実行されることにより、前記コンピュータを第１の態様にかかる検査システムとして機能させる。

第１０の態様にかかる検査方法は、検査部と、表示部と、を通信可能に接続して構成される検査システムにおいて実行される検査方法であって、前記検査部が、対象物を光照射条件を変更しながら複数の方向から撮像して得られた複数の撮像画像を基に前記対象物における形態の異常を検査する工程と、その後に、前記表示部が、前記複数の方向のそれぞれに関して、前記複数の撮像画像のうちから特定の光照射条件下で撮像された１枚の撮像画像またはあらかじめ準備された参照画像のいずれかを各方向の代表撮像画像として表示画面に並べて表示する工程と、を備える。

第１から第８の態様にかかる検査システム、第９の態様にかかるプログラム、および、第１０の態様にかかる検査方法のいずれにおいても、複数の方向から撮像した各代表撮像画像が表示画面に並べて表示され、検査システムの使用者が対象物の検査結果を視認しやすい。

検査システム１００の構成を示した図である。 対象物９の外観を示す斜視図である。 第１検査部１３の構成を概略的に示す上面図である。 第１検査部１３の構成を概略的に示す端面図である。 対象物９を撮像してから検査結果を表示画面１０３に表示するまでのフローの一例を示す図である。 本体部１０２が各撮像画像を仮想的に分類する例を示す概念図である。 リアルタイムにおける検査結果の表示例を示す図である。 履歴から選択された検査結果の表示例を示す図である。 選択された代表撮像画像が拡大表示された際の表示例を示す図である。

以下、実施形態について、図面を参照しつつ説明する。

＜１ 実施形態＞
＜１．１ 検査システム１００の構成＞
図１は、検査システム１００の構成を示した図である。この検査システム１００は、対象物９を複数の方向から撮像して得られた複数の撮像画像を基に対象物９における外観の異常を検査する外観検査装置１と、外観検査装置１と通信可能であり、複数の方向のそれぞれにおける各代表撮像画像を表示画面１０３に並べて表示するパーソナルコンピュータ（以下、ＰＣという）１０１と、を含んで構成される。

図２は、対象物９の外観を示す斜視図である。対象物９は、例えば、鍛造により形成された金属部品であり、その表面は微小な凹凸を有する梨地状である。対象物９の表面は、光を乱反射する光沢を有する。本実施形態では、対象物９は、クランクのコネクタシャフトであり、第１面（例えば、図２における手前側の面）と第２面（第１面とは反対側の面）とが同一形状である。

外観検査装置１では、複数の対象物９を、順次に搬送しつつ検査する。したがって、稼働中の外観検査装置１内には、複数の対象物９が同時に存在し、各対象物９に対して、搬送や検査が並行して行われる。

外観検査装置１は、第１検査ユニット１０、姿勢変更機構２０、第２検査ユニット３０、分別排出機構４０、および制御部５０を備えている。

第１検査ユニット１０は、対象物９の第１面を検査するための処理ユニットである。図１に示すように、第１検査ユニット１０は、第１搬入機構１１、第１保持機構１２、第１検査部１３、および第１搬出機構１４を有する。

第１搬入機構１１は、搬入開始位置Ｐ１と第１検査部１３により検査される第１検査位置Ｐ２との間で対象物９を搬送する機構である。外観検査装置１には、開閉可能な投入口６０が設けられている。外観検査装置１のユーザは、投入口６０を開放して、搬入開始位置Ｐ１に位置する第１搬入機構１１の載置台に対象物９を載置する。

略水平な載置台の上に対象物９が第１面を上向きにして載置される。その後、第１搬入機構１１が載置台および載置台上の対象物９を第１検査位置Ｐ２に移動させる。

第１保持機構１２は、第１検査位置Ｐ２に配される対象物９を保持する保持状態と対象物９を保持しない非保持状態とを切替え可能な機構である。第１保持機構１２は、例えば水平方向に間隔をあけて設けられた一対の保持部材を有して構成され、該一対の保持部材を互いに接近および離間させて両状態を切替える。

第１搬入機構１１が対象物９を第１検査位置Ｐ２に搬送すると、第１保持機構１２が保持状態へと切替えられる。これにより、対象物９は、その第１面を上向きにした状態のままで、第１搬入機構１１の載置台から第１保持機構１２における一対の保持部材に受け渡される。そして、第１検査部１３によって対象物９を検査する検査期間中は、上記保持状態が維持される。

なお、第１搬入機構１１から第１保持機構１２へ対象物９が受け渡された後、第１搬入機構１１は、載置台を再び搬入開始位置Ｐ１へ移動させる。そして、載置台は、搬入開始位置Ｐ１において、次の対象物９が投入されるのを待つ。

図３は、第１検査部１３の構成を概略的に示す上面図である。図４は、図３のIV-IV断面から視た図であり、第１検査部１３の構成を概略的に示す端面図である。

第１検査部１３は、第１検査位置Ｐ２に配置された対象物９の第１面を検査する機構である。第１検査部１３は、異なる方向から第１検査位置Ｐ２に向けて光を照射する複数の光照射部１３１と、異なる方向から第１検査位置Ｐ２を撮像する複数の撮像部１３２とを有する。複数の光照射部１３１および複数の撮像部１３２は、第１検査位置Ｐ２を含む水平面よりも上側の空間において、対象物９を半球状（ドーム状）に取り囲んでいる。ただし、第１検査位置Ｐ２から各光照射部１３１までの距離と、第１検査位置Ｐ２から各撮像部１３２までの距離とは、必ずしも同一でなくてもよい。

複数の光照射部１３１は、例えば、第１検査位置Ｐ２の鉛直上方に配置された１つの上方光照射部１３１ａと、第１検査位置Ｐ２の斜め上方に等角度間隔で配置された８つの斜方光照射部１３１ｂと、第１検査位置Ｐ２の略水平方向の外側に等角度間隔で配置された８つの側方光照射部１３１ｃと、を含んで構成される。各光照射部１３１には、例えば、点灯と消灯とを短時間に切り替えることができるＬＥＤ（発光ダイオード）が用いられる。

複数の撮像部１３２は、例えば、第１検査位置Ｐ２の鉛直上方に配置された１つの上方撮像部１３２ａと、第１検査位置Ｐ２の斜め上方に等角度間隔で配置された８つの斜方撮像部１３２ｂと、第１検査位置Ｐ２の略水平方向の外側に等角度間隔で配置された８つの側方撮像部１３２ｃと、を含んで構成される。各撮像部１３２には、例えば、ＣＣＤやＣＭＯＳ等の受光素子を有し、多階調のデジタル画像を取得可能な撮像部が用いられる。

そして、各光照射部１３１と各撮像部１３２とはそれぞれ組になって近接配置される。各光照射部１３１と各撮像部１３２との動作タイミングについては、後述する＜１．２ 検査の一例＞で詳細に説明する。

第１検査部１３は、複数の光照射部１３１のうち、発光させる光照射部１３１の組み合わせを変更することにより、対象物９に対する照明パターンを変更しながら、複数の撮像部１３２による撮像を行う。これにより、１つの対象物９に対して、照明／アングルの異なる多数の撮像画像群を取得する。取得された撮像画像群は、後述する制御部５０へ入力される。制御部５０は、対象物９の撮像画像群と予め準備された参照画像とを比較することにより、撮像された対象物９の第１面における形態の異常（第１面における欠陥や第１面への付着物）を検査する。ここで、参照画像とは、対象物９と同一形状であり欠陥や付着物等の異常がない物を同一方向から撮像して得られる画像である。したがって、実際に撮像して得られた画像と参照画像との一致度がある閾値よりも大きい場合、撮像された対象物９は異常無し（良品）と判断される。他方、実際に撮像して得られた画像と参照画像との一致度が上記閾値よりも小さい場合、撮像された対象物９は異常有り（不良品）と判断される。

第１搬出機構１４は、その載置台を一対の保持部材の下面に接近して待機させ、第１検査部１３で検査をされた対象物９を第１検査位置Ｐ２から搬出する機構である。第１検査位置Ｐ２の鉛直下方には、後述する姿勢変更機構２０との間で対象物９を受け渡す第１受け渡し位置Ｐ３が配置されている。検査後の対象物９は、第１保持機構１２における一対の保持部材から第１搬出機構１４の載置台からに受け渡される。その後、第１搬出機構１４は、第１検査位置Ｐ２から、第１検査位置Ｐ２よりも低い第１受け渡し位置Ｐ３まで、対象物９を鉛直下向きに搬送する。

姿勢変更機構２０は、第１検査ユニット１０と第２検査ユニット３０との間において、対象物９の姿勢を変更する機構である。図１に示すように、姿勢変更機構２０は、対象物９を把持する反転アーム２１と、反転アーム２１を動作させるアーム駆動機構２２とを有する。対象物９が第１受け渡し位置Ｐ３まで下降すると、反転アーム２１は、載置台から対象物９を受け取る。そして、アーム駆動機構２２が、反転アーム２１を、水平面内で１８０°回転させるとともに、反転アーム２１の軸芯を中心として対象物９の姿勢を１８０°を反転させる。これにより、対象物９が、第１面の反対側である第２面を上方へ向けた状態で、第２受け渡し位置Ｐ４に配置される。このとき、第２受け渡し位置Ｐ４には、第２搬入機構３１の載置台が待機している。反転アーム２１は、第２搬入機構３１の当該載置台上に、対象物９を載置する。

第２検査ユニット３０は、対象物９の第２面を検査するための処理ユニットである。図１に示すように、第２検査ユニット３０は、第２搬入機構３１、第２保持機構３２、第２検査部３３、および第２搬出機構３４を有する。

第２搬入機構３１は、第２受け渡し位置Ｐ４から、第２検査部３３により検査される第２検査位置Ｐ５まで、対象物９を、斜め上向きに搬送する機構である。第２搬入機構３１の構造は上述した第１搬入機構１１の構造とほぼ同一であるので、重複説明を省略する。

第２保持機構３２は、第２検査部３３による検査中に、対象物９を第２検査位置Ｐ５に保持する機構である。第２搬入機構３１により斜め上向きに搬送された対象物９は、第２保持機構３２へ受け渡される。第２保持機構３２の構造は上述した第１保持機構１２の構造とほぼ同一であるので、重複説明を省略する。

第２検査部３３は、第２検査位置Ｐ５に配置された対象物９の第２面を検査する機構である。第２検査部３３は、異なる方向から第２検査位置Ｐ５に向けて光を照射する複数の光照射部３３１と、異なる方向から第２検査位置Ｐ５を撮像する複数の撮像部３３２とを有する。

複数の光照射部３３１の構成および配置は、上述した複数の光照射部１３１と同様である。また、複数の撮像部３３２の構成および配置は複数の撮像部１３２と同様である。したがって、構成や配置についての重複説明を省略する。

第２検査部３３は、複数の光照射部３３１のうち、発光させる光照射部３３１の組み合わせを変更することにより、対象物９に対する照明パターンを変更しながら、複数の撮像部３３２による撮像を行う。これにより、１つの対象物９に対して、照明／アングルの異なる多数の撮像画像群を取得する。取得された撮像画像群は、後述する制御部５０へ入力される。制御部５０は、対象物９の撮像画像群と予め準備された参照画像とを比較することにより、各対象物９の第２面における形態の異常（第２面における欠陥や第２面への付着物）を検査する。これにより、各対象物９について良品あるいは不良品の判断がなされる。

第２搬出機構３４は、第２検査位置Ｐ５から対象物９を搬出する機構である。第２検査位置Ｐ５の鉛直下方には、後述する分別排出機構４０との間で対象物９を受け渡す第３受け渡し位置Ｐ６が配置されている。第２搬出機構３４は、第２検査位置Ｐ５から、第２検査位置Ｐ５よりも低い第３受け渡し位置Ｐ６まで、対象物９を鉛直下向きに搬送する。第２搬出機構３４の構造は上述した第１搬出機構１４の構造とほぼ同一であるので、重複説明を省略する。

分別排出機構４０は、検査後の対象物９を、良品と不良品とに分別しながら排出する機構である。図１に示すように、分別排出機構４０は、排出アーム４１、排出アーム４１を動作させるアーム駆動機構４２、および排出コンベア４３を有する。対象物９が第３受け渡し位置Ｐ６まで下降すると、排出アーム４１は、第２搬出機構３４の搬出台から対象物９を受け取る。続いて、アーム駆動機構４２が、排出アーム４１を、排出コンベア４３の上方まで移動させる。そして、排出アーム４１による対象物９の把持を解除する。これにより、排出アーム４１から排出コンベア４３に、対象物９が受け渡される。

排出コンベア４３は、対象物９を載置して搬送する環状の搬送ベルト４３１を有する。排出コンベア４３は、制御部５０からの指示に応じて、搬送ベルト４３１の回転方向を切り替えることができる。第１検査ユニット１０および第２検査ユニット３０において、欠陥が検出されなかった対象物９が、搬送ベルト４３１上に載置されると、制御部５０は、搬送ベルト４３１を一方向に回転させる。これにより、当該対象物９は、外観検査装置１の左右の一方（例えば、図１の奥側）に、良品として排出される。一方、第１検査ユニット１０または第２検査ユニット３０において、欠陥が検出された対象物９が、搬送ベルト４３１上に載置されると、制御部５０は、搬送ベルト４３１を他方向に回転させる。これにより、当該対象物９は、外観検査装置１の左右の他方（例えば、図１の手前側）に、不良品として排出される。

制御部５０は、外観検査装置１の各部を動作制御するための手段である。図１中に概念的に示したように、制御部５０は、ＣＰＵ等の演算処理部５１、ＲＡＭ等のメモリ５２、およびハードディスクドライブ等の記憶部５３を有するコンピュータにより構成される。記憶部５３内には、対象物９の搬送および検査を実行するためのプログラム５４が、インストールされている。

制御部５０は、上述した第１搬入機構１１、第１保持機構１２、第１検査部１３、第１搬出機構１４、姿勢変更機構２０、第２搬入機構３１、第２保持機構３２、第２検査部３３、第２搬出機構３４、および分別排出機構４０と、それぞれ電気的に接続されている。制御部５０は、記憶部５３に記憶されたプログラム５４をメモリ５２に一時的に読み出し、当該プログラム５４に基づいて、演算処理部５１が演算処理を行うことにより、上記の各部を動作制御する。これにより、複数の対象物９の搬送および検査が、順次に進行する。

制御部５０は、外観検査装置１の外部に設けられるＰＣ１０１と沿う方向に通信可能に接続される。外観検査装置１で得られた各データは、自動的にＰＣ１０１に送信される。また、検査システム１００の使用者がＰＣ１０１から操作情報を入力した場合には、この操作情報が制御部５０に送信され、制御部５０がこの操作情報に従って外観検査装置１内の各部を制御する。

ＰＣ１０１は、種々の処理を行う本体部１０２と、表示画面１０３と、使用者が各種情報を入力するための入力部１０４と、を有する。

本体部１０２は、制御部５０と同様、ＣＰＵ等の演算処理部１５１、ＲＡＭ等のメモリ１５２、およびハードディスクドライブ等の記憶部１５３を有する。記憶部１５３内には、表示画面１０３に各種情報を表示するためのプログラム１５４がインストールされている。このため、プログラム１５４が演算処理部１５１により実行されることで、ＰＣ１０１が後述する代表撮像画像を表示画面１０３に並べて表示する表示部として機能する。

プログラム１５４は、ＧＵＩ（Graphical User Interface）に関するプログラムである。プログラム１５４は、本実施形態のように予め記憶部１５３に格納される態様の他に、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＯＭ、外部のフラッシュメモリ等の記録媒体に記録された形態（プログラムプロダクト）で提供される態様や、ネットワークを介した外部サーバからのダウンロードなどにより提供される態様であってもよい。

表示画面１０３は、例えば、液晶表示装置の画面である。また、入力部１０４は、例えば、キーボードやマウスで構成される。表示画面１０３での表示態様については、後述する＜１．３ 表示画面１０３での表示例＞で詳細に説明する。

＜１．２ 検査の一例＞
以下では、第１検査部１３が対象物９の第１面を検査する際の一例について説明する。図５は、対象物９を撮像してから検査結果を表示画面１０３に表示するまでのフローの一例を示す図である。

各撮像部１３２が対象物９を撮像する（ステップＳＴ１）。まず、異なる１０種類の光照射条件のもとで、上方撮像部１３２ａが対象物９を撮像する。

上方撮像部１３２ａによる１〜８回目の撮像時には、８つの斜方光照射部１３１ｂが順次に１つずつ光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、光照射条件が異なる８枚の撮像画像が取得される。

上方撮像部１３２ａによる９回目の撮像時には、上方光照射部１３１ａのみが光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、上記８枚の撮像画像とは光照射条件が異なる１枚の撮像画像が取得される。

上方撮像部１３２ａによる１０回目の撮像時には、上方光照射部１３１ａおよび８つの斜方光照射部１３１ｂの全てが光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、上記９枚の撮像画像とは光照射条件が異なる１枚の撮像画像が取得される。

その結果、上方撮像部１３２ａによって、合計１０枚の撮像画像が取得される。

次に、異なる６種類の光照射条件のもとで、８つの斜方撮像部１３２ｂが対象物９を撮像する。まず、１つの斜方撮像部１３２ｂが指定される。

この斜方撮像部１３２ｂによる１〜５回目の撮像時には、８つの斜方光照射部１３１ｂのうちこの斜方撮像部１３２ｂに近い位置の５つの斜方光照射部１３１ｂが順次に１つずつ光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、光照射条件が異なる５枚の撮像画像が取得される。

この斜方撮像部１３２ｂによる６回目の撮像時には、上記５つの斜方光照射部１３１ｂの全てが光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、上記５枚の撮像画像とは光照射条件が異なる１枚の撮像画像が取得される。

その結果、１つの斜方撮像部１３２ｂによって、合計６枚の撮像画像が取得される。続けて、他の７つの斜方撮像部１３２ｂによって、同様に、合計６枚ずつの撮像画像が取得される。したがって、８つの斜方撮像部１３２ｂ全体では、合計４８枚の撮像画像が取得される。

次に、異なる６種類の光照射条件のもとで、８つの側方撮像部１３２ｃが対象物９を撮像する。まず、１つの側方撮像部１３２ｃが指定される。

この側方撮像部１３２ｃによる１〜５回目の撮像時には、８つの側方光照射部１３１ｃのうちこの側方撮像部１３２ｃに近い位置の５つの側方光照射部１３１ｃが順次に１つずつ光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、光照射条件が異なる５枚の撮像画像が取得される。

この側方撮像部１３２ｃによる６回目の撮像時には、上記５つの側方光照射部１３１ｃの全てが光を照射し、外観検査装置１内の他の各部は光を発さない状態とされる。これにより、上記５枚の撮像画像とは光照射条件が異なる１枚の撮像画像が取得される。

その結果、１つの側方撮像部１３２ｃによって、合計６枚の撮像画像が取得される。続けて、他の７つの側方撮像部１３２ｃによって、同様に、合計６枚ずつの撮像画像が取得される。したがって、８つの側方撮像部１３２ｃ全体では、合計４８枚の撮像画像が取得される。

こうして各撮像部１３２で取得された合計１０６枚の撮像画像を基に、制御部５０が対象物９における第１面の異常を検査し良品あるいは不良品の判定をする（ステップＳＴ２）。また、制御部５０は、これら１０６枚の撮像画像をＰＣ１０１に送信する。

ここまで、第１検査部１３が対象物９の第１面を検査する場合の一例について説明したが、本実施形態では、第２検査部３３が対象物９の第２面を検査する場合も同様である。すなわち、各撮像部３３２で取得された合計１０６枚の撮像画像を基に、制御部５０が対象物９における第２面の異常を検査し良品あるいは不良品の判定をする。また、制御部５０は、これら１０６枚の撮像画像をＰＣ１０１に送信する。

＜１．３ 表示画面１０３での表示例＞
検査システム１００の使用者は、外観検査装置１で対象物９を検査している最中に表示画面１０３を視ることで、リアルタイムに対象物９の検査結果を把握することができる。また、検査システム１００の使用者は、外観検査装置１で複数の対象物９に対して検査が行われた後にＰＣ１０１を操作して表示画面１０３を視ることで、履歴の残っている対象物９の検査結果を把握することができる。以下では、表示画面１０３に検査結果が表示される際の表示例を説明する。

＜１．３．１ リアルタイムにおける検査結果の表示例＞
検査システム１００では、検査の結果が外観検査装置１からリアルタイムでＰＣ１０１に通信され、ＰＣ１０１がリアルタイムで複数の代表撮像画像を表示画面１０３に並べて表示する。

表示画面１０３に１つの対象物９についての各代表撮像画像が表示される表示期間は、外観検査装置１においてある対象物９が搬出されて次の対象物９が搬出されるまでの期間とほぼ同一である。したがって、例えば、外観検査装置１が５秒ごとに対象物９を検査して搬出する装置であれば、表示画面１０３に表示される対象物９の各代表撮像画像も５秒ごとに切り替えられる。

以下、図６および図７を参照しつつ、リアルタイムにおける検査結果の表示例について説明する。

図６は、本体部１０２が各撮像画像を仮想的に分類する例を示す概念図である。図６中では、同一のグループ内の各撮像画像は上下方向に間隔をあけて矩形で表現される。また、図６中において、ある撮像画像がグループ内で上から何番目に位置するかは、そのグループ内で何枚目に撮像された撮像画像かを意味する。

本体部１０２は、第１面についての１０６枚の撮像画像を１７個のグループＧＦ１〜ＧＦ１７に仮想的に分類する（ステップＳＴ３）。ここで、１７個のグループＧＦ１〜ＧＦ１７は、それぞれ１７個の撮像部１３２が撮像した撮像画像で構成される。具体的には、グループＧＦ１は、上方撮像部１３２ａが撮像した１０枚の撮像画像で構成される。グループＧＦ２〜ＧＦ９は、それぞれ、各斜方撮像部１３２ｂが撮像した６枚の撮像画像で構成される。グループＧＦ１０〜ＧＦ１７は、それぞれ、各側方撮像部１３２ｃが撮像した６枚の撮像画像で構成される。

図７は、ある対象物９についての、リアルタイムにおける検査結果の表示例を示す図である。

本体部１０２は、各候補撮像画像を抽出する（ステップＳＴ４）。図６において、候補撮像画像は、斜線を付された矩形で表現されている。ここで、候補撮像画像とは代表撮像画像となりうる画像である。図７に示す表示画面１０３には、対象物９を撮像する複数の方向のそれぞれについて、候補撮像画像または参照画像のいずれかが代表撮像画像として表示される。

図６に示すように、この表示例では、グループＧＦ１〜ＧＦ９からは１つずつ候補撮像画像が抽出される一方で、グループＧＦ１０〜ＧＦ１７からは候補撮像画像が抽出されない。したがって、上方撮像部１３２ａおよび８つの斜方撮像部１３２ｂによって撮像された撮像画像は検査と画面表示との双方に用いられうるのに対し、８つの側方撮像部１３２ｃによって撮像された撮像画像は検査にのみ用いられ画面表示には用いられない。以下では、上方撮像部１３２ａおよび８つの斜方撮像部１３２ｂが対象物９を撮像する際の撮像方向をまとめて、９つの方向という場合がある。

言い換えると、外観検査装置１は、９つの方向から撮像された５８枚の撮像画像に加えてさらに、９つの方向とは異なる少なくとも１つの方向（具体的には、８つの側方撮像部１３２ｃによる８つの方向）から対象物９を撮像して得られた４８枚の撮像画像を用いて、対象物９における異常を検査する。

本実施形態の態様では、第１面および第２面の双方について１７個の方向の各代表撮像画像を表示画面１０３に表示する態様に比べて、少ない枚数の代表撮像画像を表示画面１０３に表示する。その結果、表示画面１０３に表示される各代表撮像画像のサイズを大きくすることができ、使用者が各代表撮像画像を視る際の視認性が向上する。

また、本実施形態の態様では、候補撮像画像が抽出されるグループＧＦ１〜ＧＦ９のみを基に検査を行う態様に比べて、より多くのグループＧＦ１〜ＧＦ１７を基に検査を行う。その結果、検査の精度が向上する。

次に、本体部１０２がグループＧＦ１〜ＧＦ９から１つずつ候補撮像画像を抽出する際の一例について説明する。

本体部１０２は、９つの方向のそれぞれに関して、各撮像画像群の中から特定の光照射条件下で撮像された１枚の画像を、候補撮像画像として抽出する。本実施形態における特定の光照射条件は、例えば、各撮像画像群の中で平均輝度が最も高いという条件である。

グループＧＦ１においては、１０回目の撮像時がこの条件を満たし、１０枚目の撮像画像が候補撮像画像として抽出される。グループＧＦ２〜ＧＦ９においては、６回目の撮像時がこの条件を満たし、６枚目の撮像画像が候補撮像画像として抽出される。このように平均輝度が高い画像を候補撮像画像として抽出すれば、この候補撮像画像を代表撮像画像として表示画面１０３に表示した際に、使用者が代表撮像画像を視認しやすい。

ここまで、対象物９の第１面の撮像画像に関するグループＧＦ１〜ＧＦ１７のうち特にグループＧＦ１〜ＧＦ９から１枚ずつ候補撮像画像が抽出される場合の一例について説明したが、本実施形態では、対象物９の第２面についても同様である。すなわち、対象物９の第２面の撮像画像に関するグループＧＲ１〜ＧＲ１７のうち特にグループＧＲ１〜ＧＲ９から１枚ずつ候補撮像画像が抽出される。ここで、グループＧＲ１は、上方撮像部３３２ａが撮像した１０枚の撮像画像で構成される。グループＧＲ２〜ＧＲ９は、それぞれ、各斜方撮像部３３２ｂが撮像した６枚の撮像画像で構成される。グループＧＲ１０〜ＧＲ１７は、それぞれ、各側方撮像部３３２ｃが撮像した６枚の撮像画像で構成される。

また、以下では、上方撮像部３３２ａおよび８つの斜方撮像部３３２ｂが対象物９を撮像する際の撮像方向を、表示画面１０３に表示される方向という意味でまとめて、９つの方向という場合がある。

図７に示すように、リアルタイムの検査結果を表示する表示画面１０３には、各グループＧＦ１〜ＧＦ９の各代表撮像画像が３行３列の形式で図示左側に並べられ、各グループＧＲ１〜ＧＲ９の各代表撮像画像が３行３列の形式で図示右側に並べられる。

各グループＧＦ１〜ＧＦ９および各グループＧＲ１〜ＧＲ９において、９つの方向は、基準軸（本実施形態では、鉛直軸）に沿う第１方向と基準軸回りに回転対称な８つの軸に沿う８つの第２方向とで構成される。そして、ＰＣ１０１は、表示画面１０３において、第１方向から撮像した代表撮像画像の周囲に、８つの第２方向から撮像した８つの代表撮像画像を各軸の位置関係に対応して配置する。

このように撮像位置関係に応じて表示画面１０３に各代表撮像画像が表示されるため、検査システム１００の使用者は、対象物９の検査結果だけでなく撮像位置関係も直感的に視認しやすい。上述の通り、リアルタイムにおける検査結果の表示では、表示対象となる対象物９が比較的短い期間（例えば、５秒ごと）で切り替えられる。このため、使用者による視認性が向上することは特に望ましい。

また、ＰＣ１０１は、複数の代表撮像画像のうち異常が検出された方向から撮像された異常有り代表撮像画像（すなわち、当該代表撮像画像の属するグループに含まれる少なくとも１つの撮像画像にもとづいて、異常が検出された場合の代表撮像画像）を、複数の撮像画像のうち異常が検出されなかった方向から撮像された異常無し代表撮像画像（すなわち、当該代表撮像画像の属するグループに含まれるいずれの撮像画像にもとづいても、異常が検出されなかった場合の代表撮像画像）とは異なる態様で表示画面１０３に表示する。図７に示す例では、異常有り代表撮像画像のみが点線の枠５０１で囲まれて表示される。したがって、検査システム１００の使用者は、異常が検出された撮像方向を一目で視認することができる。

あるグループ（例えば、グループＧＦ１）の代表撮像画像が異常有り代表撮像画像に該当する場合として、次の２つの場合がある。

１つ目は、当該グループＧＦ１に属する少なくとも１枚の撮像画像の単体から異常が検出される場合である。ここで、撮像画像の単体から異常が検出される、とは、当該撮像画像と参照画像とを比較して少なくとも１つの部位で一致度が小さいことを意味する。

２つ目は、当該グループＧＦ１に属する各撮像画像の単体からは異常が検出されないものの、当該グループＧＦ１に属する２以上の撮像画像を組み合わせて考慮すると異常が検出される場合である。ここで、２以上の撮像画像を組み合わせて考慮すると異常が検出される、とは、当該２以上の撮像画像と参照画像とをそれぞれ比較した際に同一の部位で一致度が小さくその部位に異常があると推定されることを意味する。

すなわち、代表撮像画像単体では異常が認められない場合にも、当該代表撮像画像の属するグループ全体で見たときに当該グループにおいて異常が検出された場合には、当該代表撮像画像は異常有り代表撮像画像となり、当該グループの撮像方向は異常が検出された方向となる。

例えば、ある撮像部が過検出（正常な部位を異常であると誤って検出すること）を行っている場合には、その撮像方向から視た代表撮像画像に異常有り代表撮像画像が現れやすくなる。したがって、検査システム１００の使用者は、過検出の疑いがある撮像部を早期に特定することができ、必要に応じてこの撮像部に関する検出パラメータを調整することができる。

また、ＰＣ１０１は、異常有り代表撮像画像中で、異常有り代表撮像画像の属するグループに含まれる撮像画像において異常が検出された部位を、異常が検出されなかった部位とは異なる態様で表示画面に表示する。図７に示す例では、異常が検出された部位のみが丸い黒枠５００で囲まれて表示される。したがって、検査システム１００の使用者は、異常が検出された部位を一目で視認することができる。

ここで、異常有り代表撮像画像では、当該代表撮像画像の属するグループ内において異常が検出された複数の部位を足し合わせた状態で、当該異常が検出された複数の部位を異常が検出されなかった部位とは異なる態様で表示する。すなわち、あるグループに属するある撮像画像にもとづいて第１部位の異常が検出され、同じグループに属する他の撮像画像にもとづいて第２部位の異常が検出された場合、ＰＣ１０１は、異常有り代表撮像画像中の第１部位および第２部位に相当する部位を、異常が検出されなかった部位とは異なる態様で表示画面に表示する。

また、表示画面１０３には、第１面および第２面のそれぞれ９枚ずつの代表撮像画像（合計１８枚の代表撮像画像）が表示される。そして、この１８枚の代表撮像画像のいずれもが、候補撮像画像または参照画像のいずれかと同一である。本実施形態では、あるグループ（例えば、グループＧＦ１）に含まれる少なくとも１つの撮像画像において異常が検出された場合には当該グループの候補撮像画像が異常有り代表撮像画像として確定され、あるグループ（例えば、グループＧＦ１）に含まれる全ての撮像画像において異常が検出されなかった場合には当該グループと同じ方向から視た参照画像が異常無し代表撮像画像として確定される（ステップＳＴ５）。そして、確定された各代表撮像画像が表示画面１０３に表示される（ステップＳＴ６）。

ここで、検査システム１００の使用者が表示画面１０３を視る目的は、実際に検査対象となっている対象物９の異常有り代表撮像画像（ひいては、異常部位）を視認することである。本実施形態の態様では、視認対象となる異常有り代表撮像画像には実際の撮像画像が外観検査装置１からＰＣ１０１に送信されて表示画面１０３に表示され、視認対象とならない異常無し代表撮像画像には予めＰＣ１０１に登録されている参照画像が表示される。その結果、使用者の目的を達成しつつ外観検査装置１からＰＣ１０１へのリアルタイムにおけるデータ通信量を大幅に減少することができ、ＰＣ１０１がリアルタイムの検査結果を良好に表示することができる。

＜１．３．３ 履歴から選択された検査結果の表示例＞
次に、図８および図９を参照しつつ、履歴に残っている検査結果の表示例について説明する。図８は、ある対象物９の第１面についての、履歴から選択された検査結果の表示例を示す図である。図９は、選択された代表撮像画像が拡大表示された際の表示例を示す図である。

検査システム１００では、検査の結果が外観検査装置１からＰＣ１０１に通信され、ＰＣ１０１の記憶部１５３が検査の結果を記憶する。外観検査装置１での複数の検査の結果が記憶部１５３に履歴として蓄積された後に、使用者は入力部１０４から複数の検査の結果から１つを選択し、第１面または第２面のいずれかを指定する。これにより、ＰＣ１０１は、選択された１つの検査の結果のうち指定された面における複数の代表撮像画像を表示画面１０３に並べて表示する。

図８に示す表示例では、各グループＧＦ１〜ＧＦ１７に属する各撮像画像群の中から、平均輝度が最も高いという条件で１つずつ代表撮像画像が抽出される。より具体的には、図８に示すように、表示画面１０３には、各グループＧＦ１〜ＧＦ９の各代表撮像画像が３行３列の形式で図示左側に並べられ、各グループＧＦ１、ＧＦ１０〜ＧＦ１７の各代表撮像画像が３行３列の形式で図示右側に並べられる。

図８に示す検査履歴の表示画面１０３では、ある代表撮像画像を選択（具体的には、例えば、入力部１０４のマウスにより画面上のカーソルで該代表撮像画像をクリック）することができる。選択された代表撮像画像は、その選択箇所（例えば、クリック時のカーソルの箇所）を画面中心に配置した状態で、図９に示すように拡大表示される。

このため、検査システム１００の使用者は、図８に示す表示画面１０３において異常有り代表撮像画像を選択することで、図９に示すように拡大された異常有り代表撮像画像を視認することができる。これにより、使用者は、対象物９における異常有り代表撮像画像を詳細に視認することができる。

図９に示す表示画面１０３では、図８に示す表示画面１０３とは異なり、異常が検出された部位を囲む丸い黒枠５００（部位特定要素）が表示されない。したがって、検査システム１００の使用者は、異常が検出された部位を部位特定要素がない状態で詳細に視認することができる。

使用者は、光照射条件選択バー２０１を操作して（具体的には、例えば、入力部１０４のマウスにより画面上のカーソルを操作して）、異常有り代表撮像画像と同一の方向から撮像された各撮像画像を表示画面１０３に表示させることができる。図９に示す例では、光照射条件選択バー２０１が１０個段階の目盛りのうち最も左側の目盛りに合致している。そして、使用者が光照射条件選択バー２０１を各目盛りに順次に合致させることで、異なる光照射条件下で上方撮像部１３２ａから撮像された１０枚の撮像画像が順次に表示画面１０３に表示される。

履歴から選択された検査結果が表示画面１０３に表示される場合、その表示期間に制限はなく、使用者は十分な時間をかけて各代表撮像画像を視認できる。また、履歴から選択された検査結果が表示画面１０３に表示される場合、リアルタイムの検査結果が表示される場合と異なり、使用者は８つの側方撮像部１３２ｃが撮像した撮像画像についても視認できる。これにより、使用者は十分な時間をかけて詳細に各代表撮像画像を視認できる。

＜２ 変形例＞
以上、本発明の実施の形態について説明したが、この発明はその趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。

対象物９を複数の方向から撮像して得られた複数の撮像画像を基に対象物９における形態の異常を検査する検査部として、上記実施形態では、可視領域で撮像して対象物９における外観の異常を検査する外観検査装置１が用いられた。この他にも、検査部として、Ｘ線領域で撮像して対象物９における内部構造の異常（例えば、部材の内部におけるクラック）を検査する内部検査装置が用いられてもよい。

上記実施形態では、検査部として機能する外観検査装置１と表示部として機能するＰＣ１０１（表示装置）とが別体である検査システム１００について説明したが、検査部と表示部とが一体である検査システムでも構わない。このとき、外観検査装置１の各部を制御する制御部５０とＰＣ１０１がそれぞれ独立の演算処理部、メモリおよび記憶部を有していてもよいし、一体としてこれらを有していてもよい。

また、上記実施形態では、外観検査装置１の各部を動作制御するための手段として制御部５０を備えるが、本発明の実施に関してはこれに限られない。上述した第１搬入機構１１、第１保持機構１２、第１搬出機構１４、姿勢変更機構２０、第２搬入機構３１、第２保持機構３２、第２搬出機構３４および分別排出機構４０とそれぞれ電気的に接続され、対象物９の搬送動作を制御するための搬送制御部と、第１検査部１３および第２検査部３３とそれぞれ電気的に接続され、対象物９への光照射および撮像といった検査動作を制御するための検査制御部と、をそれぞれ別体として備え、搬送制御部と検査制御部が互いに同期しながら外観検査装置１の各部を動作制御するように構成してもよい。

上記実施形態では、複数の光照射部１３１が異なる方向から第１検査位置Ｐ２に向けて光を照射し、複数の光照射部３３１が異なる方向から第２検査位置Ｐ５に向けて光を照射する態様について説明したが、この光の色は限定されるものではない。これらの光は白色光であってもよいし、青味の強い光や赤味の強い光であってもよい。使用者が表示画面１０３で対象物９を視認しやすければよく、対象物９の反射率スペクトルに応じて種々の光の色を採用しうる。

上記実施形態では、各グループＧＦ１〜ＧＦ９における各撮像画像群の中から１枚ずつ候補撮像画像を抽出するための特定の光照射条件が、各撮像画像群の中で平均輝度が最も高いという条件であった。この他にも、特定の光照射条件が、各撮像画像群の中で輝度の最頻値（或いは、中央値）が最も高いという条件であってもよい。また、特定の光照射条件が他の条件であってもよい。

上記実施形態では、異常有り代表撮像画像を異常無し代表撮像画像とは異なる態様で表示画面１０３に表示する表示態様の具体例として、異常有り代表撮像画像のみが点線の枠５０１で囲まれて表示される例を説明した。この他にも、種々の表示態様が採用されうる。例えば、異常有り代表撮像画像が、異常無し代表撮像画像とは異なる明るさで表示されてもよい。また、異常有り代表撮像画像が、異常無し代表撮像画像とは異なる色で表示されてもよい。また、異常有り代表撮像画像が、異常無し代表撮像画像とは異なる大きさで表示されてもよい。また、異常有り代表撮像画像のみが、点灯表示されてもよい。

異常が検出された部位の表示態様についても、異常有り代表撮像画像の表示態様と同様に、種々の表示態様が採用されうる。また、検出された異常の種類（例えば、部材の欠陥や、不要物の付着など）に応じて、異なる表示態様が採用されてもよい。

上記実施形態では、図９に示す表示画面１０３で部位特定要素が表示されない態様について説明したが、これに限られるものではない。図９に示す表示画面１０３で部位特定要素）が表示される態様でもよいし、部位特定要素の表示あるいは非表示を使用者が切り替え可能な態様でもよい。

上記実施形態では、対象物９の例として鍛造により形成された金属部品を挙げたが、検査の対象物は、鋳造により形成される金属部品であってもよいし、金属以外の材料（例えば樹脂）からなるものであってもよい。また、上記実施形態では、対象物９の第１面と第２面とが同一形状である場合について説明したが、対象物の第１面と第２面とは異なる形状であってもよい。

上記実施形態では、複数の撮像部１３２（或いは、複数の撮像部３３２）が合計１０６枚の撮像画像を得る態様について説明したが、撮像画像の枚数は適宜に変更可能である。

以上、実施形態およびその変形例に係る検査システム、表示装置、プログラム、および、検査方法について説明したが、これらは本発明に好ましい実施形態の例であって、本発明の実施の範囲を限定するものではない。本発明は、その発明の範囲内において、各実施形態の自由な組み合わせ、あるいは各実施形態の任意の構成要素の変形、もしくは各実施形態において任意の構成要素の増減が可能である。

１ 外観検査装置
９ 検査対象物
１０ 第１検査ユニット
２０ 姿勢変更機構
３０ 第２検査ユニット
４０ 分別排出機構
５０ 制御部
６０ 投入口
１００ 検査システム
１０１ ＰＣ
１０２ 本体部
１０３ 表示画面
１０４ 入力部
１３１ 光照射部
１３１ａ 上方光照射部
１３１ｂ 斜方光照射部
１３１ｃ 側方光照射部
１３２ 撮像部
１３２ａ 上方撮像部
１３２ｂ 斜方撮像部
１３２ｃ 側方撮像部
３３１ 光照射部
３３１ａ 上方光照射部
３３１ｂ 斜方光照射部
３３１ｃ 側方光照射部
３３２ 撮像部
３３２ａ 上方撮像部
３３２ｂ 斜方撮像部
３３２ｃ 側方撮像部
ＧＦ１〜ＧＦ１７、ＧＲ１〜ＧＲ１７ グループ
Ｐ１ 搬入開始位置
Ｐ２ 第１検査位置
Ｐ３ 第１受け渡し位置
Ｐ４ 第２受け渡し位置
Ｐ５ 第２検査位置
Ｐ６ 第３受け渡し位置

Claims (10)

1. 対象物を光照射条件を変更しながら複数の方向から撮像して得られた複数の撮像画像を基に前記対象物における形態の異常を検査する検査部と、
   前記検査部と通信可能であり、前記複数の方向のそれぞれに関して、前記複数の撮像画像のうちから特定の光照射条件下で撮像された１枚の撮像画像またはあらかじめ準備された参照画像のいずれかを各方向の代表撮像画像として表示画面に並べて表示する表示部と、
   を備える、検査システム。
2. 請求項１に記載の検査システムであって、
   前記複数の方向は、基準軸に沿う第１方向と、前記基準軸回りに回転対称な複数の軸に沿う複数の第２方向と、を含み、
   前記表示部は、前記表示画面において、前記第１方向から撮像した前記代表撮像画像の周囲に、前記複数の第２方向から撮像した複数の前記代表撮像画像を各軸の位置関係に対応して配置する、検査システム。
3. 請求項１または請求項２に記載の検査システムであって、
   前記表示部は、前記複数の代表撮像画像のうち異常が検出された方向から撮像された異常有り代表撮像画像を、前記複数の代表撮像画像のうち異常が検出されなかった方向から撮像された異常無し代表撮像画像とは異なる態様で前記表示画面に表示する、検査システム。
4. 請求項３に記載の検査システムであって、
   前記表示部は、前記異常有り代表撮像画像中において、異常が検出された部位を異常が検出されなかった部位とは異なる態様で前記表示画面に表示する、検査システム。
5. 請求項３または請求項４に記載の検査システムであって、
   前記表示部は、使用者によって前記異常有り代表撮像画像が選択された際に、前記異常有り代表撮像画像と同一の方向から撮像された各撮像画像を前記表示画面に表示する、検査システム。
6. 請求項１から請求項５のいずれか１つに記載の検査システムであって、
   前記検査部は、前記複数の撮像画像に加えてさらに、前記対象物を前記複数の方向とは異なる少なくとも１つの方向から撮像して得られた少なくとも１つの撮像画像を用いて、前記対象物における異常を検査する、検査システム。
7. 請求項１から請求項６のいずれか１つに記載の検査システムであって、
   検査の結果が前記検査部からリアルタイムで前記表示部に通信され、前記表示部がリアルタイムで前記複数の代表撮像画像を前記表示画面に並べて表示する、検査システム。
8. 請求項１から請求項６のいずれか１つに記載の検査システムであって、
   前記検査部での検査の結果を記憶する記憶部、
   をさらに備え、
   前記検査部での複数の検査の結果が前記記憶部に蓄積された後、前記表示部は、使用者によって前記複数の検査の結果から１つが選択された際に、選択された１つの検査の結果における前記複数の代表撮像画像を前記表示画面に並べて表示する、検査システム。
9. コンピュータにインストールされてＣＰＵによって実行されることにより、前記コンピュータを請求項１に記載の検査システムとして機能させる、プログラム。
10. 検査部と、表示部と、を通信可能に接続して構成される検査システムにおいて実行される検査方法であって、
    前記検査部が、対象物を光照射条件を変更しながら複数の方向から撮像して得られた複数の撮像画像を基に前記対象物における形態の異常を検査する工程と、
    その後に、前記表示部が、前記複数の方向のそれぞれに関して、前記複数の撮像画像のうちから特定の光照射条件下で撮像された１枚の撮像画像またはあらかじめ準備された参照画像のいずれかを各方向の代表撮像画像として表示画面に並べて表示する工程と、
    を備える、検査方法。

Images