JPH0798217A - ３次元物体の自動検査装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 製品の製造ラインにおける３次元形状をもっ
た検査対象物の外観を自動的に検査し、欠陥を検出した
とき、その解析、要因分析を行い、設計・製造の見直し
を自動的に行うことができるようにすること。 【構成】 検査対象物に関するＣＡＤ／ＣＡＭなどから
設計データを入手し、またセンサおよび照明系さらには
画像処理系で検査対象物の特徴を抽出し、こうして検査
対象物の同定、認識を行い、こうして同定した検査対象
物に対して行うべき計測法および検査法を決定し、セン
サおよび照明系の位置、姿勢を制御して検査を自動的に
行う。さらにこの検査結果から、欠陥の要因分析を行
い、設計および製造部門へ検討結果を送出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば製造ラインに
おける３次元形状をもった検査対象物の外観を自動的に
検査するためなどに実施することができる３次元物体の
自動検査装置および方法に関する。

【０００２】

【従来の技術】このような製造ラインにおいて用いられ
る従来からの検査装置では、人手がかかり、無駄時間が
長いという問題がある一部自動化されたものでも、特定
対象の検査用であり、多様な状況（多品種、種々の姿勢
など）に対応できない。またその検査で検査対象物の欠
陥を検出しても、その解析、要因分析、さらにはその結
果をもとにした設計の見直しを行うループは特になく、
担当技術者の熱意にまかされている。したがって設計上
の欠陥が修正されず、またはその修正が遅れることにな
る。

【０００３】

【発明が解決しようとする課題】本発明の目的は、状況
に応じた多様な検査を自動的に行うことができるように
し、たとえ欠陥が検出されても、その解析などを自動的
に行うことができるようにした３次元物体の自動検査装
置および方法を提供することである。

【０００４】

【課題を解決するための手段】本発明は、検査対象物を
ハンドリングする手段と、センサ・照明系と、センサや
照明装置の位置姿勢を制御する手段と、センサ信号を処
理する手段と、対象物の同定・認識を行う第１演算手段
と、対象物のデータを外部と通信する手段と、データと
認識結果から対象に適した計測法や検査法を決定する第
２演算手段とを含むことを特徴とする３次元物体の自動
検査装置である。

【０００５】また本発明は、センサ信号処理手段による
検査結果から不良部分の要因分析をする第３演算手段
と、該第３演算手段の演算結果を外部の設計手段または
製造手段に出力する手段とを含むことを特徴とする。

【０００６】また本発明は、検査対象物の形状に関する
データを出力する形状データ出力手段と、検査対象物の
３次元の形状、位置、姿勢のいずれか少なくとも１つを
計測する手段と、形状データ出力手段および計測手段の
出力に応答して、検査対象物の認識を行い、計測のため
の検査指令情報を出力し、その検査指令情報によって計
測手段は、検査対象物の予め定める部位の計測を行う認
識／指令手段と、形状データ出力手段と計測手段との出
力に応答して、検査対象物の欠陥などの検査をする手段
とを含むことを特徴とする３次元物体の自動検査装置で
ある。

【０００７】また本発明は、認識／指令手段は、検査対
象物の検査を行う検査方法と、その検査方法を行う計測
手段の検査ツールとを決定して、計測手段を計測動作さ
せることを特徴とする。

【０００８】また本発明は、検査ツールは、検査対象物
を光学的に検査する光学的検出手段と、検査対象物に光
を照射する光源と、光学的検査手段および光源を予め定
める検査条件となるように動作させる手段とを含むこと
を特徴とする。

【０００９】また本発明は、予め登録された検査対象物
のデータと初期計測データから、対象物の同定に必要な
計測が実現できるように、対象物やセンサ・照明系等の
位置姿勢を決定しハンドリング手段に指令を生成する工
程と、登録データと計測データを比較して対象物の同定
を行う工程と、同定された対象物に求められる検査を実
現することができるように、対象物やセンサ・照明系等
の位置姿勢を決定しハンドリング手段に指令を生成する
工程と、検査結果を外部に出力する工程とを含むことを
特徴とする３次元物体の自動検査方法である。

【００１０】

【作用】本発明に従えば、たとえば従来からの検査のた
めのセンサ、検査対象物を搬送する手段、検査対象物に
光を照射する光源である照明系およびそれを光学的に検
出する画像処理系などを備える装置にさらに、検査対象
物の設計、その他、検査に関するデータを、通信手段を
介して与え、これによってセンサおよび照明系の位置お
よび姿勢などを制御し、検査対象物を同定、認識し、検
査対象物の検査法を生成する。こうしてセンサ、照明系
および画像処理系などで検査対象物の特徴を抽出し、た
とえば通信手段などを通じて入手した設計データなどか
ら検査対象物の同定、認識を行い、同定した検査対象物
に対して行うべき計測法および検査法を決定し、センサ
および照明系の位置、姿勢などを制御して検査を行う。

【００１１】さらに本発明に従えば、検査によって検出
された欠陥の要因を推定し、その演算結果を、設計およ
び生産計画を行う部分に通信手段によって出力し、この
ようにして検査結果から欠陥の要因分析を行い、設計お
よび製造部門へ検討結果を送る。そのため設計の見直し
および生産の検討を行うことができず、たとえば設計上
の欠陥を修正することができるようになる。

【００１２】

【実施例】

（１）本発明の一実施例のシステム全体の構成を述べ
る。

【００１３】製品の多様化、短納期化に伴い、ＣＡＤ／
ＣＡＭシステムが導入され、設計から製造に至る合理化
が図られている。これに伴い、品質向上と生産性向上の
ため設計、製造から検査加工に至る有機的に結合された
システムが望まれているが、現状、ＣＡＤ情報の利用は
加工のためのＮＣデータの生成や３次元測定機のオフラ
インティーチングといった決められた手続きに従う動作
レベルのプログラム生成に利用されているにすぎない。
「製品Ａを検査せよ」とか「製品Ｂを組立てろ」といっ
た作業レベルの指示により、検査対象の形状などのＣＡ
Ｄ情報や公差、検査箇所、計測精度といった非形状情報
に基づいて、自律的にまた学習的に計測・検査のための
動作計画を立案し、柔軟性とタフさを備えたシステムの
開発が望まれる。

【００１４】その解決策として、本件出願人は「アクテ
ィブな自動検査システム」を提案し、その早期実現の必
要性を述べている。

【００１５】このアクティブな自動検査システムに求め
られる機能として次の項目ａ〜ｄが挙げられる。

【００１６】（ａ）機械加工・組立の製造ラインにおい
ては、検査の対象が３次元形状をした物体であるため、
３次元形状ならびに位置・姿勢の計測、物体の認識が重
要である。

【００１７】（ｂ）特に、３次元形状を対象とした場
合、２次元に比べてデータ量が増え、検査の高速化に適
した計測方法、検査モデルの生成、計測結果と検査モデ
ルとの比較照合のアルゴリズムが必要となる。

【００１８】（ｃ）また、３次元という立体を対象とす
るため複雑な形状や凹凸などの段差のある形状の場合、
一方向からの計測だけでは、死角等が存在し対象物体の
必要な形状を計測するのは不可能であり、アクティブな
計測を行うためにＣＡＤ情報や計測する場の環境情報に
基づき、自律的に計測および検査のための動作計画を立
案できる検査システムが望まれる。

【００１９】（ｄ）さらに、現在は検査対象毎に検査の
ためのプログラミングを要し、多品種少量生産において
は、検査プログラムの作成に要する費用が莫大なものと
なる。

【００２０】そのため、検査対象物体と設計データが与
えられたら、合目的的、経済的かつ安全な計測・認識お
よび検査のためのプログラムを自律的に生成していく機
能と、汎用性、柔軟性を有した３次元物体の計測・認識
・検査システムが必要となる。

【００２１】図１は、本発明の一実施例の具体的な構成
を示す斜視図である。製造ラインにおける３次元形状を
もった検査対象物１の外観を、自動的に検査する。検査
対象物１は自律無人搬送ロボット２によって搬送され、
ハンドリングロボット３，４，５などを用いて計測台６
に搬入／搬出され、テレビカメラおよびその他の光学的
検出手段あるいはその他の検出手段であるセンサ７は、
光源である照明手段８によって照射される検査対象物１
を検出する。センサ７および照明手段８は、ロボット３
だけでなくロボット９，１０，１１などによってその位
置および姿勢などが制御される。

【００２２】図２は、本発明の一実施例のアクティブ検
査および計測装置の全体の構成の概略を示すブロック図
であり、図３はその実施例のさらに具体的な構成を示す
ブロック図である。この図３に示される構成のさらに詳
細な構成は、図４および図５に示されている。このよう
な図４および図５に示される構成のさらに詳細な説明
を、図６以降の図面を参照して詳述する。

【００２３】図６に示される外観の自動検査システムＡ
０は、図７に示される３次元物体の認識および検査部Ａ
１と、３次元物体の計測部Ａ２とから構成される。図６
のリソースとは、検査を行う際に必要となる物理的な手
段であり、たとえば検査具、取付具、搬送装置およびそ
の他検査対象物を除くすべてのものを含む。３次元物体
の認識および検査部Ａ１には、図８のように３次元物体
の計測部Ａ２で計測された３次元情報Ａ２ａやＣＡＤに
よる設計システムより送られた形状などの検査に関する
情報を伴ったプロダクトモデルデータＡ１ａから、検査
に必要な検査モデルの生成と複数のモデルの中から特定
の３次元物体を認識するための３次元物体の認識部Ａ１
２が設けられ、生成された検査モデルから検査の目的に
応じてエキスパートシステムなどにより、検査方法を自
動的に選定し、検査プログラムを自動的に生成するため
の検査方法の自動選定・自動プログラミング部Ａ１１、
検査モデルと計測データの比較により寸法・形状・欠陥
の検査を行うための寸法・形状・欠陥検査部Ａ１３であ
る。

【００２４】また、３次元物体の計測部Ａ２には、図９
のように検査指令データに基づき計測をアクティブに行
うためにセンシングデバイス、照明装置、ハンド、ロボ
ット、搬送装置から構成されるアクティブな計測部Ａ２
３、計測された３次元点列データより距離・傾き・エッ
ジ・密度画像を生成する３次元情報の獲得部Ａ２１と、
獲得されたデータにより３次元形状を生成する３次元物
体の計測部Ａ２２である。

【００２５】次項より、これらの構成要素をさらに詳細
に展開し、情報および処理の流れと、必要となる要素技
術について述べることとする。

【００２６】（２）各構成要素の説明 （２−１）検査方法の自動選定・自動プログラミング部
Ａ１１ 検査方法の自動選定・自動プログラミング部Ａ１１は、
図８のように３次元物体の認識部Ａ１２および設計シス
テムから種々の情報を受け、検査作業計画を立案し、検
査方法、順序、ツール、条件および経路に関して自動選
定・自動プログラミング作業を行い、その結果を図９の
３次元物体の計測部Ａ２の中のアクティブな計測部Ａ２
３および３次元情報の獲得部Ａ２１に送る。

【００２７】ただし、センサフュージョンによる情報処
理およびアクティブな検査を行うマニピュレータ等の運
転プログラムのマイナーな変更は、アクティブな計測部
におけるローカル処理として行う。

【００２８】以上の方針から、検査方法の自動選定・自
動プログラミング部Ａ１１には図１０のように、以下の
６つの構成要素ａ１〜ａ６を設ける。

【００２９】（ａ１）検査・特徴抽出作業展開Ａ１１１ （ａ２）検査方法決定Ａ１１２ （ａ３）検査順序決定Ａ１１３ （ａ４）検査ツール決定Ａ１１４ （ａ５）検査条件決定Ａ１１５ （ａ６）検査経路生成Ａ１１６ 情報および処理の流れと、必要となる要素技術は次のと
おりである。

【００３０】図１０のように３次元物体の認識部Ａ１２
から送られてくる情報は、被検査物の識別情報ＩＤが未
確認である場合の特徴抽出要求Ａ１２ａと、ＩＤを確認
した後、３次元物体の認識部Ａ１２で作成された検査モ
デル、位置・姿勢データ、検査精度・部位等Ａ１２ｂで
ある。このような情報Ａ１２ａ，Ａ１２ｂから全体的な
検査作業計画を立案するために、検査・特徴抽出作業展
開部Ａ１１１を設ける。

【００３１】検査・特徴抽出作業展開部Ａ１１１では、
３次元物体の認識部Ａ１２からの情報が特徴抽出要求Ａ
１２ａの場合は、その旨であることを確認し、検査指令
データとしてそのまま特徴抽出要求を３次元物体の計測
部Ａ２へ送る。

【００３２】また、３次元物体の認識部Ａ１２からの情
報が、抽出された特徴から確認されたＩＤ情報を伴った
検査対象物の検査モデル、位置・姿勢データ、検査精度
・部位等Ａ１２ｂの場合は、検査作業を行う意図を確認
し、送られてきた情報をベースに検査作業計画の立案を
行う。ここでは、視覚情報処理のアルゴリズムや制御戦
略等の汎用的な知識がすでに与えられており、さらに被
検査物や目的等が情報として与えられることにより、全
体的な作業計画の概要が決定される。この構成要素で
は、検査作業計画を行うＡＩ（人工知能）プランナが重
要である。

【００３３】検査・特徴抽出作業展開部Ａ１１１で検査
作業計画が立てられると、それをもとに被検査物や目的
等の応用に対し、最適な検査方法とその情報処理アルゴ
リズム、さらにその適用手順を自動的に生成する必要が
生じる。そこで、検査方法決定部Ａ１１２、検査順序決
定部Ａ１１３および検査ツール決定部Ａ１１４を設け
た。

【００３４】検査方法決定部Ａ１１２では、検査モデル
や位置・姿勢データ等の情報から、検査部位の最適な検
査方法とその情報処理アルゴリズムが自動選定される。
ここでは検査方法データベースより、過去の事例が参照
され、検査部位の形状、大きさ、精度等から接触式また
は非接触式、非接触式の場合は受動型または能動型とい
った検査方法やその情報処理アルゴリズムが決定され
る。ここでは過去の事例を用いることが可能で、さらに
学習機能を兼ね備えた事例ベース推論を応用している。

【００３５】検査順序決定部Ａ１１３では、検査モデル
等の情報と検査方法決定部Ａ１１２で決定された検査方
法を受け、複数の検査部位を検査方法や情報処理アルゴ
リズムを考慮しながら、どの順序で検査するかを決定す
る。ここでは検査作業の効率等を考慮して、エキスパー
トシステムを用いたスケジューリング機能を設けてい
る。

【００３６】検査ツール決定部Ａ１１４では、検査方法
決定部Ａ１１２で決定された検査方法をもとに検査ツー
ルが自動選定される。検査精度等の情報を加味しなが
ら、多眼視（ＣＣＤ（電荷蓄積素子）またはＰＳＤ（光
検出素子））、レンジファインダ、タッチプローブ等の
検査ツールが選定される。ここでは検査精度・部位等の
情報を利用し、検査ツール選定のルールを作成すること
により、検査ツールデータベースからルールベース推論
を用いた検査ツール選定システムを構築している。

【００３７】視覚システムの能力を向上させるために
は、入力された画像の情報処理能力を向上させるだけで
なく、カメラの焦点や絞り、あるいはその位置や方向、
さらには照明光の位置、方向明るさ等をシステムが自律
的に制御して、能動的に処理しやすい画像を入力するこ
とが重要である。このため、カメラや照明系等、画像化
についての知識（有効な対象物、目的、機能、効率等）
をシステムに与えておき、アクティブな計測部Ａ２３で
応用目的に応じた最適な画像が得られるように、検査条
件決定部Ａ１１５および検査経路生成部Ａ１１６を設け
る。

【００３８】検査条件決定部Ａ１１５では、検査モデル
等の情報と検査順序決定部Ａ１１３で決定された検査順
序、検査ツール決定部で決定された検査ツール等の情報
からカメラの焦点や絞り、ライティング等の最適な検査
条件を決定する。また、照明系がマニピュレータに設置
され、アクティブなライティング作業が行われる場合
は、その位置や方向を決定し、マニピュレータの経路生
成を行う。ここでは、事例ベース推論による検査条件の
決定と、マニピュレータの動作計画技術が重要な技術と
して必要とされると思われる。

【００３９】検査経路生成部Ａ１１６は、検査モデル等
の情報と検査順序決定部Ａ１１３で決定部された検査順
序、検査ツール決定部で決定された検査ツールの情報か
らカメラ等の検査ツールを搭載したマニピュレータの経
路生成を行う。この過程には、マニピュレータが検査ツ
ールを搭載したり、被検査物をセッティングしたりする
一連の動作計画を含む。ここではマニピュレータの動作
計画技術が重要な技術であり、障害物回避等のロボット
の動作計画に関する現状の技術を応用している。

【００４０】このようにして決定された各情報は、検査
指令データＡ１１ｂとしてまとめられ、３次元物体の計
測部Ａ２の構成要素であるアクティブな計測部Ａ２３お
よび３次元情報の獲得部Ａ２１に送られることになる。

【００４１】（２−２）３次元物体の認識技術部Ａ１２ 被検査物は検査システムの入口で、まず認識のステージ
を通過することになる。認識部Ａ１２は、被検査物が入
荷されたという信号を受けると、検査方法の自動選定・
自動プログラミング部Ａ１１へ特徴抽出要求を発し、計
測部Ａ２２から被検査物の特徴量データ（計測データ）
を受けて、これに基づいて認識を行う。認識後、認識結
果である被検査物の種類と位置・姿勢を、検査情報を含
んだ検査モデルとともに、検査方法の自動選定・自動プ
ログラミング部Ａ１１や寸法・形状・欠陥検査部Ａ１３
へ渡す。認識された被検査物は搬送系によって検査ステ
ージへと送られる。

【００４２】３次元形状認識の基本的な考え方は、シー
ンの３次元画像から得られた被検査物の記述と予め用意
しておいた被検査物の認識モデルの記述を照合すること
により、被検査物の種類、および３次元的な位置・姿勢
を求めることである。したがって、３次元形状認識は、
図１１のように、予め認識のための被検査物の認識モデ
ルを作成する認識・検査モデル作成部Ａ１２２と、計測
データが入ってきた時点で認識モデルとシーンの記述を
照合させて認識を行う３次元物体の認識部Ａ１２３から
構成される。

【００４３】ところで、認識・検査モデル作成部Ａ１２
２において、認識モデルは被検査物の３次元形状モデル
に基づいて作成される場合が多い。被検査物が製品また
は製品の一部という位置付けからすると、３次元形状モ
デルは、ＣＡＤモデルまたはプロダクトモデルの形状デ
ータとして設計工程などの上流から与えられる場合が想
定されるが、ＣＡＤモデルがない場合には、被検査物自
体やクレイモデルの表面を直接センシングし、得られた
３次元座標データから３次元形状モデルを作成する処理
を行う３次元形状モデル作成部Ａ１２１が要求される。
３次元形状モデル作成部Ａ１２１では、被計測物が計測
台にセットされたという信号を受けると、検査方法の自
動選定・自動プログラミング部Ａ１１へセンシング指令
を発し、計測部Ａ２２から被計測物表面の３次元座標デ
ータ（ｘ，ｙ，ｚ）を受け、これを処理して被検査物の
３次元形状モデルを作成する。

【００４４】（２−３）寸法・形状・欠陥検査Ａ１３ 図１２は、５０種類程度の、既知の３次元被検査物を認
識した後の検査モデルデータに基づいて、寸法・形状・
欠陥検査および仕分け・分類の検査を行うシステムの参
照モデルを示している。

【００４５】検査モデルに含まれる情報としては、被検
査物のＩＤ、ならびに検査項目・検査部位等の検査指令
系統の情報および、寸法や公差・検査精度といった検査
に要求される基本情報、さらに被検査物の状態を表す形
状・位置・姿勢等の情報が備わっているものとする。

【００４６】この検査モデル中の検査項目の情報によ
り、図中、検査項目の選択部Ａ１３１で検査項目の選択
処理を行い、その選択結果を、寸法・形状の検査部Ａ１
３２、または外観の欠陥検査部Ａ１３３、または仕分け
・分類の検査部Ａ１３４に対して、検査実行指示として
指令を与える。

【００４７】これらの各検査は、ある場合は単独で、ま
た検査項目が複数の場合は、検査処理の順序を含めた検
査実行指示として、検査項目の選択部Ａ１３１から指令
され、順次検査が行われる。

【００４８】検査実行指示を受けた各検査の実行工程
（Ａ１３２−Ａ１３４）では、検査モデル中の位置・姿
勢情報と被検査物の確認ＩＤ情報ならびに、被検査物の
認識が終わった後のさらに詳細な、３次元情報に含まれ
る座標基準値等のデータに基づいて、検査のための、ロ
ーカルな座標系の設定を行う。

【００４９】上記座標系の設定処理で得られた座標値
と、検査モデル中の検査部位・検査精度情報、ならびに
３次元情報中の詳細計測データの組合わせにより、検査
対象部分の抽出を実行する。

【００５０】検査対象部分の箇所の座標値と検査精度が
決定されると、実際の検査の判定が行われる。これは、
検査モデルに含まれる寸法・形状あるいは公差と、検査
評価用のデータベースに蓄えられている、判定方法・判
定基準データにより実行される。この場合データベース
は、判定の結果も過去の検査結果として記憶され、常に
最新の検査に対して判定基準値としてフィードバックが
かけられる仕組みとなっている。

【００５１】検査の結果は、計測の画像生データや、数
値化・グラフ化等に加工されたデータとともに、検査情
報として、表示・印字され、同時に必要に応じて上流の
工程に対して送出される。

【００５２】（２−４）３次元物体の計測Ａ２２ ３次元情報の獲得部Ａ２１にて得られた様々な３次元情
報を入力し、計測処理した結果を３次元物体の認識部Ａ
１２へ出力する。入力データの内容によっては、簡易的
な認識処理まで行い、寸法・形状・欠陥検査部Ａ１３へ
出力する。

【００５３】図１３のように、データの判別部Ａ２２５
は、入力されたデータを判別し、その後の処理方法の選
択に必要なデータ種類ＩＤを設定する。データは、画像
データを基本とするが、寸法データ等も対象とする。

【００５４】画像データの種類は、たとえば （ｂ１）距離画像 （ｂ２）高さ画像 （ｂ３）傾き画像 （ｂ４）濃淡画像 （ｂ５）カラー画像 である。

【００５５】処理の選択部Ａ２２４は、入力データの判
別結果に従い、その後の計測処理プロセス選択に必要な
処理ＩＤを設定する。入力が単眼画像（ＴＶカメラ１台
を用いる構成）の場合、不足している３次元情報を付加
する処理プロセスを行うものとする。複眼画像（カメラ
を複数台用いる構成）の場合、そのまま３次元情報を抽
出する処理プロセスを行う。

【００５６】画像分割部Ａ２２３は、選択された処理プ
ロセスＩＤに従い、最適な画像分割方法を選択し、処理
を行う。

【００５７】画像分割方法は、たとえば （ｃ１）２値化処理方法 （ｃ２）エッジ検出法 （ｃ３）領域法 である。

【００５８】画像分割処理を行う必要がないデータにつ
いてはそのまま通過させる。

【００５９】選択した処理により、結果が得られなかっ
た場合、他の処理方法を選択して、自動的にリトライさ
せる。

【００６０】リトライした履歴データを付加し、次プロ
セスへ出力する。

【００６１】特徴抽出部Ａ２２２は、選択された処理プ
ロセスＩＤに従い、最適な特徴抽出方法と選択し、処理
を行う。

【００６２】特徴抽出は、たとえば以下の方法による。

【００６３】（ｄ１）大局的特徴抽出 （ｄ２）輪郭に着目した特徴 （ｄ３）位置関係の抽出 特徴抽出処理を行う必要がないデータについては、その
まま通過させる。また、選択した処理により、結果が得
られなかった場合、他の処理方法と選択し自動的にリト
ライさせる。

【００６４】リトライした履歴データを付加し、次プロ
セスへ出力する。

【００６５】データの出力部Ａ２２１は、処理した結果
を、内容に応じて出力する。本プロセスで得た計測デー
タを、３次元物体の認識処理を行う場合は、３次元物体
の認識部Ａ１２３へ出力する。本プロセスで得た計測デ
ータを、そのまま検査をして活用できる場合は寸法・形
状・欠陥検査部Ａ１３へ出力する。本プロセスの過程に
おいて、うまくデータが得られなかったケースについて
データベースへ入力し、ノウハウとして蓄積を図る。

【００６６】（２−５）３次元情報の獲得部Ａ２１ このブロックでは、アクティブな計測部Ａ２３で得られ
たセンシングデータに処理を施し、３次元データに合成
して３次元物体の計測部Ａ２２に転送する役割を果す。
以下に図１４を参照してモデル展開図を説明する。

【００６７】センシングデータには視覚センサからの情
報とそれ以外のものがあり、センシングデータ分類部Ａ
２１２で分類される。視覚センサからの情報は通常、セ
ンシングデータによる距離データ生成部Ａ２１４に入力
されるが、獲得手法により１）単眼視の濃淡画像、２）
三角測量法に基づくものや距離センサからの情報のよう
にすでに距離情報の形に変換されているデータの２種類
がある。１）については２値化およびパターンマッチン
グ（対応点決定）等により距離データに加工する。単眼
視画像は距離生成において何らかの仮定、つまりシーン
知識が必要であり、それはこの部分に予め用意されてい
る。なお本ブロックにおける情報のみで３次元データを
構築できない場合、画像前処理等の部Ａ２１３で前処理
のみを行う場合もある。

【００６８】視覚センサ以外の情報は３）光学系の動作
や製品の搬送などの動画像を構成する要素として距離デ
ータ生成に必要なものであり、相対位置・運動による距
離データ生成部Ａ２１５に入力される。検査方法展開部
Ａ２１１では、上位からの検査指令情報から検査方法
を抽出、光学系の位置関係や視野、投影パターンなどの
固定パラメータを、相対位置・運動による距離データ生
成部Ａ２１５に送る。ここで前述の３）とともに視覚情
報以外で距離データ生成を行う。

【００６９】相対位置・運動による距離データ生成部Ａ
２１５、およびセンシングデータによる距離データ生成
部Ａ２１４で生成される距離データは、いずれかが１次
元座標データであれば、もう一方は２次元座標データと
いうように互いを補い合って、最終的に、３次元データ
生成部Ａ２１６において３次元データを生成し、３次元
物体の計測部Ａ２２に送られる。

【００７０】（２−６）アクティブな計測部Ａ２３ 図１５にアクティブな計測のモデル展開図を示す。上位
より検査指令情報を受取りセンシングデータと走査情
報、照明情報等を出力する５つのサブモジュールから構
成される。

【００７１】上位より入力された検査指令情報は、セン
シング作業展開部Ａ２３１で解釈され、被検査物の搬送
を制御する搬送制御部Ａ２３５と、被検査物およびセン
サ・照明系の位置・経路等を制御する被検査物取出し／
検査経路制御部Ａ２３４へ制御情報として転送される。
センシングに必要とされる照明装置やセンサの種類・数
とセンシング系固有のパラメータ等も同時に、照明装置
選択部Ａ２３３と、センサ選択部Ａ２３２へ出力され
る。センサ選択部Ａ２３２〜搬送制御部Ａ２３５は、そ
れぞれ指示された情報に従って所定の作業を行いセンシ
ングデータと各部状態情報を上位へ返す。センシングデ
バイスとしては、ＣＣＤ、ＰＳＤ等の画像センサや距離
センサだけでなく、電気信号、質量等の物理量を計測す
るセンサについても補助的に用いられる。

【００７２】被検査物は、搬送制御部Ａ２３５によって
制御されるＡＧＶ（AutomaticGuided Vehicle、電磁波
および光などによって案内走行する移動体をいう）、コ
ンベア等によって検査ステーションヘローディングされ
所定の治具あるいは計測台等へセッティングされる。被
検査物が未知の場合、ロボットハンドとセンシング系に
より探索的計測が行われる。このデータにより上位シス
テムが対象の認識を行った後、再度詳細な検査・計測が
行われる。計測完了後、被検査物は再び、搬送制御部Ａ
２３５の制御により次工程へ搬送される。

【００７３】ロボットハンド等のアクチュエータもアク
ティブな計測を行うためのセンシングシステムの一部を
構成する。したがって、実際に検査を行うセンシング部
はセンサ群、照明装置群、ロボットハンドの３つのモジ
ュールより構成される。

【００７４】このような実施例において検査対象物の検
査対象の種類と、その検査項目を、一例として表１に示
す。

【００７５】

【表１】

【００７６】

【発明の効果】以上のように本発明によれば、検査対象
物の検査を、自動的に、効率よく、しかも必要十分に、
行うことができるようになり、これによって人手が省か
れ、無駄時間がなくなる。

【００７７】さらに本発明によれば、検査対象物の検査
結果から、自動的に、製品の設計および製造上の修正情
報を得ることができ、これによって設計の見直しなどを
行うことができるようになる。

【図面の簡単な説明】

【図１】本発明の一実施例の全体の構成を示す斜視図で
ある。

【図２】本発明の一実施例のアクティブ検査・計測装置
の全体の構成を示すブロック図である。

【図３】本発明の一実施例の全体の構成の概略を示すブ
ロック図である。

【図４】図３に示される実施例の構成の一部分をさらに
詳細に示すブロック図である。

【図５】図３に示される実施例の構成の他の部分をさら
に詳細に示すブロック図である。

【図６】本発明の一実施例の自動検査システムの全体の
構成を示すブロック図である。

【図７】その実施例の全体の構成を展開して示すブロッ
ク図である。

【図８】３次元の検査対象物の認識および検査部Ａ１の
展開したブロック図である。

【図９】３次元の検査対象物の計測部Ａ２の展開した構
成を示すブロック図である。

【図１０】検査方法の自動選定・自動プログラミング部
Ａ１１の展開した構成を示すブロック図である。

【図１１】３次元の検査対象物の認識技術部Ａ１２の展
開した構成を示すブロック図である。

【図１２】検査対象物の寸法・形状・欠陥の検査部Ａ１
３の展開した構成を示すブロック図である。

【図１３】３次元の検査対象物の計測部Ａ２２の構成を
示すブロック図である。

【図１４】３次元の検査対象物の情報獲得部Ａ２１の構
成の展開したブロック図である。

【図１５】アクティブ計測部Ａ２３の構成の展開したブ
ロック図である。

【符号の説明】

１ 検査対象物 ２ 自律無人搬送ロボット ３，４，５ ハンドリングロボット ６ 計測台 ８ 照明装置 ９，１０，１１ ロボット Ａ０ 外観の自動検査システム Ａ１ ３次元の検査対象物の認識および検査部 Ａ２ ３次元の検査対象物の計測部 Ａ１１ 検査方法の自動選定自動プログラミング部 Ａ１２ ３次元検査対象物の認識部 Ａ１３ 寸法・形状・欠陥検査部 Ａ２１ ３次元情報の獲得部 Ａ２２ ３次元物体の計測部 Ａ２３ アクティブな計測部

【手続補正書】

【提出日】平成５年１０月２６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】さらに本発明に従えば、検査によって検出
された欠陥の要因を推定し、その演算結果を、設計およ
び生産計画を行う部分に通信手段によって出力し、この
ようにして検査結果から欠陥の要因分析を行い、設計お
よび製造部門へ検討結果を送る。そのため設計の見直し
および生産の検討を行うことができ、たとえば設計上の
欠陥を修正することができるようになる。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正内容】

【００２３】図６に示される外観の自動検査システムＡ
０は、図７に示される３次元物体の認識および検査部Ａ
１と、３次元物体の計測部Ａ２とから構成される。図６
のリソースとは、検査を行う際に必要となる物理的な手
段であり、たとえば検査具、取付具、搬送装置およびそ
の他検査対象物を除くすべてのものを含む。３次元物体
の認識および検査部Ａ１には、図７，８のように３次元
物体の計測部Ａ２で計測された３次元情報Ａ２ａやＣＡ
Ｄによる設計システムより送られた形状などの検査に関
する情報を伴ったプロダクトモデルデータＡ１ａから、
検査に必要な検査モデルの生成と複数のモデルの中から
特定の３次元物体を認識するための３次元物体の認識部
Ａ１２が設けられ、生成された検査モデルから検査の目
的に応じてエキスパートシステムなどにより、検査方法
を自動的に選定し、検査プログラムを自動的に生成する
ための検査方法の自動選定・自動プログラミング部Ａ１
１、検査モデルと計測データの比較により寸法・形状・
欠陥の検査を行うための寸法・形状・欠陥検査部Ａ１３
である。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000005049 シャープ株式会社 大阪府大阪市阿倍野区長池町22番22号 (71)出願人 000003931 株式会社新潟鉄工所 東京都千代田区霞が関１丁目４番１号 (71)出願人 000113425 ホンダエンジニアリング株式会社 埼玉県狭山市新狭山１丁目10番地１ (71)出願人 000003997 日産自動車株式会社 神奈川県横浜市神奈川区宝町２番地 (72)発明者 大築 康生 兵庫県明石市川崎町１番１号 川崎重工業 株式会社明石工場内 (72)発明者 上田 澄広 兵庫県明石市川崎町１番１号 川崎重工業 株式会社明石工場内 (72)発明者 金丸 孝夫 兵庫県明石市川崎町１番１号 川崎重工業 株式会社明石工場内 (72)発明者 森田 弘文 神奈川県横浜市南区別所一丁目14番１号 日揮株式会社横浜事業所内 (72)発明者 木村 格 神奈川県横浜市南区別所一丁目14番１号 日揮株式会社横浜事業所内 (72)発明者 渡邊 義介 大阪府大阪市浪速区敷津東一丁目２番47号 株式会社クボタ内 (72)発明者 大橋 淳志 大阪府大阪市浪速区敷津東一丁目２番47号 株式会社クボタ内 (72)発明者 中村 日出男 大阪府大阪市阿倍野区長池町22番22号 シ ヤープ株式会社内 (72)発明者 南 一 神奈川県横浜市磯子区新磯子町27番地 株 式会社新潟鐵工所横浜開発センター内 (72)発明者 若原 剛人 神奈川県横浜市磯子区新磯子町27番地 株 式会社新潟鐵工所横浜開発センター内 (72)発明者 野村 正利 埼玉県狭山市新狭山１丁目10番地１ ホン ダエンジニアリング株式会社内 (72)発明者 小柳 晴生 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 検査対象物をハンドリングする手段と、 センサ・照明系と、 センサや照明装置の位置姿勢を制御する手段と、 センサ信号を処理する手段と、 対象物の同定・認識を行う第１演算手段と、 対象物のデータを外部と通信する手段と、 データと認識結果から対象に適した計測法や検査法を決
   定する第２演算手段とを含むことを特徴とする３次元物
   体の自動検査装置。
2. 【請求項２】 センサ信号処理手段による検査結果から
   不良部分の要因分析をする第３演算手段と、 該第３演算手段の演算結果を外部の設計手段または製造
   手段に出力する手段とを含むことを特徴とする請求項１
   記載の３次元物体の自動検査装置。
3. 【請求項３】 検査対象物の形状に関するデータを出力
   する形状データ出力手段と、 検査対象物の３次元の形状、位置、姿勢のいずれか少な
   くとも１つを計測する手段と、 形状データ出力手段および計測手段の出力に応答して、
   検査対象物の認識を行い、計測のための検査指令情報を
   出力し、その検査指令情報によって計測手段は、検査対
   象物の予め定める部位の計測を行う認識／指令手段と、 形状データ出力手段と計測手段との出力に応答して、検
   査対象物の欠陥などの検査をする手段とを含むことを特
   徴とする３次元物体の自動検査装置。
4. 【請求項４】 認識／指令手段は、 検査対象物の検査を行う検査方法と、その検査方法を行
   う計測手段の検査ツールとを決定して、計測手段を計測
   動作させることを特徴とする請求項３記載の３次元物体
   の自動検査装置。
5. 【請求項５】 検査ツールは、 検査対象物を光学的に検査する光学的検出手段と、 検査対象物に光を照射する光源と、 光学的検査手段および光源を予め定める検査条件となる
   ように動作させる手段とを含むことを特徴とする請求項
   ４記載の３次元物体の自動検査装置。
6. 【請求項６】 予め登録された検査対象物のデータと初
   期計測データから、対象物の同定に必要な計測が実現で
   きるように、対象物やセンサ・照明系等の位置姿勢を決
   定しハンドリング手段に指令を生成する工程と、 登録データと計測データを比較して対象物の同定を行う
   工程と、 同定された対象物に求められる検査を実現することがで
   きるように、対象物やセンサ・照明系等の位置姿勢を決
   定しハンドリング手段に指令を生成する工程と、 検査結果を外部に出力する工程とを含むことを特徴とす
   る３次元物体の自動検査方法。