JP2010058264A

JP2010058264A - 加工状態確認方法及び加工状態確認装置

Info

Publication number: JP2010058264A
Application number: JP2009201350A
Authority: JP
Inventors: Masahiko Mori; 雅彦森; Xiaodong Tian; シャオドンティアン; Bingyan Zhao; ビンヤンチャオ; Makoto Fujishima; 誠藤嶋; Zhe Jin; ゼェジン
Original assignee: Mori Seiki Co Ltd
Current assignee: DMG Mori Co Ltd
Priority date: 2008-09-05
Filing date: 2009-09-01
Publication date: 2010-03-18
Anticipated expiration: 2029-09-01
Also published as: US8180476B2; US20100063617A1; JP5465957B2; DE102009029061A1

Abstract

【課題】工作機械に取り付けられたワーク及びワーク取付具が位置ずれしているか否かを確認することができる加工状態確認装置などを提供する。
【解決手段】加工状態確認装置１は、工作機械に固定されたワーク及びワーク取付具を撮像して２次元実画像データを生成する実ＣＣＤカメラ１１と、ワーク及びワーク取付具の３次元モデルに関するデータを基にワーク及びワーク取付具の２次元仮想画像データを生成する仮想画像生成処理部１５と、実ＣＣＤカメラ１１及び仮想画像生成処理部１５によってそれぞれ生成された２次元実画像データ及び２次元仮想画像データを基に両者を比較する処理部であって、２次元実画像の、ワーク及びワーク取付具に相当する部分と、ワーク及びワーク取付具の２次元仮想画像とを比較して両者が一致しているか否かを判定する比較処理部１９とを備える。
【選択図】図１

Description

本発明は、工作機械に取り付けられたワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によりワークの加工部位に所定の加工形状が形成されているか否かを確認する加工状態確認方法及び加工状態確認装置に関する。

近年、機械加工の分野では、生産性の向上や省力化のため、自動化が進んでいる。そして、ＮＣプログラムによる自動制御、工具交換装置による工具の自動交換、パレット交換装置によるパレットの自動交換など、自動化が図られた工作機械として、従来、例えば、特開２００６−３２６７４０号公報に開示されたものが知られている。

この工作機械では、工具交換装置によって工具が交換されつつパレット上のワークに対して一連の加工が施され、ワークの加工が完了すると、未加工のワークが載置されたパレットと加工後のワークが載置されたパレットとがパレット交換装置によって交換され、未加工のワークに対して一連の加工が行われる。このようにして、所定数のワークが連続的に加工される。

特開２００６−３２６７４０号公報

しかしながら、このように自動化が進んだ工作機械では、１人のオペレータが複数台の工作機械を担当することが一般的であり、このため、各工作機械におけるワーク加工状態の監視が不十分となり易く、オペレータは、ワーク加工中に何らかの問題が生じてもすぐに気付き難い。

そして、例えば、工具交換装置による工具交換の際に工具が正確に取り付けられなかったり、間違った工具が取り付けられた場合や、工具が加工中に破損した場合には、ワークを所定形状に加工することができず、また、工具とワーク又は工作機械の構造体とが干渉するといった問題を生じる。

また、ワークを固定するためのワーク取付具がワークの加工中に緩んでワークやワーク取付具が位置ずれした場合には、ワークを所定形状に加工することができないだけでなく、ワーク取付具やワーク取付具から外れたワークによって重大な事故が引き起こされる可能性がある。

本発明は、以上の実情に鑑みなされたものであって、工作機械に取り付けられたワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によりワークの加工部位に所定の加工形状が形成されているか否かを確認して、オペレータの気付かないところでワーク加工上の問題が生じるのを防止することができる加工状態確認方法及び加工状態確認装置の提供をその目的とする。

上記目的を達成するための本発明は、
ワーク取付具によって固定されたワークの加工部位を加工してこのワークに所定の加工形状を形成する工作機械において、前記ワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によって前記所定の加工形状が形成されているか否かを確認する加工状態確認方法であって、
実撮像手段により、前記工作機械に固定された、加工前の若しくは前記所定の加工形状が形成されたワーク、或いは前記ワーク取付具を予め設定された視点から撮像してその２次元実画像データを生成する実画像生成工程と、
前記ワーク又はワーク取付具の３次元モデルに関するデータを基に前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像データを生成する工程であって、３次元空間を仮想的に設定して、前記ワークの、前記加工形状を含んだ３次元モデル、前記ワークの、前記加工形状を含まない３次元モデル、前記ワーク取付具の３次元モデル、又は前記ワークの加工形状の３次元モデルをこの仮想３次元空間内に配置するとともに前記実撮像手段と同じ条件の撮像手段を仮想的に設定，配置し、この仮想撮像手段により前記ワーク，ワーク取付具又はワークの加工形状を前記実撮像手段と同じ視点から撮像したときに得られると想定される２次元仮想画像データを生成する仮想画像生成工程と、
前記実画像生成工程及び仮想画像生成工程でそれぞれ生成された２次元実画像データ及び２次元仮想画像データを基に両者を比較する工程であって、２次元実画像の、前記ワーク，ワーク取付具又はワークの加工形状に相当する部分と、前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像とを比較して両者が一致しているか否かを判定する比較工程とからなることを特徴とする加工状態確認方法に係る。

そして、この加工状態確認方法は、以下の加工状態確認装置によってこれを好適に実施することができる。
即ち、この加工状態確認装置は、
前記工作機械に固定された、加工前の若しくは所定の加工形状が形成されたワーク、或いは前記ワーク取付具を予め設定された視点から撮像してその２次元実画像データを生成する実撮像手段と、
前記ワーク又はワーク取付具の３次元モデルに関するデータを記憶するモデルデータ記憶手段と、
前記モデルデータ記憶手段に格納されたモデルデータを基に前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像データを生成する手段であって、３次元空間を仮想的に設定して、前記ワークの、前記加工形状を含んだ３次元モデル、前記ワークの、前記加工形状を含まない３次元モデル、前記ワーク取付具の３次元モデル、又は前記ワークの加工形状の３次元モデルをこの仮想３次元空間内に配置するとともに前記実撮像手段と同じ条件の撮像手段を仮想的に設定，配置し、この仮想撮像手段により前記ワーク，ワーク取付具又はワークの加工形状を前記実撮像手段と同じ視点から撮像したときに得られると想定される２次元仮想画像データを生成する仮想画像生成手段と、
前記実撮像手段及び仮想画像生成手段によってそれぞれ生成された２次元実画像データ及び２次元仮想画像データを基に両者を比較する手段であって、２次元実画像の、前記ワーク，ワーク取付具又はワークの加工形状に相当する部分と、前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像とを比較して両者が一致しているか否かを判定する比較手段とを備えて構成される。

この加工状態確認装置によれば、まず、実撮像手段により、工作機械に固定された、加工前（未加工）の若しくは所定の加工形状が形成されたワーク、或いはワーク取付具が予め設定された視点から撮像されてその２次元実画像データが生成されるとともに、モデルデータ記憶手段に格納されたモデルデータを基に、仮想画像生成手段により、ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像データが生成される。

この２次元仮想画像データは、３次元空間を仮想的に設定して、ワークの、加工形状を含んだ３次元モデル、ワークの、加工形状を含まない３次元モデル、ワーク取付具の３次元モデル、又は前記ワークの加工形状の３次元モデルをこの仮想３次元空間内に配置するとともに実撮像手段と同じ条件（例えば、カメラパラメータが同じ）の撮像手段を仮想的に設定，配置し、この仮想撮像手段によりワーク，ワーク取付具又はワークの加工形状を実撮像手段と同じ視点から撮像したときに得られると想定される画像データである。

そして、実撮像手段及び仮想画像生成手段によって２次元実画像データ及び２次元仮想画像データがそれぞれ生成されると、生成された各２次元画像データを基に、これらが比較手段によって比較される。具体的には、２次元実画像の、ワーク，ワーク取付具又はワークの加工形状に相当する部分と、ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像とが比較されて両者が一致しているか否かが判定される。

ここで、両者が一致しているか否かは、例えば、２次元実画像データ及び２次元仮想画像データにおける各ピクセルの濃度値がそれぞれ同じであるかどうかを確認することで行われたり、２次元実画像データ及び２次元仮想画像データから、ワークやワーク取付具、ワークの加工形状のエッジをそれぞれ抽出して、抽出したエッジの位置や長さが同じであるかどうかなどを確認することで行われる。

そして、両者が一致していると判定されたときには、工作機械に取り付けられたワーク若しくはワーク取付具は位置ずれしていない、或いは加工によりワークの加工部位に所定の加工形状が形成されていることが確認される。逆に、両者が一致していないと判定されたときには、工作機械に取り付けられたワーク若しくはワーク取付具が位置ずれしている、或いは加工によりワークの加工部位に所定の加工形状が形成されていないことが確認される。ワーク若しくはワーク取付具が位置ずれしている、所定の加工形状がワークに形成されていないと判断された場合には、例えば、その旨のメッセージが画面表示されたり、加工が中止される。

斯くして、本発明に係る加工状態確認方法及び加工状態確認装置によれば、ワークやワーク取付具が位置ずれしているか否かを確認することができるので、ワークを所定形状に加工することができなくなるのを防止したり、ワークやワーク取付具の位置ずれによって重大な事故が引き起こされるのを防止することができる。

また、加工によって所定の加工形状が形成されているか否かを確認することができるので、例えば、工具交換装置による工具交換の際に工具が正確に取り付けられなかったり、間違った工具が取り付けられた場合や、工具が加工中に破損した場合に、ワークを所定形状に加工することができなくなるのを防止したり、工具とワーク又は工作機械の構造体とが干渉するのを防止することができる。

尚、前記比較手段は、前記仮想画像生成手段によって生成された２次元仮想画像データを基に、この２次元仮想画像におけるエッジの中から、前記ワーク，ワーク取付具又はワークの加工形状の少なくとも輪郭線に対応したエッジを抽出するエッジ抽出部と、前記実撮像手段によって生成された２次元実画像データを基に、この２次元実画像から、前記ワーク，ワーク取付具又はワークの加工形状の少なくとも輪郭線に対応したエッジを検出するエッジ検出部と、前記エッジ抽出部によって抽出されたエッジと、前記エッジ検出部によって検出されたエッジとを基に、両者を比較してこれらが一致しているか否かを判定するエッジ比較部とから構成されていても良い。

このようにすれば、ワーク，ワーク取付具又はワークの加工形状のすべてのエッジを２次元仮想画像から抽出したり、ワーク，ワーク取付具又はワークの加工形状のすべてのエッジを２次元実画像から検出する場合に比べ、処理時間をより短くすることができ、これにより、ワークやワーク取付具が位置ずれしているか否かや、加工によって所定の加工形状が形成されているか否かを、より短時間で確認することができる。

また、前記比較手段は、前記エッジ抽出部によって抽出されたエッジを基に、このエッジが含まれる一定幅の検出領域をこのエッジに沿うように設定する検出領域設定部を備え、前記エッジ検出部は、前記検出領域設定部によって設定された検出領域と、前記実撮像手段によって生成された２次元実画像データとを基に、この２次元実画像上でこの検出領域内に存在するエッジを前記輪郭線に対応したエッジとして検出するように構成されていても良い。

２次元実画像には多くのノイズが含まれ、また、２次元仮想画像に比べて多くの部品画像が含まれている。このため、検出領域を設定して２次元実画像のエッジ検出領域を絞り込むようにすれば、エッジ検出処理を簡単にすることができたり、エッジ検出精度を高めて、より精度良く、ワークやワーク取付具が位置ずれしているか否かや、加工によって所定の加工形状が形成されているか否かを確認することができる。

また、前記エッジ比較部は、前記エッジ検出部によって検出されたエッジの長さの合計値と、前記エッジ抽出部によって抽出されたエッジの長さの合計値との関係が予め設定された基準を満足するときに、前記エッジ検出部によって検出されたエッジと前記エッジ抽出部によって抽出されたエッジとが一致すると判定するように構成されていても良い。

以上のように、本発明に係る加工状態確認方法及び加工状態確認装置によれば、ワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によってワークの加工部位に所定の加工形状が形成されているか否かを確認することができるので、オペレータの気付かないところでワーク加工上の問題が生じるのを防止することができる。

本発明の一実施形態に係る加工状態確認装置などの概略構成を示したブロック図である。本実施形態の加工状態確認装置が設けられる工作機械の概略構成を示した斜視図である。本実施形態の実画像例を示した説明図である。本実施形態のモデルデータ更新処理部における一連の処理を示したフローチャートである。本実施形態の仮想画像例を示した説明図である。本実施形態の仮想画像例を示した説明図である。本実施形態の仮想画像例を示した説明図である。本実施形態のエッジ抽出例を示した説明図である。本実施形態のエッジ抽出例を示した説明図である。本実施形態のエッジ抽出例を示した説明図である。本実施形態の検出領域設定例を示した説明図である。本実施形態のエッジ検出例を示した説明図である。ワークが正しい位置からずれた状態を示す説明図である。本実施形態のエッジ検出例を示した説明図である。

以下、本発明の具体的な実施形態について、添付図面に基づき説明する。尚、図１は、本発明の一実施形態に係る加工状態確認装置などの概略構成を示したブロック図であり、図２は、本実施形態の加工状態確認装置が設けられる工作機械の概略構成を示した斜視図である。

図１に示すように、本例の加工状態確認装置１は、実ＣＣＤカメラ１１，カメラパラメータ記憶部１２，モデルデータ記憶部１３，モデルデータ更新処理部１４，仮想画像生成処理部１５，エッジ抽出処理部１６，検出領域設定処理部１７，エッジ検出処理部１８，エッジ比較処理部１９及び画面表示装置２０を備え、例えば、図２に示すような、マシニングセンタと呼ばれる工作機械５０に設けられる。

ここで、まず、前記工作機械５０について説明する。この工作機械５０は、図１及び図２に示すように、ベッド５１と、ベッド５１に配設され、水平方向且つ前後方向（Ｙ軸方向）に移動自在となった第１サドル５２と、第１サドル５２に配設され、水平方向且つ左右方向（Ｘ軸方向）に移動自在となった第２サドル５３と、第２サドル５３に支持され、鉛直方向（Ｚ軸方向）に移動自在となった主軸頭５４と、軸線がＺ軸と平行且つ軸線中心に回転自在に主軸頭５４によって支持され、下端部に工具Ｔが装着される主軸５５と、ベッド５１に配設され、上面にワークＷが載置されるテーブル５６と、第１サドル５２，第２サドル５３及び主軸頭５４を各移動方向にそれぞれ移動させるＹ軸送り機構部５７，Ｘ軸送り機構部５８及びＺ軸送り機構部５９と、主軸５５を軸線中心に回転させる主軸モータ６０と、主軸５５に装着された工具Ｔを新たな工具Ｔと交換する工具交換装置６１と、各送り機構部５７，５８，５９、主軸モータ６０及び工具交換装置６１の作動を制御する制御装置６２とを備えている。

前記ベッド５１は、その左右両側及び奥側に側壁５１ａ，５１ｂ，５１ｃが設けられた構造を備えており、左右両側の側壁５１ａ，５１ｂの上部に前記第１サドル５２が配設され、奥側の側壁５１ｃに前記テーブル５６が配設されている。尚、このテーブル５６の上面には、テーブル５６上に設けられた複数の取付具５６ａによって、例えば、矩形状をしたワークＷが固定されるものとし、また、このワークＷの上面には、例えば、図３に示すように、１工程目で矩形状の凹部Ｗ１が加工形状として形成され、２工程目で三角形状の凹部Ｗ２が加工形状として形成されるものとする。

前記制御装置６２は、予め作成されたＮＣプログラムが格納されるプログラム記憶部６２ａを備え、このプログラム記憶部６２ａに格納されたＮＣプログラムに基づいて各送り機構部５７，５８，５９、主軸モータ６０及び工具交換装置６１を制御する。具体的には、ＮＣプログラムをブロック毎に解析して、第１サドル５２，第２サドル５３及び主軸頭５４の移動位置及び送り速度や主軸５５の回転速度、工具交換に関する動作指令を順次抽出し、抽出した、第１サドル５２，第２サドル５３及び主軸頭５４の移動位置及び送り速度や主軸５５の回転速度に関する動作指令と、各送り機構部５７，５８，５９及び主軸モータ６０からのフィードバック信号とを基に各送り機構部５７，５８，５９及び主軸モータ６０を制御するとともに、抽出した工具交換に関する動作指令を基に工具交換装置６１を制御する。

尚、この制御装置６２は、前記抽出した動作指令を前記モデルデータ更新処理部１４に送信し、また、工具交換に関する動作指令を抽出すると、前記実ＣＣＤカメラ１１及び仮想画像生成処理部１５に、この抽出した工具交換に関する動作指令や、工具交換を行う旨を示す信号など、工具交換に関する信号を送信する。更に、制御装置６２は、前記実ＣＣＤカメラ１１及び仮想画像生成処理部１５に、一連の加工開始時及び一連の加工完了時にその旨を示す信号も送信する。また、制御装置６２は、前記エッジ比較処理部１９からアラーム信号を受信すると、各送り機構部５７，５８，５９及び主軸モータ６０を停止させてワークＷの加工を中止させる。

次に、前記加工状態確認装置１について説明する。この加工状態確認装置１は、上述のように、実ＣＣＤカメラ１１，カメラパラメータ記憶部１２，モデルデータ記憶部１３，モデルデータ更新処理部１４，仮想画像生成処理部１５，エッジ抽出処理部１６，検出領域設定処理部１７，エッジ検出処理部１８，エッジ比較処理部１９及び画面表示装置２０を備えており、コンピュータがカメラパラメータ記憶部１２，モデルデータ記憶部１３，モデルデータ更新処理部１４，仮想画像生成処理部１５，エッジ抽出処理部１６，検出領域設定処理部１７，エッジ検出処理部１８及びエッジ比較処理部１９として機能するようになっている。

前記実ＣＣＤカメラ１１は、図２に示すように、前記ベッド５１の左側壁５１ａの上部にブラケット１１ａを介して取り付けられており、テーブル５６上に固定されたワークＷ及び取付具５６ａを撮像して２次元画像データ（実画像データ）を生成し、生成した２次元画像データを前記エッジ検出処理部１８に出力する。このとき生成される実画像例を図３に示す。図３（ａ）では加工前（未加工）のワークＷが、図３（ｂ）では１つ目の加工形状（矩形状の凹部）Ｗ１が加工されたワークＷが、図３（ｃ）では２つ目の加工形状（三角形状の凹部）Ｗ２が加工されたワークＷがそれぞれ示されており、これらの画像には、ワークＷ及び取付具５６ａの他、前記ベッド５１の一部及びテーブル５６の一部も含まれている。

尚、この実ＣＣＤカメラ１１は、前記制御装置６２から送信される、工具交換に関する信号や、一連の加工を開始する旨の信号、一連の加工を完了した旨を示す信号を受信すると、ワークＷ及び取付具５６ａを撮像して２次元画像データを生成するようになっている。

前記カメラパラメータ記憶部１２には、前記実ＣＣＤカメラ１１に固有のパラメータである内部パラメータと、工作機械５０の座標系における実ＣＣＤカメラ１１の位置及び姿勢を表す外部パラメータとが格納される。これらのパラメータは、キャリブレーション処理により予め算出される。尚、前記内部パラメータとしては、例えば、主点座標、スケール因子、画像の２軸間の歪みなどが挙げられる。

前記モデルデータ記憶部１３には、予め作成された、例えば、工作機械５０全体の３次元モデルに関するデータ（モデルデータ）が格納される。この工作機械５０全体のモデルデータは、前記ベッド５１，第１サドル５２，第２サドル５３，主軸頭５４，主軸５５及びテーブル５６といった工作機械５０の主要な構成要素のモデルデータと、前記主軸５５に装着される工具Ｔのモデルデータと、前記テーブル５６上に固定されるワークＷのモデルデータと、前記テーブル５６上に設けられ、ワークＷを固定するための取付具５６ａのモデルデータとを含み、前記各構成要素，工具Ｔ，ワークＷ及び取付具５６ａの各モデルデータがそれぞれ相互に関連付けられて構成される。

前記モデルデータ更新処理部１４は、前記モデルデータ記憶部１３に格納された工作機械５０全体のモデルデータを読み出すとともに、前記制御装置６２から送信された動作指令を受信して、前記モデルデータ記憶部１３内の工作機械５０全体のモデルデータを更新し、更新したモデルデータを前記仮想画像生成処理部１５に送信する。具体的には、モデルデータ更新処理部１４は、前記受信した動作指令と、モデルデータ記憶部１３に格納された工作機械５０全体のモデルデータとを基に、第１サドル５２，第２サドル５３及び主軸頭５４が動作指令に従って移動した状態となるように工作機械５０全体のモデルデータを生成し、生成したモデルデータをモデルデータ記憶部１３に格納して、このモデルデータ記憶部１３内のモデルデータを更新する。尚、第１サドル５２，第２サドル５３及び主軸頭５４を移動させたときに、工具ＴのモデルデータとワークＷのモデルデータとの間で重なり合う部分がある場合には、その重なり合う領域を切削領域として算出し、この切削領域がワークＷから削除されるようにワークＷのモデルデータを生成して工作機械５０全体のモデルデータを更新する。

前記仮想画像生成処理部１５は、前記カメラパラメータ記憶部１２に格納された各パラメータと、前記モデルデータ更新処理部１４から送信されたモデルデータとを基に、コンピュータ処理によって、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の２次元画像データ（仮想画像データ）を生成する。

具体的には、仮想画像生成処理部１５は、前記制御装置６２から送信される、工具交換に関する信号や、一連の加工を開始する旨の信号、一連の加工を完了した旨を示す信号を受信すると、図４に示すような一連の処理を実行するようになっており、まず、カメラパラメータ記憶部１２内に格納された各パラメータを読み出し（ステップＳ１）、ついで、モデルデータ更新処理部１４から送信されたモデルデータを受信する（ステップＳ２）。

次に、工作機械５０の座標系と同じ座標系の３次元空間を仮想的に設定した後（ステップＳ３）、前記読み出した各パラメータと、受信したモデルデータ（工作機械５０全体のモデルデータの内、ワークＷ及び取付具５６ａに関するモデルデータ）とを基に、前記設定した仮想３次元空間内に、ワークＷの、加工形状Ｗ１，Ｗ２を含まない３次元モデル、ワークＷの、加工形状Ｗ１，Ｗ２の一方又は両方を含む３次元モデル、取付具５６ａの３次元モデル、及びワークＷの加工形状Ｗ１，Ｗ２の一方又は両方の３次元モデルを配置するとともに仮想ＣＣＤカメラ１５ａを設定，配置する（ステップＳ４）。

尚、仮想ＣＣＤカメラ１５ａは、前記読み出した外部パラメータを基に前記実ＣＣＤカメラ１１と同じ位置に同じ姿勢で配置されるので、仮想ＣＣＤカメラ１５ａの視点は実ＣＣＤカメラ１１と一致している。また、仮想ＣＣＤカメラ１５ａは、その内部パラメータが、前記読み出した内部パラメータを基に実ＣＣＤカメラ１１の内部パラメータと同じに合わされるので、仮想ＣＣＤカメラ１５ａの条件は実ＣＣＤカメラ１１と一致している。

この後、３次元モデルに係るワークＷ及び取付具５６ａの一方又は両方、並びに３次元モデルに係る加工形状Ｗ１，Ｗ２の一方又は両方を、前記仮想ＣＣＤカメラ１５ａにより撮像したとすれば得られると想定される２次元画像データを生成し、生成した２次元画像データを前記エッジ抽出処理部１６に送信する（ステップＳ５）。

このとき生成される仮想画像例を図５乃至図７に示す。図５（ａ）はワークＷ及び取付具５６ａの画像、図５（ｂ）はワークＷの画像、図５（ｃ）は取付具５６ａの画像をそれぞれ示し、図６（ａ）は加工形状Ｗ１が形成されたワークＷの画像、図６（ｂ）は加工形状Ｗ１，Ｗ２が形成されたワークＷの画像、図６（ｃ）は加工形状Ｗ２が形成されたワークＷの画像をそれぞれ示し、図７（ａ）はワークＷの加工形状Ｗ１の画像、図７（ｂ）はワークＷの加工形状Ｗ１，Ｗ２の画像、図７（ｃ）はワークＷの加工形状Ｗ２の画像をそれぞれ示している。また、図５（ａ）及び（ｂ）は、加工前のワークＷ、或いは加工形状Ｗ１，Ｗ２が非表示とされたワークＷの画像であり、図６（ａ）は、加工形状Ｗ１を加工した後のワークＷ、或いは加工形状Ｗ２が非表示とされたワークＷの画像であり、図６（ｃ）は、加工形状Ｗ２を加工した後のワークＷ、或いは加工形状Ｗ１が非表示とされたワークＷの画像である。尚、これらの図において、実線で表された形状が仮想画像として得られる形状を示している。

前記エッジ抽出処理部１６は、前記仮想画像生成処理部１５から送信された仮想画像データを基に、この仮想画像におけるエッジの中から、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の輪郭線に対応したエッジを抽出する。

例えば、図５（ａ）の画像の場合には、図８（ａ）のようにワークＷ及び取付具５６ａのエッジ（輪郭線）が抽出され、図５（ｂ）の画像の場合には、図８（ｂ）のようにワークＷのエッジが抽出され、図５（ｃ）の画像の場合には、図８（ｃ）のように取付具５６ａのエッジが抽出され、図６（ａ）の画像の場合には、図９（ａ）のようにワークＷのエッジ、或いは図９（ａ’）のようにワークＷ及び加工形状Ｗ１のエッジが抽出され、図６（ｂ）の画像の場合には、図９（ｂ）のようにワークＷのエッジ、或いは図９（ｂ’）のようにワークＷ及び加工形状Ｗ１，Ｗ２のエッジが抽出され、図６（ｃ）の画像の場合には、図９（ｃ）のようにワークＷのエッジ、或いは図９（ｃ’）のようにワークＷ及び加工形状Ｗ２のエッジが抽出され、図７（ａ）の画像の場合には、図１０（ａ）のように加工形状Ｗ１のエッジが抽出され、図７（ｂ）の画像の場合には、図１０（ｂ）のように加工形状Ｗ１，Ｗ２のエッジが抽出され、図７（ｃ）の画像の場合には、図１０（ｃ）のように加工形状Ｗ２のエッジが抽出される。尚、これらの図において、実線で表された形状が、抽出されたエッジを示している。

前記検出領域設定処理部１７は、前記エッジ抽出処理部１６によって抽出されたエッジを基に、このエッジが含まれる一定幅の検出領域をこのエッジに沿うように設定する。尚、この検出領域は、例えば、抽出されたエッジをその両側にオフセットすることにより設定される。また、例えば、図８（ａ）の実線で示すようなエッジが抽出された場合には、図１１の破線で示すような検出領域Ｋが設定される。また、例えば、図９（ａ’）の実線で示すようなエッジが抽出された場合には、特に図示はしないが、ワークＷ及び加工形状Ｗ１のエッジに対してそれぞれ検出領域が設定される。また、前記一定幅（図１１の符号Ｗで示す）の具体的な値は、どの程度の位置ずれを検出するかによって異なるが、一例を示すと、０．５ｍｍである。

前記エッジ検出処理部１８は、前記検出領域設定処理部１７によって設定された検出領域と、前記実ＣＣＤカメラ１１から出力された実画像データとを基に、この実画像上でこの検出領域内に存在するエッジを、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の輪郭線に対応したエッジとして検出する。

例えば、ワークＷ及び取付具５６ａが正しい位置にある場合には、図１２に示すように検出領域Ｋ内のエッジが検出され、図１３に示すように、ワークＷの位置がずれている場合には、図１４に示すように検出領域Ｋ内のエッジが検出される。尚、図１２及び図１４では、検出されたエッジを実線で示している。

前記エッジ比較処理部１９は、前記エッジ抽出処理部１６によって抽出されたエッジと、前記エッジ検出処理部１８によって検出されたエッジとを基に、両者を比較してこれらが一致しているか否かを判定する。具体的には、エッジ抽出処理部１６によって抽出されたエッジの長さの合計値と、エッジ検出処理部１８によって検出されたエッジの長さの合計値との関係が予め設定された基準を満足しているか否かで判断する。

例えば、抽出されたエッジの長さの合計値をＰと、検出されたエッジの長さの合計値をＱと、予め設定された基準をＲとすると、（Ｑ／Ｐ）×１００で表される式から求まる値がＲ（％）以上となる関係を満たす場合に、抽出されたエッジと検出されたエッジとが一致していると判断する。尚、予め設定された基準Ｒの具体的な値は、前記一定幅と同様、どの程度の位置ずれを検出するかによって異なるが、一例を示すと、８０％である。

そして、エッジ比較処理部１９は、抽出されたエッジと検出されたエッジとが一致していないと判断した場合には、アラーム画像を画面表示装置２０に表示させるとともに、前記制御装置６２にアラーム信号を送信してワークＷの加工を中止させ、一方、抽出されたエッジと検出されたエッジとが一致していると判断した場合には加工を継続させる。

以上のように構成された本例の加工状態確認装置１によれば、まず、カメラパラメータ記憶部１２に実ＣＣＤカメラ１１のカメラパラメータが、モデルデータ記憶部１３に工作機械５０全体のモデルデータがそれぞれ格納される。

そして、未加工のワークＷが取付具５６ａによってテーブル５６上に固定されると、加工開始前に、実ＣＣＤカメラ１１によりワークＷ及び取付具５６ａが撮像されて実画像データが生成される（図３（ａ）参照）とともに、カメラパラメータ記憶部１２内の各パラメータとモデルデータ更新処理部１４から受信したモデルデータ記憶部１３内のモデルデータとを基に、仮想画像生成処理部１５により、例えば、ワークＷ及び取付具５６ａの仮想画像データが生成される（図５参照）。

この後、エッジ抽出処理部１６により、生成された仮想画像におけるエッジの中から、ワークＷ及び取付具５６ａの輪郭線に対応したエッジが抽出され、検出領域設定処理部１７により、抽出されたエッジが含まれる一定幅の検出領域がこのエッジに沿うように設定され、設定された検出領域と生成された実画像データとを基に、エッジ検出処理部１８により、ワークＷ及び取付具５６ａの輪郭線に対応したエッジが検出される。

実画像からエッジが検出されると、この検出されたエッジと、エッジ抽出処理部１６によって抽出されたエッジとを基に、エッジ比較処理部１９により両者が比較されてこれらが一致しているか否かが判定される。そして、一致していない（即ち、ワークＷ及び取付具５６ａの一方又は両方が正確な位置からずれている）と判断されたときには、アラーム処理によりワークＷの加工が中止され、一致していると判断されたときには加工が開始され、実際にワークＷが加工されるとともに、モデルデータ更新処理部１４によってモデルデータが更新される。

この後、１つ目の加工形状Ｗ１が加工され、工具交換が行われると、上記と同様に、実ＣＣＤカメラ１１によりワークＷ及び取付具５６ａの実画像データが生成される（図３（ｂ）参照）とともに、仮想画像生成処理部１５により、ワークＷ及び取付具５６ａ、並びにワークＷの加工形状Ｗ１の仮想画像データが生成される（例えば、図５（ａ）及び図７（ａ）、或いは図５（ｃ）及び図６（ａ）参照）。

この後、上記と同様にして、仮想画像からエッジが抽出されるとともに、実画像からエッジが検出され、これらのエッジが比較される。そして、エッジが一致していないときには、ワークＷ及び取付具５６ａの一方又は両方が正確な位置からずれている、又は加工形状Ｗ１が正しく加工されていないと判断されて、アラーム処理によりワークＷの加工が中止され、一致していると判断されたときには引き続き加工が行われて２つ目の加工形状Ｗ２が加工されるとともに、モデルデータ更新処理部１４によってモデルデータが更新される。

そして、加工形状Ｗ２が加工され、一連の加工が完了すると、上記と同様に、実ＣＣＤカメラ１１によりワークＷ及び取付具５６ａの実画像データが生成される（図３（ｃ）参照）とともに、仮想画像生成処理部１５により、ワークＷ及び取付具５６ａ、並びにワークＷの加工形状Ｗ１，Ｗ２若しくはワークＷの加工形状Ｗ２の仮想画像データが生成される（例えば、図５（ａ）及び図７（ｂ）若しくは図７（ｃ）、或いは図５（ｃ）及び図６（ｂ）若しくは図６（ｃ）参照）。

この後、上記と同様にして、仮想画像からエッジが抽出されるとともに、実画像からエッジが検出され、これらのエッジが比較される。そして、エッジが一致していないときには、ワークＷ及び取付具５６ａの一方又は両方が正確な位置からずれている、又は加工形状Ｗ２が正しく加工されていないと判断されてアラーム画像が表示される。

このように、本例の加工状態確認装置１によれば、ワークＷや取付具５６ａが位置ずれしているか否かを確認することができるので、ワークＷを所定形状に加工することができなくなるのを防止したり、ワークＷや取付具５６ａの位置ずれによって重大な事故が引き起こされるのを防止することができる。

また、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを確認することができるので、例えば、工具交換装置６１による工具交換の際に工具Ｔが正確に取り付けられなかったり、間違った工具Ｔが取り付けられた場合や、工具Ｔが加工中に破損した場合に、ワークＷを所定形状に加工することができなくなるのを防止したり、工具ＴとワークＷ又は工作機械５０の構造体とが干渉するのを防止することができる。

また、生成された仮想画像におけるエッジの中から、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の輪郭線に対応したエッジのみを抽出するようにしているので、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２のすべてのエッジを抽出する場合に比べ、処理時間をより短くすることができ、これにより、ワークＷや取付具５６ａが位置ずれしているか否かや、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを、より短時間で確認することができる。

また、検出領域を設定してこの検出領域の中からワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の輪郭線に対応したエッジを検出するようにしているので、多くのノイズ及び多くの部品画像が含まれた２次元実画像のエッジ検出領域を狭くすることができる。これにより、エッジ検出処理を簡単にすることができたり、エッジ検出精度を高めて、より精度良く、ワークＷや取付具５６ａが位置ずれしているか否かや、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを確認することができる。

また、ワークＷの加工開始時、工具交換時、及びワークＷの加工完了時に、ワークＷや取付具５６ａが位置ずれしているか否かや、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを確認するようにしたので、ワークＷや取付具５６ａが位置ずれしているか否かや、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを随時確認することができ、加工中に生じた問題をすぐに認識することができる。

以上、本発明の一実施形態について説明したが、本発明の採り得る具体的な態様は、何らこれに限定されるものではない。

前記加工状態確認装置１が設けられる工作機械５０は、何ら限定されるものではなく、どのような工作機械５０であっても良い。例えば、上例のようなマシニングセンタではなく、旋盤などに設けるようにしても良い。また、実ＣＣＤカメラ１１及び仮想ＣＣＤカメラ１５ａの設置数は、それぞれ１台に限られず、複数台設置するようにしても良い。また、ワークＷや取付具５６ａが位置ずれしているか否かや、加工によって所定の加工形状Ｗ１，Ｗ２が形成されているか否かを確認するタイミングは、上述したときに限定されるものではない。

また、上例では、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２の輪郭線に対応したエッジのみを仮想画像におけるエッジの中から抽出するようにしたが、これに限られるものではなく、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２のすべてのエッジを仮想画像から抽出するようにしても良い。この場合、実画像についても、ワークＷ及び取付具５６ａ、ワークＷ、取付具５６ａ、ワークＷの加工形状Ｗ１、ワークＷの加工形状Ｗ１，Ｗ２、ワークＷの加工形状Ｗ２のすべてのエッジが検出される。

１加工状態確認装置
１１実ＣＣＤカメラ
１２カメラパラメータ記憶部
１３モデルデータ記憶部
１４モデルデータ更新処理部
１５仮想画像生成処理部
１５ａ仮想ＣＣＤカメラ
１６エッジ抽出処理部
１７検出領域設定処理部
１８エッジ検出処理部
１９エッジ比較処理部
５０工作機械
５６テーブル
５６ａ取付具
Ｗワーク
Ｗ１，Ｗ２加工形状

Claims

ワーク取付具によって固定されたワークの加工部位を加工してこのワークに所定の加工形状を形成する工作機械において、前記ワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によって前記所定の加工形状が形成されているか否かを確認する加工状態確認方法であって、
実撮像手段により、前記工作機械に固定された、加工前の若しくは前記所定の加工形状が形成されたワーク、或いは前記ワーク取付具を予め設定された視点から撮像してその２次元実画像データを生成する実画像生成工程と、
前記ワーク又はワーク取付具の３次元モデルに関するデータを基に前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像データを生成する工程であって、３次元空間を仮想的に設定して、前記ワークの、前記加工形状を含んだ３次元モデル、前記ワークの、前記加工形状を含まない３次元モデル、前記ワーク取付具の３次元モデル、又は前記ワークの加工形状の３次元モデルをこの仮想３次元空間内に配置するとともに前記実撮像手段と同じ条件の撮像手段を仮想的に設定，配置し、この仮想撮像手段により前記ワーク，ワーク取付具又はワークの加工形状を前記実撮像手段と同じ視点から撮像したときに得られると想定される２次元仮想画像データを生成する仮想画像生成工程と、
前記実画像生成工程及び仮想画像生成工程でそれぞれ生成された２次元実画像データ及び２次元仮想画像データを基に両者を比較する工程であって、２次元実画像の、前記ワーク，ワーク取付具又はワークの加工形状に相当する部分と、前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像とを比較して両者が一致しているか否かを判定する比較工程とからなることを特徴とする加工状態確認方法。
ワーク取付具によって固定されたワークの加工部位を加工してこのワークに所定の加工形状を形成する工作機械に設けられ、前記ワーク若しくはワーク取付具が位置ずれしているか否か、或いは加工によって前記所定の加工形状が形成されているか否かを確認する加工状態確認装置であって、
前記工作機械に固定された、加工前の若しくは前記所定の加工形状が形成されたワーク、或いは前記ワーク取付具を予め設定された視点から撮像してその２次元実画像データを生成する実撮像手段と、
前記ワーク又はワーク取付具の３次元モデルに関するデータを記憶するモデルデータ記憶手段と、
前記モデルデータ記憶手段に格納されたモデルデータを基に前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像データを生成する手段であって、３次元空間を仮想的に設定して、前記ワークの、前記加工形状を含んだ３次元モデル、前記ワークの、前記加工形状を含まない３次元モデル、前記ワーク取付具の３次元モデル、又は前記ワークの加工形状の３次元モデルをこの仮想３次元空間内に配置するとともに前記実撮像手段と同じ条件の撮像手段を仮想的に設定，配置し、この仮想撮像手段により前記ワーク，ワーク取付具又はワークの加工形状を前記実撮像手段と同じ視点から撮像したときに得られると想定される２次元仮想画像データを生成する仮想画像生成手段と、
前記実撮像手段及び仮想画像生成手段によってそれぞれ生成された２次元実画像データ及び２次元仮想画像データを基に両者を比較する手段であって、２次元実画像の、前記ワーク，ワーク取付具又はワークの加工形状に相当する部分と、前記ワーク，ワーク取付具又はワークの加工形状の２次元仮想画像とを比較して両者が一致しているか否かを判定する比較手段とを備えてなることを特徴とする加工状態確認装置。
前記比較手段は、
前記仮想画像生成手段によって生成された２次元仮想画像データを基に、この２次元仮想画像におけるエッジの中から、前記ワーク，ワーク取付具又はワークの加工形状の少なくとも輪郭線に対応したエッジを抽出するエッジ抽出部と、
前記実撮像手段によって生成された２次元実画像データを基に、この２次元実画像から、前記ワーク，ワーク取付具又はワークの加工形状の少なくとも輪郭線に対応したエッジを検出するエッジ検出部と、
前記エッジ抽出部によって抽出されたエッジと、前記エッジ検出部によって検出されたエッジとを基に、両者を比較してこれらが一致しているか否かを判定するエッジ比較部とから構成されてなることを特徴とする請求項２記載の加工状態確認装置。
前記比較手段は、前記エッジ抽出部によって抽出されたエッジを基に、このエッジが含まれる一定幅の検出領域をこのエッジに沿うように設定する検出領域設定部を備え、
前記エッジ検出部は、前記検出領域設定部によって設定された検出領域と、前記実撮像手段によって生成された２次元実画像データとを基に、この２次元実画像上でこの検出領域内に存在するエッジを前記輪郭線に対応したエッジとして検出するように構成されてなることを特徴とする請求項３記載の加工状態確認装置。
前記エッジ比較部は、前記エッジ検出部によって検出されたエッジの長さの合計値と、前記エッジ抽出部によって抽出されたエッジの長さの合計値との関係が予め設定された基準を満足するときに、前記エッジ検出部によって検出されたエッジと前記エッジ抽出部によって抽出されたエッジとが一致すると判定するように構成されてなることを特徴とする請求項３又は４記載の加工状態確認装置。