JP5404450B2

JP5404450B2 - 加工状況監視装置

Info

Publication number: JP5404450B2
Application number: JP2010014029A
Authority: JP
Inventors: 英紀武富; 良純赤井
Original assignee: DMG Mori Co Ltd; Mori Seiki Co Ltd
Current assignee: DMG Mori Co Ltd
Priority date: 2010-01-26
Filing date: 2010-01-26
Publication date: 2014-01-29
Anticipated expiration: 2030-01-26
Also published as: JP2011154436A

Description

本発明は、工作機械におけるワーク加工状況の監視映像を画面表示装置に表示する加工状況監視装置に関する。

工作機械には、通常、安全性を確保すべく、ワークが加工される加工領域を囲むカバーが設けられている。このカバーには窓が設けられているものの、この窓を通してオペレータの視認することができる範囲は限られており、オペレータがこの窓からワークの加工状況を監視するには限界がある。

そこで、従来、例えば、特開平４−３１０１０６号公報に開示された工作機械が提案されている。この工作機械は、複数のビデオカメラと、これらのビデオカメラから得られる画像を表示する表示装置と、表示装置の表示画面をビデオカメラと同数の表示領域に分割し、各ビデオカメラから得られる画像を各表示領域にそれぞれ表示させる制御装置などを備えている。

そして、この工作機械によれば、オペレータは、カバーの窓からでは十分にワークの加工状況を監視することができない場合であっても、表示装置に表示される複数の画像によって複数の角度からワークの加工状況を監視することができる。

特開平４−３１０１０６号公報

しかしながら、上述のように、各ビデオカメラから得られる画像をすべて一律に表示させると、これらの画像の中には、工具の先端がワークによって隠れているものもあることから、ワークの加工状況を監視するのにあまり役立たない画像まで表示させることになる。また、表示画面を複数の表示領域に分割して、各ビデオカメラから得られる画像を表示させているので、各表示領域に表示される画像は小さくならざるを得ず、場合によっては、オペレータが細部を確認し難いこともある。更に、各ビデオカメラから得られる画像を工作機械の制御状態とともに表示する場合に、各ビデオカメラから得られる画像の表示領域を広くとると、本来表示させるべき制御状態の表示領域が狭くなり、オペレータは工作機械の制御状態を確認し難くなる。

したがって、複数のビデオカメラを工作機械に設置した場合には、複数のビデオカメラから得られる画像の内、工具の先端がワークによって隠れていない画像、即ち、工具の先端を確認可能な画像を少なくとも１つ表示すれば、表示画像を通して加工状況を監視するのが困難になることもないし、工作機械の制御状態を確認し難くなることもない。

本発明は、以上の実情に鑑みなされたものであって、複数のカメラの中から選択された少なくとも１つのカメラによって生成される、工具の先端がワークにより隠れていない画像を通してオペレータがワークの加工状況を監視することができる加工状況監視装置の提供をその目的とする。

上記目的を達成するための本発明は、
工具及びワークを相対移動させる加工動作機構部と、加工プログラムを解析して前記加工動作機構部の動作指令を抽出し、抽出した動作指令を基に前記加工動作機構部の作動を制御する制御手段とを備えた工作機械における加工状況を監視する装置であって、
少なくとも前記工具及びワークを互いに異なる視点から一定時間間隔で撮像してその２次元画像データを順次生成する複数のカメラと、
前記カメラによって生成された２次元画像データを表示する画面表示手段と、
前記複数のカメラについて、その配置位置及び姿勢を示すカメラパラメータをそれぞれ記憶するカメラパラメータ記憶手段と、
前記制御手段から得られる動作指令と、前記工具，ワーク及び加工動作機構部の３次元モデルに関するデータとを基に、前記加工動作機構部が前記動作指令に従って動作したときの前記工具，ワーク及び加工動作機構部のモデルデータを生成して更新するモデルデータ更新手段と、
前記カメラパラメータ記憶手段に格納されたカメラパラメータと、前記モデルデータ更新手段によって更新されたモデルデータと、前記制御手段から得られる前記工具の位置情報とを基に、前記複数のカメラ，工具及び少なくともワークの位置関係を予め設定された時間毎に認識する位置関係認識手段と、
前記位置関係認識手段によって認識された位置関係を基に、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラを選択するカメラ選択手段と、
前記カメラ選択手段によって選択されたカメラにより生成される２次元画像データを前記画面表示手段に表示させるカメラ切換手段とを備えてなることを特徴とする加工状況監視装置に係る。

この発明によれば、制御手段によって加工プログラムが実行されると、即ち、制御手段により、加工プログラムが解析されて加工動作機構部の動作指令が抽出され、抽出された動作指令を基に加工動作機構部が制御されて工具及びワークが相対移動せしめられると、以下のようにして、画面表示手段に表示させるべき２次元画像データを生成するカメラが予め設定された時間毎に切り換えられながら画面表示手段に監視画像が表示される。

まず、制御手段から得られる動作指令と、工具，ワーク及び加工動作機構部のモデルデータ（３次元モデルデータ）とを基に、モデルデータ更新部により、加工動作機構部が動作指令に従って動作したときの工具，ワーク及び加工動作機構部のモデルデータが生成されて更新される。

ついで、カメラパラメータ記憶手段に格納されたカメラパラメータと、モデルデータ更新手段によって更新されたモデルデータと、制御手段から得られる工具位置情報とを基に、位置関係認識手段により、複数のカメラ，工具及び少なくともワークの位置関係が認識される。

例えば、複数のカメラについて、前記カメラパラメータから、カメラの撮像面と光軸との交点やカメラのレンズの中心点が認識され、前記工具位置情報から、工具移動前後における工具先端位置が認識され、前記モデルデータから、ワークの配置位置及び形状が認識される。或いは、カメラの撮像面と光軸との交点やカメラのレンズの中心点と、工具移動後における工具先端位置と、ワークの配置位置及び形状とが認識される。

次に、位置関係認識手段によって認識された位置関係を基に、カメラ選択手段により、複数のカメラの内、少なくともワークによって工具の先端が隠れない２次元画像データ（工具の先端が表示される２次元画像データ）を生成可能なカメラが判別されてこのカメラが選択される。尚、このとき選択されるカメラは２つ以上であっても良い。

例えば、まず、複数のカメラについて、カメラの撮像面と光軸との交点やカメラのレンズの中心点と、工具移動前後における工具先端位置との３点を結んで形成される３角形状の平面と、ワークの形状との間に交差部があるか否かがそれぞれ確認される。或いは、カメラの撮像面と光軸との交点やカメラのレンズの中心点と、工具移動後における工具先端位置との２点を結んだ直線と、ワークの形状との間に交差部があるか否かがそれぞれ確認される。

そして、交差部があると確認されたカメラについては、工具の先端が隠れない２次元画像データを生成可能なカメラではないと判断され、一方、交差部がないと確認されたカメラについては、工具の先端が隠れない２次元画像データを生成可能なカメラであると判断されて、交差部がないと確認されたものの中からカメラが選択される。

この後、カメラ選択手段によって選択されたカメラにより生成される２次元画像データが、カメラ切換手段によって画面表示手段に表示される。このようにして、カメラが切り換えられながら、カメラから得られる２次元画像データが画面表示手段に表示される。

斯くして、本発明に係る加工状況監視装置によれば、選択された少なくとも１つのカメラによって生成される、工具の先端が隠れない２次元画像データを画面表示手段に順次表示させているので、オペレータは、表示画像を通してワークの加工状況を十分に監視することができる。

また、工具の先端が隠れない２次元画像データを表示させているので、加工状況の監視にさほど役立たない画像の表示を省略することができ、更に、一律にすべての画像を表示させていた従来に比べ、表示画像が小さくなることもなく、オペレータは、表示画像を通して加工状況を細部まで確認することができる。また、画面表示手段に工作機械の制御状態をカメラから得られる画像とともに表示させるようにしても、この制御状態の表示領域が必要以上に狭くなることはなく、オペレータは、工作機械の制御状態も十分に確認することができる。また、画面表示手段に表示される画像が自動的に切り換えられるので、オペレータが少なくとも１つの画像を選択して所望の画像に切り換えるといった手間を省くこともできる。

尚、前記加工状況監視装置は、前記位置関係認識手段によって認識された位置関係を基に、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラをカメラ選択候補として抽出する選択候補抽出手段を備え、前記カメラ選択手段は、前記選択候補抽出手段によって抽出されたカメラ選択候補の中から１つのカメラを選択，決定するとともに、前記カメラ選択候補の中から１つのカメラに決定する際には、今回のカメラ選択候補の中に、前回決定したカメラが含まれているか否かを確認して、含まれていると判断したときには、前回と同じカメラに決定するように構成されていても良い。

このようにすれば、まず、位置関係認識手段によって認識された位置関係を基に、選択候補抽出手段により、工具の先端が隠れない２次元画像データを生成可能なカメラがカメラ選択候補として抽出される。この抽出処理は、例えば、上述した、位置関係認識手段によって認識された位置関係を基に、カメラ選択手段によってカメラが選択される処理と同様にして行われる。

そして、カメラ選択候補が抽出されると、カメラ選択手段により、抽出されたカメラ選択候補の中から１つのカメラが選択，決定される。その際には、今回のカメラ選択候補の中に、前回決定したカメラが含まれているか否かが確認され、含まれていると判断されたときには、前回と同じカメラに決定される。

このように、前回と同じカメラを選択，決定するようにすれば、ワーク加工時におけるカメラ切換回数を少なくすることができる。これにより、工具及びワークを見る方向が頻繁に変わってどの方向から見ているのかが分かり難くなり、却って、加工状況を監視し難くなるのを防止することができる。

また、本発明は、
工具及びワークを相対移動させる加工動作機構部と、加工プログラムを解析して前記加工動作機構部の動作指令を抽出し、抽出した動作指令を基に前記加工動作機構部の作動を制御する制御手段とを備えた工作機械における加工状況を監視する装置であって、
少なくとも前記工具及びワークを互いに異なる視点から一定時間間隔で撮像してその２次元画像データを順次生成する複数のカメラと、
前記カメラによって生成された２次元画像データを表示する画面表示手段と、
前記加工プログラムによって実行される加工の種別と、前記複数のカメラの内、前記加工中に少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラとを関連付けて記憶するカメラ情報記憶手段と、
前記制御手段から得られる動作指令を基に前記加工の種別を認識する加工種別認識手段と、
前記加工種別認識手段によって認識された加工の種別と、前記カメラ情報記憶手段に格納されたデータとを基に、前記加工の種別に対応したカメラを、前記画面表示手段に表示させるべき２次元画像データを生成するカメラとして選択するカメラ選択手段と、
前記カメラ選択手段によって選択されたカメラにより生成される２次元画像データを前記画面表示手段に表示させるカメラ切換手段とを備えてなることを特徴とする加工状況監視装置に係る。

この発明では、制御手段により、加工プログラムが解析されて加工動作機構部の動作指令が抽出され、抽出された動作指令を基に加工動作機構部が制御されて工具及びワークが相対移動せしめられると、以下のようにして、画面表示手段に表示させるべき２次元画像データを生成するカメラが切り換えられながら画面表示手段に監視画像が表示される。尚、カメラ情報記憶手段には、加工プログラムによって実行される加工の種別（例えば、外周加工やポケット穴加工など）と、加工中にワークによって工具の先端が隠れない２次元画像データを生成可能な少なくとも１つのカメラとが関連付けられて予め格納されている。

まず、制御手段から得られる動作指令（例えば、固定サイクルを示すＧコード）を基に、加工種別認識手段により加工の種別が認識され、認識された加工の種別と、カメラ情報記憶手段に格納されたデータとを基に、カメラ選択手段により、加工の種別に対応したカメラが、画面表示手段に表示させるべき２次元画像データを生成するカメラとして選択される。

そして、選択されたカメラによって生成される２次元画像データが、カメラ切換手段によって画面表示手段に表示される。このようにして、カメラが切り換えられながら、カメラから得られる２次元画像データが画面表示手段に表示される。

斯くして、本発明に係る加工状況監視装置によっても、選択された少なくとも１つのカメラによって生成される、工具の先端が隠れない２次元画像データを画面表示手段に順次表示させることができるので、オペレータは、表示画像を通してワークの加工状況を十分に監視することができる。

尚、前記カメラ情報記憶手段は、前記工具の位置情報と、この位置情報に係る位置に前記工具が移動したときに、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラとが関連付けられたカメラ情報を前記加工の種別毎に記憶するように構成され、前記カメラ選択手段は、前記加工種別認識手段によって認識された加工の種別と、前記カメラ情報記憶手段に格納されたカメラ情報と、前記制御手段から得られる前記工具の位置情報とを基に、前記加工の種別及び工具の位置情報に対応したカメラを、前記画面表示手段に表示させるべき２次元画像データを生成するカメラとして予め設定された時間毎に選択するように構成されていても良い。

この場合、カメラ情報記憶手段には、工具位置情報と、この位置情報に係る位置に工具が移動したときに、ワークによって工具の先端が隠れない２次元画像データを生成可能なカメラとが関連付けられたカメラ情報が加工の種別毎に予め格納される。尚、工具位置情報と関連付けられるカメラとしては、工具の先端が隠れない２次元画像データを生成可能である他、例えば、工具が接近してくる画像や工具が離れていく画像を生成可能なカメラ、ワーク加工時におけるカメラ切換回数を少なくすることが可能なカメラを挙げることができる。

そして、カメラ選択手段によってカメラが選択される際には、加工種別認識手段によって認識された加工の種別と、カメラ情報記憶手段に格納されたカメラ情報と、制御手段から得られる工具位置情報とを基に、加工の種別及び工具位置情報に対応したカメラが、画面表示手段に表示させるべき２次元画像データを生成するカメラとして選択される。

したがって、このようにすれば、加工の種別及び工具位置情報を基に、予め設定したカメラに順次切り換えることができるので、より適切な画像を画面表示手段に表示させることができる。また、ワーク加工時におけるカメラ切換回数を少なくすることが可能なカメラをカメラ情報に設定しておけば、工具及びワークを見る方向が頻繁に変わってどの方向から見ているのかが分かり難くなり、却って、加工状況を監視し難くなるのを防止することができる。

尚、前記加工動作機構部としては、工作機械がマシニングセンタであるときには、例えば、工具を保持する主軸、ワークが載置されるテーブル、これら主軸及びテーブルを相対移動させる送り機構部などを挙げることができ、工作機械が旋盤であるときには、例えば、工具を保持する刃物台、ワークを保持する主軸、これら刃物台及び主軸を相対移動させる送り機構部などを挙げることができる。

以上のように、本発明に係る加工状況監視装置によれば、オペレータは、複数のカメラの中から選択されたカメラによって生成される、工具の先端がワークにより隠れていない画像を通してワークの加工状況を監視することができるので、ワークの加工状況を正確に把握することができる。また、不要な監視画像の表示を省略して、監視画像や工作機械の制御状態に係る画像が必要以上に小さくなるのを防止することができるので、オペレータの視認性を高めることができる。

本発明の一実施形態に係る加工状況監視装置などの概略構成を示したブロック図である。本実施形態の加工状況監視装置が設けられる工作機械の概略構成を示した斜視図である。工作機械に配設された複数のＣＣＤカメラの配置関係を示した平面図である。複数のＣＣＤカメラから得られる画像例を示した説明図である。工具の先端が隠れない２次元画像データを生成可能なＣＣＤカメラを判別するための処理を説明するための説明図である。本実施形態のカメラ選択部における一連の処理を示したフローチャートである。本実施形態のＣＣＤカメラ切換過程を示したフローチャートである。本発明の他の実施形態に係る加工状況監視装置などの概略構成を示したブロック図である。本発明の他の実施形態のカメラ情報記憶部に格納されるデータのデータ構成を示した説明図である。本発明の他の実施形態のＣＣＤカメラ切換過程を示したフローチャートである。

以下、本発明の具体的な実施形態について、添付図面に基づき説明する。尚、図１は、本発明の一実施形態に係る加工状況監視装置などの概略構成を示したブロック図であり、図２は、本実施形態の加工状況監視装置が設けられる工作機械の概略構成を示した斜視図である。また、図３は、工作機械に配設された複数のＣＣＤカメラの配置関係を示した平面図である。

図１に示すように、本例の加工状況監視装置１は、複数（本例では４つ）のＣＣＤカメラ１１，１２，１３，１４、カメラパラメータ記憶部１５、モデルデータ記憶部１６、モデルデータ更新部１７、位置関係認識部１８、選択候補抽出部１９、カメラ選択部２０、カメラ切換部２１及び画面表示装置６６を備え、例えば、図２に示すような、マシニングセンタと呼ばれる工作機械５０に設けられる。

ここで、まず、前記工作機械５０について説明する。この工作機械５０は、図１及び図２に示すように、ベッド５１と、ベッド５１に配設され、水平方向且つ前後方向（Ｙ軸方向）に移動自在となった第１サドル５２と、第１サドル５２に配設され、水平方向且つ左右方向（Ｘ軸方向）に移動自在となった第２サドル５３と、第２サドル５３に支持され、鉛直方向（Ｚ軸方向）に移動自在となった主軸頭５４と、軸線がＺ軸と平行且つ軸線中心に回転自在に主軸頭５４によって支持され、下端部に工具Ｔが装着される主軸５５と、ベッド５１に配設され、上面にワークＷが載置されるテーブル５６と、第１サドル５２，第２サドル５３及び主軸頭５４を各移動方向にそれぞれ移動させるＹ軸送り機構部５７，Ｘ軸送り機構部５８及びＺ軸送り機構部５９と、各送り機構部５７，５８，５９の作動を制御する制御装置６０と、制御装置６０に接続された操作盤６５とを備えている。

前記ベッド５１は、その左右両側及び奥側に側壁５１ａ，５１ｂ，５１ｃが設けられた構造を備えており、左右両側の側壁５１ａ，５１ｂの上部に前記第１サドル５２が配設され、奥側の側壁５１ｃに前記テーブル５６が配設されている。前記操作盤６５には、前記画面表示装置６６が設けられており、この画面表示装置６６には、制御装置６０による制御状態や、前記各ＣＣＤカメラ１１，１２，１３，１４から得られる画像が表示される。また、操作盤６５には、特に図示はしないが、各種信号を入力するための入力装置が設けられている。

前記制御装置６０は、予め作成された加工プログラムを記憶するプログラム記憶部６０ａを備え、このプログラム記憶部６０ａに格納された加工プログラムに基づいて各送り機構部５７，５８，５９を制御する。具体的には、加工プログラムをブロック毎に解析して、工具Ｔ（各送り機構部５７，５８，５９）の移動位置や送り速度に関する動作指令を順次抽出し、抽出した動作指令と、各送り機構部５７，５８，５９から得られるフィードバック信号とを基に各送り機構部５７，５８，５９を制御する。

また、この制御装置６０は、前記抽出した動作指令を前記モデルデータ更新部１７に送信する。更に、制御装置６０は、前記抽出した動作指令と、前記主軸５５に装着された工具Ｔの現在位置，現在速度及び移動方向とを基に、予め設定された時間経過後（例えば、数ミリ秒後）における工具Ｔの移動位置を予め設定された時間毎に予測し、予測した移動位置（工具Ｔの位置情報）を前記位置関係認識部１８に順次送信する。

尚、前記第１サドル５２，第２サドル５３，主軸頭５４，主軸５５，テーブル５６，Ｙ軸送り機構部５７，Ｘ軸送り機構部５８及びＺ軸送り機構部５９は、特許請求の範囲に言う加工動作機構部として機能する。

次に、前記加工状況監視装置１について説明する。この加工状況監視装置１は、上述のように、ＣＣＤカメラ１１，１２，１３，１４（第１ＣＣＤカメラ１１，第２ＣＣＤカメラ１２，第３ＣＣＤカメラ１３及び第４ＣＣＤカメラ１４）、カメラパラメータ記憶部１５、モデルデータ記憶部１６、モデルデータ更新部１７、位置関係認識部１８、選択候補抽出部１９、カメラ選択部２０、カメラ切換部２１及び画面表示装置６６を備えている。

図２及び図３に示すように、各ＣＣＤカメラ１１，１２，１３，１４は、テーブル５６上のワークＷを囲むように配置されており、このワークＷを四方から撮像可能に構成される。具体的には、前記第１ＣＣＤカメラ１１及び第２ＣＣＤカメラ１２は、前記ベッド５１の左側壁５１ａの前側上部及び後側上部にブラケット１１ａ，１２ａを介してそれぞれ取り付けられ、前記第３ＣＣＤカメラ１３及び第４ＣＣＤカメラ１４は、前記ベッド５１の右側壁５１ｂの前側上部及び後側上部にブラケット１３ａ，１４ａを介してそれぞれ取り付けられる。そして、これらのＣＣＤカメラ１１，１２，１３，１４は、主軸５５に装着された工具Ｔ及びテーブル５６上のワークＷを一定時間間隔で撮像して２次元画像データを順次生成し、生成した２次元画像データを前記カメラ切換部２１に出力する。

尚、このとき生成される画像例を図４に示す。図４（ａ）は、第１ＣＣＤカメラ１１によって、図４（ｂ）は、第２ＣＣＤカメラ１２によって、図４（ｃ）は、第３ＣＣＤカメラ１３によって、図４（ｄ）は、第４ＣＣＤカメラ１４によって生成された画像データをそれぞれ示している。また、これらの画像には、工具Ｔ及びワークＷの他、前記ベッド５１の一部、主軸頭５４の一部、主軸５５の一部、テーブル５６の一部も含まれている。

前記カメラパラメータ記憶部１５には、前記各ＣＣＤカメラ１１，１２，１３，１４に関する内部パラメータ及び外部パラメータがカメラパラメータとしてそれぞれ格納される。内部パラメータは、各ＣＣＤカメラ１１，１２，１３，１４に固有のものであり、例えば、主点座標、スケール因子、画像の２軸間の歪みなどが挙げられる。一方、外部パラメータは、工作機械５０の座標系における各ＣＣＤカメラ１１，１２，１３，１４の配置位置及び姿勢を表す。尚、これらのパラメータは、キャリブレーション処理により予め算出される。

前記モデルデータ記憶部１６には、予め作成された、工作機械５０全体の３次元モデルに関するデータ（モデルデータ）が格納される。この工作機械５０全体のモデルデータは、前記ベッド５１，第１サドル５２，第２サドル５３，主軸頭５４，主軸５５及びテーブル５６といった工作機械５０の主要な構成要素のモデルデータと、前記主軸５５に装着される工具Ｔのモデルデータと、前記テーブル５６上に載置されるワークＷのモデルデータとを含み、前記各構成要素，工具Ｔ及びワークＷの各モデルデータがそれぞれ相互に関連付けられて構成される。

前記モデルデータ更新部１７は、前記モデルデータ記憶部１６に格納された工作機械５０全体のモデルデータと、前記制御装置６０から送信された動作指令とを基に、第１サドル５２，第２サドル５３及び主軸頭５４が動作指令に従って移動した状態となるように工作機械５０全体のモデルデータをブロック毎に生成し、生成したモデルデータをモデルデータ記憶部１６に格納して、このモデルデータ記憶部１６内のモデルデータを更新する。尚、第１サドル５２，第２サドル５３及び主軸頭５４を移動させたときに、工具ＴのモデルデータとワークＷのモデルデータとの間で重なり合う部分がある場合には、その重なり合う部分を切削領域として算出し、この切削領域がワークＷから削除されるようにワークＷのモデルデータを生成して工作機械５０全体のモデルデータを更新する。

前記位置関係認識部１８は、前記カメラパラメータ記憶部１５に格納されたカメラパラメータと、前記制御装置６０から送信された工具Ｔの位置情報と、前記主軸５５に装着された工具Ｔに関する情報（例えば、工具径や工具長さといった工具情報）と、前記モデルデータ更新部１７によって更新されたモデルデータとを基に、各ＣＣＤカメラ１１，１２，１３，１４、工具Ｔ及びワークＷの位置関係を予め設定された時間毎に認識する。

例えば、各ＣＣＤカメラ１１，１２，１３，１４について、前記カメラパラメータから、ＣＣＤカメラ１１，１２，１３，１４の撮像面と光軸との交点やＣＣＤカメラ１１，１２，１３，１４のレンズの中心点を認識し、前記工具Ｔの位置情報及び工具情報から、現在（工具移動前）における工具Ｔの先端位置と、予め設定された時間経過後（工具移動後）における工具Ｔの先端位置とを認識し、前記モデルデータから、ワークＷの配置位置とワークＷの形状とを認識する。

前記選択候補抽出部１９は、前記位置関係認識部１８によって認識された位置関係を基に、各ＣＣＤカメラ１１，１２，１３，１４の中から、ワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４をカメラ選択候補として抽出する。

例えば、図５に示すように、まず、各ＣＣＤカメラ１１，１２，１３，１４について、ＣＣＤカメラ１１，１２，１３，１４の撮像面と光軸との交点ＫやＣＣＤカメラ１１，１２，１３，１４のレンズの中心点Ｋと、工具移動前後における工具Ｔの先端位置Ｌ，Ｍ（移動前の先端位置Ｌ，移動後の先端位置Ｍ）との３点を結んで３角形状の平面Ｐをそれぞれ形成し、これらの平面ＰとワークＷの形状との間に交差部があるか否かをそれぞれ確認する。そして、交差部があると判断したＣＣＤカメラ１１，１２，１３，１４については、工具Ｔの先端が隠れない２次元画像データを生成可能ではないと認識する一方、交差部がないと判断したＣＣＤカメラ１１，１２，１３，１４については、工具Ｔの先端が隠れない２次元画像データを生成可能であると認識する。この後、交差部がないと判断したＣＣＤカメラ１１，１２，１３，１４をカメラ選択候補として認識，抽出する。このとき、交差部がないと判断したＣＣＤカメラ１１，１２，１３，１４が存在しない場合には、予め設定されたＣＣＤカメラ１１，１２，１３，１４をカメラ選択候補として認識，抽出する。

尚、図５（ａ）は、第１ＣＣＤカメラ１１が、工具Ｔの先端が隠れない２次元画像データを生成可能なものであるか否かを確認するための処理を説明するための説明図であり、図５（ｂ）は、第２ＣＣＤカメラ１２が、工具Ｔの先端が隠れない２次元画像データを生成可能なものであるか否かを確認するための処理を説明するための説明図である。この図示例において、第１ＣＣＤカメラ１１は、前記平面ＰとワークＷとが交差しており、工具Ｔの先端が隠れない２次元画像データを生成可能なものではなく、一方、第２ＣＣＤカメラ１２は、前記平面ＰとワークＷとが交差しておらず、工具Ｔの先端が隠れない２次元画像データを生成可能なものである。

前記カメラ選択部２０は、図６に示すような一連の処理を実行して、前記選択カメラ抽出部１９により抽出されたカメラ選択候補を基に、カメラ選択候補の中から１つのＣＣＤカメラ１１，１２，１３，１４を選択，決定する。

即ち、カメラ選択部２０は、まず、選択カメラ抽出部１９によって抽出されたカメラ選択候補を受信してこれを認識し（ステップＳ１）、ついで、前回決定したＣＣＤカメラ１１，１２，１３，１４を認識する（ステップＳ２）。

そして、ステップＳ１で認識したカメラ選択候補の中に、ステップＳ２で認識したＣＣＤカメラ１１，１２，１３，１４が含まれているか否かを確認し（ステップＳ３）、含まれていると判断したときには、ステップＳ２で認識したＣＣＤカメラ１１，１２，１３，１４に決定する（ステップＳ４）。例えば、ステップＳ１で認識したカメラ選択候補がＡ，Ｂ，Ｃであり、前回決定したカメラがＡであるとすれば、共通するＡに決定される。

一方、ステップＳ３で含まれていないと判断したときには、ステップＳ１で認識したカメラ選択候補の中から１つのＣＣＤカメラ１１，１２，１３，１４を選択，決定する（ステップＳ５）。このようにして、１つのＣＣＤカメラ１１，１２，１３，１４を決定すると、上記一連の処理を終了する。

前記カメラ切換部２１は、前記カメラ選択部２０によって選択，決定されたＣＣＤカメラ１１，１２，１３，１４により生成される２次元画像データを前記画面表示装置６６に表示させる。

以上のように構成された本例の加工状況監視装置１によれば、制御装置６０によって加工プログラムが実行されると、即ち、制御装置６０により加工プログラムがブロック毎に順次解析されて動作指令が抽出され、抽出された動作指令を基に各送り機構部５７，５８，５９が制御されて工具Ｔ及びワークＷが相対移動せしめられると、以下のようにして、画面表示装置６６に表示させるべき２次元画像データを生成するＣＣＤカメラ１１，１２，１３，１４が予め設定された時間毎に切り換えられながら（画面表示装置６６に表示される２次元画像データが切り換えられながら）、画面表示装置６６に監視画像が表示される。

具体的には、図７に示すように、まず、制御装置６０から送信された動作指令がモデルデータ更新部１７により受信され（ステップＳ１１）、モデルデータ更新部１７によりモデルデータが更新されるとともに（ステップＳ１２）、制御装置６０から送信された工具Ｔの位置情報が位置関係認識部１８により受信され（ステップＳ１３）、位置関係認識部１８により各ＣＣＤカメラ１１，１２，１３，１４、工具Ｔ及びワークＷの位置関係が認識される（ステップＳ１４）。

ついで、選択候補抽出部１９によりカメラ選択候補が抽出され（ステップＳ１５）、カメラ選択部２０により１つのＣＣＤカメラ１１，１２，１３，１４が選択，決定される（ステップＳ１６）。そして、決定されたＣＣＤカメラ１１，１２，１３，１４により生成される２次元画像データがカメラ切換部２１によって画面表示装置６６に表示される（ステップＳ１７）。

この後、加工プログラムが終了したか否かが確認され（ステップＳ１８）、終了していない場合には、制御装置６０から送信された工具Ｔの新たな位置情報が位置関係認識部１８によって受信されたか否かが確認され（ステップＳ１９）、受信された場合には上記ステップＳ１４以降の処理が実行される。一方、ステップＳ１９で受信されていない場合には、制御装置６０から送信された新たな動作指令がモデルデータ更新部１７によって受信されたか否かが確認され（ステップＳ２０）、受信された場合には上記ステップＳ１２以降の処理が実行される。尚、ステップＳ２０で受信されていない場合には、上記ステップＳ１９以降の処理が実行される。また、前記ステップＳ１８で加工プログラムが終了した場合には上記一連の処理が終了する。

このように、本例の加工状況監視装置１によれば、選択されたＣＣＤカメラ１１，１２，１３，１４によって生成される、工具Ｔの先端が隠れない２次元画像データを画面表示装置６６に順次表示させているので、オペレータは、表示画像を通してワークＷの加工状況を十分に監視することができる。

また、工具Ｔの先端が隠れない２次元画像データを表示させているので、加工状況の監視にさほど役立たない画像の表示を省略することができ、更に、一律にすべての画像を表示させていた従来に比べ、表示画像が小さくなることもなく、オペレータは、表示画像を通して加工状況を細部まで確認することができる。また、画面表示装置６６に工作機械５０の制御状態とＣＣＤカメラ１１，１２，１３，１４から得られる画像とを同時に表示させても、この制御状態の表示領域が必要以上に狭くなることはなく、オペレータは、工作機械５０の制御状態も十分に確認することができる。また、画面表示装置６６に表示される画像が自動的に切り換えられるので、オペレータが１つの画像を選択して所望の画像に切り換えるといった手間を省くこともできる。

また、カメラ選択候補を抽出する際に、３点を結んで形成される３角形状の平面Ｐと、ワークＷとの間に交差部があるか否かを確認して、どのＣＣＤカメラ１１，１２，１３，１４が、工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４であるかを判断しているので、比較的簡単な処理で、工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４を判別することができる。

更に、ＣＣＤカメラ１１，１２，１３，１４を切り換える際に、前回と同じＣＣＤカメラ１１，１２，１３，１４を選択，決定しているので、ワークＷの加工時におけるカメラ切換回数を少なくすることができる。これにより、工具Ｔ及びワークＷを見る方向が頻繁に変わってどの方向から見ているのかが分かり難くなり、却って、加工状況を監視し難くなるのを防止することができる。

以上、本発明の一実施形態について説明したが、本発明の採り得る具体的な態様は、何らこれに限定されるものではない。

例えば、前記加工状況監視装置１は、図８に示すような加工状況監視装置２として構成されていても良い。この場合、加工状況監視装置２は、同図８に示すように、複数のＣＣＤカメラ１１，１２，１３，１４、カメラ情報記憶部３１、加工種別認識部３２、カメラ選択部３３、カメラ切換部２１及び画面表示装置６６を備えている。尚、前記加工状況監視装置１と同じ構成部分については、同一の符号を付してその詳しい説明を省略する。

前記カメラ情報記憶部３１には、加工プログラムによって実行される、例えば、外周加工やポケット穴加工といった加工の種別毎にカメラ情報が格納される。このカメラ情報は、図９に示すように、工具Ｔの位置情報と、この位置情報に係る位置に工具Ｔが移動したときに、各ＣＣＤカメラ１１，１２，１３，１４の内、ワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能な１つのＣＣＤカメラ１１，１２，１３，１４に関する情報とが相互に関連付けられたものである。

尚、工具位置情報と関連付けられるＣＣＤカメラ１１，１２，１３，１４としては、工具Ｔの先端が隠れない２次元画像データを生成可能である他、例えば、工具Ｔが接近してくる画像を生成可能なＣＣＤカメラ１１，１２，１３，１４や、工具Ｔが離れていく画像を生成可能なＣＣＤカメラ１１，１２，１３，１４が挙げられる。例えば、工具Ｔが図４のように移動する場合に、工具Ｔが接近してくる画像を生成可能なＣＣＤカメラ１１，１２，１３，１４としては第２ＣＣＤカメラ１２が挙げられ、一方、工具Ｔが離れていく画像を生成可能なＣＣＤカメラ１１，１２，１３，１４としては第４ＣＣＤカメラ１４が挙げられる。

前記加工種別認識部３２は、前記制御装置６０から送信された動作指令（例えば、固定サイクルを示すＧコード）を基に、加工プログラムによって実行される加工の種別を認識する。

前記カメラ選択部３３は、前記加工種別認識部３２によって認識された加工の種別と、前記カメラ情報記憶部３１に格納されたカメラ情報と、前記制御装置６０から送信された工具Ｔの位置情報とを基に、加工の種別及び工具Ｔの位置情報に対応したＣＣＤカメラ１１，１２，１３，１４を、画面表示装置６６に表示させるべき２次元画像データを生成するＣＣＤカメラ１１，１２，１３，１４として予め設定された時間毎に選択，決定する。

そして、この加工状況監視装置２によれば、制御装置６０によって加工プログラムが実行されると、以下のようにして、画面表示装置６６に表示させるべき２次元画像データを生成するＣＣＤカメラ１１，１２，１３，１４が予め設定された時間毎に切り換えられながら、画面表示装置６６に監視画像が表示される。

具体的には、図１０に示すように、まず、制御装置６０から送信された動作指令が加工種別認識部３２により受信され（ステップＳ３１）、当該加工種別認識部３２により加工種別が認識された後（ステップＳ３２）、制御装置６０から送信された工具Ｔの位置情報がカメラ選択部３３により受信され（ステップＳ３３）、カメラ情報記憶部３１に格納されたカメラ情報が当該カメラ選択部３３により認識される（ステップＳ３４）。

次に、カメラ選択部３３により１つのＣＣＤカメラ１１，１２，１３，１４が選択，決定され（ステップＳ３５）、決定されたＣＣＤカメラ１１，１２，１３，１４により生成される２次元画像データがカメラ切換部２１によって画面表示装置６６に表示される（ステップＳ３６）。

この後、加工プログラムが終了したか否かが確認され（ステップＳ３７）、終了していない場合には、制御装置６０から送信された工具Ｔの新たな位置情報がカメラ選択部３３によって受信されたか否かが確認され（ステップＳ３８）、受信された場合には上記ステップＳ３４以降の処理が実行される。一方、ステップＳ３８で受信されていない場合には、制御装置６０から送信された新たな動作指令が加工種別認識部３２によって受信されたか否かが確認され（ステップＳ３９）、受信された場合には上記ステップＳ３２以降の処理が実行される。尚、ステップＳ３９で受信されていない場合には、上記ステップＳ３８以降の処理が実行される。また、前記ステップＳ３７で加工プログラムが終了した場合には上記一連の処理が終了する。

このように、この加工状況監視装置２によれば、選択されたＣＣＤカメラ１１，１２，１３，１４によって生成される、工具Ｔの先端が隠れない２次元画像データを画面表示装置６６に順次表示させることができるので、オペレータは、表示画像を通してワークＷの加工状況を十分に監視することができるなど、前記加工状況監視装置１と同様の効果を得ることができる。

また、加工の種別，カメラ情報及び工具Ｔの位置情報を基に、予め設定したＣＣＤカメラ１１，１２，１３，１４に順次切り換えることができるので、より適切な画像を画面表示装置６６に表示させることができる。更に、ワークＷの加工時におけるカメラ切換回数を少なくすることが可能なＣＣＤカメラ１１，１２，１３，１４をカメラ情報に設定しておけば、工具Ｔ及びワークＷを見る方向が頻繁に変わってどの方向から見ているのかが分かり難くなり、却って、加工状況を監視し難くなるのを防止することができる。

また、上例では、カメラ情報が加工の種別毎にカメラ情報記憶部３１に格納されていたが、このカメラ情報記憶部３１には、単に、加工の種別と、各ＣＣＤカメラ１１，１２，１３，１４の内、ワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能な１つのＣＣＤカメラ１１，１２，１３，１４とを相互に関連付けて格納しても良い。この場合、カメラ選択部３３は、加工種別認識部３２によって認識された加工の種別と、カメラ情報記憶部３１に格納されたデータとを基に、加工の種別に対応したＣＣＤカメラ１１，１２，１３，１４を、画面表示装置６６に表示させるべき２次元画像データを生成するＣＣＤカメラ１１，１２，１３，１４として選択，決定する。

また、前記制御装置６０が、前記モデルデータ更新部１７に、動作指令ではなく、工具Ｔの位置情報を送信するように構成されている場合、このモデルデータ更新部１７は、前記モデルデータ記憶部１６に格納された工作機械５０全体のモデルデータと、前記制御装置６０から送信された工具Ｔの位置情報とを基に、第１サドル５２，第２サドル５３及び主軸頭５４（工具Ｔ）が前記位置情報に係る位置に移動した状態となるように工作機械５０全体のモデルデータを更新するように構成され、前記位置関係認識部１８は、モデルデータ記憶部１６に格納された工作機械５０全体のモデルデータから、ワークＷの配置位置と、現在若しくは予め設定された時間経過後（工具移動前若しくは工具移動後）におけるワークＷの形状とを認識して、各ＣＣＤカメラ１１，１２，１３，１４、工具Ｔ及びワークＷの位置関係を認識するように構成される。

また、上例では、前記選択候補抽出部１９が工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４をカメラ選択候補として抽出する際に、各ＣＣＤカメラ１１，１２，１３，１４の撮像面と光軸との交点ＫやＣＣＤカメラ１１，１２，１３，１４のレンズの中心点Ｋと、工具移動前後における工具Ｔの先端位置Ｌ，Ｍとの３点を結んで３角形状の平面Ｐをそれぞれ形成し、これらの平面ＰとワークＷの形状との間に交差部があるか否かをそれぞれ確認するようにしたが、これに限られるものではなく、各ＣＣＤカメラ１１，１２，１３，１４の撮像面と光軸との交点ＫやＣＣＤカメラ１１，１２，１３，１４のレンズの中心点Ｋと、工具移動後における工具Ｔの先端位置Ｍとの２点を結んだ直線と、ワークＷの形状との間に交差部があるか否かをそれぞれ確認するようにしても良い。

更に、前記選択候補抽出部１９によって、工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４が存在しないと判断された場合や、クーラントが吐出されているような場合には、画面表示装置６６には、シミュレーション画像を表示させるようにしても良い。尚、クーラント吐出量が少量で工具Ｔの先端を視認可能なときには、シミュレーション画像とせずに、ＣＣＤカメラ１１，１２，１３，１４から得られる２次元画像データを表示させても良い。

また、前記選択候補抽出部１９は、カメラ選択候補を抽出する際に、まず、ワークＷが工具Ｔによって加工される領域や、ワークＷに対して工具Ｔが存在する空間を認識した後、認識した領域や空間に近い位置に配置されたＣＣＤカメラ１１，１２，１３，１４を認識し、この認識したＣＣＤカメラ１１，１２，１３，１４についてのみ、そのＣＣＤカメラ１１，１２，１３，１４が、工具Ｔの先端が隠れない２次元画像データを生成可能であるか否かを判断するようにしても良い。このようにすれば、処理の簡略化を図ることができる。

また、前記選択候補抽出部１９を省略して、前記カメラ選択部２０が、各ＣＣＤカメラ１１，１２，１３，１４の中から、ワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４を選択，決定するように構成されていても良い。

更に、ワークＷをテーブル５６に取り付けるに当たっては、通常、取付具が使用されるため、前記選択候補抽出部１９が、この取付具及びワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４をカメラ選択候補として抽出したり、前記カメラ選択部２０が、この取付具及びワークＷによって工具Ｔの先端が隠れない２次元画像データを生成可能なＣＣＤカメラ１１，１２，１３，１４を選択，決定するように構成されていても良い。

また、前記カメラ切換部２１は、ＣＣＤカメラ１１，１２，１３，１４によって生成された２次元画像データを前記画面表示装置６６に表示させるに当たり、すべてのＣＣＤカメラ１１，１２，１３，１４によって生成された２次元画像データを画面表示装置６６に表示させるとともに、前記カメラ選択部２０，３３によって選択，決定されたＣＣＤカメラ１１，１２，１３，１４により生成される２次元画像データについては、画面表示装置６６の表示画面に大きく表示させ（メイン表示）、それ以外のＣＣＤカメラ１１，１２，１３，１４によって生成された２次元画像データについては、画面表示装置６６の表示画面の隅部に小さく表示させたり、前記メイン表示の背景画像として表示させるように構成されていても良い。

また、前記加工状況監視装置１が設けられる工作機械５０は、何ら限定されるものではなく、どのような工作機械５０であっても良い。例えば、上例のようなマシニングセンタではなく、旋盤などに設けるようにしても良い。

また、前記制御装置６０は、前記抽出した動作指令を基に工具Ｔの現在位置を算出し、算出した移動位置（工具Ｔの位置情報）を前記位置関係認識部１８やカメラ選択部３３に送信するように構成されていても良い。

１加工状況監視装置
１１，１２，１３，１４ＣＣＤカメラ
１５カメラパラメータ記憶部
１６モデルデータ記憶部
１７モデルデータ更新部
１８位置関係認識部
１９選択候補抽出部
２０カメラ選択部
２１カメラ切換部
６０制御装置
６６画面表示装置

Claims

工具及びワークを相対移動させる加工動作機構部と、加工プログラムを解析して前記加工動作機構部の動作指令を抽出し、抽出した動作指令を基に前記加工動作機構部の作動を制御する制御手段とを備えた工作機械における加工状況を監視する装置であって、
少なくとも前記工具及びワークを互いに異なる視点から一定時間間隔で撮像してその２次元画像データを順次生成する複数のカメラと、
前記カメラによって生成された２次元画像データを表示する画面表示手段と、
前記複数のカメラについて、その配置位置及び姿勢を示すカメラパラメータをそれぞれ記憶するカメラパラメータ記憶手段と、
前記制御手段から得られる動作指令と、前記工具，ワーク及び加工動作機構部の３次元モデルに関するデータとを基に、前記加工動作機構部が前記動作指令に従って動作したときの前記工具，ワーク及び加工動作機構部のモデルデータを生成して更新するモデルデータ更新手段と、
前記カメラパラメータ記憶手段に格納されたカメラパラメータと、前記モデルデータ更新手段によって更新されたモデルデータと、前記制御手段から得られる前記工具の位置情報とを基に、前記複数のカメラ，工具及び少なくともワークの位置関係を予め設定された時間毎に認識する位置関係認識手段と、
前記位置関係認識手段によって認識された位置関係を基に、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラを選択するカメラ選択手段と、
前記カメラ選択手段によって選択されたカメラにより生成される２次元画像データを前記画面表示手段に表示させるカメラ切換手段とを備えてなることを特徴とする加工状況監視装置。
前記位置関係認識手段によって認識された位置関係を基に、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラをカメラ選択候補として抽出する選択候補抽出手段を備え、
前記カメラ選択手段は、前記選択候補抽出手段によって抽出されたカメラ選択候補の中から１つのカメラを選択，決定するとともに、前記カメラ選択候補の中から１つのカメラに決定する際には、今回のカメラ選択候補の中に、前回決定したカメラが含まれているか否かを確認して、含まれていると判断したときには、前回と同じカメラに決定するように構成されてなることを特徴とする請求項１記載の加工状況監視装置。
工具及びワークを相対移動させる加工動作機構部と、加工プログラムを解析して前記加工動作機構部の動作指令を抽出し、抽出した動作指令を基に前記加工動作機構部の作動を制御する制御手段とを備えた工作機械における加工状況を監視する装置であって、
少なくとも前記工具及びワークを互いに異なる視点から一定時間間隔で撮像してその２次元画像データを順次生成する複数のカメラと、
前記カメラによって生成された２次元画像データを表示する画面表示手段と、
前記加工プログラムによって実行される加工の種別と、前記複数のカメラの内、前記加工中に少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラとを関連付けて記憶するカメラ情報記憶手段と、
前記制御手段から得られる動作指令を基に前記加工の種別を認識する加工種別認識手段と、
前記加工種別認識手段によって認識された加工の種別と、前記カメラ情報記憶手段に格納されたデータとを基に、前記加工の種別に対応したカメラを、前記画面表示手段に表示させるべき２次元画像データを生成するカメラとして選択するカメラ選択手段と、
前記カメラ選択手段によって選択されたカメラにより生成される２次元画像データを前記画面表示手段に表示させるカメラ切換手段とを備えてなることを特徴とする加工状況監視装置。
前記カメラ情報記憶手段は、前記工具の位置情報と、この位置情報に係る位置に前記工具が移動したときに、前記複数のカメラの内、少なくとも前記ワークによって前記工具の先端が隠れない２次元画像データを生成可能なカメラとが関連付けられたカメラ情報を前記加工の種別毎に記憶するように構成され、
前記カメラ選択手段は、前記加工種別認識手段によって認識された加工の種別と、前記カメラ情報記憶手段に格納されたカメラ情報と、前記制御手段から得られる前記工具の位置情報とを基に、前記加工の種別及び工具の位置情報に対応したカメラを、前記画面表示手段に表示させるべき２次元画像データを生成するカメラとして予め設定された時間毎に選択するように構成されてなることを特徴とする請求項３記載の加工状況監視装置。