WO2013094366A1

WO2013094366A1 - 産業機械システムおよび産業機械システム用情報処理機器

Info

Publication number: WO2013094366A1
Application number: PCT/JP2012/080428
Authority: WO
Inventors: 見田明彦
Original assignee: 村田機械株式会社
Priority date: 2011-12-22
Filing date: 2012-11-26
Publication date: 2013-06-27
Also published as: JPWO2013094366A1

Abstract

　産業機械システムは、１台または複数台の産業機械（１）と可搬の情報処理機器（２）とでなる。情報処理機器（２）は、撮影手段（３）、表示手段（４）、および情報処理手段（５）を有する。情報処理手段（５）は、撮影した画像から、どの産業機械であるかの個体特定、および産業機械（１）におけるどの部分であるかの部分特定を行う対象物決定手段（１１）を有する。また、この決定された対象物に応じて表示させる付加画像（Ｇａ）を決定する表示内容決定手段（１２）を設ける。この付加画像（Ｇａ）を、撮影手段（３）で撮影された画像と合成して表示する。

Description

産業機械システムおよび産業機械システム用情報処理機器

関連出願

　この出願は、２０１１年１２月２２日出願の特願２０１１－２８０７１７の優先権を主張するものであり、その全体を参照により本願の一部をなすものとして引用する。

　この発明は、撮影した画像に特定の文字，記号，絵図等の画像を重ね合わせる現実拡張の技術を用いた工作機械システム，その他の産業機械システムおよび産業機械システム用情報処理機器に関する。

　従来、工作機械や物流機械等の産業機械において、操作盤の画面等にアイコン等のＧＵＩ（グラフィカル・ユーザ・インタフェース）が用いられているが、使用者が目的とする操作や情報に行き着くためには、使用者が知識や取扱説明書等を用い、操作，情報の選択・取捨などを行い、目的とした操作に到達する手法が採られている。工作機械の操作盤の画面に、その工作機械のワークや工具を撮影した画像に、数値制御装置からの情報を重ねて表示させるものも提案されているが（例えば特許文献１）、その重なり表示した画面を映し出すに至るまでには、上記のように、使用者が知識や取扱説明書等を用いて操作することになる。

特開２００５－１９０１０２号公報

　このため、使用者が目的の操作，情報に行き着くためには、ＧＵＩアプリケーショにおいて、その仕様、操作、内容を熟知していなければ、目的とする操作や、情報の閲覧が行えないという問題点がある。例えば、工作機械において、その機械の生産個数やサイクルタイムを知りたい場合は、その工作機械の操作盤を操作して操作盤の画面上に表示させることができるが、その操作には、種々の知識が必要である。多数の機種の工作機械の現在の状況や、その工作機械の特定部分の現在の状況の情報を求めたり、機械操作を行おうとしたりした場合、その機種毎の工作機械についての操作を知っておくか、取扱説明書等を読むなどしなければ、目的とする情報の閲覧や操作に至らない。

　この発明の目的は、産業機械を可搬の情報処理機器が有する撮影手段で写すことで、その産業機械に関する情報が画面上で得られ、産業機械の操作盤の画面操作を知らなくても、使用者が目的の情報を直観的に容易に得ることができる産業機械システム、およびその情報処理機器を提供することである。

　この発明の産業機械システムを実施形態に用いた符号を付して説明する。この発明の産業機械システムは、１台または複数台の産業機械（１）と可搬の情報処理機器（２）とでなり、前記情報処理機器（２）は、撮影手段（３）と、画像の表示手段（４）と、情報処理手段（５）とを有する。
　前記情報処理手段（５）は、前記撮影手段（３）で撮影した画像から、この画像で示される対象物がどの産業機械（１）であるかの個体特定、および産業機械（１）におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段（１１）と、
　この対象物決定手段（１１）で決定された対象物に応じて前記表示手段（４）に表示させる付加画像（Ｇａ）を決定する表示内容決定手段（１２）と、
　この表示内容決定手段（１２）で決定された付加画像（Ｇａ）を、前記撮影手段（３）で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段（１３）とを有する。

　なお、この明細書で「産業機械」とは、各種の産業において、物の生産、加工、処理、運搬を行う装置の総称であり、工作機械、運搬機械、物流機械、繊維機械等を含む。前記情報処理機器（２）は、例えば、いわゆるスマートフォン等の通信機能を備えた携帯型の端末機器であっても、また工場内等の限られた範囲で持ち運びができるものであっても良い。また、前記情報処理機器（２）は、撮影手段（３）と情報処理手段（５）とが別体であって、これらが互いに通信可能に接続されるものであっても良い。上記の「個体特定」は、産業機械（１）を１台毎に識別して特定することを言う。

　この構成の産業機械システムによると、情報処理機器（２）の前記撮影手段（３）で産業機械（１）を撮影すると、情報処理手段（５）の前記対象物決定手段（１１）は、撮影された画像から被写体である対象物がどの産業機械（１）であるかの個体特定、および産業機械（１）におけるどの部分であるかの部分特定の両方またはいずれか一方を行う。表示内容決定手段（１２）は、この決定された対象物に応じて前記表示手段（４）に表示させる表示内容となる付加画像（Ｇａ）を決定する。画像合成手段（１３）は、この決定された表示内容となる付加画像（Ｇａ）を前記撮影手段（３）で撮影された画像と合成して表示する。各付加画像（Ｇａ）の表示内容は、情報処理機器（２）が有する内部情報であっても、情報処理機器（２）が産業機械や外部サーバ等の機器外部と通信して得た情報であっても良い。

　このように、被写体の個体特定等を行って、表示させる付加画像（Ｇａ）を定め、産業機械（１）の撮影された画像に重ねて表示する。そのため、情報処理機器（２）の使用者は、産業機械（１）の操作盤の画面操作を知らなくても、産業機械についての目的の情報を直観的に容易に得ることができる。

　この発明において、前記表示内容決定手段（１２）は、前記付加画像（Ｇａ）として、前記対象物決定手段（１１）で決定された対象物を操作するための操作用画面部（Ｇａｏ）の画像を含み、前記情報処理機器（２）は前記操作用画面部（Ｇａｏ）が指定されることで対象物操作の入力がなされたと認識し、その入力に応じた操作指令を前記産業機械（１）に送信する画面上機械操作入力手段（１４）を有し、前記産業機械（１）は、前記画面上機械操作入力手段（１４）から送信された操作指令に応答してその産業機械（１）の制御を行う遠隔制御手段（１９）を有するようにしても良い。この構成の場合、産業機械（１）を撮影した画面上に重ねて表示された操作用画面部（Ｇａｏ）で、産業機械（１）を実際に操作することができる。そのため、産業機械（１）の操作盤の操作を知らなくても容易に希望の操作が行える。

　この発明において、前記情報処理機器（２）は前記産業機械（１）と通信する通信手段（４）を有し、前記表示内容決定手段（１２）は、前記付加画像（Ｇａ）として表示する情報を前記通信手段（４）によって前記産業機械（１）から取得する機能を有するようにしても良い。このように情報処理機器（２）の通信手段（４）で産業機械と通信し、情報を取得するようにした場合は、産業機械（１）の持つ現在の情報、例えばその産業機械（１）の生産個数、サイクルタイム、負荷状態等を画面上に重ねて表示することができる。そのため、産業機械が現在持つ情報を、産業機械（１）の操作盤の画面操作を知らなくても直観的に容易に得ることができる。

　このように通信手段（４）を設けた場合に、前記表示内容決定手段（１２）は、前記産業機械（１）からアラーム情報が送信されたときに、前記付加画像（Ｇａ）として、アラーム表示画像（Ｇａａ）を含ませるようにしても良い。これにより、産業機械（１）のアラーム情報を、その産業機械（１）の操作盤を操作することなく、前記情報処理機器（２）の画面で容易に知ることができる。

　この発明において、前記産業機械（１）が工作機械であって、前記表示内容決定手段（１２）は、前記付加画像（Ｇａ）として前記工作機械の工具の状態を示す画像である工具状態表示画像（Ｇａｔ）を含むようにしても良い。この構成の場合、産業機械（１）の工具の情報、例えば工具の残寿命や工具交換要否の情報等が、産業機械（１）の操作盤とは別の前記情報処理機器（２）の画面で容易に知ることができる。

　この発明において、前記産業機械（１）が工作機械であって、前記表示内容決定手段（１２）は、前記対象物決定手段（１１）によって前記工作機械の全体が前記対象物とされた場合は、前記工作機械から出力された生産個数およびサイクルタイムのいずれか一方または両方を示す画像を前記付加画像（Ｇａ）として含め、前記工作機械の一部が前記対象物とされた場合は、対象物を制御するための入力を可能とする操作用画面部（Ｇａｏ）、または対象物の状態の情報を前記付加画像（Ｇａ）として含めるようにしても良い。このように、産業機械（１）である工作物の全体を撮影したときは、その産業機械（１）の稼働状況である工作物の生産個数やサイクルタイムが撮影画像に重ねて表示され、工作物の一部、例えば刃物台を撮影した場合は、その一部に関する操作用画面部（Ｇａｏ）や状態の情報が撮影画面に重ねて表示される。そのため、使用者は、工作物の撮影する範囲や部分を変えることで、希望の情報を知ることができる。

　この発明の産業機械システム用情報処理機器（２）は、この発明の産業機械システムに用いられて産業機械（１）を撮影する撮影手段（３）を有する可搬の情報処理機器（２）であって、前記撮影手段（３）と、画像の表示手段（４）と、情報処理手段（５）とを有する。
　前記情報処理手段（５）は、前記撮影手段（３）で撮影した画像から、この画像で示される対象物がどの産業機械（１）であるかの個体特定、および産業機械（１）におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段（１１）と、
　この対象物決定手段（１１）で決定された対象物に応じて前記表示手段（４）に表示させる付加画像（Ｇａ）を決定する表示内容決定手段（１２）と、
　この表示内容決定手段（１２）で決定された付加画像（Ｇａ）を前記撮影手段（３）で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段（１３）とを有する。

　このため、この発明の産業機械システムにつき前述したと同様に、産業機械（１）をこの情報処理機器（２）の有する撮影手段（３）で写すことで、その産業機械（１）に関する情報が画面上で得られ、産業機械（１）の操作盤の画面操作を知らなくても、使用者が目的の情報を直観的に容易に得ることができる。

　請求の範囲および／または明細書および／または図面に開示された少なくとも２つの構成のどのような組合せも、本発明に含まれる。特に、請求の範囲の各請求項の２つ以上のどのような組合せも、本発明に含まれる。

　この発明は、添付の図面を参考にした以下の好適な実施形態の説明からより明瞭に理解されるであろう。しかしながら、実施形態および図面は単なる図示および説明のためのものであり、この発明の範囲を定めるために利用されるべきものではない。この発明の範囲は添付の請求の範囲によって定まる。添付図面において、複数の図面における同一の部品番号は、同一または相当部分を示す。
この発明の一実施形態に係る産業機械システムの概念構成を示すブロック図である。同産業機械システムの情報処理機器における画面例の説明図である。同産業機械システムの処理手順，処理内容の説明図である。同産業機械システム情報処理機器による対象物の認識と付加表示の説明図である。同産業機械システムのマーク併用の場合の概念構成の説明図である。

　この発明の一実施形態を図面と共に説明する。この産業機械システムは、１台または複数台の産業機械１と可搬の情報処理機器２とでなる。産業機械１は、上記のように、各種の産業において物の生産、加工、処理、運搬を行う装置の総称であるが、この実施形態では工作機械であり、また複数台である場合につき説明する。

　情報処理機器２は、可搬のものであり、いわゆるスマートフォン等の、衣服のポケットに納まる程度の寸法の携帯型であって、撮影手段３と、液晶表示装置等の画像を表示する表示手段４と、コンピュータのＣＰＵ（中央処理装置）およびこれに実行されるソフトウェアからなる情報処理手段５と、通信手段６と、この情報処理機器２に対する入力手段である情報処理機器入力手段７と、内部情報記憶手段８とを有する。情報処理機器２の外観形式は、箱形，タブレット形のものの他に、眼鏡形、腕時計形等であっても良い。撮影手段３、表示手段４、情報処理手段５、および通信手段６は、一つの筐体内に設けられたもの、または互いに一体に結合されたものの他に、いずれかが互いに分離して配線や通信機能で結合されたものであっても良い。

　撮影手段３は、ＣＣＤカメラ等であり、画像のデータをデジタル信号として出力する。通信手段６は、例えば無線通信機能を有する手段であって、インターネット等の広域コンピュータ通信回線網、公衆電話回線網等に接続されたものであるが、ローカルエリアネットワーク内のみで通信されるものであっても良い。また、通信手段６は、有線で通信を行うものであっても良い。情報処理機器入力手段７は、表示手段４の画面上に設けられるタッチパネル等であっても良く、キーボード、ポインティングディバイス、ジョイステック等であっても良い。

　情報処理手段５は、前記ＣＰＵおよびソフトウェアによりそれぞれ構成された対象物決定手段１１、表示内容決定手段１２、画像合成手段１３、および画面上機械操作入力手段１４を有する。

　対象物決定手段１１は、撮影手段３で撮影した画像から、この画像で示される対象物がどの産業機械１であるかの個体特定、および産業機械１におけるどの部分であるかの部分特定の両方、またはいずれか一方を行うもので、この実施形態では両方を行う。例えば、産業機械１の全体を撮影した画像から、産業機械１の個体特定（具体例を挙げると、産業機械１の１台毎に付される製造番号の特定）を行い、産業機械１の一部を撮像した画像から、その部分が刃物台、主軸、ローダ装置、ワークフィーダのいずれであるか等の測定を行う。対象物決定手段１１において、前記個体特定および部分特定は、例えばパターンマッチング等のパターン認識方式か、またはその他の画像認識方式による形状認識で行う。

　対象物決定手段１１による個体特定については、上記各方式の他に、例えば図５に示すように、産業機械１にマークＡを付しておいて、撮影手段３で撮影した画像における前記マークＡの部分の情報から、マーク識別部１１ａによって個体特定を行うようにしても、または産業機械１の形状認識とマークＡの認識とを併用して行うようにしても良い。マークＡは、１次元もしくは２次元のバーコードであっても、文字列や記号等であっても良い。対象物決定手段１１による前記特定のための情報は、対象物決定手段１１が記憶していても、内部情報記憶手段８が記憶していても良く、さらに外部サーバ１５等に記憶された情報を、対象物決定手段１１により通信手段６を介して通信することで得ても良い。

　表示内容決定手段１２は、対象物決定手段１１で決定された対象物に応じて表示手段４に表示させる付加画像Ｇａ（図２参照）の決定、詳しくは、その付加画像Ｇａとして表示させる項目およびその項目の表示内容となる画像を決定する手段である。表示させる項目は、例えば、対象物が工作機械からなる産業機械１の全体である場合は、生産個数、サイクルタイム等であり、対象物が産業機械１の一部である場合、例えば刃物台３２である場合は、その刃物台３２に装備された一部または全体の工具の残寿命等の工具の状態に関する情報や、工具交換を促すアラームの表示等である。前記「項目の表示内容」は、例えば「項目」が生産個数である場合、その生産個数の数値である。

　図１において、表示内容決定手段１２は、前記の決定した項目の表示内容となる情報につき、内部情報記手段８に記憶された情報を用いて決定しても良く、また通信手段６を用いて、前記対象物決定手段１１で決定された対象物である産業機械１または外部サーバ１５から得て表示するようにしても良い。なお、上記の「項目」は、表示内容と特に区別されずに、表示内容そのものであっても良い。内部情報記手段８は、対象物を特定するための情報を記憶した対象情報記憶部８ａと、上記の項目，表示内容，付加画像を記憶した表示内容記憶部８ｂを有する。

　表示内容決定手段１２は、前記の決定する項目の一つとして前記対象物によってはアラーム情報を含み、前記産業機械１からアラーム情報が送信されたときは、表示内容となる画像として、前記アラーム情報に対応するアラーム表示画像Ｇａａ（図２右上参照）を表示する。アラーム情報は、産業機械１に生じている不具合の情報であっても、工具交換が必要である旨を知らせる情報であっても良い。表示内容決定手段１２は、この他に、付加画像Ｇａとして、前記対象物決定手段１１で決定された対象物に応じて、その対象物を操作するための操作用画面部Ｇａｏ（図２左下参照）の画像を含むようにしても良い。

　図１において、画像合成手段１３は、表示内容決定手段１２で決定された表示内容となる付加画像Ｇａを前記撮影手段３で撮影されて前記対象物の決定を行った画像と合成して表示する手段である。

　画面上機械操作入力手段１４は、表示手段４の画面上に前記操作用画面部Ｇａｏ（図２左下参照）が表示された状態で、特定の入力に応じた操作指令を前記対象物となる産業機械１、または前記対象物となる部分を含む産業機械１に送信する手段である。特定の入力は、例えば、操作用画面部Ｇａｏ上の特定位置を接触またはカーソルにより指定すること、あるいは前記特定位置に文字・記号の入力を行うことにより行われる。

　図１において、画面上機械操作入力手段１４を設ける場合、その操作される前記産業機械１は、前記画面上機械操作入力手段１４から送信された操作指令に応答してその産業機械１の制御を行う遠隔制御手段１９を有するものとする。

　上記構成の産業機械システムにおける情報処理機器２による処理および使用方法の具体例を説明する。この具体例と共に、情報処理手段５を構成する前記各手段１１～１４のより具体的な構成につき説明する。図２は画面例を、図３は処理の流れをそれぞれ示す。

　図２に示すように、スマートフォン型等の情報処理機器２により、その撮影手段３で産業機械１を撮影する。同図の産業機械１は、搬送装置付きの平行２軸旋盤からなる工作機械であって、主軸３１と、刃物台３２と、コンベアまたはロータリフィーダ型のワークフィーダ３３と、このワークフィーダ３３と主軸３１との間でワーク（図示せず）を搬送するローダ３４とを備える。産業機械１は、この他に制御盤（図示せず）および操作盤３５を有する。

　産業機械１の全体を撮影した場合は、同図の左上に画面例を示すように、情報処理機器２の液晶表示装置等からなる表示手段４の画面に、撮影した産業機械１の全体の画像Ｇ１に重なるように付加画像Ｇａが合成されて表示される。産業機械１の一部を撮影した場合は、同図の右上の画面例および左下の画面例にそれぞれ示すように、撮影した産業機械１の一部の画像Ｇ３２，Ｇ３３に重なるように付加画像Ｇａが合成されて表示される。なお、図２および図４において、表示手段４の画面に表示された産業機械１の画像の参照符号については、産業機械１につき付した符号の冒頭に符号「Ｇ」を付加して示す。

　産業機械１の全体を撮影した場合の付加画像Ｇａは、例えば機台情報であり、同図では「生産個数１００個」という表示内容と、「サイクルタイム５０秒」という表示内容であって、吹き出し形式で表示されている。

　産業機械１の一部を撮影した場合の付加画像Ｇａは、その部分についての情報であり、例えば右上の図のように、撮影した対象物が刃物台３２である場合、その刃物台３２の機種の番号や、刃物台３２に装着された工具の番号である。同図では、加工のための割出位置にある工具の識別番号を表示した付加画像Ｇａと、その工具の残寿命である「残寿命５０回」という表示内容の工具状態表示画像Ｇａｔと、その工具が交換必要である「交換要」という表示内容のアラーム表示となる付加画像Ｇａａとが表示されている。

　同図の左下の図では、撮影した対象物がワークフィーダ３３であって、付加画像Ｇａとしては、そのワークフィーダ３３上にあるものの種類，個数を示す「素材：１００個」、「完成品：５０個」との表示がなされ、かつ操作用画面部Ｇａｏが表示されている。操作用画面部Ｇａｏは、操作ボタンをそれぞれ示す２つの円形の画像と、各操作ボタンの操作種類の案内となる「正転」「逆転」の表示とが含まれている。

　これらの画像Ｇ１，…，Ｇａが表示されるまでの処理を説明する。図１の撮影手段３で撮影された画像につき、情報処理手段５における対象物決定手段１１によってパターンマッチング等の認識手法で、この画像で示される対象物が産業機械１の全体であるか、部分であるかを認識し、全体である場合は、どの産業機械１であるかの個体特定、つまり産業機械１の識別情報を求める処理を行う。産業機械１の形状だけでは個体特定が困難な場合は、前述のように産業機械１にマークＡを付しておき、マークＡの意味する情報を利用して産業機械１の個体特定を行っても良い。撮影手段１で撮影された画像が産業機械１の部分である場合は、産業機械１におけるどの部分であるかの特定を、前記パターンマッチング等の認識手法で行う。

　産業機械１におけるどの部分であるかの特定は、内部情報記憶手段８等に登録したおいた各部分の内のどの部分であるかの特定を、定められた手法で行い、その部分の周囲にある画像は無視して判断される。例えば、撮影した画像に、図４の左端の中段の画像のように、刃物台の画像Ｇ３２と主軸の画像Ｇ３１との両方が含まれている場合は、主軸の画像Ｇ３１を無視して対象物が刃物台３２であると決定する。またその下の図のように、２本の主軸の画像Ｇ３１が存在する場合、対象物が主軸３１であると決定する。これは、産業機械１の外部から撮影した場合に、希望の対象物だけを撮影することが困難な場合があることから、撮影し易い画像範囲から対象物を決定し易くするための処理である。

　複数の産業機械１のうちのどの部分であるかを知りたい場合は、例えば、産業機械１の全体を撮影して産業機械１の個体特定を行った後に、産業機械１の一部を撮影する。これにより、対象物決定手段１１は、部分の特定を行うにつき、産業機械１の識別情報が利用できて、一つの産業機械１についての登録された部分のみの中で区別すれば良く、容易にどの部分であるかの特定が行える。

　撮影された産業機械１の全体またはその部分の特定が行われると、表示内容決定手段１２によって、付加画像Ｇａの項目、およびその項目についての表示内容を決定する。対象物が産業機械１の全体である場合の表示内容である「生産個数１００個」のうちの、数値以外の部分である「生産個数○○個」という表示内容、および吹き出し形式の画像は、上記項目と共に定める。この項目、および数値を除く画像のデータは、例えば内部情報記憶手段８における対象物情報記憶部８ａに、対象物である産業機械１やその部分の識別情報と対応させたテーブル等として記憶しておき、識別情報によって前記項目、および数値を除く画像のデータを得る。

　表示内容である「生産個数１００個」のうちの「１００」という数値は、表示内容決定手段１２が、その特定された産業機械１と通信手段６で通信して得る。産業機械１は、その制御盤（図示せず）で生産個数を管理する機能を有しており、表示内容決定手段１２はその管理された情報から「１００」という数値を得る。対象物が産業機械１の一部である場合、例えば刃物台３２である場合の「残寿命：５０回」という表示内容のうちの「５０」という数値についても、産業機械１の制御装置と通信手段６で通信して得る。この通信には、どの産業機械１であるかを認識しておく必要があるため、例えば、先に産業機械１の全体を撮影して決定した産業機械１の識別情報を用い、その産業機械１と通信を行って得る。

　このようにして付加画像Ｇａの表示内容を決定した後、画像合成手段１３により、撮影により得られた産業機械１の全体または部分の画像に付加画像Ｇａを重ねて、その重ねた画像を、図２の各例のように情報処理機器２の液晶表示装置等からなる表示手段４の画面に表示する。

　図２の左下の図のように、付加画像Ｇａとして対象物を操作するための操作用画面部Ｇａｏを含むようにした場合は、その操作用画面部Ｇａｏ上の操作ボタン等の表示部分に触れることなどで、実際に対象物が操作できるようにする。例えば、操作用画面部Ｇａｏ上の正転のボタンに触れると、画面上機械操作入力手段１４は、その操作の信号を産業機械１の制御装置へ送信し、その制御装置によって対象物であるワークフィーダ３３が正転方向に駆動される。

　産業機械１が工作機械である場合、対象物と表示内容との例を纏めて挙げると、例えば表１の内容が挙げられる。

　上記構成の産業機械システムによると、被写体の個体特定等を行って、表示させる付加画像Ｇａの項目およびその項目の表示内容を定め、その表示内容である付加画像Ｇａを、産業機械１の撮影された画像に重ねて表示する。そのため、情報処理機器２の使用者は、産業機械１の操作盤の画面操作を知らなくても、産業機械１についての、生産個数や、工具残寿命等の目的の情報を直観的に容易に得ることができる。

　情報処理機器２で産業機械１と通信し、情報を取得するようにした場合は、上記のように、産業機械１の持つ現在の情報、例えばその産業機械の生産個数、サイクルタイム、負荷状態等を画面上に重ねて表示することができる。そのため、産業機械１が現在持つ情報を、産業機械１の操作盤の画面操作を知らなくても直観的に得ることができる。付加画像Ｇａとして、工具状態表示画像Ｇａｔを含むようにした場合は、例えば工具の残寿命や工具交換要非の情報等を、情報処理機器２の画面で容易に知ることができる。

　付加画像Ｇａとしてアラーム表示画像Ｇａａを含むようにした場合は、産業機械１のアラーム情報を、その産業機械１の操作盤を操作することなく、情報処理機器２の画面で容易に知ることができる。また、撮像された対象物に応じて、その対象物を操作するための操作用画面部Ｇａｏの画像を表示し、この操作用画面部Ｇａｏで産業機械１を操作可能とした場合は、産業機械１の操作盤の操作を知らなくても容易に希望の操作を行うことができる。

　以上のとおり、図面を参照しながら好適な実施形態を説明したが、当業者であれば、本件明細書を見て、自明な範囲内で種々の変更および修正を容易に想定するであろう。したがって、そのような変更および修正は、添付の特許請求の範囲から定まるこの発明の範囲内のものと解釈される。

１　産業機械
２　情報処理機器
３　撮影手段
４　表示手段
５　情報処理手段
６　通信手段
７　情報処理機器入力手段
１１　対象物決定手段
１２　表示内容決定手段
１３　画像合成手段
１４　画面上機械操作入力手段
１９　遠隔制御手段
Ｇ１　全体の画像
Ａ　マーク
Ｇａ　付加画像
Ｇａａ　アラーム表示画像
Ｇａｏ　操作用画面部
Ｇａｔ　工具状態表示画像

Claims

　１台または複数台の産業機械と可搬の情報処理機器とでなり、
　前記情報処理機器は、撮影手段と、画像の表示手段と、情報処理手段とを有し、
　前記情報処理手段は、前記撮影手段で撮影した画像から、この画像で示される対象物がどの産業機械であるかの個体特定、および産業機械におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段と、
　この対象物決定手段で決定された対象物に応じて前記表示手段に表示させる付加画像を決定する表示内容決定手段と、
　この表示内容決定手段で決定された付加画像を前記撮影手段で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段とを有する、
　産業機械システム。
　前記表示内容決定手段は、前記付加画像として、前記対象物決定手段で決定された対象物を操作するための操作用画面部の画像を含み、前記情報処理機器は前記操作用画面部が指定されることで対象物操作の入力がなされたと認識し、その入力に応じた操作指令を前記産業機械に送信する画面上機械操作入力手段を有し、前記産業機械は、前記画面上機械操作入力手段から送信された操作指令に応答してその産業機械の制御を行う遠隔制御手段を有する請求項１記載の産業機械システム。
　前記情報処理機器は前記産業機械と通信する通信手段を有し、前記表示内容決定手段は、前記付加画像として表示する情報を前記通信手段によって前記産業機械から取得する機能を有する請求項１または請求項２記載の産業機械システム。
　前記表示内容決定手段は、前記産業機械からアラーム情報が送信されたときは、前記付加画像として、アラーム表示画像を含ませる請求項３記載の産業機械システム。
　前記産業機械が工作機械であって、前記表示内容決定手段は、前記付加画像として前記工作機械の工具の状態を示す画像である工具状態表示画像を含む請求項３または請求項４記載の産業機械システム。
　前記産業機械が工作機械であって、前記表示内容決定手段は、前記対象物決定手段によって前記工作機械の全体が前記対象物とされた場合は、前記工作機械から出力された生産個数およびサイクルタイムのいずれか一方または両方を示す画像を前記付加画像として含め、前記工作機械の一部が前記対象物とされた場合は、対象物を制御するための入力を可能とする操作用画面部、または対象物の状態の情報を前記付加画像として含める請求項１ないし請求項５のいずれかに記載の産業機械システム。
　請求項１記載の産業機械システムに用いられて産業機械を撮影する撮影手段を有する可搬の情報処理機器であって、
　前記撮影手段と、画像の表示手段と、情報処理手段とを有し、
　前記情報処理手段は、前記撮影手段で撮影した画像から、この画像で示される対象物がどの産業機械であるかの個体特定、および産業機械におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段と、
　この対象物決定手段で決定された対象物に応じて前記表示手段に表示させる付加画像を決定する表示内容決定手段と、
　この表示内容決定手段で決定された付加画像を前記撮影手段で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段とを有する産業機械システム用情報処理機器。