JPWO2013094366A1 - 産業機械システムおよび産業機械システム用情報処理機器 - Google Patents
産業機械システムおよび産業機械システム用情報処理機器 Download PDFInfo
- Publication number
- JPWO2013094366A1 JPWO2013094366A1 JP2013550189A JP2013550189A JPWO2013094366A1 JP WO2013094366 A1 JPWO2013094366 A1 JP WO2013094366A1 JP 2013550189 A JP2013550189 A JP 2013550189A JP 2013550189 A JP2013550189 A JP 2013550189A JP WO2013094366 A1 JPWO2013094366 A1 JP WO2013094366A1
- Authority
- JP
- Japan
- Prior art keywords
- industrial machine
- image
- information processing
- machine
- display content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 claims description 21
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36159—Detachable or portable programming unit, display, pc, pda
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- General Factory Administration (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Numerical Control (AREA)
Abstract
産業機械システムは、1台または複数台の産業機械(1)と可搬の情報処理機器(2)とでなる。情報処理機器(2)は、撮影手段(3)、表示手段(4)、および情報処理手段(5)を有する。情報処理手段(5)は、撮影した画像から、どの産業機械であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定を行う対象物決定手段(11)を有する。また、この決定された対象物に応じて表示させる付加画像(Ga)を決定する表示内容決定手段(12)を設ける。この付加画像(Ga)を、撮影手段(3)で撮影された画像と合成して表示する。
Description
この出願は、2011年12月22日出願の特願2011−280717の優先権を主張するものであり、その全体を参照により本願の一部をなすものとして引用する。
この発明は、撮影した画像に特定の文字,記号,絵図等の画像を重ね合わせる現実拡張の技術を用いた工作機械システム,その他の産業機械システムおよび産業機械システム用情報処理機器に関する。
従来、工作機械や物流機械等の産業機械において、操作盤の画面等にアイコン等のGUI(グラフィカル・ユーザ・インタフェース)が用いられているが、使用者が目的とする操作や情報に行き着くためには、使用者が知識や取扱説明書等を用い、操作,情報の選択・取捨などを行い、目的とした操作に到達する手法が採られている。工作機械の操作盤の画面に、その工作機械のワークや工具を撮影した画像に、数値制御装置からの情報を重ねて表示させるものも提案されているが(例えば特許文献1)、その重なり表示した画面を映し出すに至るまでには、上記のように、使用者が知識や取扱説明書等を用いて操作することになる。
このため、使用者が目的の操作,情報に行き着くためには、GUIアプリケーショにおいて、その仕様、操作、内容を熟知していなければ、目的とする操作や、情報の閲覧が行えないという問題点がある。例えば、工作機械において、その機械の生産個数やサイクルタイムを知りたい場合は、その工作機械の操作盤を操作して操作盤の画面上に表示させることができるが、その操作には、種々の知識が必要である。多数の機種の工作機械の現在の状況や、その工作機械の特定部分の現在の状況の情報を求めたり、機械操作を行おうとしたりした場合、その機種毎の工作機械についての操作を知っておくか、取扱説明書等を読むなどしなければ、目的とする情報の閲覧や操作に至らない。
この発明の目的は、産業機械を可搬の情報処理機器が有する撮影手段で写すことで、その産業機械に関する情報が画面上で得られ、産業機械の操作盤の画面操作を知らなくても、使用者が目的の情報を直観的に容易に得ることができる産業機械システム、およびその情報処理機器を提供することである。
この発明の産業機械システムを実施形態に用いた符号を付して説明する。この発明の産業機械システムは、1台または複数台の産業機械(1)と可搬の情報処理機器(2)とでなり、前記情報処理機器(2)は、撮影手段(3)と、画像の表示手段(4)と、情報処理手段(5)とを有する。
前記情報処理手段(5)は、前記撮影手段(3)で撮影した画像から、この画像で示される対象物がどの産業機械(1)であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段(11)と、
この対象物決定手段(11)で決定された対象物に応じて前記表示手段(4)に表示させる付加画像(Ga)を決定する表示内容決定手段(12)と、
この表示内容決定手段(12)で決定された付加画像(Ga)を、前記撮影手段(3)で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段(13)とを有する。
前記情報処理手段(5)は、前記撮影手段(3)で撮影した画像から、この画像で示される対象物がどの産業機械(1)であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段(11)と、
この対象物決定手段(11)で決定された対象物に応じて前記表示手段(4)に表示させる付加画像(Ga)を決定する表示内容決定手段(12)と、
この表示内容決定手段(12)で決定された付加画像(Ga)を、前記撮影手段(3)で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段(13)とを有する。
なお、この明細書で「産業機械」とは、各種の産業において、物の生産、加工、処理、運搬を行う装置の総称であり、工作機械、運搬機械、物流機械、繊維機械等を含む。前記情報処理機器(2)は、例えば、いわゆるスマートフォン等の通信機能を備えた携帯型の端末機器であっても、また工場内等の限られた範囲で持ち運びができるものであっても良い。また、前記情報処理機器(2)は、撮影手段(3)と情報処理手段(5)とが別体であって、これらが互いに通信可能に接続されるものであっても良い。上記の「個体特定」は、産業機械(1)を1台毎に識別して特定することを言う。
この構成の産業機械システムによると、情報処理機器(2)の前記撮影手段(3)で産業機械(1)を撮影すると、情報処理手段(5)の前記対象物決定手段(11)は、撮影された画像から被写体である対象物がどの産業機械(1)であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定の両方またはいずれか一方を行う。表示内容決定手段(12)は、この決定された対象物に応じて前記表示手段(4)に表示させる表示内容となる付加画像(Ga)を決定する。画像合成手段(13)は、この決定された表示内容となる付加画像(Ga)を前記撮影手段(3)で撮影された画像と合成して表示する。各付加画像(Ga)の表示内容は、情報処理機器(2)が有する内部情報であっても、情報処理機器(2)が産業機械や外部サーバ等の機器外部と通信して得た情報であっても良い。
このように、被写体の個体特定等を行って、表示させる付加画像(Ga)を定め、産業機械(1)の撮影された画像に重ねて表示する。そのため、情報処理機器(2)の使用者は、産業機械(1)の操作盤の画面操作を知らなくても、産業機械についての目的の情報を直観的に容易に得ることができる。
この発明において、前記表示内容決定手段(12)は、前記付加画像(Ga)として、前記対象物決定手段(11)で決定された対象物を操作するための操作用画面部(Gao)の画像を含み、前記情報処理機器(2)は前記操作用画面部(Gao)が指定されることで対象物操作の入力がなされたと認識し、その入力に応じた操作指令を前記産業機械(1)に送信する画面上機械操作入力手段(14)を有し、前記産業機械(1)は、前記画面上機械操作入力手段(14)から送信された操作指令に応答してその産業機械(1)の制御を行う遠隔制御手段(19)を有するようにしても良い。この構成の場合、産業機械(1)を撮影した画面上に重ねて表示された操作用画面部(Gao)で、産業機械(1)を実際に操作することができる。そのため、産業機械(1)の操作盤の操作を知らなくても容易に希望の操作が行える。
この発明において、前記情報処理機器(2)は前記産業機械(1)と通信する通信手段(4)を有し、前記表示内容決定手段(12)は、前記付加画像(Ga)として表示する情報を前記通信手段(4)によって前記産業機械(1)から取得する機能を有するようにしても良い。このように情報処理機器(2)の通信手段(4)で産業機械と通信し、情報を取得するようにした場合は、産業機械(1)の持つ現在の情報、例えばその産業機械(1)の生産個数、サイクルタイム、負荷状態等を画面上に重ねて表示することができる。そのため、産業機械が現在持つ情報を、産業機械(1)の操作盤の画面操作を知らなくても直観的に容易に得ることができる。
このように通信手段(4)を設けた場合に、前記表示内容決定手段(12)は、前記産業機械(1)からアラーム情報が送信されたときに、前記付加画像(Ga)として、アラーム表示画像(Gaa)を含ませるようにしても良い。これにより、産業機械(1)のアラーム情報を、その産業機械(1)の操作盤を操作することなく、前記情報処理機器(2)の画面で容易に知ることができる。
この発明において、前記産業機械(1)が工作機械であって、前記表示内容決定手段(12)は、前記付加画像(Ga)として前記工作機械の工具の状態を示す画像である工具状態表示画像(Gat)を含むようにしても良い。この構成の場合、産業機械(1)の工具の情報、例えば工具の残寿命や工具交換要否の情報等が、産業機械(1)の操作盤とは別の前記情報処理機器(2)の画面で容易に知ることができる。
この発明において、前記産業機械(1)が工作機械であって、前記表示内容決定手段(12)は、前記対象物決定手段(11)によって前記工作機械の全体が前記対象物とされた場合は、前記工作機械から出力された生産個数およびサイクルタイムのいずれか一方または両方を示す画像を前記付加画像(Ga)として含め、前記工作機械の一部が前記対象物とされた場合は、対象物を制御するための入力を可能とする操作用画面部(Gao)、または対象物の状態の情報を前記付加画像(Ga)として含めるようにしても良い。このように、産業機械(1)である工作物の全体を撮影したときは、その産業機械(1)の稼働状況である工作物の生産個数やサイクルタイムが撮影画像に重ねて表示され、工作物の一部、例えば刃物台を撮影した場合は、その一部に関する操作用画面部(Gao)や状態の情報が撮影画面に重ねて表示される。そのため、使用者は、工作物の撮影する範囲や部分を変えることで、希望の情報を知ることができる。
この発明の産業機械システム用情報処理機器(2)は、この発明の産業機械システムに用いられて産業機械(1)を撮影する撮影手段(3)を有する可搬の情報処理機器(2)であって、前記撮影手段(3)と、画像の表示手段(4)と、情報処理手段(5)とを有する。
前記情報処理手段(5)は、前記撮影手段(3)で撮影した画像から、この画像で示される対象物がどの産業機械(1)であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段(11)と、
この対象物決定手段(11)で決定された対象物に応じて前記表示手段(4)に表示させる付加画像(Ga)を決定する表示内容決定手段(12)と、
この表示内容決定手段(12)で決定された付加画像(Ga)を前記撮影手段(3)で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段(13)とを有する。
前記情報処理手段(5)は、前記撮影手段(3)で撮影した画像から、この画像で示される対象物がどの産業機械(1)であるかの個体特定、および産業機械(1)におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段(11)と、
この対象物決定手段(11)で決定された対象物に応じて前記表示手段(4)に表示させる付加画像(Ga)を決定する表示内容決定手段(12)と、
この表示内容決定手段(12)で決定された付加画像(Ga)を前記撮影手段(3)で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段(13)とを有する。
このため、この発明の産業機械システムにつき前述したと同様に、産業機械(1)をこの情報処理機器(2)の有する撮影手段(3)で写すことで、その産業機械(1)に関する情報が画面上で得られ、産業機械(1)の操作盤の画面操作を知らなくても、使用者が目的の情報を直観的に容易に得ることができる。
請求の範囲および/または明細書および/または図面に開示された少なくとも2つの構成のどのような組合せも、本発明に含まれる。特に、請求の範囲の各請求項の2つ以上のどのような組合せも、本発明に含まれる。
この発明は、添付の図面を参考にした以下の好適な実施形態の説明からより明瞭に理解されるであろう。しかしながら、実施形態および図面は単なる図示および説明のためのものであり、この発明の範囲を定めるために利用されるべきものではない。この発明の範囲は添付の請求の範囲によって定まる。添付図面において、複数の図面における同一の部品番号は、同一または相当部分を示す。
この発明の一実施形態に係る産業機械システムの概念構成を示すブロック図である。
同産業機械システムの情報処理機器における画面例の説明図である。
同産業機械システムの処理手順,処理内容の説明図である。
同産業機械システム情報処理機器による対象物の認識と付加表示の説明図である。
同産業機械システムのマーク併用の場合の概念構成の説明図である。
この発明の一実施形態を図面と共に説明する。この産業機械システムは、1台または複数台の産業機械1と可搬の情報処理機器2とでなる。産業機械1は、上記のように、各種の産業において物の生産、加工、処理、運搬を行う装置の総称であるが、この実施形態では工作機械であり、また複数台である場合につき説明する。
情報処理機器2は、可搬のものであり、いわゆるスマートフォン等の、衣服のポケットに納まる程度の寸法の携帯型であって、撮影手段3と、液晶表示装置等の画像を表示する表示手段4と、コンピュータのCPU(中央処理装置)およびこれに実行されるソフトウェアからなる情報処理手段5と、通信手段6と、この情報処理機器2に対する入力手段である情報処理機器入力手段7と、内部情報記憶手段8とを有する。情報処理機器2の外観形式は、箱形,タブレット形のものの他に、眼鏡形、腕時計形等であっても良い。撮影手段3、表示手段4、情報処理手段5、および通信手段6は、一つの筐体内に設けられたもの、または互いに一体に結合されたものの他に、いずれかが互いに分離して配線や通信機能で結合されたものであっても良い。
撮影手段3は、CCDカメラ等であり、画像のデータをデジタル信号として出力する。通信手段6は、例えば無線通信機能を有する手段であって、インターネット等の広域コンピュータ通信回線網、公衆電話回線網等に接続されたものであるが、ローカルエリアネットワーク内のみで通信されるものであっても良い。また、通信手段6は、有線で通信を行うものであっても良い。情報処理機器入力手段7は、表示手段4の画面上に設けられるタッチパネル等であっても良く、キーボード、ポインティングディバイス、ジョイステック等であっても良い。
情報処理手段5は、前記CPUおよびソフトウェアによりそれぞれ構成された対象物決定手段11、表示内容決定手段12、画像合成手段13、および画面上機械操作入力手段14を有する。
対象物決定手段11は、撮影手段3で撮影した画像から、この画像で示される対象物がどの産業機械1であるかの個体特定、および産業機械1におけるどの部分であるかの部分特定の両方、またはいずれか一方を行うもので、この実施形態では両方を行う。例えば、産業機械1の全体を撮影した画像から、産業機械1の個体特定(具体例を挙げると、産業機械1の1台毎に付される製造番号の特定)を行い、産業機械1の一部を撮像した画像から、その部分が刃物台、主軸、ローダ装置、ワークフィーダのいずれであるか等の測定を行う。対象物決定手段11において、前記個体特定および部分特定は、例えばパターンマッチング等のパターン認識方式か、またはその他の画像認識方式による形状認識で行う。
対象物決定手段11による個体特定については、上記各方式の他に、例えば図5に示すように、産業機械1にマークAを付しておいて、撮影手段3で撮影した画像における前記マークAの部分の情報から、マーク識別部11aによって個体特定を行うようにしても、または産業機械1の形状認識とマークAの認識とを併用して行うようにしても良い。マークAは、1次元もしくは2次元のバーコードであっても、文字列や記号等であっても良い。対象物決定手段11による前記特定のための情報は、対象物決定手段11が記憶していても、内部情報記憶手段8が記憶していても良く、さらに外部サーバ15等に記憶された情報を、対象物決定手段11により通信手段6を介して通信することで得ても良い。
表示内容決定手段12は、対象物決定手段11で決定された対象物に応じて表示手段4に表示させる付加画像Ga(図2参照)の決定、詳しくは、その付加画像Gaとして表示させる項目およびその項目の表示内容となる画像を決定する手段である。表示させる項目は、例えば、対象物が工作機械からなる産業機械1の全体である場合は、生産個数、サイクルタイム等であり、対象物が産業機械1の一部である場合、例えば刃物台32である場合は、その刃物台32に装備された一部または全体の工具の残寿命等の工具の状態に関する情報や、工具交換を促すアラームの表示等である。前記「項目の表示内容」は、例えば「項目」が生産個数である場合、その生産個数の数値である。
図1において、表示内容決定手段12は、前記の決定した項目の表示内容となる情報につき、内部情報記手段8に記憶された情報を用いて決定しても良く、また通信手段6を用いて、前記対象物決定手段11で決定された対象物である産業機械1または外部サーバ15から得て表示するようにしても良い。なお、上記の「項目」は、表示内容と特に区別されずに、表示内容そのものであっても良い。内部情報記手段8は、対象物を特定するための情報を記憶した対象情報記憶部8aと、上記の項目,表示内容,付加画像を記憶した表示内容記憶部8bを有する。
表示内容決定手段12は、前記の決定する項目の一つとして前記対象物によってはアラーム情報を含み、前記産業機械1からアラーム情報が送信されたときは、表示内容となる画像として、前記アラーム情報に対応するアラーム表示画像Gaa(図2右上参照)を表示する。アラーム情報は、産業機械1に生じている不具合の情報であっても、工具交換が必要である旨を知らせる情報であっても良い。表示内容決定手段12は、この他に、付加画像Gaとして、前記対象物決定手段11で決定された対象物に応じて、その対象物を操作するための操作用画面部Gao(図2左下参照)の画像を含むようにしても良い。
図1において、画像合成手段13は、表示内容決定手段12で決定された表示内容となる付加画像Gaを前記撮影手段3で撮影されて前記対象物の決定を行った画像と合成して表示する手段である。
画面上機械操作入力手段14は、表示手段4の画面上に前記操作用画面部Gao(図2左下参照)が表示された状態で、特定の入力に応じた操作指令を前記対象物となる産業機械1、または前記対象物となる部分を含む産業機械1に送信する手段である。特定の入力は、例えば、操作用画面部Gao上の特定位置を接触またはカーソルにより指定すること、あるいは前記特定位置に文字・記号の入力を行うことにより行われる。
図1において、画面上機械操作入力手段14を設ける場合、その操作される前記産業機械1は、前記画面上機械操作入力手段14から送信された操作指令に応答してその産業機械1の制御を行う遠隔制御手段19を有するものとする。
上記構成の産業機械システムにおける情報処理機器2による処理および使用方法の具体例を説明する。この具体例と共に、情報処理手段5を構成する前記各手段11〜14のより具体的な構成につき説明する。図2は画面例を、図3は処理の流れをそれぞれ示す。
図2に示すように、スマートフォン型等の情報処理機器2により、その撮影手段3で産業機械1を撮影する。同図の産業機械1は、搬送装置付きの平行2軸旋盤からなる工作機械であって、主軸31と、刃物台32と、コンベアまたはロータリフィーダ型のワークフィーダ33と、このワークフィーダ33と主軸31との間でワーク(図示せず)を搬送するローダ34とを備える。産業機械1は、この他に制御盤(図示せず)および操作盤35を有する。
産業機械1の全体を撮影した場合は、同図の左上に画面例を示すように、情報処理機器2の液晶表示装置等からなる表示手段4の画面に、撮影した産業機械1の全体の画像G1に重なるように付加画像Gaが合成されて表示される。産業機械1の一部を撮影した場合は、同図の右上の画面例および左下の画面例にそれぞれ示すように、撮影した産業機械1の一部の画像G32,G33に重なるように付加画像Gaが合成されて表示される。なお、図2および図4において、表示手段4の画面に表示された産業機械1の画像の参照符号については、産業機械1につき付した符号の冒頭に符号「G」を付加して示す。
産業機械1の全体を撮影した場合の付加画像Gaは、例えば機台情報であり、同図では「生産個数100個」という表示内容と、「サイクルタイム50秒」という表示内容であって、吹き出し形式で表示されている。
産業機械1の一部を撮影した場合の付加画像Gaは、その部分についての情報であり、例えば右上の図のように、撮影した対象物が刃物台32である場合、その刃物台32の機種の番号や、刃物台32に装着された工具の番号である。同図では、加工のための割出位置にある工具の識別番号を表示した付加画像Gaと、その工具の残寿命である「残寿命50回」という表示内容の工具状態表示画像Gatと、その工具が交換必要である「交換要」という表示内容のアラーム表示となる付加画像Gaaとが表示されている。
同図の左下の図では、撮影した対象物がワークフィーダ33であって、付加画像Gaとしては、そのワークフィーダ33上にあるものの種類,個数を示す「素材:100個」、「完成品:50個」との表示がなされ、かつ操作用画面部Gaoが表示されている。操作用画面部Gaoは、操作ボタンをそれぞれ示す2つの円形の画像と、各操作ボタンの操作種類の案内となる「正転」「逆転」の表示とが含まれている。
これらの画像G1,…,Gaが表示されるまでの処理を説明する。図1の撮影手段3で撮影された画像につき、情報処理手段5における対象物決定手段11によってパターンマッチング等の認識手法で、この画像で示される対象物が産業機械1の全体であるか、部分であるかを認識し、全体である場合は、どの産業機械1であるかの個体特定、つまり産業機械1の識別情報を求める処理を行う。産業機械1の形状だけでは個体特定が困難な場合は、前述のように産業機械1にマークAを付しておき、マークAの意味する情報を利用して産業機械1の個体特定を行っても良い。撮影手段1で撮影された画像が産業機械1の部分である場合は、産業機械1におけるどの部分であるかの特定を、前記パターンマッチング等の認識手法で行う。
産業機械1におけるどの部分であるかの特定は、内部情報記憶手段8等に登録したおいた各部分の内のどの部分であるかの特定を、定められた手法で行い、その部分の周囲にある画像は無視して判断される。例えば、撮影した画像に、図4の左端の中段の画像のように、刃物台の画像G32と主軸の画像G31との両方が含まれている場合は、主軸の画像G31を無視して対象物が刃物台32であると決定する。またその下の図のように、2本の主軸の画像G31が存在する場合、対象物が主軸31であると決定する。これは、産業機械1の外部から撮影した場合に、希望の対象物だけを撮影することが困難な場合があることから、撮影し易い画像範囲から対象物を決定し易くするための処理である。
複数の産業機械1のうちのどの部分であるかを知りたい場合は、例えば、産業機械1の全体を撮影して産業機械1の個体特定を行った後に、産業機械1の一部を撮影する。これにより、対象物決定手段11は、部分の特定を行うにつき、産業機械1の識別情報が利用できて、一つの産業機械1についての登録された部分のみの中で区別すれば良く、容易にどの部分であるかの特定が行える。
撮影された産業機械1の全体またはその部分の特定が行われると、表示内容決定手段12によって、付加画像Gaの項目、およびその項目についての表示内容を決定する。対象物が産業機械1の全体である場合の表示内容である「生産個数100個」のうちの、数値以外の部分である「生産個数○○個」という表示内容、および吹き出し形式の画像は、上記項目と共に定める。この項目、および数値を除く画像のデータは、例えば内部情報記憶手段8における対象物情報記憶部8aに、対象物である産業機械1やその部分の識別情報と対応させたテーブル等として記憶しておき、識別情報によって前記項目、および数値を除く画像のデータを得る。
表示内容である「生産個数100個」のうちの「100」という数値は、表示内容決定手段12が、その特定された産業機械1と通信手段6で通信して得る。産業機械1は、その制御盤(図示せず)で生産個数を管理する機能を有しており、表示内容決定手段12はその管理された情報から「100」という数値を得る。対象物が産業機械1の一部である場合、例えば刃物台32である場合の「残寿命:50回」という表示内容のうちの「50」という数値についても、産業機械1の制御装置と通信手段6で通信して得る。この通信には、どの産業機械1であるかを認識しておく必要があるため、例えば、先に産業機械1の全体を撮影して決定した産業機械1の識別情報を用い、その産業機械1と通信を行って得る。
このようにして付加画像Gaの表示内容を決定した後、画像合成手段13により、撮影により得られた産業機械1の全体または部分の画像に付加画像Gaを重ねて、その重ねた画像を、図2の各例のように情報処理機器2の液晶表示装置等からなる表示手段4の画面に表示する。
図2の左下の図のように、付加画像Gaとして対象物を操作するための操作用画面部Gaoを含むようにした場合は、その操作用画面部Gao上の操作ボタン等の表示部分に触れることなどで、実際に対象物が操作できるようにする。例えば、操作用画面部Gao上の正転のボタンに触れると、画面上機械操作入力手段14は、その操作の信号を産業機械1の制御装置へ送信し、その制御装置によって対象物であるワークフィーダ33が正転方向に駆動される。
産業機械1が工作機械である場合、対象物と表示内容との例を纏めて挙げると、例えば表1の内容が挙げられる。
上記構成の産業機械システムによると、被写体の個体特定等を行って、表示させる付加画像Gaの項目およびその項目の表示内容を定め、その表示内容である付加画像Gaを、産業機械1の撮影された画像に重ねて表示する。そのため、情報処理機器2の使用者は、産業機械1の操作盤の画面操作を知らなくても、産業機械1についての、生産個数や、工具残寿命等の目的の情報を直観的に容易に得ることができる。
情報処理機器2で産業機械1と通信し、情報を取得するようにした場合は、上記のように、産業機械1の持つ現在の情報、例えばその産業機械の生産個数、サイクルタイム、負荷状態等を画面上に重ねて表示することができる。そのため、産業機械1が現在持つ情報を、産業機械1の操作盤の画面操作を知らなくても直観的に得ることができる。付加画像Gaとして、工具状態表示画像Gatを含むようにした場合は、例えば工具の残寿命や工具交換要非の情報等を、情報処理機器2の画面で容易に知ることができる。
付加画像Gaとしてアラーム表示画像Gaaを含むようにした場合は、産業機械1のアラーム情報を、その産業機械1の操作盤を操作することなく、情報処理機器2の画面で容易に知ることができる。また、撮像された対象物に応じて、その対象物を操作するための操作用画面部Gaoの画像を表示し、この操作用画面部Gaoで産業機械1を操作可能とした場合は、産業機械1の操作盤の操作を知らなくても容易に希望の操作を行うことができる。
以上のとおり、図面を参照しながら好適な実施形態を説明したが、当業者であれば、本件明細書を見て、自明な範囲内で種々の変更および修正を容易に想定するであろう。したがって、そのような変更および修正は、添付の特許請求の範囲から定まるこの発明の範囲内のものと解釈される。
1 産業機械
2 情報処理機器
3 撮影手段
4 表示手段
5 情報処理手段
6 通信手段
7 情報処理機器入力手段
11 対象物決定手段
12 表示内容決定手段
13 画像合成手段
14 画面上機械操作入力手段
19 遠隔制御手段
G1 全体の画像
A マーク
Ga 付加画像
Gaa アラーム表示画像
Gao 操作用画面部
Gat 工具状態表示画像
2 情報処理機器
3 撮影手段
4 表示手段
5 情報処理手段
6 通信手段
7 情報処理機器入力手段
11 対象物決定手段
12 表示内容決定手段
13 画像合成手段
14 画面上機械操作入力手段
19 遠隔制御手段
G1 全体の画像
A マーク
Ga 付加画像
Gaa アラーム表示画像
Gao 操作用画面部
Gat 工具状態表示画像
Claims (7)
- 1台または複数台の産業機械と可搬の情報処理機器とでなり、
前記情報処理機器は、撮影手段と、画像の表示手段と、情報処理手段とを有し、
前記情報処理手段は、前記撮影手段で撮影した画像から、この画像で示される対象物がどの産業機械であるかの個体特定、および産業機械におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段と、
この対象物決定手段で決定された対象物に応じて前記表示手段に表示させる付加画像を決定する表示内容決定手段と、
この表示内容決定手段で決定された付加画像を前記撮影手段で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段とを有する、
産業機械システム。 - 前記表示内容決定手段は、前記付加画像として、前記対象物決定手段で決定された対象物を操作するための操作用画面部の画像を含み、前記情報処理機器は前記操作用画面部が指定されることで対象物操作の入力がなされたと認識し、その入力に応じた操作指令を前記産業機械に送信する画面上機械操作入力手段を有し、前記産業機械は、前記画面上機械操作入力手段から送信された操作指令に応答してその産業機械の制御を行う遠隔制御手段を有する請求項1記載の産業機械システム。
- 前記情報処理機器は前記産業機械と通信する通信手段を有し、前記表示内容決定手段は、前記付加画像として表示する情報を前記通信手段によって前記産業機械から取得する機能を有する請求項1または請求項2記載の産業機械システム。
- 前記表示内容決定手段は、前記産業機械からアラーム情報が送信されたときは、前記付加画像として、アラーム表示画像を含ませる請求項3記載の産業機械システム。
- 前記産業機械が工作機械であって、前記表示内容決定手段は、前記付加画像として前記工作機械の工具の状態を示す画像である工具状態表示画像を含む請求項3または請求項4記載の産業機械システム。
- 前記産業機械が工作機械であって、前記表示内容決定手段は、前記対象物決定手段によって前記工作機械の全体が前記対象物とされた場合は、前記工作機械から出力された生産個数およびサイクルタイムのいずれか一方または両方を示す画像を前記付加画像として含め、前記工作機械の一部が前記対象物とされた場合は、対象物を制御するための入力を可能とする操作用画面部、または対象物の状態の情報を前記付加画像として含める請求項1ないし請求項5のいずれかに記載の産業機械システム。
- 請求項1記載の産業機械システムに用いられて産業機械を撮影する撮影手段を有する可搬の情報処理機器であって、
前記撮影手段と、画像の表示手段と、情報処理手段とを有し、
前記情報処理手段は、前記撮影手段で撮影した画像から、この画像で示される対象物がどの産業機械であるかの個体特定、および産業機械におけるどの部分であるかの部分特定の両方またはいずれか一方を行う対象物決定手段と、
この対象物決定手段で決定された対象物に応じて前記表示手段に表示させる付加画像を決定する表示内容決定手段と、
この表示内容決定手段で決定された付加画像を前記撮影手段で撮影されて前記対象物の決定を行った画像と合成して表示する画像合成手段とを有する産業機械システム用情報処理機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013550189A JPWO2013094366A1 (ja) | 2011-12-22 | 2012-11-26 | 産業機械システムおよび産業機械システム用情報処理機器 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011280717 | 2011-12-22 | ||
JP2011280717 | 2011-12-22 | ||
JP2013550189A JPWO2013094366A1 (ja) | 2011-12-22 | 2012-11-26 | 産業機械システムおよび産業機械システム用情報処理機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2013094366A1 true JPWO2013094366A1 (ja) | 2015-04-27 |
Family
ID=48668265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013550189A Pending JPWO2013094366A1 (ja) | 2011-12-22 | 2012-11-26 | 産業機械システムおよび産業機械システム用情報処理機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2013094366A1 (ja) |
WO (1) | WO2013094366A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6028032B2 (ja) * | 2012-08-24 | 2016-11-16 | 富士機械製造株式会社 | 電気回路製造ライン支援システム |
JP6425718B2 (ja) * | 2014-05-20 | 2018-11-21 | 株式会社日立製作所 | 組立教示装置及び方法 |
US10175675B2 (en) | 2014-06-10 | 2019-01-08 | Murata Machinery, Ltd. | Machine tool system |
JP6429033B2 (ja) * | 2016-01-15 | 2018-11-28 | 株式会社ダイフク | 機械設備の制御システム |
JP2018041247A (ja) | 2016-09-07 | 2018-03-15 | ファナック株式会社 | 機械の個体識別情報を認識するためのサーバ、方法、プログラム、及びシステム |
JP2019046067A (ja) * | 2017-08-31 | 2019-03-22 | 株式会社イシダ | 作業支援システム |
US11861898B2 (en) | 2017-10-23 | 2024-01-02 | Koninklijke Philips N.V. | Self-expanding augmented reality-based service instructions library |
JP7022049B2 (ja) * | 2018-12-05 | 2022-02-17 | ファナック株式会社 | 認識装置、システムおよび認識方法 |
JP7298313B2 (ja) * | 2019-06-05 | 2023-06-27 | 村田機械株式会社 | 通信方法、通信システム及び送信機 |
JP7255619B2 (ja) * | 2021-03-19 | 2023-04-11 | 横河電機株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314114A (ja) * | 1993-04-30 | 1994-11-08 | Okuma Mach Works Ltd | 数値制御装置 |
JP3079973U (ja) * | 2001-03-01 | 2001-09-07 | 大隈豊和機械株式会社 | 機械モニター画面の構成 |
JP2007259329A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 遠隔制御装置、システムおよび方法 |
JP2011009916A (ja) * | 2009-06-24 | 2011-01-13 | Nec Biglobe Ltd | 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム |
-
2012
- 2012-11-26 JP JP2013550189A patent/JPWO2013094366A1/ja active Pending
- 2012-11-26 WO PCT/JP2012/080428 patent/WO2013094366A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314114A (ja) * | 1993-04-30 | 1994-11-08 | Okuma Mach Works Ltd | 数値制御装置 |
JP3079973U (ja) * | 2001-03-01 | 2001-09-07 | 大隈豊和機械株式会社 | 機械モニター画面の構成 |
JP2007259329A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 遠隔制御装置、システムおよび方法 |
JP2011009916A (ja) * | 2009-06-24 | 2011-01-13 | Nec Biglobe Ltd | 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2013094366A1 (ja) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013094366A1 (ja) | 産業機械システムおよび産業機械システム用情報処理機器 | |
US11654549B2 (en) | Display control device, display control method, computer program product, and communication system | |
US11159687B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
EP2988209B1 (en) | Mobile computing device with data cognition software | |
US11755173B2 (en) | Information processing device, information processing method, storage medium, and guide system | |
US20200371837A1 (en) | Information processing device, information processing method, and non-transitory computer readable medium | |
US10592714B2 (en) | Projection apparatus and operation method thereof | |
JP2019053354A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
TW201722192A (zh) | 操作行動運算裝置以控制智慧裝置的方法 | |
US10382634B2 (en) | Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu | |
JP5215328B2 (ja) | ラベル表示装置、ラベル表示方法、およびそのプログラム | |
US10909376B2 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium storing program | |
JP6708384B2 (ja) | 出力制御装置、出力制御方法、設定装置、設定方法、及びプログラム | |
JP2019053353A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
CN113920221A (zh) | 信息处理装置、信息处理方法及计算机可读介质 | |
JP2018013741A (ja) | 表示制御プログラム、表示制御装置、及び表示制御方法 | |
JP5115496B2 (ja) | コンテンツ遠隔操作システム及び遠隔操作端末 | |
JP6699334B2 (ja) | プログラム、方法および情報処理装置 | |
JP2016058054A (ja) | メニュー画面構築装置、メニュー処理装置、メニュー画面生産方法、メニュー処理方法、及びプログラム | |
JP2019139347A (ja) | 配線板の部品確認システムおよびその方法 | |
JP2016139342A (ja) | 装置連携による情報入力方法、情報処理装置、コンピュータプログラム | |
JP2024082292A (ja) | 制御装置、撮像システム、制御方法、およびプログラム | |
JP2014170592A (ja) | 画像処理装置 | |
JP2017107256A (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2016100825A (ja) | 撮像装置およびデータ記憶方法ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151110 |