JP5740634B2 - 自動操作システム及び操作自動化方法 - Google Patents

Description

本発明は、自動操作システム及び操作自動化方法に関する。

工場などの生産現場では、多種多様な製造装置が稼動しており、それぞれの装置についてオペレータが操作を行っている。このようなオペレータの作業負担を軽減するため、オペレーションの一部や全体を自動化するシステムが採用されている（例えば、特許文献１）。

特開２０１１−２０３９５４号公報

しかし、操作を自動化するためには、製造装置自体に何らかの改造を加える必要があった。装置自体を改造するためにはその装置の知識も必要となり、特に型の古い装置の場合は対応が困難である。また、一般に装置自体を改造すると、装置メーカーの保証の対象外となってしまうという問題もあった。

さらに、自動化システムの開発にはプログラム開発の知識が必要となるが、装置の操作についての知識を持つオペレータが、プログラム開発の知識がなくても簡単に自動化システムを開発できるようになることが望ましかった。

そこで本発明は、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することを目的とする。

また、本発明は、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することを目的とする。

本発明に係る自動操作システムは、操作対象装置に対して、一連の操作命令を自動的に実行する自動操作システムであって、前記一連の操作命令を生成する操作手順作成部と、前記一連の操作命令を実行する操作手順実行部と、実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信する操作信号出力部と、実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う画面情報取得部と、を備えたものである。
本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することができる。

また、前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する操作初期設定部を備えることが望ましい。
これにより、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することができる。

また、前記操作初期設定部は、前記操作対象装置の全ての操作画面を取得し、操作の過程で必要となる表示情報の位置情報にＩＤを付与して、画像データと共に登録することが望ましい。

また、前記操作初期設定部は、前記操作対象装置の操作画面上でキーボード入力が行われる領域の位置情報にＩＤを付与して、入力されるテキストデータと共に登録することが望ましい。

また、前記操作初期設定部は、前記操作対象装置の操作画面上でマウス操作が行われる位置の位置情報にＩＤを付与して、マウス操作の内容と共に登録することが望ましい。

また、前記操作初期設定部は、前記操作対象装置の操作画面上でライトペン操作が行われる位置の位置情報にＩＤを付与して、ライトペン操作の内容と共に登録することが望ましい。

また、前記操作初期設定部は、前記操作対象装置の操作画面上で、画面に表示される色を認識する必要がある領域の位置情報にＩＤを付与して、画像データおよび色情報と共に録することが望ましい。

また、前記操作初期設定部は、前記操作対象装置の操作画面上に表示される文字のうち、文字データとして認識する必要がある文字にＩＤを付与して、文字の画像データと共に登録することが望ましい。

また、前記操作手順作成部は、
前記操作初期設定部によってＩＤを付して登録された情報を用いて操作命令を生成することが望ましい。

また、前記操作手順作成部は、特定のシステムのコンセプトを表現するためのコンセプト部品と前記コンセプトを実現させるために機能の流れに従って構成されたリアライズ部品とを有するコンセプトチャートを作成するためのチャート作成部と、前記チャート作成部で作成したコンセプトチャートを制御プログラムに変換するチャート変換部と、を備え、前記チャート作成部は、オペレータによる入力部を介した操作に基づいて、前記コンセプトチャートを構成する前記コンセプト部品及び前記リアライズ部品を含む複数の部品を表示部に表示するとともに、前記部品の各々に関する情報と前記部品同士の関係を規定する情報とを前記表示部に表示する、ことが望ましい。

また、前記操作信号出力部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置のキーボード、マウス、またはライトペンの操作信号を、前記操作対象装置に送信することが望ましい。

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された画像と、前記操作初期設定部によってＩＤを付して登録された画像データとの照合を行う、ことが望ましい。

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された色と、前記操作初期設定部によってＩＤを付して登録された色データとの照合を行うことが望ましい。

また、前記画面情報取得部は、前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された文字と、前記操作初期設定部によってＩＤを付して登録された文字データとのマッチングを行うことが望ましい。

また、前記操作手順作成部によって生成された操作命令の試験を前記操作対象装置のシミュレータを用いて実行するシミュレーション部と、前記操作対象装置のシミュレータを生成するシミュレータ生成部と、を備えることが望ましい。

また、前記シミュレータ生成部は、前記操作初期設定部によってＩＤを付して登録された情報を用いてシミュレータを生成することが望ましい。

また、前記一連の操作命令は、前記操作対象装置を正常停止させるための一連の操作であり、前記操作手順実行部は、複数の操作対象装置に対して、一括で正常停止の操作を実行することが望ましい。

本発明に係る操作自動化方法は、操作対象装置に対して、一連の操作命令を自動的に実行する操作自動化方法であって、前記一連の操作命令を生成する工程と、前記一連の操作命令を実行する工程と、を備え前記一連の操作命令を実行する工程では、実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信し、実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行うものである。
本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な操作自動化方法を提供することができる。

本発明によれば、装置自体の改造を行わずに、任意の装置を自動操作することが可能な自動操作システムを提供することができる。

また、本発明によれば、システムプログラム開発の知識がなくても、任意の装置を自動操作するシステムを簡単に作成することが可能な自動操作システムを提供することができる。

本発明の実施の形態１による、自動操作システムの構成を示すブロック図。 本発明の実施の形態１による、製造装置の操作自動化の手順の概略を示すフローチャート。 本発明の実施の形態１による、製造装置の表示装置に表示される操作画面を示す図。 本発明の実施の形態１による、コンセプトチャート作成画面を示す図。 本発明の実施の形態１による、コンセプトチャート作成画面にコンセプトチャートを構成する部品を貼り付けた状態を示す図。 本発明の実施の形態１による、コンセプトチャートを構成する部品に関する情報を表示した状態を示す図。 本発明の実施の形態１による、コンセプトチャート作成画面にコンセプトチャートを構成する複数の部品を貼り付けた状態を示す図。 本発明の実施の形態１による、コンセプトチャートを構成する部品同士の関係を規定する情報を表示した状態を示す図。 本発明の実施の形態１による、コンセプトチャートの一例を示す図。 本発明の実施の形態２による、自動操作システムの構成を示すブロック図。 本発明の実施の形態２による、製造装置の操作自動化の手順の概略を示すフローチャート。 本発明の実施例による、緊急時一括停止システムの構成を示すブロック図。

実施の形態１．
次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施の形態１による、自動操作システム１０の構成を示すブロック図である。図に示すように、自動操作システム１０は、入力装置１１、表示装置１２、操作手順作成部１０１、操作手順実行部１０２、操作信号出力部１０３、画面情報取得部１０４、操作初期設定部１０５、操作手順記憶部１０６、初期設定記憶部１０７を備えている。

自動操作システム１０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のコンピュータを適用することができる。なお、自動操作システム１０は、単一のコンピュータにより構成されるものであっても、通信回線を介して互いに接続された複数のコンピュータにより構成されるものであってもよい。

操作手順作成部１０１、操作手順実行部１０２、操作信号出力部１０３、画面情報取得部１０４、操作初期設定部１０５は、ＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。操作手順記憶部１０６、初期設定記憶部１０７は、外部記憶装置により実装される。

入力装置１１は、マウスやキーボード等を含む各種ポインティングデバイスであり、オペレータが自動操作システム１０に対して各種情報の入力を行う際に使用される。

表示装置１２は、ディスプレイ等の表示装置であり、自動操作システム１０のＣＰＵから出力される画像信号を受けて、各種画像を表示するものである。

図１に示すように、自動操作システム１０は、通信回線を介して操作対象となる製造装置５０と接続されている。製造装置５０はオペレーション用の入力装置５１と表示装置５２を有している。入力装置５１は、オペレータが製造装置５０を操作するために各種の入力や設定を行うためのインタフェースであり、例えばキーボード、マウス、ライトペンが含まれる。表示装置５２は、製造装置５０のメニュー画面や各種設定画面等が表示されるディスプレイである。

自動操作システム１０の各部の機能について説明する。
操作手順作成部１０１は、製造装置５０に対する一連の操作命令を生成する機能を有する。操作手順作成部１０１は、コンセプトチャートを採用することにより、システム開発の知識がない作業者によるプログラム開発を可能にする。なお、コンセプトチャートとは、特定のシステムのコンセプトを表現しかつそのコンセプトを実現させるためのチャート（図表）であり、コンセプト自体を表現するコンセプト部品と、コンセプトを構成する複数のサブコンセプトを表現する複数のサブコンセプト部品と、コンセプト及びサブコンセプトを実現させるためのリアライズ部品と、を含む複数の部品から構成されている。操作手順作成部１０１は、チャート作成部１０１１、チャート変換部１０１２を備えている。

操作手順実行部１０２は、操作手順作成部１０１で生成された一連の操作命令（コンセプトチャート）を、製造装置５０に対して実行する機能を有する。

操作信号出力部１０３は、製造装置５０に対して実行された操作命令に基づいて、製造装置５０の入力装置５１の操作信号に相当する信号を、製造装置５０に送信する。すなわち、操作信号出力部１０３は、人間が入力装置５１（キーボード・マウス・ライトペン等）を操作した時に製造装置５０に送信される信号に相当する信号を、製造装置５０に送信する。

画面情報取得部１０４は、製造装置５０に対して実行された操作命令に基づいて、製造装置５０の表示装置５２に表示されている画面の情報を取得する。また、画面情報取得部１０４は、取得した画像情報について、パターンマッチング、カラーマッチング、文字認識等の画像認識処理を行う。

操作初期設定部１０５は、一連の操作命令の生成に必要な製造装置５０の情報を取得し、各々の操作命令の初期設定を行う。操作初期設定部１０５は、パターン認識情報設定部１０５１、キーボード情報設定部１０５２、マウス情報設定部１０５３、ライトペン情報設定部１０５４、文字認識情報設定部１０５５を備えている。

操作手順記憶部１０６は、操作手順作成部１０１によって生成された製造装置５０に対する一連の操作命令を記憶する。具体的には、コンセプトチャート、コンセプトチャートを変換した制御プログラムが記憶される。

初期設定記憶部１０７は、操作初期設定部１０５により作成された初期設定情報を記憶する。具体的には、製造装置５０の画面情報、キーボード情報、マウス情報、ライトペン情報、文字認識情報のそれぞれについての初期設定情報が記憶される。

次に、自動操作システム１０の詳しい動作と、製造装置５０の操作自動化方法について説明する。図２は、製造装置５０の操作自動化の手順の概略を示すフローチャートである。まず、オペレータは入力装置１１を用いて操作を自動化したい製造装置５０を決定する（ステップＳ１）。製造装置５０の決定は、例えば表示装置１２に対象となる製造装置を全て表示させ、画面上で選択することにより行うことができる。

次に、オペレータは入力装置１１を用いて製造装置５０の初期設定を行う（ステップＳ２）。初期設定は、画面情報、キーボード情報、マウス情報、ライトペン情報、文字認識情報のそれぞれについて行う。操作初期設定部１０５は、オペレータの操作に応じて初期設定情報を作成し、初期設定記憶部１０７に登録する。

まず、図３を用いて製造装置５０の画面情報の初期設定について説明する。
図３は、製造装置５０の表示装置５２に表示される操作画面の１つ（画面Ａ）を示している。オペレータは、入力装置１１を用いて表示装置１２に画面Ａを表示させる。パターン認識情報設定部１０５１は、製造装置５０から画面Ａの画像データを取得し、表示装置１２に表示する。この時、パターン認識情報設定部１０５１は、製造装置５０の表示装置５２の特性に応じて画像データを取得する際の周波数や解像度を調整し、鮮明な画像を取得する。さらに、パターン認識情報設定部１０５１は取り込んだ画像データに画像ＩＤを付与し、初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について登録を行う。

さらに、オペレータは操作に関わる各画面について、操作の過程で必要となる表示情報に対しパターンＩＤを付して表示内容（画像）と表示位置（座標）を登録する。例えば、図３の画面Ａについて、製造装置５０の一連の操作の中で、表示されている画面が画面Ａであることを確認するため、図中の領域Ｒ１に表示されている内容（画面タイトル）が「画面Ａ」であることを確認する必要がある。このため、オペレータは、入力装置１１を用いて領域Ｒ１を指定し画像パターンとして登録する。パターン認識情報設定部１０５１は、領域Ｒ１の画像データにパターンＩＤを付与して、領域Ｒ１の位置情報（例えば点Ｐの（Ｘ，Ｙ）座標と、Ｘ方向およびＹ方向の長さ）と共に初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程で必要となる表示情報の登録を行う。このように、操作の過程で表示内容を認識する必要のある領域について、画像パターンと位置情報を合わせて登録し、ＩＤを付与しておくことにより、ＩＤを指定するだけで特定の画像情報を指定できるようになる。

さらに、オペレータは、製造装置５０の画面に表示される色を認識するための初期設定を行う。例えば、図３の画面Ａにおいて、操作の過程で領域Ｒ２に表示される色が「青」であることを確認する必要がある。このため、オペレータは、入力装置１１を用いて青が表示されている状態の領域Ｒ２を指定し、青のパターンとして登録する。パターン認識情報設定部１０５１は、領域Ｒ２の画像データにパターンＩＤを付与して、色情報（青）および領域Ｒ２の位置情報と共に初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程で表示されている色の判定が必要となるパターンの登録を行う。

このように、操作の過程で表示されている色を認識する必要のある領域について、画像パターン、色情報、および位置情報を合わせて登録しておくことにより、実際の操作中に領域Ｒ２に表示されている色が「青」であるか否かを、登録されている画像と比較することで判定することができる。一般に、製造装置５０の表示装置５２の特性や使用年数、また同じ装置でもディスプレイ上の位置などによって、実際に表示される色は同じ青でも微妙に異なっている。したがって、予め所定の領域に表示される色をその装置のその領域における「青」として初期登録しておくことにより、表示されている色の判定を確実に行うことが可能となる。

次に、製造装置５０のキーボード操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でキーボード入力が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりにキーボード入力を行う。例えば、図３に示す画面Ａにおいて、テキストボックスＲ３に「ＡＢＣＡＢＣ」と入力する動作を行う。キーボード情報設定部１０５２は、キーボード入力が行われた領域（テキストボックスＲ３）の位置情報にキーボード入力位置ＩＤを付与して、入力されたテキストデータ（「ＡＢＣＡＢＣ」）と共に初期設定記憶部１０７に登録する。また、この時キーボード情報設定部１０５２は、製造装置５０の特性に応じて、製造装置５０へのキーボード操作信号の送信速度、送信間隔を調整し初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でキーボード入力が必要な位置と入力内容を登録する。

次に、製造装置５０のマウス操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でマウス操作が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりのマウス操作を行う。例えば、図３に示す画面Ａにおいて、ボタンＢをクリックする動作を行う。マウス情報設定部１０５３は、マウス操作が行われた領域（ボタンＢ）の位置情報にマウス移動位置ＩＤを付与して、操作内容（クリック回数等）と共に初期設定記憶部１０７に登録する。また、この時マウス情報設定部１０５３は、製造装置５０の特性に応じて、マウスのクリック動作の速度やマウスの移動速度の初期設定を行い、初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でマウスによる操作が必要な位置と操作内容を登録する。

次に、製造装置５０のライトペン操作に関する初期設定について説明する。
オペレータは、入力装置１１を介して製造装置５０の画面（操作過程でライトペンによる入力が行われる画面）を取り込み、表示装置１２に表示させる。オペレータは、取り込んだ画面上で実際の操作どおりにライトペンによる入力を行う。例えば、図３に示す画面Ａにおいて、ライトペンによりチェックボックスＲ４をチェックする。ライトペン情報設定部１０５４は、ライトペン操作が行われた領域（チェックボックスＲ４）の位置情報にライトペン移動位置ＩＤを付与して、操作内容と共に初期設定記憶部１０７に登録する。また、この時ライトペン情報設定部１０５４は、製造装置５０の特性に応じて、製造装置５０へのライトペン操作信号の送信速度を調整し初期設定記憶部１０７に登録する。オペレータは、製造装置５０の操作に関わる全ての画面について、操作の過程でライトペンによる操作が必要な位置と操作内容を登録する。

次に、製造装置５０の文字認識機能に関する初期設定について説明する。
オペレータは、製造装置５０の画面に表示される文字のうち、操作の過程で文字データとして認識する必要があるものについて初期設定を行う。例えば、図３の画面Ａにおいて、領域Ｒ５に表示されている文字「Ｐ５１」は、操作の過程で「Ｐ５１」という文字データとして製造装置５０の上位機（管理サーバ等）に送信する必要がある。オペレータは、まず入力装置１１を用いて領域Ｒ５に表示されている「Ｐ」の文字を「Ｐ」の文字データとして指定する。文字認識情報設定部１０５５は、領域Ｒ５に表示されている「Ｐ」の画像データを製造装置５０における「Ｐ」の文字として初期設定記憶部１０７に登録する。続いてオペレータは、「５」と「１」についても同様に「５」と「１」の文字データとして登録する。

このように、操作の過程で文字データとして認識する必要のある文字について、実際に表示される文字の画像を文字データとして登録しておくことにより、実際の操作中に表示されている文字を、登録されている文字と比較することで文字認識を行うことができる。ＯＣＲ（Optical Character Recognition）のような一般の文字認識技術では、綺麗に整形された文字は正確に認識できるが、装置の特性や経年劣化等の影響により必ずしも綺麗に整形された文字のみが表示されるとは限らない。したがって、予め実際に表示されている文字をその装置における文字データとして初期登録しておくことにより、表示されている文字の認識を確実に行うことが可能となる。

以上の作業により製造装置５０の初期設定が一通り終了したら、次に、オペレータは入力装置１１を用いて製造装置５０の操作命令作成を行う（ステップＳ３）。操作手順作成部１０１は、オペレータの操作に応じて操作命令を作成し、操作手順記憶部１０６に登録する。

図４〜図８を用いて製造装置５０の操作命令の作成について説明する。
まず、オペレータは、図４に示すような表示装置１２の表示部３０に表示されたツールバー３１（コンセプトチャートを構成する部品に対応するボタン群）の中から、入力装置１１を用いて、貼り付けたい部品のボタンを選択する。例えば、オペレータが入力装置１１（マウス）を用いてツールバー３１の中の「開始部品」ボタンをクリックすると、その入力信号を受けたチャート作成部１０１１は、表示部３０の下部に「部品選択モード：開始部品」という文字を表示する。このような「部品選択モード」の状態で、オペレータが入力装置１１（マウス）を用いて表示部３０の中央部にあるチャート作成画面３２をクリックすると、その入力信号を受けたチャート作成部１０１１は、図５に示すように、チャート作成画面３２に開始部品Ｓを貼り付ける（表示する）。この時点で、「部品選択モード」は解除される。

次いで、オペレータが、表示部３０のチャート作成画面３２に貼り付けられた（表示された）開始部品Ｓをクリックすると、その入力信号を受けたチャート作成部１０１１は、図６に示すように、チャート作成画面３２の右側にあるプロパティ画面３３に開始部品Ｓのプロパティリストを表示する。オペレータは、入力装置１１を用いて、このプロパティリストに、開始部品Ｓのプロパティを入力する。例えば、オペレータが入力装置１１（キーボード）を用いてプロパティリストの「Summary」の欄に「プログラム開始」と入力すると、その入力信号を受けたオペレータが入力装置１１は、図６に示すように、チャート作成画面３２の開始部品Ｓの上方に「プログラム開始」と表示する。

オペレータは、上記と同様の手順で、図７に示すように、表示部３０のチャート作成画面３２に別の部品（例えばコンセプト部品Ｃ_１）を貼り付けることができる。この後、オペレータは、入力装置１１（マウス）を用いて、開始部品Ｓとコンセプト部品Ｃ_１とを線で結ぶ。具体的には、オペレータは、チャート作成画面３２の開始部品Ｓの上にマウスポインタを配置した状態でマウスの左ボタンを押し、押したままマウスポインタをコンセプト部品Ｃ_１へと移動させた後、左ボタンを離す。このような入力信号を受けたチャート作成部１０１１は、図８に示すように、開始部品Ｓとコンセプト部品Ｃ_１とを結ぶ線Ｌを表示する。以下、同様の手順で、コンセプトチャートを作成することができる。

以上のようにしてコンセプトチャートを作成した後、オペレータは、入力装置１１を用いて、コンセプトチャートを所定の制御プログラムに変換するための入力操作を行う。かかる入力操作を受けたチャート変換部１０１２は、コンセプトチャートとＦＡ制御言語との対応テーブルを参照して、作成したコンセプトチャートをＦＡ制御言語で記述された制御プログラムに変換する。さらに、チャート変換部１０１２は、ＦＡ制御言語とＣ言語との対応テーブルを参照して、ＦＡ制御言語で記述された制御プログラムをＣ言語で記述された制御プログラムに変換する。ＦＡ制御言語とは、コンセプトチャートとＣ言語との中間に位置し日本語で理解可能な新規なプログラミング言語である。チャート変換部１０１２は、このようにＣ言語で記述された制御プログラムを得た後、Ｃ言語コンパイラを用いて制御プログラムをオブジェクトファイルに変換し、最終的に実行ファイルを作成する。作成されたコンセプトチャート、制御プログラム、および実行ファイルは、操作手順記憶部１０６に記憶される。

図９は、コンセプトチャートの一例を示す図である。
図９のコンセプトチャートによれば、画面０１において領域Ｒ１のパターンを確認（コンセプト部品Ｃ１）、画面０１においてテキストボックスＴ１にキーボードで「１２３１２３」と入力（コンセプト部品Ｃ２）、画面０１においてマウスをボタンＢ１に移動してクリック操作（コンセプト部品Ｃ３）という流れで操作が進んでいく。

画面０１の領域Ｒ１のパターン確認は、予め初期設定記憶部１０７に登録されているパターンＩＤを利用することにより、複雑な座標指定等を行わなくても簡単に所望の操作を設定することができる。また、初期設定の段階で、製造装置５０毎の表示装置の性能に応じて調整された画像を取り込む周波数や解像度もここに反映される。

テキストボックスＴ１へのキーボード入力については、初期設定の段階で、予めキーボード入力位置と入力内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整された操作信号の送信間隔もここに反映される。

マウス操作についても、初期設定の段階で、マウス移動位置と操作内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整されたマウスの移動速度やクリック速度もここに反映される。

同様に、ライトペン操作についても、初期設定の段階で、ライトペン移動位置と操作内容がＩＤを付して登録されているため、ＩＤを指定するだけで所望の操作を簡単に設定することができる。また、初期設定の段階で、製造装置５０の性能に応じて調整されたライトペンの操作信号の送信間隔もここに反映される。

さらに、特定の表示領域の色を確認する操作についても、予め対象領域の画像データと色情報がＩＤを付して登録されているため、ＩＤを指定するだけで、簡単にカラーマッチングの操作を設定することができる。

さらに、表示されている文字を認識する操作についても、予め対象文字の画像データと文字情報がＩＤを付して登録されているため、ＩＤを指定するだけで、簡単に文字認識の操作を設定することができる。

このように、予め操作初期設定部１０５により各操作の初期設定が行われていることで、座標指定などの複雑な作業が不要となり、プログラム開発の知識が無くても簡単にコンセプトチャートを作成することができる。

次に、操作手順作成部１０１によって作成された操作命令を用いて、製造装置５０の自動操作を実行する（ステップＳ４）。
オペレータが入力装置１１を用いて製造装置５０の自動操作を開始すると、操作手順実行部１０２は、操作手順記憶部１０６に記憶された操作命令の実行ファイル（コンセプトチャートを変換した制御プログラムをコンパイルしたもの）を実行し、製造装置５０の自動操作を行う。

操作信号出力部１０３は、操作手順実行部１０２によって実行された操作命令に基づいて、入力装置５１のキーボード、マウス、およびライトペンの操作信号を、製造装置５０に送信する。キーボード操作が実行された場合には、あたかも人間がキーボードで文字を入力したように、入力装置５１の表示装置５２の表示画面の該当する入力領域（テキストボックス等）に、自動的にテキストが表示される。なお、操作初期設定部１０５による初期設定の段階で調整された操作信号の送信間隔が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。

マウス操作が実行された場合には、表示装置５２の表示画面上でマウスのカーソルが指定箇所まで移動し、指定の操作（クリック等）が行われる。なお、初期設定の段階で調整されたマウスの移動速度やクリック速度が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。

ライトペン操作が実行された場合には、表示装置５２の表示画面上の指定箇所で人間が実際にライトペンで操作をした場合と同様の動作が自動的に実行される。なお、操作初期設定部１０５による初期設定の段階で調整された操作信号の送信速度が操作命令に反映されており、操作信号出力部１０３はこの設定にしたがって信号を送信するので、送信した操作信号が製造装置５０側で正しく受信されないといった問題は発生しない。

画面情報取得部１０４は、操作手順実行部１０２によって実行された操作命令に基づいて、表示装置５２に表示されている画面の表示情報を取得し、パターンマッチング、カラーマッチング、文字認識等を行う。なお、操作初期設定部１０５による初期設定の段階で、製造装置５０毎の表示装置の性能に応じて画像を取り込む周波数や解像度を調整しているので、取得した画面の解像度が悪く、画像を正しく認識できないといった問題は発生しない。

パターンマッチングの操作命令が実行された場合には、取得した表示画面上の指定領域の画像が、初期設定記憶部１０７にＩＤを付して登録されている対応領域の画像データと比較される。画面情報取得部１０４は同一画像と判断された場合には処理を継続し、同一画像と判断されなかった場合には、処理を終了する等の動作を行う。

カラーマッチングの操作命令が実行された場合には、取得した表示画面上の指定領域の画像が、初期設定記憶部１０７にＩＤを付して登録されている対応領域の色データ（画像データ）と比較される。画面情報取得部１０４は同一の色と判断された場合には処理を継続し、同一と判断されなかった場合には、処理を終了する等の動作を行う。

文字認識の操作命令が実行された場合には、取得した表示画面上の特定の文字が、初期設定記憶部１０７にＩＤを付して登録されている文字データ（画像データ）と比較される。画面情報取得部１０４は同一の文字と判断された場合には処理を継続し、同一と判断されなかった場合には、処理を終了する等の動作を行う。

以上のように、本実施形態によれば、人間が製造装置を操作する場合に発生する操作信号（キーボード信号、マウス信号、ライトペン信号）に相当する信号を、自動操作システム１０から製造装置５０に供給することにより、人間が操作する代わりに製造装置を自動操作することができる。また、製造装置の表示装置に表示される画像情報を取り込み、パターンマッチング等の画像認識を自動で行うようにしたので、人間が画面を確認しながら行う操作を人間に代わって自動的に行うことができる。

また、製造装置への操作信号の送信処理や、製造装置から出力された画像信号の取得を自動化しているため、製造装置自体の改造は必要なく、年代やメーカーの異なる装置であっても同様に適用することができる。また、製造装置の改造を行わないため、メーカー保証を受けられなくなるなどの問題も回避できる。

また、操作命令の作成には、アルゴリズムを視覚的・直感的に理解可能なコンセプトチャートを用いることができるので、プログラム開発の知識がなくても、任意の製造装置に対する操作命令を簡単に作成することができる。この結果、多種多様な製造装置が稼動する工場の完全自動化を、低コストで短時間に実現させることができる。

さらに、操作命令の生成に必要な製造装置の情報を初期設定し、各項目にＩＤを付して登録しておくようにしたので、本来操作命令の作成の際に行う必要がある複雑なパラメータ設定を省略し、ＩＤの指定のみで対応することができる。このため、自動化のプロセスをより簡易にすることができる。

また、初期設定の作業は、実際に製造装置から取り込んだ画面の動きを確認しながら行えるので、プログラム開発の知識がなくても簡易かつ正確に初期設定を行うことができる。

実施の形態２．
図１０は、本発明の実施の形態２による、自動操作システム２０の構成を示すブロック図である。図１と同一の符号は、対応する構成要素を表している。図１０に示すように、自動操作システム２０は、実施の形態１による自動操作システム１０の構成要素に加えて、シミュレーション部１０８、シミュレータ生成部１０９、およびシミュレータ記憶部１１０を備えている。シミュレーション部１０８およびシミュレータ生成部１０９は、自動操作システム２０のＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。シミュレータ記憶部１１０は外部記憶装置により実装される。

シミュレーション部１０８は、操作手順作成部１０１によって生成された操作命令の試験を製造装置のシミュレータを用いて実行する機能を有する。シミュレータ生成部１０９は、製造装置のシミュレータを自動生成する機能を有する。シミュレータ記憶部１１０は、シミュレータ生成部１０９により作成されたシミュレータを記憶する。その他の各構成の機能については、実施の形態１と同様である。

図１１は、製造装置５０の操作自動化の手順の概略を示すフローチャートである。ステップＳ１１〜ステップＳ１３は実施の形態１の処理（図２：ステップＳ１〜ステップＳ３）と同様である。ステップＳ１４において、オペレータは入力装置１１を用いて、ステップＳ１３で作成した操作命令の試験を行うためのシミュレータ生成を行う。シミュレータ生成部１０９は、オペレータの操作に応じてシミュレータを作成し、シミュレータ記憶部１１０に記憶する。

オペレータは入力装置１１を用いて、初期設定記憶部１０７に登録されている製造装置５０の操作に使われる全ての画面データを取り出し、表示装置１２に表示させる。さらにオペレータは、入力装置１１を用いて、表示されている全ての画面を実際の製造装置を操作した時の画面遷移と同様に繋げる。シミュレータ生成部１０９は、オペレータが繋げた順序で画面が遷移するようなシミュレータを生成し、シミュレータ記憶部１１０に記憶する。オペレータは、表示装置１２上で作成したシミュレータを実際に動かし、画面遷移が正しく作成されているかどうかを確認することができる。

シミュレータの作成と動作確認が終了したら、操作命令の試験を実行する（ステップＳ１５）。
オペレータが入力装置１１を用いて試験の実行を開始すると、シミュレーション部１０８は、シミュレータ記憶部１１０に記憶されたシミュレータを用いて操作手順記憶部１０６に記憶された操作命令の実行ファイルを実行する。オペレータは、表示装置１２上でシミュレータの動作を確認し、操作命令が正しく作成されているかどうかを確認することができる。操作命令の検証が終了したら、製造装置５０の自動操作を実行する（ステップＳ１６）。

以上のように、本実施形態によれば、作成した操作命令の試験を行うために製造装置のシミュレータを作成し、操作命令の動作確認が行えるようにした。実際に生産ラインで稼動している製造装置を操作命令の試験に使用する場合には、生産に支障がでないようにするため試験の時間が非常に限られる。一方、本実施形態のようにシミュレータを用いて試験が行えるようにすることで、生産ラインを止めずに、時間の余裕を持って試験を行うことができる。

また、本実施形態によれば、初期設定で登録した製造装置の画面データを利用して簡単にシミュレータを作成することができるので、プログラム開発の知識がないユーザも、自分でシミュレータを作成し、操作命令の試験を行うことができる。

本発明の実施例として、地震発生時などの緊急時に生産ラインの全ての装置を自動で一括停止するシステムの例を示す。地震などの災害発生時には、人命優先のため装置を稼動させたままの状態で避難する。しかし、装置によっては有毒物質や可燃性物質を使用しているものもあり、稼動状態のまま放置すると、有毒物質が放出されたり、火災を引き起こしたりする危険がある。また、正しい停止手順により停止を行っていないと、装置を再稼動させる際に校正作業を行う必要があり、多大な作業時間とコストが発生する。このため、本発明の実施例として、緊急事態発生の際、ボタン操作１つで作動する緊急時一括停止システム７０を提案する。

図１２は、本発明の実施例による、緊急時一括停止システム７０の構成を示すブロック図である。図に示すように、緊急時一括停止システム７０は、通信回線を介して生産ライン上の全ての製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄと接続されている。製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄは、それぞれキーボードやマウス等の入力装置５１Ａ，５１Ｂ，５１Ｃ，５１Ｄを有している。

緊急時一括停止システム７０は、製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄのそれぞれについて、正しい手順で停止させる操作命令を保持している。オペレータは、地震などの緊急事態が発生した際、緊急時一括停止システム７０の入力装置を用いて一括停止の実行を開始する。なお、一括停止の実行開始は、リモコン等を用いた遠隔操作で行えるようにしてもよいし、離れた場所にある、緊急時一括停止システム７０と回線（有線または無線）で接続された他のコンピュータから操作できるようにしてもよい。

一括停止が実行されると、緊急時一括停止システム７０から製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄに対して一括停止の操作命令が実行される。すなわち、通常、人間が入力装置５１Ａ，５１Ｂ，５１Ｃ，５１Ｄを用いて行う正常な停止操作に相当する操作の信号が製造装置５０Ａ，５０Ｂ，５０Ｃ，５０Ｄに送信される。

以上のように、本実施例によれば、緊急事態発生時に、必要最小限の操作で全ての装置を正常に一括停止することができる。この結果、二次災害が防止できると共に、装置の復旧作業の負担も軽減することができる。

１０，２０ 自動操作システム、１１ 入力装置、１２ 表示装置、３０ 表示部、３１ ツールバー、３２ チャート作成画面、５０ 製造装置、５０Ａ，５０Ｂ，５０Ｃ，５０Ｄ 製造装置、５１ 入力装置、５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ 入力装置、５２ 表示装置、７０ 緊急時一括停止システム、１０１ 操作手順作成部、１０２ 操作手順実行部、１０３ 操作信号出力部、１０４ 画面情報取得部、１０５ 操作初期設定部、１０６ 操作手順記憶部、１０７ 初期設定記憶部、１０８ シミュレーション部、１０９ シミュレータ生成部、１１０ シミュレータ記憶部、１０１１ チャート作成部、１０１２ チャート変換部、１０５１ パターン認識情報設定部、１０５２ キーボード情報設定部、１０５３ マウス情報設定部、１０５４ ライトペン情報設定部、１０５５ 文字認識情報設定部

Claims (19)

1. 操作対象装置に対して、一連の操作命令を自動的に実行する自動操作システムであって、
   前記一連の操作命令を生成する操作手順作成部と、
   前記一連の操作命令を実行する操作手順実行部と、
   実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信する操作信号出力部と、
   実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う画面情報取得部と、を備え、
   前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する操作初期設定部をさらに備えた、自動操作システム。
2. 前記操作初期設定部は、前記操作対象装置の全ての操作画面を取得し、操作の過程で必要となる表示情報の位置情報にＩＤを付与して、画像データと共に登録する、請求項１に記載の自動操作システム。
3. 前記操作初期設定部は、前記操作対象装置の操作画面上でキーボード入力が行われる領域の位置情報にＩＤを付与して、入力されるテキストデータと共に登録する、請求項１に記載の自動操作システム。
4. 前記操作初期設定部は、前記操作対象装置の操作画面上でマウス操作が行われる位置の位置情報にＩＤを付与して、マウス操作の内容と共に登録する、請求項１に記載の自動操作システム。
5. 前記操作初期設定部は、前記操作対象装置の操作画面上でライトペン操作が行われる位置の位置情報にＩＤを付与して、ライトペン操作の内容と共に登録する、請求項１に記載の自動操作システム。
6. 前記操作初期設定部は、前記操作対象装置の操作画面上で、画面に表示される色を認識する必要がある領域の位置情報にＩＤを付与して、画像データおよび色情報と共に録する、請求項１に記載の自動操作システム。
7. 前記操作初期設定部は、前記操作対象装置の操作画面上に表示される文字のうち、文字データとして認識する必要がある文字にＩＤを付与して、文字の画像データと共に登録する、請求項１に記載の自動操作システム。
8. 前記操作手順作成部は、
   前記操作初期設定部によってＩＤを付して登録された情報を用いて操作命令を生成する、請求項１に記載の自動操作システム。
9. 前記操作手順作成部は、
   特定のシステムのコンセプトを表現するためのコンセプト部品と前記コンセプトを実現させるために機能の流れに従って構成されたリアライズ部品とを有するコンセプトチャートを作成するためのチャート作成部と、
   前記チャート作成部で作成したコンセプトチャートを制御プログラムに変換するチャート変換部と、を備え、
   前記チャート作成部は、
   オペレータによる入力部を介した操作に基づいて、前記コンセプトチャートを構成する前記コンセプト部品及び前記リアライズ部品を含む複数の部品を表示部に表示するとともに、前記部品の各々に関する情報と前記部品同士の関係を規定する情報とを前記表示部に表示する、請求項１に記載の自動操作システム。
10. 前記操作信号出力部は、
    前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置のキーボード、マウス、またはライトペンの操作信号を、前記操作対象装置に送信する、請求項１に記載の自動操作システム。
11. 前記画面情報取得部は、
    前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された画像と、前記操作初期設定部によってＩＤを付して登録された画像データとの照合を行う、請求項１に記載の自動操作システム。
12. 前記画面情報取得部は、
    前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された色と、前記操作初期設定部によってＩＤを付して登録された色データとの照合を行う、請求項１に記載の自動操作システム。
13. 前記画面情報取得部は、
    前記操作手順実行部によって実行された操作命令に基づいて、前記操作対象装置の表示装置に表示された文字と、前記操作初期設定部によってＩＤを付して登録された文字データとのマッチングを行う、請求項１に記載の自動操作システム。
14. 前記操作手順作成部によって生成された操作命令の試験を前記操作対象装置のシミュレータを用いて実行するシミュレーション部と、
    前記操作対象装置のシミュレータを生成するシミュレータ生成部と、を備えた請求項１に記載の自動操作システム。
15. 前記シミュレータ生成部は、
    前記操作初期設定部によってＩＤを付して登録された情報を用いてシミュレータを生成する、請求項１４に記載の自動操作システム。
16. 前記一連の操作命令は、前記操作対象装置を正常停止させるための一連の操作であり、
    前記操作手順実行部は、複数の操作対象装置に対して、一括で正常停止の操作を実行する請求項１に記載の自動操作システム。
17. 操作対象装置に対して、一連の操作命令を自動的に実行する操作自動化方法であって、
    前記一連の操作命令の生成に必要な前記操作対象装置の情報を取得し、各々の操作命令の設定に必要な情報にＩＤを付して登録する工程と、
    前記一連の操作命令を生成する工程と、
    前記一連の操作命令を実行する工程と、を備え
    前記一連の操作命令を実行する工程では、
    実行された前記操作命令に基づいて、前記操作対象装置の入力装置の操作信号に相当する信号を、前記操作対象装置に送信し、
    実行された前記操作命令に基づいて、前記操作対象装置の表示装置に表示されている画面の情報を取得し、画像認識を行う、操作自動化方法。
18. 前記一連の操作命令を生成する工程では、
    前記ＩＤを付して登録された情報を用いて操作命令を生成する、請求項１７に記載の操作自動化方法。
19. 前記操作対象装置のシミュレータを生成する工程と、
    前記シミュレータを用いて生成された前記操作命令の試験を実行する工程と、
    を備えた請求項１７に記載の操作自動化方法。

Images