JP2022108238A - Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server - Google Patents
Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server Download PDFInfo
- Publication number
- JP2022108238A JP2022108238A JP2021029211A JP2021029211A JP2022108238A JP 2022108238 A JP2022108238 A JP 2022108238A JP 2021029211 A JP2021029211 A JP 2021029211A JP 2021029211 A JP2021029211 A JP 2021029211A JP 2022108238 A JP2022108238 A JP 2022108238A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- data
- item
- server
- manufacturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 1212
- 238000000034 method Methods 0.000 title claims abstract description 392
- 230000008569 process Effects 0.000 title claims abstract description 355
- 238000012806 monitoring device Methods 0.000 title claims abstract description 159
- 238000004891 communication Methods 0.000 title claims abstract description 89
- 238000004519 manufacturing process Methods 0.000 claims abstract description 230
- 238000012545 processing Methods 0.000 claims abstract description 160
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 98
- 230000005540 biological transmission Effects 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 31
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 30
- 230000015654 memory Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000001186 cumulative effect Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、製造工程の稼働データを収集し稼働状況を監視する工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバに関するものである。 The present invention relates to a process monitoring apparatus for collecting operation data of a manufacturing process and monitoring the operation status, a data structure of a monitoring database, a monitoring data communication method, and a process monitoring server.
従来、下記特許文献１に開示されるように、製造工場における製造工程の稼働データの収集及び稼働状況の監視は、製造設備と連動して装備されるプログラマブルロジックコントローラ（ＰＬＣ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒの略称）等の制御装置で行われている。 Conventionally, as disclosed in
しかしながら、従来のＰＬＣ等の制御装置においては、製造工場における製造工程へのＰＬＣ等の制御装置の導入にあたって既存の製造設備の改修を伴う課題、及び、製造工場における製造工程が機械化又は自動制御化されていないためＰＬＣ等の制御装置を製造工程に導入できない課題があった。本発明は、既存の製造設備の改修を伴わずに製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現し、並びに、ＰＬＣ等の制御装置の導入をできない製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現する工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバを提供することを目的とする。 However, in conventional control devices such as PLC, there are problems associated with the modification of existing manufacturing equipment when introducing control devices such as PLC into the manufacturing process at the manufacturing factory, and the manufacturing process at the manufacturing factory is mechanized or automatically controlled. There was a problem that a control device such as PLC could not be introduced into the manufacturing process because it was not installed. The present invention realizes the collection of operation data of the manufacturing process in a manufacturing plant and the monitoring of the operating status without modifying the existing manufacturing equipment, and the manufacturing process in a manufacturing plant where a control device such as a PLC cannot be introduced. An object of the present invention is to provide a process monitoring device, a data structure of a monitoring database, a monitoring data communication method, and a process monitoring server that realize collection of operation data and monitoring of operation status.
上記課題を解決するため、本発明の工程監視装置は、１つ以上の監視項目を含み１つ以上の監視項目の各々が１台の製造機器、１人の作業者、製造設備に装備され稼働データを表示する１台の表示装置、又は１つ以上の製造加工物のいずれか１つである製造工程において、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略称）に接続された１台以上の監視カメラが上記製造工程に備えられ、１台以上の監視カメラの各々が撮影する時系列の監視画像に含まれる１つ以上の監視項目の少なくとも１つを監視対象として、上記ＬＡＮを経由して受信する監視画像を画像認識処理することで、製造工程における稼働データを生成し稼働状況を監視する。工程監視装置は、データ通信処理部と工程画像認識処理部を備える。データ通信処理部は、ＬＡＮを経由してデータ通信を行う機能を有する。工程画像認識処理部は、データ通信処理部を介して監視カメラが撮影する監視対象の監視画像を予め定められた一定の時間間隔で入力し、入力した監視画像の日付時刻を記録し、監視画像から監視対象に含まれる監視項目の各々の部分画像を切出す監視項目抽出機能、及び、監視項目抽出機能から入力される部分画像に対応する監視項目の稼働状態を認識する予め学習済みの深層学習による画像認識処理を実行し、稼働状態の変化が検出された時の監視項目を更新対象監視項目とし、更新対象監視項目の稼働データである監視項目更新データを生成し、製造工程に含まれる１つ以上の監視対象の各々を構成する１つ以上の監視項目の各々の監視項目更新データを含む工程監視データを生成する監視データ生成機能を有する。本発明の工程監視装置により、ＰＬＣ等の制御装置を導入することなく製造工程における稼働データの収集及び稼働状況の監視を実現できる。 In order to solve the above problems, the process monitoring apparatus of the present invention includes one or more monitoring items, and each of the one or more monitoring items is installed in one manufacturing machine, one worker, and one manufacturing facility. One or more monitors connected to a local area network (LAN: abbreviation for Local Area Network) in a manufacturing process, either one of a display device for displaying data or one or more manufacturing workpieces A camera is provided in the manufacturing process, and at least one of one or more monitoring items included in time-series monitoring images captured by each of the one or more monitoring cameras is received as a monitoring target via the LAN. By performing image recognition processing on the monitored image, it generates operation data in the manufacturing process and monitors the operation status. The process monitoring device includes a data communication processing section and a process image recognition processing section. The data communication processing unit has a function of performing data communication via the LAN. The process image recognition processing unit inputs monitoring images of the monitoring target captured by the monitoring camera via the data communication processing unit at predetermined time intervals, records the date and time of the input monitoring images, and recognizes the monitoring images. A monitoring item extraction function that extracts a partial image of each monitoring item included in the monitoring target from the monitor item extraction function, and pre-learned deep learning that recognizes the operating state of the monitoring item corresponding to the partial image input from the monitoring item extraction function , the monitoring item when a change in the operating state is detected is set as the monitoring item to be updated, and monitoring item update data, which is the operation data of the monitoring item to be updated, is generated and included in the manufacturing process. It has a monitoring data generation function for generating process monitoring data including monitoring item update data for each of one or more monitoring items constituting each of one or more monitoring targets. With the process monitoring device of the present invention, it is possible to collect operation data and monitor the operation status in the manufacturing process without introducing a control device such as a PLC.
好ましくはさらに、工程監視装置において、工程画像認識処理部で生成した工程監視データに含まれる監視項目更新データを補助記憶装置の監視データベースに記録し、及び監視データベースから検索する機能を有する監視データベース管理部を備えても良い。これにより、製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することで記録データ量、並びに記録及び検索の処理負荷を低減する監視データベースの構築を実現できる。 Preferably, in the process monitoring device, monitoring database management having a function of recording monitoring item update data included in the process monitoring data generated by the process image recognition processing unit in the monitoring database of the auxiliary storage device and searching the monitoring database You may have a department. As a result, it is possible to accumulate and refer to the history of changes in the operating status in the manufacturing process, and to build a monitoring database that reduces the amount of recorded data and the processing load of recording and searching by recording only the monitoring item update data. realizable.
好ましくはさらに、監視データベース管理部を備える工程監視装置において、モニタ表示要求の入力手段を有するコンソールを接続し、監視対象の構成、工程監視データの構成データ、及び監視データベースの記録データをコンソールに表示するモニタリング処理部を備えても良い。これにより、工程監視装置を用いて製造工程における稼働状況の可視化を実現できる。 Preferably, furthermore, in the process monitoring apparatus comprising the monitoring database management section, a console having an input means for monitor display request is connected, and the configuration of the monitored object, the configuration data of the process monitoring data, and the recorded data of the monitoring database are displayed on the console. You may provide the monitoring process part which carries out. As a result, it is possible to visualize the operation status in the manufacturing process using the process monitoring device.
好ましくはさらに、工程監視装置、監視データベース管理部を備える工程監視装置、又は監視データベース管理部及びモニタリング処理部を備える工程監視装置のいづれか１つの工程監視装置において、製造工程の稼働状況を遠隔で監視又は制御する上記ＬＡＮに接続される遠隔監視制御装置に監視項目更新データをデータ通信処理部を介して送信する監視データ送信部を備えても良い。これにより、当該遠隔監視制御装置において監視項目更新データを用いることで製造工程の遠隔監視を実現できる。 Preferably, the operating status of the manufacturing process is remotely monitored in any one of a process monitoring device, a process monitoring device including a monitoring database management unit, or a process monitoring device including a monitoring database management unit and a monitoring processing unit. Alternatively, a monitoring data transmission section may be provided for transmitting monitoring item update data to the remote monitoring control device connected to the LAN to be controlled via the data communication processing section. As a result, remote monitoring of the manufacturing process can be realized by using the monitoring item update data in the remote monitoring control device.
上記課題を解決するため、本発明の監視データベースのデータ構造は、監視データベース管理部を備える工程監視装置において、監視項目更新データを記録し及び検索する補助記憶装置の監視データベースのデータ構造であって、製造工程に含まれる１つ以上の監視対象の各々を構成する１つ以上の監視項目の各々の監視項目更新データ履歴を含み、監視項目更新データ履歴は、監視項目更新データ履歴の記録対象である監視項目の監視項目更新データの時系列の履歴を含み、監視項目更新データ履歴に含まれる更新対象監視項目の稼働データである監視項目更新データは、更新対象監視項目の部分画像を含む監視対象の監視画像を監視項目抽出機能で入力した時の日付時刻及び当該監視画像、更新対象監視項目の画像認識の結果を基に作成する更新対象監視項目の製造関連情報、並びに更新対象監視項目の画像認識の結果を含む。監視データベースのデータ構造は、制御部及び記憶部を有するコンピュータを備える製造工程を監視又は制御する監視制御装置に用いられ、上記記憶部は製造工程に含まれる１つ以上の監視対象の各々を構成する１つ以上の監視項目の各々の監視項目更新データ履歴を有し、上記記憶部から上記制御部が検索対象とする監視項目更新データ履歴に含まれる監視項目更新データの日付時刻を参照し、任意の日付時刻と比較し、任意の日付時刻以前で最新の日付時刻を有する監視項目更新データを探索する。これにより、任意の日付時刻以前における検索対象とする監視項目更新データ履歴に含まれる最新の監視項目更新データを検索することを実現する。本発明の監視データベースのデータ構造を用いることで、監視項目更新データを記録及び検索することにより製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することにより記録データ量、並びに記録及び検索の処理負荷を低減する監視用データベースの構築を実現できる。 In order to solve the above problems, the data structure of a monitoring database of the present invention is a data structure of a monitoring database of an auxiliary storage device for recording and searching monitoring item update data in a process monitoring apparatus having a monitoring database management unit. , including monitoring item update data history of each of one or more monitoring items constituting each of one or more monitoring targets included in the manufacturing process, and the monitoring item update data history is a recording target of the monitoring item update data history. The monitoring item update data, which is the operation data of the monitoring item to be updated, includes the time-series history of the monitoring item update data of a certain monitoring item, and is included in the monitoring item update data history. Date and time when the monitoring image is input by the monitoring item extraction function, the relevant monitoring image, manufacturing related information of the monitoring item to be updated created based on the result of image recognition of the monitoring item to be updated, and the image of the monitoring item to be updated Contains recognition results. The data structure of the monitoring database is used in a monitoring control device for monitoring or controlling a manufacturing process comprising a computer having a control unit and a storage unit, the storage unit constituting each of one or more monitoring objects included in the manufacturing process. having a monitoring item update data history for each of one or more monitoring items, referring to the date and time of the monitoring item update data included in the monitoring item update data history to be searched by the control unit from the storage unit; It is compared with an arbitrary date and time and searches for monitoring item update data having the latest date and time before the arbitrary date and time. As a result, it is possible to retrieve the latest monitoring item update data included in the monitoring item update data history to be retrieved before an arbitrary date and time. By using the data structure of the monitoring database of the present invention, by recording and retrieving monitoring item update data, the history of changes in operating conditions in the manufacturing process is accumulated and referred to, and only the monitoring item update data is recorded. As a result, it is possible to construct a monitoring database that reduces the amount of recorded data and the processing load of recording and searching.
上記課題を解決するため、本発明の監視データ通信方法は、監視データ送信部を備える工程監視装置、監視データ送信部及び監視データベース管理部を備える工程監視装置、又は、監視データ送信部、監視データベース管理部、及びモニタリング処理部を備える工程監視装置のいずれか１つの工程監視装置において、上記遠隔監視制御装置に更新対象監視項目の監視項目更新データを監視データ送信部からデータ通信処理部を介して送信する通信手順を有する。監視データ通信方法は、監視項目更新データの送信の開始及び停止をする通信手順と、監視項目更新データをデータ通信処理部を介して上記遠隔監視制御装置に送信する通信手順を備える。本発明の監視データ通信方法により、上記遠隔監視制御装置における遠隔監視を実現し、また、本発明の監視項目更新データのみを送信することで通信データ量及び通信処理負荷の低減を実現できる。 In order to solve the above-described problems, the monitoring data communication method of the present invention includes: a process monitoring device including a monitoring data transmission unit; a process monitoring device including a monitoring data transmission unit and a monitoring database management unit; or a monitoring data transmission unit and a monitoring database. In any one of a process monitoring apparatus comprising a management unit and a monitoring processing unit, monitoring item update data of a monitoring item to be updated is sent to the remote monitoring control unit from a monitoring data transmission unit via a data communication processing unit. It has a communication procedure for transmission. The monitoring data communication method includes a communication procedure for starting and stopping transmission of monitoring item update data, and a communication procedure for transmitting the monitoring item update data to the remote monitoring control device via the data communication processing unit. According to the monitoring data communication method of the present invention, remote monitoring can be realized in the remote monitoring control device, and the amount of communication data and the communication processing load can be reduced by transmitting only the monitoring item update data of the present invention.
上記課題を解決するため、本発明の工程監視サーバは、１つ以上の製造ラインの各々が１つ以上の製造工程で構成され、１つ以上の製造ラインの各々を構成する１つ以上の製造工程の少なくとも１つの製造工程の各々を監視する監視データ送信部を備える工程監視装置、監視データ送信部及び監視データベース管理部を備える工程監視装置、又は、監視データ送信部、監視データベース管理部、及びモニタリング処理部を備える工程監視装置のいずれか１つの工程監視装置が備えられている製造工場において、当該工程監視装置が送信する監視項目更新データをＬＡＮを経由して受信することで、製造工場に含まれる１つ以上の製造工程の各々の稼働データを収集し稼働状況を遠隔監視する。工程監視サーバは、ＬＡＮを経由してデータ通信を行うサーバデータ通信処理部と、上記工程監視装置が送信する監視項目更新データをサーバデータ通信処理部を介して受信しサーバ監視データに記録する機能を有するサーバ監視データ受信部と、サーバ監視データ受信部が受信した監視項目更新データをサーバ監視データベースに記録し及びサーバ監視データベースから検索する機能を有するサーバ監視データベース管理部を備える。本発明の工程監視サーバにより、ＰＬＣ等の制御装置を導入することなく製造工場に含まれる１つ以上の製造工程の各々における稼働データの収集、及び稼働状況の遠隔監視を実現できる。 In order to solve the above problems, the process monitoring server of the present invention includes one or more manufacturing lines, each of which is composed of one or more manufacturing processes, and one or more manufacturing lines constituting each of the one or more manufacturing lines. a process monitoring device comprising a monitoring data transmitter for monitoring each of at least one manufacturing process of a process; a process monitoring device comprising a monitoring data transmitter and a monitoring database manager; or a monitoring data transmitter, a monitoring database manager, and In a manufacturing plant equipped with any one of the process monitoring devices having a monitoring processing unit, the monitoring item update data transmitted by the process monitoring device is received via the LAN, Collecting operational data for each of the one or more manufacturing processes involved and remotely monitoring the operational status. The process monitoring server has a server data communication processing unit that performs data communication via a LAN, and a function of receiving monitoring item update data transmitted by the process monitoring device via the server data communication processing unit and recording the data in server monitoring data. and a server monitoring database management unit having a function of recording monitoring item update data received by the server monitoring data receiving unit in a server monitoring database and searching the server monitoring database. With the process monitoring server of the present invention, it is possible to collect operation data in each of one or more manufacturing processes included in a manufacturing factory and remotely monitor the operation status without introducing a control device such as a PLC.
好ましくはさらに、工程監視サーバにおいて、モニタ表示要求の入力手段を有するコンソールを接続し、製造ラインの構成、サーバ監視データの構成データ、及びサーバ監視データベースの記録データをコンソールに表示する機能、並びにコンソールから工程監視装置による監視項目更新データの送信の開始及び停止の要求を入力する機能を有するサーバモニタリング処理部を備えても良い。これにより、製造工程の稼働データを収集する工程監視装置を選択し、１つ以上の製造工程の稼働状況を遠隔監視するモニタ表示を実現できる。 Preferably, the process monitoring server further has a function of connecting a console having an input means for monitor display requests, and displaying the configuration of the production line, the configuration data of the server monitoring data, and the recorded data of the server monitoring database on the console, and the console A server monitoring processing unit having a function of inputting requests for starting and stopping transmission of monitoring item update data by the process monitoring device may be provided. As a result, it is possible to select a process monitoring device that collects operation data of the manufacturing process, and realize a monitor display for remotely monitoring the operation status of one or more manufacturing processes.
上記のように構成された本発明の工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバによれば、ＰＬＣ等の制御装置の導入に伴う既存の製造設備の改修を伴わずに製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現し、並びにＰＬＣ等の制御装置の導入をできない製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現することができる。さらに、製造工場における製造工程から収集された稼働データを用いることで、製造工場における稼働状況の分析、予測、制御、及び管理を実行することができる。 According to the process monitoring device, the data structure of the monitoring database, the monitoring data communication method, and the process monitoring server of the present invention, which are configured as described above, existing manufacturing facilities need not be modified due to the introduction of a control device such as a PLC. To realize the collection of operation data of the manufacturing process and the monitoring of the operation status in the manufacturing factory without the need to install a control device such as a PLC, and the collection of the operation data of the manufacturing process and the monitoring of the operation status in the manufacturing factory where the control device such as PLC cannot be introduced. can be done. Furthermore, by using the operation data collected from the manufacturing process in the manufacturing plant, it is possible to analyze, predict, control, and manage the operating status of the manufacturing plant.
以下、本発明の具体的な実施形態を図面に基づいて詳細に説明する。以下に説明する実施形態は、本発明の実施形態の例を示したものであり、本発明の範囲が狭く限定されるものではない。 Hereinafter, specific embodiments of the present invention will be described in detail based on the drawings. The embodiments described below are examples of embodiments of the present invention, and the scope of the present invention is not narrowly limited.
＜＜工程監視装置、監視カメラ、製造工程、監視対象、及び監視項目の構成＞＞
図１は、工程監視装置、監視カメラ、製造工程、監視対象、及び監視項目の構成例である。図２は、監視項目の分類における製造機器、作業者、表示装置、及び製造加工物の例である。図３は、製造工程、監視対象、及び監視項目の構成例である。<<Configuration of Process Monitoring Device, Monitoring Camera, Manufacturing Process, Monitoring Target, and Monitoring Item>>
FIG. 1 is a configuration example of a process monitoring device, a monitoring camera, a manufacturing process, a monitoring target, and a monitoring item. FIG. 2 shows an example of manufacturing equipment, workers, display devices, and manufactured products in classification of monitoring items. FIG. 3 is a configuration example of manufacturing processes, monitoring targets, and monitoring items.
図１に示すように、製造工程２０は１つ以上の監視項目を含む。図２に示すように、監視項目の各々は、１台の製造機器、１人の作業者、製造設備に装備され稼働データを表示する１台の表示装置、又は１つ以上の製造加工物のいずれか１つである。ＬＡＮ６０に接続された１台以上の監視カメラ５０が製造工程２０に設置され、監視カメラ５０の各々が撮影する時系列の監視画像に含まれる１つ以上の監視項目の少なくとも１つを監視対象として、工程監視装置１００はＬＡＮ６０を経由して受信する監視画像を画像認識処理することで、製造工程２０における稼働データを生成し稼働状況を監視する。 As shown in FIG. 1,
本実施形態例においては、図１～３に示す製造工程、監視対象、及び監視項目の構成例に基づいて詳細に説明する。図１に示すように、製造工程２０は、監視対象３１が監視項目４１および監視項目４２を含み、監視対象３２が監視項目４３及び監視項目４４を含む構成例である。図２に示すように、監視項目は１台の製造機器、１人の作業者、製造設備に装備され稼働データを表示する１台の表示装置、又は１つ以上の製造加工物の４種類に分類される。図３に示すように、監視対象３１が製造機器である監視項目４１及び作業者である監視項目４２を含み、並びに監視対象３２が表示装置である監視項目４３及び製造加工物である監視項目４４を含む構成例である。 The present embodiment will be described in detail based on configuration examples of manufacturing processes, monitoring targets, and monitoring items shown in FIGS. As shown in FIG. 1 , the
本実施形態例の説明では、図１及び図３に示す製造工程２０における監視対象３１～３２を「監視対象１」～「監視対象２」とも表記し、監視項目４１～４４を「監視項目１」～「監視項目４」とも表記して使用する。また、「監視項目１」を製造機器、「監視項目２」を作業者、「監視項目３」を表示装置、及び「監視項目４」を製造加工物である監視項目の例として使用する。 In the description of this embodiment, the monitoring targets 31-32 in the
＜＜工程監視装置１００の基本構成＞＞
図４は、工程監視装置１００の機能ブロック図である。図４に示すように、工程監視装置１００はデータ通信処理部１１０と工程画像認識処理部１２０とを備える。<<Basic Configuration of
FIG. 4 is a functional block diagram of the
データ通信処理部１１０は、ＬＡＮ接続を行う通信インタフェースとインターネット通信を実行するプロトコルスタックで構成する。 The data
工程画像認識処理部１２０は、監視項目抽出機能１２１及び監視データ生成機能１２２を備える。監視項目抽出機能１２１は、データ通信処理部１００を介して監視カメラ５０から受信した監視対象の各々の監視画像の日付時刻を記録し、監視対象に含まれる監視項目の各々の部分画像を抽出する。監視データ生成機能１２２は、監視項目抽出機能１２１で抽出した監視項目の部分画像に対して予め学習済みの深層学習の画像認識プログラムで画像認識処理を実行し、次表１に示す稼働状態の変化が検出された時の監視項目を更新対象監視項目とし、更新対象監視項目の稼働データである監視項目更新データを生成する。また、監視対象の各々に含まれる監視項目の各々の監視項目更新データを含む工程監視データ６００を生成する。 The process image
＜＜工程監視装置１００のハードウェア構成＞＞
図１０は工程監視装置のハードウェア構成図である。工程監視装置は汎用のコンピュータ、又は専用ハードウェアで実装しても良い。図１０に示すように、工程監視装置１００は中央演算処理装置であるＣＰＵ２００（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称）、メインメモリ２０１、画像処理装置であるＧＰＵ２０２（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称）、入出力機器インタフェース２０３、ＬＡＮインタフェース２０４、補助記憶装置２１０、及びシステムバス２２０を備えている。<<Hardware Configuration of
FIG. 10 is a hardware configuration diagram of the process monitoring device. The process monitoring device may be implemented with a general-purpose computer or dedicated hardware. As shown in FIG. 10, the
ＣＰＵ２００は、工程監視装置１００の起動時に、基本ソフトウェア２１１、並びにデータ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２を補助記憶装置２１０からメインメモリに読込み実行する。 When the
メインメモリ２０１は、基本ソフトウェア２１１、並びにデータ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２の実行領域として用いられ、並びに工程構成管理表５００、工程監視データ６００、及び監視データベース６５０の作業用のメモリ領域として用いられる。 The
ＧＰＵ２０２は、工程画像認識処理部１２０の工程監視データ生成機能１２２で実行する深層学習の画像認識プログラムにより１つ以上の部分画像の画像処理を並列処理する。 The
入出力機器インタフェース２０３は、補助記憶装置、モニタ表示装置等の入出力機器を接続しこれらの入出力機器を制御する。 The input/
ＬＡＮインタフェース２０４は、ＬＡＮ６０に接続するための通信インタフェースである。
補助記憶装置２１０は、基本ソフトウェア２１１、データ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２、並びに工程構成管理表５００を記憶するために用いられる。 The auxiliary storage device 210 is used to store the basic software 211 , the monitoring core program 212 that implements the functions of the data
システムバス２２０は、ＣＰＵ２００、メインメモリ２０１、ＧＰＵ２０２、入出力機器２０３、ＬＡＮインタフェース２０４、及び補助記憶装置２１０を接続し、各接続コンポーネント間での制御信号及びデータの相互転送を行う共通バスとして使用される。 The system bus 220 connects the
なお、補助記憶装置２３０は、工程監視装置が監視データベース管理部１３０を有する場合、監視データベース６５０の補助記憶装置として接続する。コンソール２４０は、工程監視装置がモニタリング処理部１４０を有する場合、工程監視データ６００又は監視データベース６５０の記録データのモニタ表示要求の入力及びモニタ表示を行うコンソールとして接続する。 The
＜＜工程監視装置１００ 起動時の処理＞＞
工程監視装置１００の起動時に、基本ソフトウェア２１１、並びにデータ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２を補助記憶装置２１０からメインメモリに読込み、これらプログラムの実行を開始する。<<Process when the
When the
また、監視コアプログラム２１２の実行に用いる基本情報を有する図１６の工程構成管理表５００を補助記憶装置２１０からメインメモリに読込む。図１６に示す工程構成管理表５００の詳細を、＜＜工程監視データ５００のデータ構造＞＞で説明する。 Also, the process configuration management table 500 of FIG. 16 having basic information used for executing the monitoring core program 212 is read from the auxiliary storage device 210 into the main memory. Details of the process configuration management table 500 shown in FIG. 16 will be described in <<data structure of
＜＜工程構成管理表５００のデータ構造＞＞
図１６は、工程監視装置の工程構成管理表５００のデータ構造例である。本実施形態例の説明では、図１６に示す工程構成管理表５００における監視対象構成５１１～５１２を監視対象１～監視対象２の監視対象構成として「監視対象１構成」～「監視対象２構成」とも表記し、監視項目プロファイル５２１～５２４を監視項目１～監視項目４の監視項目プロファイルとして「監視項目１プロファイル」～「監視項目４プロファイル」とも表記して使用する。<<Data Structure of Process Configuration Management Table 500>>
FIG. 16 is an example data structure of the process configuration management table 500 of the process monitoring device. In the description of this embodiment, the monitoring target configurations 511 to 512 in the process configuration management table 500 shown in FIG. Also, the monitoring item profiles 521 to 524 are used as the monitoring item profiles of the
図１６に示すように、工程構成管理表５００は監視対象構成表５１０及び監視項目プロファイル表５２０から構成され、製造工程２０の監視対象及び監視項目の構成を管理する。 As shown in FIG. 16, the process configuration management table 500 consists of a monitoring target configuration table 510 and a monitoring item profile table 520, and manages the configuration of monitoring targets and monitoring items in the
図１７は、工程監視装置の監視対象構成表５１０のデータ構造例である。図１７に示すように、製造工程２０に含まれる監視対象の構成表である監視対象構成５１１、監視対象構成５１２、・・・を有する。監視対象構成は、監視対象を撮影する監視カメラ、監視対象に含まれる１つ以上の監視項目の各々の監視項目識別名、及び１つ以上の監視項目の各々の監視項目分類を管理する。監視対象構成５１１においては、カメラ１が監視対象１を撮影し、監視対象１が製造機器である監視項目１及び作業者である監視項目２から構成されていることを表す。監視対象構成表５１０は、工程画像認識処理部１２０における監視項目抽出機能１２１及び監視データ生成機能１２２の処理、並びに図１４～１５のモニタ表示を行う処理で用いられる。 FIG. 17 is an example data structure of the monitoring object composition table 510 of the process monitoring device. As shown in FIG. 17, it has a monitoring target configuration 511, a
なお、監視対象に含まれる監視項目が他の監視対象にも含まれて、当該監視項目の稼働状態を認識する同一の画像認識処理が重複して実行されることを避けるため、監視対象に含まれる監視項目が他の監視対象に重複して含まれないように監視対象の構成を設定しても良い。また、監視対象に含まれる監視項目が他の監視対象にも含まれて、当該監視項目の稼働状態を認識する異なる画像認識処理が実行される場合、当該監視項目に異なる監視項目識別名を付与し、異なる監視項目として他の監視対象に含まれるように監視対象の構成を設定しても良い。これにより、同一の監視項目における稼働状態を認識する異なる画像認識処理を実行することで、異なる種類の稼働データを収集することが可能となる。 In order to avoid redundant execution of the same image recognition process for recognizing the operating status of the monitoring item when a monitoring item included in the monitoring target is also included in another monitoring target, The configuration of the monitoring target may be set so that the monitoring items included in the monitoring target are not redundantly included in other monitoring targets. In addition, when a monitoring item included in a monitoring target is also included in another monitoring target and different image recognition processing for recognizing the operating state of the monitoring item is executed, a different monitoring item identification name is assigned to the monitoring item. However, the configuration of the monitoring target may be set so that it is included in another monitoring target as a different monitoring item. Accordingly, different types of operation data can be collected by executing different image recognition processes for recognizing the operation state of the same monitoring item.
図１８は、工程監視装置の監視項目プロファイル表５２０のデータ構造例である。監視項目プロファイルは監視対象構成表５１０の監視対象構成に含まれる監視項目ごとに作成される。監視項目プロファイル５２１は製造機器である監視項目１の監視項目１プロファイルであり、監視項目プロファイル５２２は作業者である監視項目２の監視項目２プロファイルである。監視項目プロファイル５２１～５２２に示すように、監視項目の作業シーケンス、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル５２１～５２２の製造機器及び作業者の管理情報を用いて、製造機器である監視項目１及び作業者である監視項目２を含む監視対象１の監視画像に対する監視項目抽出機能１２１及び監視データ生成機能１２２による画像処理を実行する。 FIG. 18 is an example data structure of the monitoring item profile table 520 of the process monitoring device. A monitoring item profile is created for each monitoring item included in the monitoring target configuration of the monitoring target configuration table 510 . The
監視項目プロファイル５２３は表示装置である監視項目３の監視項目３プロファイルである。監視項目プロファイル５２３に示すように、監視項目の表示項目、表示項目の各々の属性、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル５２３の表示装置に関する管理情報を用いて、表示装置である監視項目３を含む監視対象２の監視画像に対する監視項目抽出機能１２１及び監視データ生成機能１２２による画像処理を実行する。 A
監視項目プロファイル５２４は製造加工物である監視項目４の監視項目４プロファイルである。監視項目プロファイル５２４に示すように、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル５２４の製造加工物に関する管理情報を用いて、製造加工物である監視項目４を含む監視対象２の監視画像に対する監視項目抽出機能１２１及び監視データ生成機能１２２による画像処理を実行する。 A
＜＜工程監視装置１００ 監視項目抽出機能１２１の処理フロー＞＞
図１１は、工程画像認識処理部１２０ 監視項目抽出機能１２１のフローチャートである。図１１のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。<<Process flow of monitoring
FIG. 11 is a flow chart of the monitoring
監視項目抽出機能１２１の処理フローに関する本説明では、監視対象１の監視項目抽出処理を例として説明する。なお、同様の処理が複数の監視対象に対して並行して実行される。図１１に示すように、Ｓ１０１において、監視対象１の監視画像をデータ通信処理部１１０から入力する。監視対象１の監視画像の監視項目抽出機能１２１への入力は、監視対象１に含まれる監視項目の各々の部分画像抽出時間間隔の中で最小の部分画像抽出時間間隔を用いて実行する。当該最小の部分画像抽出時間間隔は、工程構成管理表５００における監視対象１構成に含まれる監視項目１及び監視項目２の監視項目プロファイル５２１～５２２を用いて決定される。 In this description of the processing flow of the monitoring
Ｓ１０２において、監視対象１の監視画像を監視項目抽出機能１２１へ入力した日付時刻を記録する。当該日付時刻は「年月日時分秒」、又は秒以下の単位で記録しても良い。本実施形態例の説明では、「年月日時分秒」を用いる。 In S102, the date and time when the monitoring image of the
Ｓ１０３において監視項目抽出機能１２１は監視対象１の監視画像から監視項目１及び監視項目２の部分画像を抽出する。監視項目の各々の部分画像を抽出する時間間隔は、工程監視装置の処理負荷を低減するために、監視項目プロファイル５２１～５２２における部分画像抽出時間間隔以下で、監視対象１の監視画像を監視項目抽出機能１２１へ入力する時間間隔の整数倍で実行しても良い。部分画像の抽出は、監視項目プロファイル５２１～５２２における画像位置の座標値により実行する。 In S<b>103 , the monitoring
Ｓ１０４において、順次、監視項目１及び監視項目２の部分画像を監視データ生成機能１２２に入力し、監視項目１及び監視項目２に対する深層学習の画像認識の処理を起動する。Ｓ１０５～１０９において、監視対象２に対して上記と同様の処理を実行する。 In S104, partial images of
なお、本実施形態例では、監視画像から部分画像を抽出する処理を、監視項目プロファイル５２０における画像位置の座標値を用いて実行するが、監視対象に含まれる監視項目各々に対して予め学習済みの深層学習による画像位置検出プログラムで実行しても良い。 In this embodiment, the process of extracting a partial image from a monitoring image is executed using the coordinate values of the image positions in the
＜＜工程監視装置１００ 監視データ生成機能１２２の処理フロー＞＞
図１２は、工程画像認識処理部１２０ 監視データ生成機能１２２のフローチャートである。図１２のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。<<Process Flow of Monitoring
FIG. 12 is a flow chart of the monitoring
監視データ生成機能１２２の処理フローに関する本説明では、監視項目１の画像認識処理を例として説明する。なお、同様の処理が複数の監視項目に対して並行して実行される。図１２に示すように、Ｓ１１２において監視項目１の学習モデルを予め学習済みである深層学習の画像認識プログラムを用いて、監視項目１の部分画像の画像認識処理を実行する。Ｓ１１２では、監視項目の分類である製造機器、作業者、表示装置、及び製造加工物に対応する各々の画像認識処理を実行し、製造機器及び作業者の作業動作の認識、表示装置の表示内容の認識、並びに製造加工物の検出を実行する。 In this description of the processing flow of the monitoring
監視項目１の学習モデルを予め学習済みである深層学習の画像認識プログラムは、図１０に示す補助記憶装置２１０に保存されている監視コアプログラム２１２に含まれており、工程監視装置１００の起動時にメインメモリ２０１に読込まれ実行される。監視項目１の部分画像の画像認識処理は図１０に示すＧＰＵ２０２で並行処理される。 A deep learning image recognition program in which the learning model of the
Ｓ１１３においてＳ１１２の画像認識処理により稼働状態の変化が検出された場合、Ｓ１１４において更新対象監視項目である監視項目１の監視項目更新データを図１９に示す工程監視データ６００に記録し更新する。当該監視項目更新データは、更新対象監視項目である監視項目１の部分画像を含む監視対象１の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像、監視項目１の監視データ生成機能１２２で生成した画像認識の結果を基に作成する監視項目１の製造関連情報、並びに当該画像認識の結果を有する。 In S113, when a change in the operating state is detected by the image recognition processing in S112, in S114, the monitoring item update data of the
Ｓ１１４において、監視項目１の監視項目更新データの工程監視データ６００への更新は、監視項目１の上記日付時刻及び上記監視画像を監視項目監視対象データ６１１の監視項目１監視対象データに記録し、監視項目１の上記製造関連情報を監視項目監視データ６１２の監視項目１監視データに記録し、並びに上記画像認識の結果を監視項目画像認識データ６１３の監視項目１画像認識データに記録することで実行される。同様の処理が監視項目２、監視項目３、監視項目４、・・・の各々に対して実行される。図１９に示す工程監視データ６００の詳細を、＜＜工程監視データ６００のデータ構造＞＞で説明する。 In S114, the
Ｓ１１５は、工程監視装置１００のＬＡＮインタフェース２０４を介して製造工程２０を監視し又は制御する装置へ、工程監視データ６００の構成データを送信するための処理機能を拡張する場合に用いる割込みイベントを起動する処理である。なお、Ｓ１１５では、当該処理機能が実装されていない場合、割込みイベントを起動しても割込みイベントの処理は実行されない。 S115 activates an interrupt event used to extend the processing function for transmitting configuration data of the
Ｓ１１６は、工程監視装置１００の入出力機器インタフェース２０３を介して補助記憶装置に工程監視データ６００の構成データを記録し蓄積する処理機能を拡張する場合に用いる割込みイベントを起動する処理である。なお、Ｓ１１６では、当該処理機能が実装されていない場合、割込みイベントを起動しても割込みイベントの処理は実行されない。 S116 is a process of activating an interrupt event used when expanding the processing function of recording and accumulating the configuration data of the
＜＜工程監視データ６００のデータ構造＞＞
図１９は、工程監視装置の工程監視データ６００のデータ構造例である。本実施形態例の説明では、図１９に示す工程監視データ６００における監視項目更新データ６１０～６４０を監視項目１～監視項目４の監視項目更新データとして「監視項目１更新データ」～「監視項目４更新データ」とも表記し、監視項目監視対象データ６１１～６４１を監視項目１～監視項目４の監視項目監視対象データとして「監視項目１監視対象データ」～「監視項目４監視対象データ」とも表記し、監視項目監視データ６１２～６４２を監視項目１～監視項目４の監視項目監視データとして「監視項目１監視データ」～「監視項目４監視データ」とも表記し、監視項目画像認識データ６１３～６４３を監視項目１～監視項目４の監視項目画像認識データとして「監視項目１画像認識データ」～「監視項目４画像認識データ」とも表記して使用する。<<Data Structure of
FIG. 19 is an example data structure of the
図１９に示すように、工程監視データ６００は監視対象に含まれる監視項目の監視項目更新データ６１０～６４０、・・・を含む。図１９に示す工程監視データ６００の例では、監視項目更新データ６１０は、更新対象監視項目である監視項目１の部分画像を含む監視対象の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像を含む監視項目監視対象データ６１１、更新対象監視項目である監視項目１の監視データ生成機能１２２で生成した画像認識の結果を基に作成する監視項目１の製造関連情報を含む監視項目監視データ６１２、並びに当該画像認識の結果を含む監視項目画像認識データ６１３を有している。監視項目更新データ６２０～６４０も同様のデータ構造を有する。 As shown in FIG. 19, the
図２０は、監視項目が製造機器である監視項目更新データのデータ構造例である。監視項目更新データ６１０の監視項目１更新データは、図１８の監視項目プロファイル５２１に示すように、作業シーケンスが予め定められている製造機器である監視項目１の監視項目更新データである。 FIG. 20 is an example data structure of monitoring item update data whose monitoring item is manufacturing equipment. The
監視項目監視対象データ６１１の監視項目１監視対象データは、更新対象監視項目である監視項目１の部分画像を含む監視対象１の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像を含む。 The
監視項目監視データ６１２の監視項目１監視データは、更新対象監視項目である監視項目１の監視データ生成機能１２２で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報の例として、作業シーケンスの作業項目、作業シーケンスを構成する作業項目の累積時間及び作業項目の平均時間、並びに作業サイクルの回数及び異常の回数を有する。当該製造関連情報では、稼働状態の変化が検出された時の作業項目と１つ前の作業認識結果である作業項目との時間差を１つ前の作業項目の累積時間に加算し、作業項目の作業シーケンスが一巡した場合は作業サイクルの回数に１を加算し作業項目の各々の累積時間を作業サイクルの回数で除算し平均時間に記録する。異常発生の場合は、１つ前の作業認識結果との時間差を異常の累積時間に加算し、異常の回数に１を加算し累積時間を異常の回数で除算し平均時間に記録する。 The
監視項目画像認識データ６１３の監視項目１画像認識データは、更新対象監視項目である監視項目１の監視データ生成機能１２２で生成された画像認識の結果である作業認識結果を含む。 The
図２１は、監視項目が作業者である監視項目更新データのデータ構造例である。監視項目更新データ６２０の監視項目２更新データは、図１８の監視項目プロファイル５２２に示すように、作業シーケンスが予め定められている作業者である監視項目２の監視項目更新データである。製造機器である監視項目２の監視項目更新データ６１０のデータ構造例と同様であり、説明を省略する。 FIG. 21 is an example data structure of monitoring item update data in which the monitoring item is worker. The
図２２は、監視項目が表示装置である監視項目更新データのデータ構造例である。監視項目更新データ６３０の監視項目３更新データは、図１８の監視項目プロファイル５２３に示すように、表示項目及び表示項目の属性が予め定められている表示装置である監視項目３の監視項目更新データである。 FIG. 22 is an example data structure of monitoring item update data in which the monitoring item is a display device. As shown in the
監視項目監視対象データ６３１の監視項目３監視対象データは、更新対象監視項目である監視項目３の部分画像を含む監視対象２の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像を含む。 The
監視項目監視データ６３２の監視項目３監視データは、更新対象監視項目である監視項目３の監視データ生成機能１２２で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報の例として、生産数、稼働状況、製造累積時間、製造平均時間、及び異常累積時間を有する。当該製造関連情報では、更新対象監視項目である監視項目３の監視データ生成機能１２２で生成した画像認識の結果である表示項目の認識データ、及び当該表示項目の認識データを基に作成する正常稼働の製造累積時間、製造平均時間、及び異常発生から正常稼働に復帰するまでの経過時間の異常累積時間を記録する。 The
監視項目画像認識データ６３３の監視項目３画像認識データは、更新対象監視項目である監視項目３の監視データ生成機能１２２で生成した画像認識の結果である作業認識結果を含む。 The
図２３は、監視項目が製造加工物である監視項目更新データのデータ構造例である。監視項目更新データ６４０の監視項目４更新データは、製造加工物である監視項目４の監視項目更新データである。 FIG. 23 is a data structure example of monitoring item update data in which the monitoring item is a manufactured product. The
監視項目監視対象データ６４１の監視項目４監視対象データは、更新対象監視項目である監視項目４の部分画像を含む監視対象２の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像を含む。 The
監視項目監視データ６４２の監視項目４監視データは、更新対象監視項目である監視項目４の監視データ生成機能１２２で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報として、製造加工物累積数、製造加工物異常累積数、製造累積時間、及び製造平均時間を有する。上記製造関連情報は、更新対象監視項目である監視項目４の画像認識の結果である製造加工物カウント数及び異常製造加工物カウント数を基に作成する製造加工物累積数、製造加工物異常累積数、製造累積時間、及び製造平均時間を記録する。 The
監視項目画像認識データ６４３の監視項目４画像認識データは、更新対象監視項目である監視項目４の監視データ生成機能１２２で生成された画像認識の結果である製造加工物カウント数及び異常製造加工物カウント数の認識データを有する。 The
＜＜監視データベース管理部１３０を備える工程監視装置１０１の構成＞＞
図５は工程監視装置１０１の機能ブロック図である。図５に示すように、工程監視装置１０１は工程監視装置１００の構成に監視データベース管理部１３０を備える構成である。以下においては、両者の異なる監視データベース管理部１３０を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置１００と対応する箇所には、同一の符号を付して説明する。<<Configuration of Process Monitoring Apparatus 101 Equipped with Monitoring
FIG. 5 is a functional block diagram of the process monitoring device 101. As shown in FIG. As shown in FIG. 5, the process monitoring apparatus 101 has a configuration in which a monitoring
監視データベース管理部１３０は、工程監視データ６００に含まれる更新対象監視項目の監視項目更新データを補助記憶装置２３０の監視データベース６５０に記録し、及び監視データベース６５０から検索する機能を実行する。 The monitoring
監視データベース管理部１３０において、工程監視データ６００に含まれる更新対象監視項目の監視項目更新データのみを記録することにより監視データベース６５０の記録データ量、並びに記録及び検索の処理負荷を低減することが可能となる。 By recording only the monitoring item update data of the monitoring items to be updated included in the
＜＜工程監視装置１０１のハードウェア構成＞＞
工程監視装置１０１は、図１０に示す工程監視装置１００の構成に、監視データベース６５０を有する補助記憶装置２３０を備える構成である。<<Hardware Configuration of Process Monitoring Device 101>>
The process monitoring device 101 has a configuration in which an
また、補助記憶装置２１０は、基本ソフトウェア２１１、データ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２、並びに工程構成管理表５００に加えて、監視データベース管理部１３０の機能を実現するプログラムを記憶する。 In addition to the basic software 211 , the monitoring core program 212 that implements the functions of the data
＜＜工程監視装置１０１ 起動時の処理＞＞
工程監視装置１００の起動時の処理に加えて、監視データベース管理部１３０の機能を実現するプログラムを補助記憶装置２１０からメインメモリに読込み実行を開始する。<<Processing when the process monitoring device 101 is started>>
In addition to the process when the
＜＜工程監視装置１０１ 監視データベース管理部１３０の処理フロー＞＞
図１３は、監視データベース管理部１３０のフローチャートである。図１３のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。監視データベース管理部１３０は、Ｓ１３３において、工程監視データ６００に含まれる更新対象監視項目の監視項目更新データを、図２４に示すデータ構造を有する監視データベース６５０に含まれる当該監視項目更新データに対応する監視項目更新データ履歴に追加して履歴を蓄積する。図２４に示すように、監視項目１において監視データ生成機能１２２で稼働状態の変化が検出された場合、工程監視データ６００の監視項目更新データ６１０である監視項目１更新データを、監視データベース６５０に含まれる監視項目更新データ履歴６６０に監視項目更新データ６６１、６６２、・・・として追加して履歴を蓄積する。監視項目の各々において同様の処理を実行する。図２４に示す工程監視データベース６５０の詳細は、＜＜監視データベース６５０のデータ構造＞＞で説明する。<<Processing Flow of Process Monitoring Device 101 Monitoring
FIG. 13 is a flowchart of the monitoring
また、Ｓ１３４において、監視データベース６５０の監視項目更新データ履歴６６０、６７０、６８０、・・・の各々に記録されている監視項目更新データに含まれる日付時刻を検索キーとして監視項目更新データを検索する。 Further, in S134, the monitoring item update data is searched using the date and time contained in the monitoring item update data recorded in each of the monitoring item
＜＜監視データベース６５０のデータ構造＞＞
図２４は、工程監視装置の監視データベース６５０のデータ構造例である。本実施形態例の説明では、図２４に示す監視データベース６５０における監視項目更新データ履歴６６０～６８０を監視項目１～監視項目３の監視項目更新データ履歴として「監視項目１更新データ履歴」～「監視項目３更新データ履歴」とも表記して使用する。また、監視項目更新データ６６１～６６２を監視項目１の監視項目更新データとして「監視項目１更新データａ」～「監視項目１更新データｂ」、監視項目更新データ６７１～６７２を監視項目２の監視項目更新データとして「監視項目２更新データａ」～「監視項目２更新データｂ」、及び監視項目更新データ６８１～６８２を監視項目３の監視項目更新データとして「監視項目３更新データａ」～「監視項目３更新データｂ」とも表記して使用する。<<Data Structure of
FIG. 24 is an example data structure of the
図２４に示すように、監視データベース６５０は監視項目１、監視項目２、監視項目３、・・・の各々に対応する監視項目更新データ履歴６６０の監視項目１更新データ履歴、監視項目更新データ履歴６７０の監視項目２更新データ履歴、監視項目更新データ履歴６８０の監視項目３更新データ履歴、・・・を含む。監視項目１更新データ履歴は工程監視データ６００に含まれる監視項目１の監視項目１更新データを時系列に記録し蓄積する。監視項目２更新データ履歴、監視項目３更新データ履歴、・・・の各々においても同様の処理を実行する。 As shown in FIG. 24, the
監視項目１更新データ履歴は、監視項目１更新データを時系列に記録し蓄積した履歴であり、監視項目更新データ６６１の監視項目１更新データａ、監視項目更新データ６６２の監視項目１更新データｂ、・・・の履歴を含む。監視項目２監視データ履歴、監視項目３更新データ履歴、・・・の各々においても同様である。 The
監視項目更新データ履歴６６０の監視項目１更新データ履歴に含まれる監視項目更新データ６６１の監視項目１更新データａ、監視項目更新データ６６２の監視項目１更新データｂ、・・・のデータ構造は、図１９に示す工程監視データ６００に含まれる監視項目更新データ６１０である監視項目１更新データと同様のデータ構造を有する。監視項目更新データ履歴６７０、６８０、・・・の各々においても同様である。監視項目更新データの各々は、更新対象監視項目の部分画像を含む監視対象の監視画像を監視項目抽出機能１２１で入力した時の日付時刻及び当該監視画像を含む監視項目監視対象データ、監視データ生成機能１２２で生成した更新対象監視項目の画像認識の結果を基に作成する更新対象監視項目の製造関連情報を含む監視項目監視データ、並びに上記画像認識の結果を含む監視項目画像認識データを有する。 The data structure of the
本実施形態における監視データベース６５０のデータ構造は、制御部及び記憶部を有するコンピュータを備える製造工程を監視又は制御する監視制御装置において用いることができる。上記記憶部は監視データベース６５０のデータ構造を含む監視用データベースを有し、当該監視用データベースは監視対象の各々に含まれる監視項目の各々の監視項目更新データ履歴を有する。上記制御部が、上記記憶部の監視用データベースから検索対象とする監視項目更新データ履歴に含まれる監視項目更新データの日付時刻を参照し、任意の日付時刻と比較することで、当該任意の日付時刻以前で最新の日付時刻を有する監視項目更新データを探索する。上記処理により、当該任意の日付時刻以前における上記検索対象とする監視項目更新データ履歴に含まれる最新の監視項目更新データを検索する。 The data structure of the
図２４に示す監視データベース６５０のデータ構造を用いることで、監視項目更新データを記録及び検索することにより製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することにより記録データ量、並びに記録及び検索の処理負荷を低減する監視用データベースの構築を実現できる。 By using the data structure of the
＜＜モニタリング処理部１４０を備える工程監視装置１０２の構成＞＞
図６は工程監視装置１０２の機能ブロック図である。図６に示すように、工程監視装置１０２は工程監視装置１０１の構成にモニタリング処理部１４０を備える構成である。以下においては、両者の異なるモニタリング処理部１４０を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置１０１と対応する箇所には、同一の符号を付して説明する。<<Configuration of
FIG. 6 is a functional block diagram of the
モニタリング処理部１４０を備えることにより、製造工程２０に含まれる監視対象の構成、工程監視データ６００の構成データ、及び監視データベース６５０の記録データをモニタ表示することで、製造工程における監視対象及び監視項目の稼働状況を可視化することが可能なる。 By providing the
＜＜工程監視装置１０２のハードウェア構成＞＞
工程監視装置１０２は、工程監視装置１０１の構成にコンソール２４０を備える構成である。<<Hardware Configuration of
The
また、補助記憶装置２１０は、基本ソフトウェア２１１、データ通信処理部１１０及び工程画像認識処理部１２０の機能を実現する監視コアプログラム２１２、監視データベース管理部１３０の機能を実現するプログラム、並びに工程構成管理表５００に加えて、モニタリング処理部１４０の機能を実現するプログラムを記憶する。 In addition, the auxiliary storage device 210 stores basic software 211, a monitoring core program 212 that implements the functions of the data
＜＜工程監視装置１０２ 起動時の処理＞＞
工程監視装置１０１の起動時の処理に加えて、モニタリング処理部１４０の機能を実現するプログラムを補助記憶装置２１０からメインメモリに読込み実行を開始する。<<Process when the
In addition to the process when the process monitoring device 101 is activated, a program that implements the functions of the
＜＜工程監視装置１０２ モニタリング処理部１４０の処理フロー＞＞
モニタリング処理部１４０は、工程構成管理表５００、工程監視データ６００、及び監視データベース６５０を参照しモニタ表示を実行する。図１４は、製造工程における監視対象及び監視項目の構成のモニタ表示例である。図１５は、製造工程における監視対象及び監視項目の稼働データのモニタ表示例である。<<Process Flow of
The
起動時に、初期画面として図１４に示すモニタ表示１４１が表示される。起動後は、モニタ表示１４１は、ポインティングデバイス入力部１４２の「監視対象の構成」を選択することで表示される。 At startup, a monitor display 141 shown in FIG. 14 is displayed as an initial screen. After activation, the monitor display 141 is displayed by selecting “monitoring target configuration” in the pointing
図１５に示すモニタ表示１４４について説明する。図１５に示すように、監視対象及び監視項目の稼働データのモニタ表示は、ポインティングデバイス入力部１４２又はキーボード入力部１４３から実行することができる。ポインティングデバイスでの入力は、ポインティングデバイス入力部１４２に表示されている監視対象又は監視項目のアイコンを選択することによって行う。キーボードでの入力は、キーボード入力部１４３に図２７に示す工程監視コマンド２７０の「ＤＩＳＰＬＡＹ」コマンドを用いて行う。ポインティングデバイス入力部１４２による入力の内容はキーボード入力部１４３に表示され入力の確認、修正および入力の追加が可能な機能を有する。なお、図２７に示す工程監視コマンド２７０を、＜＜工程監視コマンドのフォーマット＞＞で説明する。 The
ポインティングデバイス入力部１４２の入力例として監視対象１と監視項目１を選択した場合、キーボード入力部１４３に「ＤＩＳＰＬＡＹ 製造工程識別名 －ｏ 監視対象１ 監視項目１」と入力表示される。さらに日付時刻指定を追加して入力する場合、キーボードからオプションフラグ「ｔ」を付加し、「－ｔ 日付時刻１」を入力する。これらの入力により、監視対象１の監視項目１において日付時刻１以前の最新の稼働状態がモニタ表示される。キーボードから同様の入力を行う場合、「ＤＩＳＰＬＡＹ 製造工程識別名 －ｏ 監視対象１ 監視項目１ －ｔ 日付時刻１」を入力する。 When monitoring
オプションフラグ「ｔ」で日付時刻を指定する場合は、監視データベース６５０を参照してモニタ表示を実行する。「ｔ」で日付時刻を指定しない場合は工程監視データ６００を参照してモニタ表示を実行する。 When specifying the date and time with the option flag "t", the
オプションフラグ「ｔ」で「日付時刻１」を指定する場合、モニタ表示をする１つ以上の監視項目において、日付時刻１以前で最新の稼働状態を保有する当該監視項目の各々の監視項目更新データを監視データベース６５０から検索しモニタ表示する。 When "date and
オプションフラグ「ｔ」で「日付時刻１：日付時刻２」を指定する場合、モニタ表示をする１つ以上の監視項目において、日付時刻１以前の最新の稼働状態を保有する当該監視項目の各々の監視項目更新データを監視データベース６５０から検索しモニタ表示する。次に、モニタ表示している当該監視項目の各々の監視項目更新データに含まれる日付時刻の中で最新の日付時刻を選択し、当該最新の日付時刻を超えて最も近い日付時刻を含む監視項目更新データを監視データベース６５０から検索し、当該監視項目更新データを有する監視項目のモニタ表示を更新する。上記モニタ表示の更新を上記最新の日付時刻が日付時刻２を超えない日付時刻まで実行する。 When specifying "date and time 1: date and
＜＜監視データ送信部１５０を備える工程監視装置１０３～１０５の構成＞＞
図７～９は工程監視装置１０３～１０５の機能ブロック図である。図７～９に示すように、工程監視装置１０３～１０５の各々は工程監視装置１００～１０２の各々の構成に監視データ送信部１５０を備える構成である。図７に示すように、工程監視装置１０３は工程監視装置１００の構成に監視データ送信部１５０を有する構成である。図８に示すように、工程監視装置１０４は工程監視装置１０１の構成に監視データ送信部１５０を有する構成である。図９に示すように、工程監視装置１０５は工程監視装置１０２の構成に監視データ送信部１５０を有する構成である。以下においては、工程監視装置１０３及び工程監視装置１００、工程監視装置１０４及び工程監視装置１０１、並びに工程監視装置１０５及び工程監視装置１０２の各々において両者の異なる監視データ送信部１５０を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置１０３及び工程監視装置１００、工程監視装置１０４及び工程監視装置１０１、並びに工程監視装置１０５及び工程監視装置１０２の各々において対応する箇所には、同一の符号を付して説明する。<<Configuration of
7-9 are functional block diagrams of the process monitoring devices 103-105. As shown in FIGS. 7 to 9, each of the
＜＜工程監視装置１０３～１０５のハードウェア構成＞＞
工程監視装置１０３は、工程監視装置１００のハードウェア構成に加えて、補助記憶装置２１０に監視データ送信部１５０の機能を実現するプログラムを追加して記憶する。<<Hardware Configuration of
In addition to the hardware configuration of the
工程監視装置１０４は、工程監視装置１０１のハードウェア構成に加えて、補助記憶装置２１０に監視データ送信部１５０の機能を実現するプログラムを追加して記憶する。 In addition to the hardware configuration of the process monitoring device 101 , the
工程監視装置１０５は、工程監視装置１０２のハードウェア構成に加えて、補助記憶装置２１０に監視データ送信部１５０の機能を実現するプログラムを追加して記憶する。 In addition to the hardware configuration of the
＜＜工程監視装置１０３～１０５ 起動時の処理＞＞
工程監視装置１０３は、工程監視装置１００の起動時の処理に加えて、監視データ送信部１５０の機能を実現するプログラムを補助記憶装置２１０からメインメモリに読込み実行を開始する。<<Process when
The
工程監視装置１０４は、工程監視装置１０１の起動時の処理に加えて、監視データ送信部１５０の機能を実現するプログラムを補助記憶装置２１０からメインメモリに読込み実行を開始する。 The
工程監視装置１０５は、工程監視装置１０２の起動時の処理に加えて、監視データ送信部１５０の機能を実現するプログラムを補助記憶装置２１０からメインメモリに読込み実行を開始する。 The
＜＜工程監視装置１０３～１０５ 監視データ送信部１５０の処理フロー＞＞
監視データ送信部１５０は、図２５～２６に示す監視データ通信方法で、工程監視データ６００の監視項目更新データ６１０、６２０、６３０、６４０、・・・を工程監視装置１０３～１０５から製造工程２０を遠隔で監視又は制御する遠隔監視制御装置２５０にＬＡＮ６０を経由して送信する機能を有する。<<Processing Flow of Monitoring
The monitoring
＜＜監視データ通信方法＞＞
図２５～２６は監視データ通信方法による監視項目更新データの通信手順例である。図２５は監視項目更新データの送信の開始及び停止の通信手順であり、並びに図２６は監視項目更新データを送信する通信手順である。図２５～２６に示すように監視項目更新データの通信手順は、工程監視コマンド２７０であるＲＣＶコマンド、ＳＮＤコマンド、ＡＣＫコマンドで実行される。<<monitoring data communication method>>
25 and 26 are examples of communication procedures for monitoring item update data according to the monitoring data communication method. FIG. 25 shows communication procedures for starting and stopping transmission of monitoring item update data, and FIG. 26 shows communication procedures for transmitting monitoring item update data. As shown in FIGS. 25 and 26, the communication procedure for monitoring item update data is executed by the RCV command, SND command, and ACK command, which are process monitoring commands 270 .
なお、図２６における遠隔監視制御装置２５０の遠隔監視制御装置監視データ２６０のデータ構造は工程監視装置１０３～１０５の工程監視データ６００のデータ構造を含む構成である。 The data structure of the remote monitoring control device monitoring data 260 of the remote
図２５における監視項目更新データの送信の開始及び停止の通信手順例について以下に説明する。送信開始の通信手順は、図２５に示すように、Ｓ２１１において遠隔監視制御装置２５０が工程監視コマンド２７０のＲＣＶコマンドにオプションフラグ「ｐ」を付加し、監視項目更新データの送信要求「ＲＣＶ 工程監視装置識別名 －ｐ ｏｎ」を工程監視装置１０３～１０５に送信する。工程監視装置１０３～１０５は、Ｓ２０１において上記ＲＣＶコマンドを受信後に監視項目更新データ 送信フラグをｏｎに設定し、Ｓ２０２においてＡＣＫコマンドを遠隔監視制御装置２５０に送信することで送信開始の通信手順を完了したことを通知する。 An example of a communication procedure for starting and stopping transmission of monitoring item update data in FIG. 25 will be described below. As shown in FIG. 25, the remote
送信停止の通信手順は、図２５に示すように、Ｓ２１２において遠隔監視制御装置２５０が工程監視コマンド２７０のＲＣＶコマンドにオプションフラグ「ｐ」を付加し、監視項目更新データの送信停止要求「ＲＣＶ 工程監視装置識別子 －ｐ ｏｆｆ」を工程監視装置１０３～１０５に送信する。工程監視装置１０３～１０５は、Ｓ２０３において上記ＲＣＶコマンドを受信後に監視項目更新データ 送信フラグをｏｆｆに設定し、Ｓ２０４においてＡＣＫコマンドを遠隔監視制御装置２５０に送信することで送信停止の通信手順を完了したことを通知する。 As shown in FIG. 25, the remote monitoring and
監視項目更新データを送信する通信手順は、図２６に示すように、工程監視装置１０３～１０５において、Ｓ２０５で工程監視データ６００が更新されデータ通信処理の割込みが発生し、Ｓ２０６で監視項目更新データの送信フラグがｏｎに設定されている場合に、Ｓ２０７で監視項目更新データの送信が実行される。「ＳＮＤ 遠隔監視制御装置識別名」を含む監視コマンド部並びに「稼働状態が変化した監視項目の識別名及び当該監視項目の監視項目更新データ」を含む監視データ部を有するメッセージを作成して送信する。監視項目更新データの送信フラグがｏｆｆの場合は実行されない。 As shown in FIG. 26, in the
Ｓ２１３において、遠隔監視制御装置２５０は監視項目更新データを受信し、遠隔監視制御装置監視データ２６０を更新し、Ｓ２１４においてＡＣＫコマンドを送信し監視項目更新データの受信を完了したことを通知する。 In S213, the remote
上記監視データ通信方法により、工程監視装置１０３～１０５の工程監視データ６００に含まれる監視項目更新データ６１０、６２０、６３０、６４０、・・・をＬＡＮ６０を経由して送信することで、遠隔監視制御装置２５０による遠隔監視が可能となる。また、監視項目更新データのみを送信することで通信データ量及び通信処理負荷を低減して遠隔監視を実行することが可能となる。 By transmitting the monitoring
＜＜工程監視コマンドのフォーマット＞＞
図２７は工程監視コマンドのフォーマット例である。コマンドの入力形式は、図２７に示すように、コマンド、コマンド対象、及びオプション入力から構成されている。コマンドは、監視データ通信方法により監視項目更新データを送信するための「ＲＣＶ」及び「ＳＮＤ」、並びに工程監視データ６００に含まれる構成データ、監視データベース６５０の記録データ、サーバ監視データ７５０に含まれる構成データ、及びサーバ監視データベース８００の記録データをモニタ表示するための「ＤＩＳＰＬＡＹ」である。コマンド対象は、「ＲＣＶ」及び「ＳＮＤ」の送信先の装置識別名、並びに「ＤＩＳＰＬＡＹ」のモニタ表示対象の製造工程識別名である。<<Process monitoring command format>>
FIG. 27 is a format example of a process monitoring command. As shown in FIG. 27, the command input format consists of a command, a command object, and an option input. Commands are "RCV" and "SND" for transmitting monitoring item update data by the monitoring data communication method, configuration data included in the
オプション入力は、「ｐ」、「ｔ」、及び「ｏ」のオプションフラグから構成される。「ｐ」は「ＲＣＶ」及び「ＳＮＤ」のオプションフラグである。監視項目更新データの送信開始のｏｎ、又は送信停止のｏｆｆを指定する。 The option input consists of the 'p', 't' and 'o' option flags. "p" is an option flag for "RCV" and "SND". Specifies ON to start sending monitoring item update data or OFF to stop sending.
「ｔ」及び「ｏ」は「ＤＩＳＰＬＡＹ」のオプションフラグである。オプションフラグ「ｔ」は監視データベース６５０及びサーバ監視データベース８００におけるモニタ表示する記録データの日付時刻を指定する。「ｏ」は工程監視データ６００、監視データベース６５０、サーバ監視データ７５０、及びサーバ監視データベース８００におけるモニタ表示の項目を指定するオプションフラグである。 "t" and "o" are option flags of "DISPLAY". The option flag “t” designates the date and time of recorded data to be displayed on the monitor in the
「ｏ」を「ｔ」と共に用いる場合、監視データベース６５０に含まれる監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定し、又はサーバ監視データベース８００に含まれる製造工程の各々の監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定する。「ｏ」のみを入力する場合、工程監視データ６００に含まれる監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定し、又はサーバ監視データ７５０に含まれる製造工程の監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定する。 When "o" is used together with "t", the monitoring targets and monitoring items contained in the
＜＜工程監視サーバ、工程監視装置、監視カメラ、製造ライン、及び製造工程の構成＞＞
図２８は、工程監視サーバ、工程監視装置、監視カメラ、製造ライン、及び製造工程の構成例である。図２８に示すように、製造工場において１つ以上の製造ラインの各々が１つ以上の製造工程で構成されており、１つ以上の製造ラインの各々を構成する１つ以上の製造工程の少なくとも１つの製造工程の各々を監視する工程監視装置１０３～１０５のいずれか１つの工程監視装置が備えられている。工程監視サーバ３００は、当該工程監視装置が送信する更新対象監視項目の監視項目更新データをＬＡＮ６０を経由して受信することで、製造工場に含まれる１つ以上の製造工程の各々の稼働データを収集し稼働状況を遠隔監視する。なお、上記監視項目更新データの監視項目監視対象データに含まれる日付時刻は、ＬＡＮ６０に接続されている上記の工程監視装置１０３～１０５の各々において同期されている日付時刻を用いられるものとする。<<Configuration of Process Monitoring Server, Process Monitoring Device, Monitoring Camera, Manufacturing Line, and Manufacturing Process>>
FIG. 28 is a configuration example of the process monitoring server, process monitoring device, monitoring camera, manufacturing line, and manufacturing process. As shown in FIG. 28, each of one or more production lines in a manufacturing factory is configured by one or more manufacturing processes, and at least one or more manufacturing processes constituting each of the one or more manufacturing lines Any one of
図２８に示す構成例では、製造ライン１１が製造工程２１及び製造工程２２を備え、製造ライン１２が製造工程２３、・・・を備え、工程監視装置１０３が製造工程２１を監視し、工程監視装置１０４が製造工程２２を監視し、工程監視装置１０５が製造工程２３を監視する構成である。本実施形態例の説明では、図２８に示す製造ライン１１～１２を「製造ライン１」～「製造ライン２」とも表記し、製造工程２１～２３を「製造工程１」～「製造工程３」とも表記し、工程監視装置１０３～１０５を「工程監視装置１」～「工程監視装置３」とも表記して使用する。 In the configuration example shown in FIG. 28, the manufacturing line 11 includes manufacturing processes 21 and 22, the manufacturing line 12 includes manufacturing processes 23, . The
なお、製造工程２１、２２、２３、・・・の各々における監視対象及び監視項目の構成方法は、図１に示す製造工程２０と同様の構成方法である。製造工程２１、２２、２３、・・・の各々は１つ以上の監視項目を含み、監視項目の各々は図２の監視項目の分類に示す監視項目例の１台の製造機器、１人の作業者、１台の表示装置、又は１つ以上の製造加工物のいずれか１つである。 The configuration method of the monitoring targets and monitoring items in each of the manufacturing processes 21, 22, 23, . . . is the same configuration method as in the
また、監視カメラ５０の各々が撮影する時系列の監視画像に含まれる１つ以上の監視項目の少なくとも１つを監視対象として、工程監視装置１、工程監視装置２、工程監視装置３、・・・の各々は製造工程２１、２２、２３、・・・の各々における稼働データを収集し稼働状況を監視する。 At least one of one or more monitoring items included in time-series monitoring images captured by each of the
＜＜工程監視サーバ３００の構成＞＞
図２９は工程監視サーバ３００の機能ブロック図である。図２９に示すように、工程監視サーバ３００はサーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０を備える。<<Configuration of Process Monitoring Server 300>>
FIG. 29 is a functional block diagram of the process monitoring server 300. As shown in FIG. As shown in FIG. 29 , the process monitoring server 300 includes a server data
サーバデータ通信処理部３１０は、ＬＡＮ接続を行う通信インタフェースとインターネット通信を実行するプロトコルスタックで構成する。 The server data
サーバ監視データ受信部３２０は、サーバデータ通信処理部３１０を介して、工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々から監視項目更新データを受信し、図３５に示すサーバ監視データ７５０に記録する。 The server monitoring
サーバ監視データベース管理部３３０は、サーバ監視データ受信部３２０を介して受信した上記監視項目更新データを補助記憶装置４２０の図３６に示すサーバ監視データベース８００に記録し、及びサーバ監視データベース８００から検索する機能を実行する。 The server monitoring
＜＜工程監視サーバ３００のハードウェア構成＞＞
図３１は工程監視サーバ３００のハードウェア構成図である。
工程監視サーバ３００は汎用のコンピュータ、又は専用ハードウェアで実装しても良い。図３１に示すように、工程監視サーバ３００は中央演算処理装置であるＣＰＵ４００、メインメモリ４０１、入出力機器インタフェース４０２、ＬＡＮインタフェース４０３、補助記憶装置４１０、補助記憶装置４２０、及びシステムバス４３０を備えている。<<Hardware Configuration of Process Monitoring Server 300>>
FIG. 31 is a hardware configuration diagram of the process monitoring server 300. As shown in FIG.
The process monitoring server 300 may be implemented with a general-purpose computer or dedicated hardware. As shown in FIG. 31, the process monitoring server 300 includes a
ＣＰＵ４００は、工程監視サーバ３００の起動時に、基本ソフトウェア４１１、並びにサーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０の機能を実現する監視サーバコアプログラム４１２を補助記憶装置４１０からメインメモリに読込みこれらプログラムを実行する。 When the process monitoring server 300 is activated, the
メインメモリ４０１は、基本ソフトウェア４１１、並びにサーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０の機能を実現する監視サーバコアプログラム４１２の実行領域として用いられ、並びにサーバ監視データ７５０の作業用のメモリ領域として用いられる。 The
入出力機器インタフェース４０２は、補助記憶装置４１０～４２０、コンソール４４０等の入出力機器を接続しこれらの入出力機器を制御するプログラムを実装する。 The input/
ＬＡＮインタフェース４０３は、ＬＡＮ６０に接続するための通信インタフェースである。 A
補助記憶装置４１０は、基本ソフトウェア４１１、サーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０の機能を実現する監視サーバコアプログラム４１２を記憶するために用いられる。補助記憶装置４２０は、サーバ監視データベース８００を記憶するために用いられる。 Auxiliary storage device 410 is used to store basic software 411 , server data
システムバス４３０は、ＣＰＵ４００、メインメモリ４０１、入出力機器インタフェース４０２、ＬＡＮインタフェース４０３、補助記憶装置４１０、及び補助記憶装置４２０を接続し、各接続コンポーネント間での制御信号及びデータの相互転送を行う共通バスとして用いられる。 A system bus 430 connects the
なお、コンソール４４０は、工程監視サーバ３００がサーバモニタリング処理部３４０を有する場合、製造ラインの構成及び製造工程のモニタ表示を行い、並びに工程監視コマンド２７０の入力を行うコンソールとして接続する。 When the process monitoring server 300 has the server
＜＜工程監視サーバ３００ 起動時の処理＞＞
工程監視サーバ３００の起動時に、基本ソフトウェア４１１、並びにサーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０の機能を実現する監視サーバコアプログラム４１２を補助記憶装置４１０からメインメモリに読込み、これらプログラムの実行を開始する。<<Process when the process monitoring server 300 starts up>>
When the process monitoring server 300 is activated, the basic software 411 and the monitoring
＜＜工程監視サーバ３００ サーバ監視データ受信部３２０の処理フロー＞＞
サーバ監視データ受信部３２０は、工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々から監視項目更新データをサーバデータ通信処理部３１０を介して受信し、図３５に示すサーバ監視データ７５０における当該工程監視装置の各々に対応する監視項目更新データに記録する。サーバ監視データ７５０を、＜＜サーバ監視データ７５０のデータ構造＞＞で説明する。<<Processing Flow of Process Monitoring Server 300 Server Monitoring
The server monitoring
サーバ監視データ受信部３２０による上記処理は、図２５～２６に示す監視データ通信方法で実行される。図２５～２６において、遠隔監視制御装置２５０を工程監視サーバ３００に置換え、遠隔監視制御装置監視データ２６０をサーバ監視データ７５０に置換えた上記監視データ通信方法で実行される。上記監視データ通信方法は、工程監視装置１０３～１０５の監視データ送信部１５０の処理フローにおける監視項目更新データの通信手順と同様であり、詳細の説明を省略する。 The above processing by the server monitoring
サーバ監視データ受信部３２０における監視項目更新データの通信手順により、工程監視サーバ３００において遠隔監視が可能となり、また監視項目更新データのみを受信することで通信データ量及び通信処理負荷を低減して遠隔監視を実行することが可能となる。 Remote monitoring is possible in the process monitoring server 300 according to the communication procedure of the monitoring item update data in the server monitoring
＜＜サーバ監視データ７５０のデータ構造＞＞
図３５は、サーバ監視データ７５０のデータ構造例である。本実施形態例の説明では、図３５に示すサーバ監視データ７５０における工程監視データ７６０～７８０を製造工程１～製造工程３の工程監視データとして「工程１監視データ」～「工程３監視データ」とも表記し、監視項目更新データ７６１～７６４を製造工程１の監視項目１である工程１監視項目１～製造工程１の監視項目４である工程１監視項目４の監視項目更新データとして「工程１監視項目１更新データ」～「工程１監視項目４更新データ」とも表記して使用する。<<Data Structure of
FIG. 35 is an example data structure of the
サーバ監視データ７５０の工程監視データ７６０、７７０、７８０、・・・の各々は、製造工程１、製造工程２、製造工程３、・・・の各々に対応する工程監視データである。工程監視データ７６０、７７０、７８０、・・・の各々のデータ構造は、製造工程１、製造工程２、製造工程３、・・・の各々を監視する工程監視装置の工程監視データのデータ構造と同様であり、工程監視データ７６０、７７０、７８０、・・・の各々は製造工程１、製造工程２、製造工程３、・・・の各々を構成する監視項目の監視項目更新データを含む。図３５に示す監視項目更新データ７６１～７６４、・・・の各々は製造工程１を構成する工程１監視項目１～工程１監視項目４、・・・の各々の監視項目更新データである。 Each of the
＜＜工程監視サーバ３００ サーバ監視データベース管理部３３０の処理フロー＞＞
図３２は工程監視サーバにおけるサーバ監視データベース管理部３３０のフローチャートである。図３２のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。サーバ監視データベース管理部３３０は、工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々からサーバ監視データ受信部３２０を介して監視項目更新データを受信し、図３２のＳ３３３において、当該工程監視装置の各々に対応する図３６に示すサーバ監視データベース８００の監視項目更新データ履歴に記録し蓄積する。<<Processing Flow of Process Monitoring Server 300 Server Monitoring
FIG. 32 is a flow chart of the server
工程監視装置１０３の工程監視装置１における監視項目更新データをサーバ監視データベース８００に記録する場合、工程監視装置１に対応する監視データベース８１０の工程１監視データベースに含まれる監視項目更新データ履歴８１１に記録する。工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々から受信する監視項目更新データに対して、同様の処理を実行する。 When the monitoring item update data in the
なお、当該工程監視装置の各々に対応するサーバ監視データベース８００に含まれる監視データベース８１０、８２０、８３０、・・・のデータ構造は、監視データベース６５０と同様のデータ構造を有する。監視データベース８１０、８２０、８３０、・・・の各々は、対応する工程監視装置が監視する製造工程ごとに固有の監視データベースである。サーバ監視データベース８００を、＜＜サーバ監視データベース８００のデータ構造＞＞で説明する。 The data structure of the
また、Ｓ３３４において、サーバ監視データベース８００に記録されている当該工程監視装置の各々の監視項目更新データの検索を実行する。監視データベース８１０、８２０、８３０、・・・の各々の監視項目更新データ履歴に記録されている監視項目更新データに含まれる日付時刻を検索キーとして検索する。 Also, in S334, a search is executed for the monitoring item update data for each of the process monitoring devices recorded in the
監視装置１０３の工程監視装置１における監視項目更新データをサーバ監視データベース８００から検索する場合、工程監視装置１に対応する監視データベース８１０の工程１監視データベースの監視項目更新データ履歴８１１に記録されている監視項目更新データに含まれる日付時刻を検索キーとして検索する。工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々の監視項目更新データに対して、同様の処理を実行する。 When searching the
サーバ監視データベース管理部３３０により、工程監視サーバ３００が遠隔で管理する１台以上の工程監視装置の各々から受信する監視項目更新データのみをサーバ監視データベース８００に記録することで、記録データ量、並びに記録及び検索の処理負荷を低減することが可能となる。さらに、当該工程監視装置が監視データベースを有する場合、サーバ監視データベース８００により監視データベースの二重化を実現し信頼性を向上することが可能となる。 The server monitoring
＜＜サーバ監視データベース８００のデータ構造＞＞
図３６は、サーバ監視データベース８００のデータ構造例である。本実施形態例の説明では、図３６に示すサーバ監視データベース８００における監視データベース８１０～８３０を製造工程１～製造工程３の監視データベースとして「工程１監視データベース」～「工程３監視データベース」とも表記し、監視項目更新データ履歴８１１～８１４を製造工程１の監視項目１である工程１監視項目１～製造工程１の監視項目４である工程１監視項目４の監視項目更新データ履歴として「工程１監視項目１更新データ履歴」～「工程１監視項目４更新データ履歴」とも表記して使用する。<<Data Structure of
FIG. 36 is an example data structure of the
サーバ監視データベース８００の監視データベース８１０、８２０、８３０、・・・の各々は、製造工程１、製造工程２、製造工程３、・・・の各々に対応する監視データベースである。監視データベース８１０、８２０、８３０、・・・の各々のデータ構造は、監視データベース６５０と同様のデータ構造を有する。監視データベース８１０、８２０、８３０、・・・の各々は製造工程１、製造工程２、製造工程３、・・・の各々を構成する監視項目の監視項目更新データ履歴を含む。図３６に示す監視項目更新データ履歴８１１～８１４、・・・の各々は製造工程１を構成する工程１監視項目１～工程１監視項目４、・・・の各々の監視項目更新データ履歴である。 Each of the
＜＜サーバモニタリング処理部３４０を備える工程監視サーバ３０１の構成＞＞
図３０は工程監視サーバ３０１の機能ブロック図である。図３０に示すように、工程監視サーバ３０１は工程監視サーバ３００の構成にサーバモニタリング処理部３４０を備える構成である。以下においては、両者の異なるモニタリング処理部３４０を中心に説明し、同様の箇所については説明を省略する。また、工程監視サーバ３００と対応する箇所には、同一の符号を付して説明する。<<Configuration of Process Monitoring Server 301 Equipped with Server
FIG. 30 is a functional block diagram of the process monitoring server 301. As shown in FIG. As shown in FIG. 30, the process monitoring server 301 has a configuration in which a server
サーバモニタリング処理部３４０を備えることにより、製造ライン１１、１２、・・・の構成、サーバ監視データ７５０の構成データ、及びサーバ監視データベース８００の記録データをモニタ表示する。製造工程１、製造工程２、製造工程３、・・・における稼働状況を遠隔監視し、並びに監視項目更新データの送信の開始及び停止の要求を入力することで製造工程１、製造工程２、製造工程３、・・・における稼働データの収集を開始及び停止する。 By providing the server
＜＜工程監視サーバ３０１のハードウェア構成＞＞
工程監視サーバ３０１は、工程監視サーバ３００のハードウェア構成にコンソール４４０をさらに備える構成である。また、補助記憶装置４１０は、基本ソフトウェア４１１、サーバデータ通信処理部３１０、サーバ監視データ受信部３２０、及びサーバ監視データベース管理部３３０の機能を実現する監視サーバコアプログラム４１２に加えて、サーバ構成管理表７００、及びサーバモニタリング処理部３４０の機能を実現するプログラムを記憶する。<<Hardware Configuration of Process Monitoring Server 301>>
The process monitoring server 301 has a configuration in which a console 440 is added to the hardware configuration of the process monitoring server 300 . In addition to the basic software 411, the server data
＜＜工程監視サーバ３０１ 起動時の処理＞＞
工程監視サーバ３００の起動時の処理に加えて、サーバモニタリング処理部３４０の機能を実現するプログラムを補助記憶装置４１０からメインメモリに読込み実行を開始する。<<Process when the process monitoring server 301 starts up>>
In addition to the process when the process monitoring server 300 is activated, a program for realizing the functions of the server
また、サーバモニタリング処理部３４０の実行に用いる基本情報を有する図３４のサーバ構成管理表７００をメインメモリに補助記憶装置４１０から読込む。サーバ構成管理表７００について、＜＜サーバ構成管理表７００のデータ構造＞＞で説明する。 Also, the server configuration management table 700 of FIG. 34 having basic information used for executing the server
＜＜サーバ構成管理表７００のデータ構造＞＞
図３４は、サーバ構成管理表７００のデータ構造例である。本実施形態例の説明では、図３４に示すサーバ構成管理表７００における監視対象構成表７２０～７４０を製造工程１～製造工程３の監視対象構成表として「工程１監視対象構成表」～「工程３監視対象構成表」とも表記し、監視対象構成７２１を製造工程１の監視対象１の監視対象構成として「工程１監視対象１構成」とも表記して使用する。<<Data Structure of Server Configuration Management Table 700>>
FIG. 34 is an example data structure of the server configuration management table 700. As shown in FIG. In the description of this embodiment, the monitoring target configuration tables 720 to 740 in the server configuration management table 700 shown in FIG. 3 monitoring object configuration table”, and the
図３４に示すように、サーバ構成管理表７００は製造ライン構成管理表７１０、及び監視対象構成表７２０、７３０、７４０、・・・を含む。 As shown in FIG. 34, the server configuration management table 700 includes a production line configuration management table 710 and monitoring target configuration tables 720, 730, 740, .
製造ライン構成管理表７１０は、製造ラインを構成する製造工程及び製造工程の各々を監視する工程監視装置の構成を管理する。 The production line configuration management table 710 manages the configuration of the manufacturing processes that make up the manufacturing line and the process monitoring devices that monitor each of the manufacturing processes.
監視対象構成表７２０、７３０、７４０、・・・の各々は、製造工程１、製造工程２、製造工程３、・・・の各々に対応する監視対象構成表である。監視対象構成表７２０、７３０、７４０、・・・の各々のデータ構造は、製造工程１、製造工程２、製造工程３、・・・の各々を監視する工程監視装置の監視対象構成表のデータ構造と同様である。監視対象構成表７２０、７３０、７４０、・・・の各々は製造工程１、製造工程２、製造工程３、・・・の各々を構成する監視対象の監視対象構成を含み、監視対象の監視画像を撮影する監視カメラ、監視対象に含まれる監視項目及び当該監視項目の分類を管理する。 Each of the monitored configuration tables 720, 730, 740, . . . is a monitored configuration table corresponding to each of
図３４のサーバ構成管理表７００の例では、製造ライン構成管理表７１０は、製造ライン１が製造工程１及び製造工程２から構成され、製造工程１が工程監視装置１に監視され、並びに製造工程２が工程監視装置２に監視されていることを表す。また、監視対象構成表７２０は製造工程１における監視対象構成を含み、監視対象構成７２１は、監視カメラの工程１カメラ１が監視対象の工程１監視対象１を撮影し、工程１監視対象１が製造機器である工程１監視項目１及び作業者である工程１監視項目２から構成されていることを表す。 In the example of the server configuration management table 700 shown in FIG. 2 indicates that the
＜＜サーバモニタリング処理部３４０の処理フロー＞＞
サーバモニタリング処理部３４０は、サーバ構成管理表７００、サーバ監視データ７５０、及びサーバ監視データベース８００を参照し、工程監視サーバ３０１が監視する製造工程の稼働データのモニタ表示を実行する。<<Processing Flow of Server
The server
起動時に、初期画面として製造ラインの構成である図３３に示すモニタ表示３４１が表示される。起動後は、モニタ表示３４１は、ポインティングデバイス入力部３４２の「製造ラインの構成」を選択することで表示される。 At the time of activation, a monitor display 341 shown in FIG. 33, which is the configuration of the manufacturing line, is displayed as an initial screen. After activation, the monitor display 341 is displayed by selecting “manufacturing line configuration” in the pointing
サーバモニタリング処理部３４０による製造工程の監視対象及び監視項目のモニタ表示は、図３３のモニタ表示３４１から監視対象の構成である図１４のモニタ表示１４１に移行することで実行する。モニタ表示３４１からモニタ表示１４１への移行は、ポインティングデバイス入力部３４２で製造工程を選択することで実行する。サーバモニタリング処理部３４０による製造工程の監視対象及び監視項目のモニタ表示の処理は、モニタリング処理部１４０と同様の処理フローであるため、説明を省略する。 The monitor display of the monitoring target and monitoring items of the manufacturing process by the server
また、サーバモニタリング処理部３４０は、工程監視コマンド２７０のＲＣＶコマンド用いて監視項目更新データの送信開始要求である「ＲＣＶ 工程監視装置識別子 －ｐ ｏｎ」、又は監視項目更新データの送信停止要求である「ＲＣＶ 工程監視装置識別子 －ｐ ｏｆｆ」をキーボード入力部３４３から入力し、工程監視サーバ３００が遠隔から管理する１台以上の工程監視装置の各々に対して監視項目更新データの送信の開始、又は停止をすることができる。サーバモニタリング処理部３４０から入力された上記送信開始要求又は送信停止要求はサーバデータ受信部３２０から当該工程監視装置の各々に送信される。 In addition, the server
１０～１２ 製造ライン、２０～２３ 製造工程
３１～３２ 監視対象、４１～４４ 監視項目
５０ 監視カメラ
６０ ローカルエリアネットワーク（ＬＡＮ）
７１ 製造機器、７２ 作業者、７３ 表示装置、７４ 製造加工物、７５ 製造設備、７６～７８ 搬送装置
１００～１０５ 工程監視装置
１１０ データ通信処理部
１２０ 工程画像認識処理部、１２１ 監視項目抽出機能、１２２ 監視データ生成機能
１３０ 監視データベース管理部
１４０ モニタリング処理部
１４１、１４４、３４１ モニタ表示
１４２、３４２ ポインティングデバイス入力部、１４３、３４３ キーボード入力部
１５０ 監視データ送信部
２００、４００ ＣＰＵ、２０１、４０１ メインメモリ、２０２ ＧＰＵ
２０３、４０２ 入出力機器インタフェース
２０４、４０３ ＬＡＮインタフェース
２１０、２３０、４１０、４２０ 補助記憶装置
２２０、４３０ システムバス
２１１、４１１ 基本ソフトウェア
２１２ 監視コアプログラム、４１２ 監視サーバコアプログラム
２４０、４４０ コンソール
２５０ 遠隔監視制御装置、２６０ 遠隔監視制御装置監視データ
２７０ 工程監視コマンド
３００、３０１ 工程監視サーバ
３１０ サーバデータ通信処理部
３２０ サーバ監視データ受信部
３３０ サーバ監視データベース管理部
３４０ サーバモニタリング処理部
５００ 工程構成管理表
５１０、７２０、７３０、７４０ 監視対象構成表
５１１、５１２、７２１ 監視対象構成
５２０ 監視項目プロファイル表、５２１～５２４監視項目プロファイル
６００、７６０、７７０、７８０ 工程監視データ
６１０、６２０、６３０、６４０、６６１、６６２、６７１、６７２、６８１、６８２、７６１～７６４ 監視項目更新データ
６１１、６２１、６３１、６４１ 監視項目監視対象データ
６１２、６２２、６３２、６４２ 監視項目監視データ
６１３、６２３、６３３、６４３ 監視項目画像認識データ
６５０、８１０、８２０、８３０ 監視データベース
６６０、６７０、６８０、８１１～８１４ 監視項目更新データ履歴
７００ サーバ構成管理表
７１０ 製造ライン構成管理表
７５０ サーバ監視データ
８００ サーバ監視データベース10-12 production line, 20-23 production process 31-32 monitoring object, 41-44
71 manufacturing equipment, 72 worker, 73 display device, 74 manufacturing processed product, 75 manufacturing equipment, 76 to 78
203, 402 input/output device interfaces 204, 403
Claims (8)
前記ローカルエリアネットワークを経由してデータ通信を行う機能を有するデータ通信処理部と、
前記データ通信処理部を介して前記１以上の監視カメラの各々が撮影する前記監視対象の監視画像を予め定められた一定の時間間隔で入力し、前記データ通信処理部から前記監視対象の監視画像を入力した日付時刻を記録し、前記監視対象の監視画像から前記監視対象に含まれる１以上の前記監視項目の各々の部分画像を切出す監視項目抽出機能、及び前記監視項目抽出機能から入力される前記部分画像に対応する前記監視項目の稼働状態を認識する予め学習済みの深層学習による画像認識処理を実行し、稼働状態の変化が検出された時の前記監視項目を更新対象監視項目とし、前記更新対象監視項目の稼働データである監視項目更新データを生成し、前記製造工程に含まれる１以上の前記監視対象の各々を構成する１以上の前記監視項目の各々の前記監視項目更新データを含む工程監視データを生成する監視データ生成機能を具備する工程画像認識処理部と、
を備えることを特徴とする工程監視装置。One or more monitoring items are included in the manufacturing process, and each of the one or more monitoring items is one manufacturing equipment, one worker, one display device installed in the manufacturing equipment and displaying operation data, or one or more One or more monitoring cameras connected to a local area network are provided in the manufacturing process, and are included in time-series monitoring images captured by each of the one or more monitoring cameras. At least one of the one or more monitoring items is monitored, and the monitoring image received via the local area network is subjected to image recognition processing to generate operation data in the manufacturing process and monitor the operation status. A process monitoring device,
a data communication processing unit having a function of performing data communication via the local area network;
A monitoring image of the monitoring target captured by each of the one or more monitoring cameras is input via the data communication processing unit at a predetermined constant time interval, and the monitoring image of the monitoring target is transmitted from the data communication processing unit. is input from the monitoring item extracting function for recording the date and time of input of the monitoring item extracting function for extracting a partial image of each of the one or more monitoring items included in the monitoring target from the monitoring image of the monitoring target; executing image recognition processing by deep learning that has been learned in advance to recognize the operating state of the monitoring item corresponding to the partial image, and setting the monitoring item when a change in the operating state is detected as a monitoring item to be updated; generating monitoring item update data that is operation data of the monitoring item to be updated, and generating the monitoring item update data for each of the one or more monitoring items constituting each of the one or more monitoring targets included in the manufacturing process; a process image recognition processing unit having a monitoring data generation function for generating process monitoring data including
A process monitoring device comprising:
前記製造工程に含まれる１以上の前記監視対象の各々を構成する１以上の前記監視項目の各々の監視項目更新データ履歴を含み、
前記監視項目更新データ履歴は、前記監視項目更新データ履歴の記録対象である前記監視項目の前記監視項目更新データの時系列の履歴を含み、
前記監視項目更新データ履歴に含まれる前記更新対象監視項目の稼働データである前記監視項目更新データは、前記更新対象監視項目の部分画像を含む前記監視対象の監視画像を前記監視項目抽出機能で入力した時の前記日付時刻及び前記更新対象監視項目の部分画像を含む前記監視対象の監視画像と、
前記更新対象監視項目の前記画像認識の結果を基に作成する前記更新対象監視項目の製造関連情報と、
前記更新対象監視項目の前記画像認識の結果とを含み、
制御部及び記憶部を有するコンピュータを備える前記製造工程を監視又は制御する監視制御装置に用いられ、前記記憶部は前記製造工程に含まれる１以上の前記監視対象の各々を構成する１以上の前記監視項目の各々の前記監視項目更新データ履歴を有し、前記記憶部から前記制御部が検索対象とする前記監視項目更新データ履歴に含まれる前記監視項目更新データの前記日付時刻を参照し、任意の日付時刻と比較し、前記任意の日付時刻以前で最新の日付時刻を有する前記監視項目更新データを探索することで、前記任意の日付時刻以前における前記検索対象とする前記監視項目更新データ履歴に含まれる最新の前記監視項目更新データを検索する監視データベースのデータ構造。3. The process monitoring apparatus according to claim 2, wherein the data structure of the monitoring database of said auxiliary storage device for recording and retrieving said monitoring item update data,
including monitoring item update data history of each of the one or more monitoring items constituting each of the one or more monitoring targets included in the manufacturing process;
The monitoring item update data history includes a chronological history of the monitoring item update data of the monitoring item to be recorded in the monitoring item update data history,
The monitoring item update data, which is operation data of the monitoring item to be updated and included in the monitoring item update data history, is obtained by inputting a monitoring image of the monitoring target including a partial image of the monitoring item to be updated by the monitoring item extraction function. a monitoring image of the monitoring target including the date and time and a partial image of the monitoring item to be updated when the
manufacturing-related information of the monitoring item to be updated, which is created based on the result of the image recognition of the monitoring item to be updated;
and a result of the image recognition of the monitoring item to be updated,
used in a monitoring control device for monitoring or controlling the manufacturing process, which includes a computer having a control unit and a storage unit, and the storage unit constitutes each of the one or more monitoring targets included in the manufacturing process. having the monitoring item update data history of each of the monitoring items, referring to the date and time of the monitoring item update data included in the monitoring item update data history to be searched by the control unit from the storage unit; and searching for the monitoring item update data having the latest date and time prior to the arbitrary date and time, thereby obtaining the monitoring item update data history prior to the arbitrary date and time to be searched. A data structure of a monitoring database that retrieves the latest contained monitoring item update data.
前記監視項目更新データの送信の開始及び停止をする通信手順と、
前記監視項目更新データを前記データ通信処理部を介して前記遠隔監視制御装置に送信する通信手順と、
を備えることを特徴とする監視データ通信方法。5. The process monitoring apparatus according to claim 4, wherein the monitoring data communication method transmits the monitoring item update data from the monitoring data transmission unit to the remote monitoring control device via the data communication processing unit,
a communication procedure for starting and stopping transmission of the monitoring item update data;
a communication procedure for transmitting the monitoring item update data to the remote monitoring control device via the data communication processing unit;
A surveillance data communication method, comprising:
前記ローカルエリアネットワークに接続しデータ通信を行うサーバデータ通信処理部と、
前記工程監視装置が送信する前記監視項目更新データを前記サーバデータ通信処理部を介して受信しサーバ監視データに記録する機能を有するサーバ監視データ受信部と、
前記サーバ監視データ受信部で受信した前記監視項目更新データをサーバ監視データベースに記録し、及び前記サーバ監視データベースから検索する機能を有するサーバ監視データベース管理部と、
を備えることを特徴とする工程監視サーバ。In a manufacturing plant, each of one or more production lines is composed of one or more manufacturing processes, and at least one of the one or more manufacturing processes constituting each of the one or more manufacturing lines 5. The monitoring item update data transmitted by the process monitoring device is received via the local area network so that one monitoring item included in the manufacturing plant is provided. A process monitoring server that collects operation data of each of the above manufacturing processes and remotely monitors the operation status,
a server data communication processing unit that connects to the local area network and performs data communication;
a server monitoring data receiving unit having a function of receiving the monitoring item update data transmitted by the process monitoring device via the server data communication processing unit and recording the data in server monitoring data;
a server monitoring database management unit having a function of recording the monitoring item update data received by the server monitoring data receiving unit in a server monitoring database and searching the server monitoring database;
A process monitoring server characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021029211A JP2022108238A (en) | 2021-01-12 | 2021-01-12 | Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021029211A JP2022108238A (en) | 2021-01-12 | 2021-01-12 | Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022108238A true JP2022108238A (en) | 2022-07-25 |
Family
ID=82556266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021029211A Pending JP2022108238A (en) | 2021-01-12 | 2021-01-12 | Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022108238A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102668871B1 (en) * | 2023-05-12 | 2024-05-24 | (주)송당 | Apparatus and method for managing workpieces placed inside a factory using images |
-
2021
- 2021-01-12 JP JP2021029211A patent/JP2022108238A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102668871B1 (en) * | 2023-05-12 | 2024-05-24 | (주)송당 | Apparatus and method for managing workpieces placed inside a factory using images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10126921B2 (en) | Field device management apparatus, device information display method, computer-readable storage medium | |
| JP6205757B2 (en) | Control system, control apparatus, image processing apparatus, and control method | |
| US10915419B2 (en) | Industrial control system, and assistance apparatus, control assist method, and program thereof | |
| EP2112783A2 (en) | Knowledge-based failure recovery support system | |
| US9256221B2 (en) | Information processing apparatus, processing system, processing method, and program | |
| JP2001236115A (en) | Remote diagnostic system and method | |
| CN104836699A (en) | Equipment state processing method and equipment state processing system | |
| JP2019153051A (en) | Information collection display system, information collection method, and information display method | |
| JP2011175437A (en) | Process analysis system | |
| WO2019186778A1 (en) | Work assistance device, work assistance system, work assistance method, and work assistance program | |
| JP5641482B2 (en) | Supervisory control system | |
| JP2022108238A (en) | Process monitoring device, data structure of monitoring database, monitoring data communication method, and process monitoring server | |
| JP2016115024A (en) | Facility management assistance device and program | |
| US20230156085A1 (en) | Information processing system, information processing method and non-transitory storage medium storing information processing program thereon | |
| JPH10207900A (en) | Book/facility data management system based on virtual facility | |
| US11487270B2 (en) | Industrial machine management system, method for managing industrial machine, and non-transitory computer-readable storage medium | |
| JP6813077B1 (en) | Production system, recovery system, production method, and program | |
| JP7437961B2 (en) | Supervisory control device, supervisory control method, supervisory system and program | |
| JP6746003B2 (en) | Management device, management method and program | |
| JP2022142997A (en) | Information processing device, work progress management method, and program | |
| JP2010211619A (en) | Central monitoring system and maintenance support tool | |
| JP2007233567A (en) | Plant monitoring system | |
| WO2014192072A1 (en) | Computer, association calculation method, and storage medium | |
| JPH10301621A (en) | Plant operation supporting device | |
| CN113728286B (en) | Picture data generating system, picture data generating method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210624 |