JP6999861B1 - 制御装置、画像記録方法及びプログラム - Google Patents

Abstract

制御装置は、被制御機器及び撮像機器（２２）に接続されて被制御機器を制御する。制御装置は、撮像機器（２２）によって撮影された、被制御機器の制御に関する画像を示す画像情報であって、特定の時刻からの経過時間を画像に関連付けて示す第１タイムスタンプを含む画像情報を繰り返し受信する第１受信部（４１）と、撮像機器（２２）による通信の履歴に関する通信情報であって、特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む通信情報を受信する第２受信部（４２）と、画像情報により示される画像に関連付けられた第１タイムスタンプと、前記送信時刻に対応する第２タイムスタンプと、の比較に基づいて、第１タイムスタンプに対応する対応時刻を画像に関連付けて示す関連情報を記憶部（４３３，４４）に格納する格納部（４３）と、を備える。

Description

本開示は、制御装置、画像記録方法及びプログラムに関する。

ＦＡ（Factory Automation）の現場では、制御装置が種々の機器を制御することで、製造ライン、加工ライン及び検査ラインに代表されるラインが実現される。ラインの工程管理として、ラインを撮影した画像を記録し、ラインの停止に代表されるトラブルが発生したときに、その発生時の状況を記録した画像により検証してトラブルの原因を追究することがある。例えば、撮影された画像を、制御装置としてのＰＬＣ（Programmable Logic Controller）によってロギングされたデータと照合して、トラブルの発生時の詳細な状況を把握することにより、トラブルの原因が解析される（例えば、特許文献１を参照）。

特許文献１には、ＰＬＣが、工場に設置される各種装置を制御するためのラダープログラムを実行する基本ユニットと、フィールドデバイスとしてのカメラからの画像データが入力される拡張ユニットと、を備えることについて記載されている。この拡張ユニットは、時刻情報とカメラにより取得された画像データとを関連付けて基本ユニットに送信する。特許文献１のＰＬＣによれば、基本ユニットに記憶されるデバイス値と画像データとを時刻に対応付けて表示して、ユーザがトラブルの原因を究明していくことができる。

特開２０２０―１３５２６号公報

特許文献１に記載の拡張ユニットにおいては、例えばリレーデバイスがオンになるという収集条件が満たされると、収集部がトリガー信号を出力する。そして、拡張ユニットの時刻管理部が、トリガー信号に応じて内部時計から時刻情報を読み出し、カメラが、トリガー信号に応じて撮像した画像データを出力する。

しかしながら、時刻の取得については、拡張ユニットの内部処理として行われるため比較的短い時間で完了するのに対して、画像データの取得については、拡張ユニットとカメラとの間における通信遅延が生じる。このため、拡張ユニットにおいて画像データに関連付けられる時刻は、カメラが画像を実際に撮影する時刻と異なってしまう。これにより、事後に画像を検証するユーザが、撮影された画像に写っているトラブルの発生した実際の時刻を誤ることに加え、ＰＬＣのような制御装置によってロギングされたデータとの整合性がとれず、結果として不便となるおそれがある。したがって、制御装置が外部から取得する画像のデータに対してより利便性の高い時刻を付与する余地がある。

本開示は、制御装置が外部から取得する画像のデータに対してより利便性の高い時刻を付与することを目的とする。

上記目的を達成するため、本開示の制御装置は、被制御機器及び撮像機器に接続されて被制御機器を制御する制御装置であって、撮像機器によって撮影された、被制御機器の制御に関する画像を示す画像情報であって、特定の時刻からの経過時間を画像に関連付けて示す第１タイムスタンプを含む画像情報を繰り返し受信する第１受信手段と、撮像機器による通信の履歴に関する通信情報であって、特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む通信情報を受信する第２受信手段と、画像情報により示される画像に関連付けられた第１タイムスタンプにより示される経過時間から、送信時刻に対応する第２タイムスタンプにより示される経過時間を減じることで差を得て、差を送信時刻に加算することで得る時刻を、第１タイムスタンプに対応する対応時刻として画像に関連付けて示す関連情報を記憶手段に格納する格納手段と、を備える。

本開示によれば、第１受信手段が、第１タイムスタンプを含む画像情報を受信し、第２受信手段が、第２タイムスタンプを含む通信情報を受信し、格納手段が、第１タイムスタンプと第２タイムスタンプとの比較に基づいて、第１タイムスタンプに対応する対応時刻を画像に関連付けて示す関連情報を記憶手段に格納する。このため、画像には、第１受信手段による受信より前に予め付与された第１タイムスタンプに対応する対応時刻が付与される。これにより、通信遅延の影響を排除して、制御装置が外部から取得する画像のデータに対してより利便性の高い時刻を付与することができる。

実施の形態１に係る制御システムの構成を示す図 実施の形態１に係る画像情報及び通信情報について説明するための図 実施の形態１に係る実行ユニット、入出力ユニット及び画像記録ユニットのハードウェア構成を示す図 実施の形態１に係る画像記録ユニットの機能的な構成を示す図 実施の形態１に係る対応時刻について説明するための図 実施の形態１に係る画像記録処理を示すフローチャート 実施の形態１に係る対応時刻の算出の一例を示す図 実施の形態２に係る画像に付与されるタイムスタンプを示す図 実施の形態２に係る対応時刻の算出の一例を示す図 実施の形態３に係る対応時刻の算出の一例を示す図 変形例に係る画像記録ユニットの機能的な構成を示す第１の図 変形例に係る画像記録ユニットの機能的な構成を示す第２の図

以下、本開示の実施の形態に係る制御装置１０について、図面を参照しつつ詳細に説明する。

実施の形態１．
図１には、本実施の形態に係る制御装置１０により形成される制御システム１００の構成が示されている。制御システム１００は、製造ラインを稼働させるために工場に構築されて、トラブルの検証に備えて画像を撮影して記録するシステムである。制御システム１００は、被制御機器２１を制御する制御装置１０と、製造ラインに設置された被制御機器２１と、製造ラインに関する状況の画像を撮影する撮像機器２２と、を有する。

被制御機器２１及び撮像機器２２は、産業用ネットワークを介して制御装置１０に接続される。ただし、被制御機器２１及び撮像機器２２の一方又は双方は、産業用ネットワークを介した通信とは異なる手法により制御装置１０と通信してもよい。このような手法として、情報ネットワークとしてのＬＡＮ（Local Area Network）又は専用線を介した通信、及び、配線を介して電流信号又は電圧信号を伝送する片方向通信がある。

被制御機器２１は、製造ラインに設置されるセンサ、アクチュエータ、ロボット、その他のＦＡ機器である。被制御機器２１は、制御装置１０の入出力ユニット１２に接続されて、制御装置１０からの指示に従って動作する。例えば、センサである被制御機器２１は、制御装置１０から指定された周期で、センシング結果を制御装置１０に通知する。また、アクチュエータである被制御機器２１は、制御装置１０から指定されたタイミング及び速度でワークを移動させる。なお、図１には、１つの被制御機器２１が代表的に示されているが、制御システム１００において制御装置１０の制御対象となる機器の数は、２つ以上であってもよい。一又は複数の被制御機器２１が制御装置１０によって制御されることで、製造ラインが稼働する。

撮像機器２２は、カメラを有し、制御装置１０による被制御機器２１の制御に関する状況の画像を撮影する。この画像は、被制御機器２１が動作する現場の画像であるが、被制御機器２１自体が撮影される画像には限定されず、撮像機器２２の撮影対象は、被制御機器２１であってもよいし、製造ラインにおけるワーク又はベルトコンベアであってもよいし、制御システム１００が形成された環境であってもよい。例えば、制御システム１００が食品の製造ラインを稼働させる場合に、撮像機器２２は、制御システム１００が構築される工場の出入り口を監視し、撮影された画像は、害虫の侵入の有無の検証に利用されてもよい。害虫が侵入した際に制御システム１００の運転を停止すべき場合には、被制御機器２１を制御して動作を停止すべきか否かを示す点で、被制御機器２１の動作に関する画像が撮影されることとなる。また、侵入した害虫が検査工程で取り除かれる場合には、検査工程において制御装置１０によって制御される被制御機器２１の動作が害虫の有無により異なる点で、被制御機器２１の動作に関する画像が撮影されることとなる。工場の出入り口を撮影する例を説明したが、これに限定されず、撮像機器２２によって撮影される画像は、制御装置１０によって制御される被制御機器２１の動作に起因して変化し得る画像、この動作と連動して変化し得る画像、又は、この動作を決定するための判断材料として用いられる画像であればよい。

撮像機器２２によって撮影される画像は、静止画又は動画像であってもよいし、可視光の画像又は熱画像を含む他の画像であってもよい。そして、撮像機器２２は、撮影した画像を示す画像情報を、制御装置１０の画像記録ユニット１３に繰り返し送信する。画像情報が送信される周期は、例えば、１秒間、１分間、又は１時間に設定される。撮像機器２２から繰り返し送信される画像情報には、特定の時刻から経過した経過時間を示すタイムスタンプが付与される。タイムスタンプは、タイムスタンプが付与されるタイミングを示す情報であって、画像情報に付与されるタイムスタンプは、特定の時刻から当該タイムスタンプが付与される時点までの経過時間を示す。

ここで、撮像機器２２から制御装置１０へ送信される情報について、図２を参照して説明する。撮像機器２２は、図２に示されるように、カメラに相当する撮像センサ２２１と、撮像センサ２２１によって撮影された画像を処理する画像処理部２２２と、撮影された画像を示す画像を制御装置１０に送信する通信部２２３と、を有する。撮像センサ２２１は、繰り返し撮影した画像を示す画像データを画像処理部２２２に送出する。

画像処理部２２２は、ＭＰＵ（Micro-Processing Unit）を含み、撮像センサ２２１から送出された画像それぞれにタイムスタンプを付与する。タイムスタンプは、画像データに埋め込まれてもよいし、画像データとは異なる情報として画像データに付随してもよい。画像処理部２２２は、画像を示すとともにタイムスタンプを含む画像情報を繰り返し通信部２２３へ送出する。図２において、「画像情報［１］」は、１番目に送出される画像情報を示し、「画像情報［Ｎ］」は、Ｎ番目に送出される画像情報を示す。なお、画像処理部２２２は、タイムスタンプの付与に加えて他の画像処理を実行してもよい。他の画像処理は、例えば、制御装置１０との通信に適した形式への変換処理又は圧縮処理を含む。

画像情報を構成するタイムスタンプは、撮像機器２２において扱われる形式に従って、特定の時刻から経過した経過時間を示す。撮像機器２２において扱われる形式は、例えば、撮像機器２２内のクロック数で表される形式、ミリ秒単位の形式、又は、撮像機器２２が一連の画像を動画として撮影するときのフレーム番号を表す形式である。特定の時刻は、例えば、撮像センサ２２１によって順次撮影される一連の画像のうちの最初の画像が撮影される時刻、撮影処理の実行プログラムが起動した時刻、又は、制御装置１０から撮影の開始コマンドを受信した時刻である。タイムスタンプは、繰り返し撮影される画像間の相対的な時間間隔を示し、世界標準時のような絶対的な時刻を示さない。また、タイムスタンプは、撮像センサ２２１から画像が出力された直後に付与されるため、通常は撮影の時刻に対応する。

通信部２２３は、撮像機器２２の外部の装置と通信するための通信インタフェース回路を含む。通信部２２３は、画像処理部２２２から送出された画像情報を繰り返し制御装置１０へ送信する。画像情報は、ＲＴＰ（Real-time Transport Protocol）に代表される規格に従って伝送される。通信部２２３を介して制御装置１０へ画像情報が伝送される際には、撮像機器２２における送信準備遅延及び伝送遅延が発生するため、図２に示されるように、実際の撮像時刻と制御装置１０が画像情報を受信する時刻との間には時間差Ｔ１０が生じる。

また、通信部２２３は、制御装置１０へ画像情報を連続して送信する際に、制御装置１０との通信の履歴に関する通信情報を送信する。通信情報は、過去の通信状況の統計を示す履歴情報と、画像情報と同じ形式で付与されるタイムスタンプと、当該通信情報が送信される送信時刻を示す送信時刻情報と、を含む。

履歴情報は、例えば、制御装置１０に送信したパケットの総数、又は、当該パケットのペイロードの総量を示す情報である。ただし、履歴情報はこれに限定されず、通信状況の統計的な情報であればよい。画像情報については、リアルタイム性が重視されるため、例えば輻輳により制御装置１０への伝送路上で画像情報が消失した場合であっても、後続の画像情報が順次送信される。このような画像情報を制御装置１０側でどの程度受信したかを確認するために履歴情報が利用される。

通信情報に含まれるタイムスタンプは、画像情報に含まれるタイムスタンプと共通の形式で共通の時刻から経過した経過時間を示す。以下では、画像情報に含まれるタイムスタンプを第１タイムスタンプと適宜表記し、通信情報に含まれるタイムスタンプを第２タイムスタンプと適宜表記する。第２タイムスタンプは、第１タイムスタンプの基準時刻として用いられた特定の時刻から当該第２タイムスタンプが付与される時点までの経過時間を示す情報であって、第１タイムスタンプとの相対的な時間間隔を示す。第２タイムスタンプが付与される時点は、送信時刻情報により示される送信時刻に等しい。

送信時刻情報により示される送信時刻は、撮像機器２２と制御装置１０とで共通する絶対的な時刻であって、例えば、ＮＴＰ（Network Time Protocol）及びＰＴＰ（Precision Time Protocol）に代表される時刻同期プロトコルに従ったマイクロ秒単位の形式で表される。

履歴情報により示される履歴が、通信情報の送信される時点までの履歴であることを明示するために、通信情報には第２タイムスタンプ及び送信時刻情報が付与される。このため、図２において通信情報が送信される時刻Ｔ２０は、第２タイムスタンプ及び送信時刻の２通りの形式で制御装置１０へ通知される。また、送信時刻情報を含むパケットを撮像機器２２と制御装置１０の間で往復させることで、通信遅延が推定されてもよい。

なお、通信情報が送信されるタイミングは、任意に設定される。例えば、撮像機器２２が制御装置１０からの要求に応じて通信情報を送信してもよいし、撮像機器２２が自発的に定期的に通信情報を送信してもよい。通信情報は、ＲＴＣＰ（RTP Control Protocol）に代表される規格に従って伝送される。

図１に戻り、制御装置１０は、ユーザから提供された制御プログラム１１１により規定される制御処理を実行することで被制御機器２１を制御して、製造ラインを稼働させるＰＬＣである。制御装置１０は、制御プログラム１１１を実行する実行ユニット１１と、被制御機器２１と通信する入出力ユニット１２と、撮像機器２２から提供される画像情報を記録する画像記録ユニット１３と、を有する。実行ユニット１１、入出力ユニット１２及び画像記録ユニット１３はそれぞれ、システムバス１０１を有する不図示のベースユニットに脱着可能なモジュールである。実行ユニット１１、入出力ユニット１２及び画像記録ユニット１３は、システムバス１０１を介して互いに信号を伝送する。実行ユニット１１は、いわゆるＣＰＵユニットに相当し、入出力ユニット１２は、いわゆるＩ／Ｏ（Input/Output）ユニットに相当する。

図３には、実行ユニット１１、入出力ユニット１２及び画像記録ユニット１３それぞれのハードウェア構成が示されている。図３に示されるように、実行ユニット１１、入出力ユニット１２及び画像記録ユニット１３はそれぞれ、プロセッサ３１と、主記憶部３２と、補助記憶部３３と、入力部３４と、出力部３５と、通信部３６と、を有する。主記憶部３２、補助記憶部３３、入力部３４、出力部３５及び通信部３６はいずれも、内部バス３７を介してプロセッサ３１に接続される。

プロセッサ３１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む。プロセッサ３１は、補助記憶部３３に記憶されるプログラムＰ１を実行することにより、種々の機能を実現して、後述の処理を実行する。

主記憶部３２は、ＲＡＭ（Random Access Memory）を含む。主記憶部３２には、補助記憶部３３からプログラムＰ１がロードされる。そして、主記憶部３２は、プロセッサ３１の作業領域として用いられる。

補助記憶部３３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）及びＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部３３は、プログラムＰ１の他に、プロセッサ３１の処理に用いられる種々のデータを記憶する。補助記憶部３３は、プロセッサ３１の指示に従って、プロセッサ３１によって利用されるデータをプロセッサ３１に供給する。また、補助記憶部３３は、プロセッサ３１から供給されたデータを記憶する。

入力部３４は、ハードウェアスイッチ及び入力キーに代表される入力デバイスを含む。入力部３４は、ユーザによって入力された情報を取得して、取得した情報をプロセッサ３１に通知する。

出力部３５は、ＬＥＤ（Light Emitting Diode）、ＬＣＤ（Liquid Crystal Display）及びスピーカに代表される出力デバイスを含む。出力部３５は、プロセッサ３１の指示に従って種々の情報をユーザに提示する。

通信部３６は、外部の装置と通信するためのネットワークインタフェース回路を含む。通信部３６は、外部から信号を受信して、この信号により示されるデータをプロセッサ３１へ出力する。また、通信部３６は、プロセッサ３１から出力されたデータを示す信号を外部の装置へ送信する。なお、図３には、１つの通信部３６が代表的に示されているが、これには限定されない。例えば、画像記録ユニット１３は、実行ユニット１１と通信するための通信部３６と、撮像機器２２と通信するための通信部３６と、を別個に有してもよい。

図３に示されるハードウェアの構成要素が協働することで、制御装置１０の画像記録ユニット１３は、図４に示される機能を発揮する。詳細には、画像記録ユニット１３は、その機能として、実行ユニット１１及び撮像機器２２と時刻を同期するための通信をする通信部４０と、撮像機器２２から送信された画像情報を受信する第１受信部４１と、撮像機器２２から送信された通信情報を受信する第２受信部４２と、撮影された画像に対してタイムスタンプに対応するシステム時刻を関連付けた関連情報を記憶部４４に格納する格納部４３と、関連情報が格納される記憶部４４と、を有する。図４においては、時刻同期のための情報の伝送が破線の矢印で示され、画像を示す情報の伝送が太い矢印で示され、通信情報に含まれる送信時刻情報の伝送が細い矢印で示されている。

通信部４０は、主としてプロセッサ３１と通信部３６との協働により実現される。通信部４０は、制御システム１００を構成する機器で共通するシステム時刻を、ＮＴＰ又はＰＴＰに代表される規格に従って各機器で同期するための時刻同期情報を送受信する。詳細には、通信部４０は、時刻同期情報を実行ユニット１１から受信して制御部４３４に送出することで、実行ユニット１１で管理されるシステム時刻と画像記録ユニット１３で管理されるシステム時刻とを同期させる。また、通信部４０は、時刻同期情報を制御部４３４から受け付けて撮像機器２２に送信することで、画像記録ユニット１３で管理されるシステム時刻と撮像機器２２で管理されるシステム時刻とを同期させる。

第１受信部４１は、主としてプロセッサ３１と通信部３６との協働により実現される。第１受信部４１は、撮像機器２２から繰り返し送信される画像情報を受信して、受信した画像情報を格納部４３に送出する。第１受信部４１は、制御装置１０において、撮像機器によって撮影された、被制御機器の制御に関する画像を示す画像情報であって、特定の時刻からの経過時間を画像に関連付けて示す第１タイムスタンプを含む画像情報を繰り返し受信する第１受信手段の一例に相当する。

第２受信部４２は、主としてプロセッサ３１と通信部３６との協働により実現される。第２受信部４２は、撮像機器２２から送信される通信情報を受信して、受信した通信情報を格納部４３に送出する。第２受信部４２は、制御装置１０において、撮像機器による通信の履歴に関する通信情報であって、特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む通信情報を受信する第２受信手段の一例に相当する。

格納部４３は、第１受信部４１によって受信された画像情報により示される画像に、当該画像に関連付けられた第１タイムスタンプに対応する対応時刻を関連付けた関連情報を生成して、生成した関連情報を記憶部４４に格納する。対応時刻は、画像記録ユニット１３で管理されるシステム時刻と同じ方式で表される時刻である。格納部４３は、制御装置１０において、画像情報により示される画像に関連付けられた第１タイムスタンプと、送信時刻に対応する第２タイムスタンプと、の比較に基づいて、第１タイムスタンプに対応する対応時刻を画像に関連付けて示す関連情報を記憶手段に格納する格納手段の一例に相当する。格納部４３は、第１タイムスタンプ及び第２タイムスタンプから対応時刻を演算して画像に付与する時刻演算部４３１と、画像を処理する画像処理部４３２と、画像に対応時刻が関連付けられた関連情報を一時的に記憶する記憶部４３３と、記憶部４３３から条件を満たす関連情報を抽出して記憶部４４に格納する制御部４３４と、を有する。

時刻演算部４３１は、主としてプロセッサ３１により実現される。時刻演算部４３１は、第１受信部４１を介して取得した画像情報から第１タイムスタンプを読み出し、第２受信部４２を介して取得した通信情報から第２タイムスタンプを読み出して、第１タイムスタンプと第２タイムスタンプとを比較する。詳細には、時刻演算部４３１は、第１タイムスタンプにより示される経過時間から第２タイムスタンプにより示される経過時間を減じることで差を算出する。時刻演算部４３１は、算出した差を、通信情報から読み出した送信時刻に加算することで、第１タイムスタンプに対応する対応時刻を算出する。そして、時刻演算部４３１は、画像情報により示される画像に、算出した対応時刻を関連付けることで関連情報を生成し、生成した関連情報を画像処理部４３２に送出する。

ただし、第１タイムスタンプ及び第２タイムスタンプの単位が、送信時刻情報により示される送信時刻の単位とは異なる場合には、時刻演算部４３１は、単位を統一して対応時刻を算出する。例えば、第１タイムスタンプ及び第２タイムスタンプがクロック数を示し、送信時刻が秒単位のシステム時刻である場合には、時刻演算部は、第１タイムスタンプと第２タイムスタンプとの差にクロック周期を乗ずるか、又は当該差をクロック周波数で除することで、当該差の単位を秒に変換してから、送信時刻に加算して対応時刻を算出する。

図５には、時刻演算部４３１によって算出される対応時刻について模式的に示されている。図５に示されるように、通信情報の第２タイムスタンプは、基準となる時刻ＲＴ１から送信時刻Ｔ２２までの時間長ＴＬ２を示し、画像情報の第１タイムスタンプは、時刻ＲＴ１からの時間長ＴＬ１を示す。時刻演算部４３１は、第１タイムスタンプから第２タイムスタンプを減じて得る差Ｄを、送信時刻Ｔ２２に加算することで、対応時刻Ｔ２１を得て関連情報を生成する。

なお、時刻演算部４３１は、通信情報を取得するまでは、順次取得する画像情報を一時的に保留する。通信情報を取得すると、時刻演算部４３１は、保留しておいた画像情報及び以降取得する画像情報のそれぞれについて、対応時刻を算出して関連情報を生成する。また、通信情報を複数回取得する場合には、時刻演算部４３１は、最新の通信情報に基づいて関連情報を生成すればよい。

画像処理部４３２は、主としてプロセッサ３１により実現される。画像処理部４３２は、関連情報の形式を、事後の検証のための視聴に適した形式、或いは、記憶部４３３，４４への格納に適した形式に変換する。この形式の変換は、データの圧縮を含んでもよい。

記憶部４３３は、主として主記憶部３２により実現される。記憶部４３３には、画像処理部４３２によって形式が変換された関連情報が順次格納される。記憶される関連情報の容量が記憶部４３３の許容量に達すると、最も古い関連情報から順に、新しく取得された関連情報に上書きされる。記憶部４３３は、制御装置１０において、関連情報が格納される記憶手段の第１の例に相当する。

制御部４３４は、主としてプロセッサ３１により実現される。制御部４３４は、外部からトリガー信号を受信するという条件が成立したタイミングで、その前後の対応時刻を示す関連情報を記憶部４３３から読み出して、記憶部４４に格納する。例えば、製造ラインの稼働においてエラーが発生したことを示すトリガー信号を受信すると、制御部４３４は、トリガー信号を受信した時刻の３分前から１分後までの時刻を対応時刻として含む関連画像を、記憶部４３３から記憶部４４にコピーする。なお、制御部４３４は、画像記録ユニット１３の構成要素を統括的に制御するとともに、システム時刻を管理する。

記憶部４４は、主として補助記憶部３３によって実現される。記憶部４３３が一時的に関連情報を記憶するリングバッファとして機能するのに対して、記憶部４４には、トリガー信号が発生し何らかの異常の発生が疑われる時点での画像が、事後の検証に備えて比較的長期にわたって保存される。記憶部４４は、制御装置１０において、関連情報が格納される記憶手段の第２の例に相当する。

続いて、制御装置１０によって実行される画像記録処理について図６を参照して説明する。図６に示される画像記録処理は、画像記録ユニット１３に電源が投入されることで開始する。なお、図６に示される手順は、説明の理解を容易にするための一例であって、画像記録処理は、図６とは異なる手順で実行されてもよい。

画像記録処理では、第１受信部４１が、画像情報を撮像機器２２から受信する（ステップＳ１）。このステップＳ１は、制御装置１０によって実行される画像記録方法において、第１受信手段が画像情報を受信する第１受信ステップの一例に相当する。次に、第２受信部４２が、通信情報を撮像機器２２から受信する（ステップＳ２）。このステップＳ２は、制御装置１０によって実行される画像記録方法において、第２受信手段が通信情報を受信する第２受信ステップの一例に相当する。なお、通信情報が受信されない場合には、画像記録ユニット１３は、通信情報を受信するまで待機してもよい。

次に、格納部４３の時刻演算部４３１が、ステップＳ１で受信した画像情報の第１タイムスタンプとステップＳ２で受信した通信情報の第２タイムスタンプとの比較に基づいて、送信時刻を基準として第１タイムスタンプに対応する対応時刻を算出する（ステップＳ３）。このステップＳ３は、制御装置１０によって実行される画像記録方法において、格納手段が関連情報を記憶手段に格納する格納ステップの一例に相当する。例えば、タイムスタンプがクロック数で表される場合には、時刻演算部４３１は、下記の式（１）により対応時刻Ｔｎを導く。

Ｔｎ＝Ｔｂａｓｅ＋［（ＴＳｎ－ＴＳｂａｓｅ）／ｆｃｌｏｃｋ］ ・・・（１）

ただし、Ｔｂａｓｅは通信情報の送信時刻を表し、ＴＳｂａｓｅは通信情報の第２タイムスタンプを表し、ＴＳｎは画像情報に含まれる第１タイムスタンプを表し、ｆｃｌｏｃｋはクロックの周波数を表す。クロックの周波数は、画像情報及び通信情報の少なくとも一方に含まれていてもよいし、画像情報及び通信情報とは異なる情報として撮像機器２２から制御装置１０に通知されてもよいし、撮像機器２２及び制御装置１０に共通のパラメータとして予め設定されてもよい。図７には、クロック周波数が９０ｋＨｚである例における対応時刻の算出結果が示されている。

次に、格納部４３は、対応時刻を画像に関連付けて示す関連情報を記憶部４３３及び記憶部４４に格納する（ステップＳ４）。詳細には、画像処理部４３２が関連情報を順次記憶部４３３に格納するとともに制御部４３４が必要に応じて記憶部４３３から関連情報を記憶部４４にコピーする。その後、画像記録ユニット１３は、ステップＳ１以降の処理を繰り返す。なお、通信情報が一度受信された後には、ステップＳ２を省略してもよい。

以上、説明したように、第１受信部４１が、第１タイムスタンプを含む画像情報を受信し、第２受信部４２が、第２タイムスタンプを含む通信情報を受信し、格納部４３が、第１タイムスタンプと第２タイムスタンプとの比較に基づいて、第１タイムスタンプに対応する対応時刻を画像に関連付けて示す関連情報を記憶部４３３及び記憶部４４に格納する。このため、画像には、第１受信部４１による受信より前に予め付与された第１タイムスタンプに対応する対応時刻が付与される。これにより、通信遅延の影響を排除して、制御装置１０が外部から取得する画像のデータに対してより利便性の高い時刻を付与することができる。

具体的には、実際の撮影のタイミングにより近い対応時刻が画像に付与されるため、ユーザが、画像に写るトラブルの発生時刻を誤ることが少なくなると期待される。また、対応時刻が、制御装置１０と共通のシステム時刻により表されるため、制御装置１０によってロギングされたデータと画像との整合性をとることが容易になる。したがって、対応時刻が付与された画像の利便性を向上させることができる。

また、格納部４３は、第１タイムスタンプにより示される経過時間から第２タイムスタンプにより示される経過時間を減じることで差を得て、この差を通信情報により示される送信時刻に加算することで対応時刻を得る。これにより、軽い演算負荷で対応時刻を算出することができる。

実施の形態２．
続いて、実施の形態２について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。上記実施の形態１では、撮像機器２２が画像を撮影したタイミングで第１タイムスタンプを付与し、第１タイムスタンプが撮像時刻に対応する例について説明した。しかしながら、撮像機器２２の機種によっては、撮像時刻より後に第１タイムスタンプを付与するケースがある。ここで、制御装置１０において画像に付与される対応時刻は、撮像時刻に近いことが好ましい。以下では、撮像機器２２により付与される第１タイムスタンプが撮像時刻とは異なる時刻に対応するときに、撮像時刻により近い対応時刻を画像に付与する例について説明する。

図８には、撮像機器２２の画像処理部２２２が、撮像センサ２２１から画像を取得してから画像処理に時間をかけた後にタイムスタンプを付与した画像情報を出力する例が示されている。図８からわかるように、タイムスタンプに対応する時刻は、撮像センサ２２１による撮影の時刻から時間Ｔ３０だけ遅れている。

本実施の形態に係る時刻演算部４３１は、上述のようなズレを補償するために、対応時刻を算出する際に、予め設定された補正項を加算する。詳細には、時刻演算部４３１は、第１タイムスタンプと第２タイムスタンプとの差を、通信情報により示される送信時刻に加算し、この加算の結果に補正項を更に加算することで対応時刻を得る。補正項は、ユーザにより設定されてもよいし、制御装置１０が撮像機器２２の機種を判定して、機種に応じて予め定められた補正項を選択してもよい。なお、上記実施の形態１は、補正項がゼロである例に相当する。

例えば、タイムスタンプがクロック数で表される場合には、時刻演算部４３１は、下記の式（２）により対応時刻Ｔｎを導く。

Ｔｎ＝Ｔｂａｓｅ＋［（ＴＳｎ－ＴＳｂａｓｅ）／ｆｃｌｏｃｋ］＋α ・・・（２）

ただし、Ｔｂａｓｅは通信情報の送信時刻を表し、ＴＳｂａｓｅは通信情報の第２タイムスタンプを表し、ＴＳｎは画像情報に含まれる第１タイムスタンプを表し、ｆｃｌｏｃｋはクロックの周波数を表し、αは補正項である。図８のように第１タイムスタンプが実際の撮影時刻より遅れる場合、αは負値になる。図９には、クロック周波数が９０ｋＨｚである例における対応時刻の算出結果が示されている。

以上、説明したように、格納部４３は、補正項を加算して対応時刻を得る。これにより、実際の撮影時刻に等しい対応時刻を画像に付与することができる。

実施の形態３．
続いて、実施の形態３について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。上記実施の形態１では、第１タイムスタンプが第２タイムスタンプと共通の形式で表される例について説明したが、これらの形式が異なる例も考えられる。以下では、第１タイムスタンプの単位が第２タイムスタンプの単位とは異なる例について説明する。

図１０には、第１タイムスタンプが、特定の時刻から開始した一定間隔での撮像のたびにインクリメントされる撮像カウンタ値であって、第２タイムスタンプが、実施の形態１と同様のクロック数である例について示されている。この例において、時刻演算部４３１は、撮像の周期に等しいクロック数Ｃを用いて、下記の式（３）により対応時刻Ｔｎを導く。

Ｔｎ＝Ｔｂａｓｅ＋［（ＴＳｎ＊Ｃ－ＴＳｂａｓｅ）／ｆｃｌｏｃｋ］ ・・・（３）

図１０の例では、撮像周期が３０００クロックに相当する場合における対応時刻の算出例が示されている。

なお、上記式（３）におけるクロック数Ｃは、第１タイムスタンプと第２タイムスタンプの単位を統一するためのパラメータの一例である。このパラメータは、画像記録ユニット１３が撮像機器２２に問い合わせることで取得してもよいし、ユーザによって予め設定されてもよい。

以上、説明したように、第１タイムスタンプは、第２タイムスタンプとは異なる形式で経過時間を示す情報であってもよい。

以上、本開示の実施の形態について説明したが、本開示は上記実施の形態によって限定されるものではない。

例えば、画像記録ユニット１３の機能的な構成は、図４に示されたものに限定されず、任意に変更してもよい。図１１には、画像記録ユニット１３の他の構成が示されている。図１１に示されるように、第１受信部４１によって受信された画像情報を、画像処理部４３２が処理してから記憶部４３３に格納し、時刻演算部４３１は、記憶部４３３から読み出した画像情報と、第２受信部４２によって受信された通信情報と、に基づいて、関連情報を記憶部４４に格納してもよい。また、制御部４３４は、トリガー信号を受信したタイミングで時刻演算部４３１に対応時刻の算出を指示してもよい。

また、上記実施の形態では、格納部４３が、順次取得した画像それぞれに対応時刻を付与する例について説明したが、これには限定されない。少なくとも１つの関連情報に第１タイムスタンプを含めて記憶部４３３又は記憶部４４に格納し、他の画像情報をそのまま記憶部４３３又は記憶部４４に格納すれば、画像情報それぞれのタイムスタンプに対応する対応時刻を必要に応じて得ることができる。

また、図１２に示されるように、記憶部４３３，４４を省略して画像記録ユニット１３を構成してもよい。図１２の例では、外部のサーバ装置又は脱着可能な記録媒体である記憶部４３３，４４に関連情報が格納される。また、制御部４３４は、記憶部４３３から関連情報を読み出すことなく、関連情報の記憶部４４への転送を記憶部４３３に指示してもよい。

また、上述の実施の形態では、制御装置１０は、実行ユニット１１、入出力ユニット１２及び画像記録ユニット１３で構成されているが、他のユニットをさらに備える構成としてもよい。また、複数のユニットの機能を実現するためのハードウェア構成を１つの筐体に収納し上述の機能を実現する制御装置の構成としてもよい。

また、制御システム１００は、製造ラインを稼働させるシステムに限定されず、加工ライン、検査ラインを有する他のシステムであってもよいし、プラントにおけるプロセス制御を実行するシステムであってもよい。

また、制御装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

例えば、プロセッサ３１によって実行されるプログラムＰ１を、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムＰ１をコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read－Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto－Optical Disc）が考えられる。

また、プログラムＰ１をインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードさせてもよい。

また、通信ネットワークを介してプログラムＰ１を転送しながら起動実行することによっても、上述の処理を達成することができる。

さらに、プログラムＰ１の全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

また、制御装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

本開示は、機器を制御するとともに画像を記録するシステムに適している。

１００ 制御システム、 １０ 制御装置、 １１実行ユニット、 １２ 入出力ユニット、 １３ 画像記録ユニット、 １０１ システムバス、 ２１ 被制御機器、 ２２撮像機器、 ２２１ 撮像センサ、 ２２２ 画像処理部、 ２２３ 通信部、 ３１ プロセッサ、 ３２ 主記憶部、 ３３ 補助記憶部、 ３４ 入力部、 ３５ 出力部、 ３６ 通信部、 ３７ 内部バス、４０ 通信部、 ４１ 第１受信部、 ４２ 第２受信部、 ４３ 格納部、 ４３１ 時刻演算部、 ４３２ 画像処理部、 ４３３ 記憶部、 ４３４ 制御部、 ４４ 記憶部、Ｐ１ プログラム。

Claims (6)

1. 被制御機器及び撮像機器に接続されて前記被制御機器を制御する制御装置であって、
   前記撮像機器によって撮影された、前記被制御機器の制御に関する画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を繰り返し受信する第１受信手段と、
   前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信手段と、
   前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、該差を前記送信時刻に加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納手段と、
   を備える制御装置。
2. 被制御機器及び撮像機器に接続されて前記被制御機器を制御する制御装置であって、
   前記撮像機器によって撮影された、前記被制御機器の制御に関する画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を繰り返し受信する第１受信手段と、
   前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信手段と、
   前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、前記差を前記送信時刻に加算し、該加算の結果に、前記撮像機器による前記画像の撮影の時刻と前記第１タイムスタンプに対応する時刻とのズレを補償する予め設定された補正項を加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納手段と、
   を備える制御装置。
3. 第１受信手段が、撮像機器によって撮影された画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を受信する第１受信ステップと、
   第２受信手段が、前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信ステップと、
   格納手段が、前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、該差を前記送信時刻に加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納ステップと、
   を含む画像記録方法。
4. 第１受信手段が、撮像機器によって撮影された画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を受信する第１受信ステップと、
   第２受信手段が、前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信ステップと、
   格納手段が、前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、前記差を前記送信時刻に加算し、該加算の結果に、前記撮像機器による前記画像の撮影の時刻と第１タイムスタンプに対応する時刻とのズレを補償する予め設定された補正項を加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納ステップと、
   を含む画像記録方法。
5. 撮像機器に接続されるコンピュータを、
   前記撮像機器によって撮影された画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を受信する第１受信手段、
   前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信手段、
   前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、該差を前記送信時刻に加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納手段、
   として機能させるためのプログラム。
6. 撮像機器に接続されるコンピュータを、
   前記撮像機器によって撮影された画像を示す画像情報であって、特定の時刻からの経過時間を前記画像に関連付けて示す第１タイムスタンプを含む前記画像情報を受信する第１受信手段、
   前記撮像機器による通信の履歴に関する通信情報であって、前記特定の時刻からの経過時間を示す第２タイムスタンプと、該通信情報が送信される送信時刻を示す送信時刻情報と、を含む前記通信情報を受信する第２受信手段、
   前記画像情報により示される前記画像に関連付けられた前記第１タイムスタンプにより示される経過時間から、前記送信時刻に対応する前記第２タイムスタンプにより示される経過時間を減じることで差を得て、前記差を前記送信時刻に加算し、該加算の結果に、前記撮像機器による前記画像の撮影の時刻と第１タイムスタンプに対応する時刻とのズレを補償する予め設定された補正項を加算することで得る時刻を、前記第１タイムスタンプに対応する対応時刻として前記画像に関連付けて示す関連情報を記憶手段に格納する格納手段、
   として機能させるためのプログラム。

Images