JPWO2013136406A1 - データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム - Google Patents

Abstract

画像フレームと数値データを高速に同期再生することができるデータ同期再生装置を提供することを目的とする。そのため、本発明のデータ同期再生装置１では、カメラ３１〜３ｎが監視対象物６１〜６ｐを撮影した複数の画像フレームを含む画像データと、監視対象物から時系列に取得した複数の数値データを含むプロセスデータと記憶したデータ記憶部１１３ｂと、画像データを再生させると共に、画像フレームのフレーム番号およびフレーム周期と、数値データのサンプリング間隔およびレコード番号に基づいて、画像データと数値データとを同期再生等するためのデータ同期制御プログラムが格納されたプログラム記憶部１１３ａと、そのデータ同期制御プログラム等を実行するＣＰＵ１１１と、を有する。

Description

本発明は、カメラが監視対象を撮影した複数の画像フレームを含む画像データと、監視対象から時系列に取得した複数の数値データを含むプロセスデータとを同期させて表示するデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムに関する。

データ同期再生装置として、例えば、プラントに異常が発生した場合に、異常発生時のプラントの数値データと、画像フレームとをプラント監視用のモニタによって表示すると共に、記憶装置にその数値データと画像フレームとを別ファイルとして記憶し、異常究明のために履歴情報画面を展開する場合には、その異常発生時の数値データと画像フレームとを同時に表示して、きめの細かいプラント監視を可能にした先行技術が提案されている（例えば、特許文献１参照）。

特開平５−３４１８１号公報

しかし、前述の特許文献１のデータ同期再生装置では、プラントに異常が発生した場合のみ、プラントの数値データと画像フレームとを表示すると共に記憶するようにしたので、異常発生時以外の通常運転時における数値データと画像フレームとを後から確認することはできない、という課題があった。

特に、前述の特許文献１のデータ同期再生装置では、異常発生時のプラントの数値データと画像フレームとを後から確認する場合、各数値データのレコードと、各画像フレームに付加された日時情報に基づいて同期再生するようにしていたため、監視対象が増えたり、通常運転時における数値データおよび画像フレームも記憶する場合、ファイル数やファイルの記憶容量が増加するので、長期間にわたるデータを記憶し、後から画像フレームと数値データとを同期再生する場合に、非常に大きなサイズの記憶装置が必要になるという課題がある。

また、特許文献１のデータ同期再生装置では、数値データと画像フレームとに日時情報を付加することにより同期再生を行うので、画像保存の際にＭＰＥＧ−４等の画像フレームの圧縮復号化技術を利用できず、画像再生の際にＱｕｉｃｋ Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用できないので、開発コストが増大するという課題があった。

さらに、画像フレームと数値データとを同期再生する場合に、各数値データのレコードと、各画像フレームに付加された日時情報とを照合しながら再生を行うので、高速な同期再生や頭出しが困難であるという課題があった。

本発明は、このような課題に鑑みてなされたものであり、画像データに含まれる画像フレームと、プロセスデータに含まれるデータとを高速に同期再生することができるデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムを提供することを目的とする。

前記目的を達成するため、本発明に係るデータ同期再生装置の第１の特徴は、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶する画像データ記憶部と、前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとして記憶するプロセスデータ記憶部と、前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生部と、前記フレーム周期に基づいて、前記画像データ再生部から出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御部と、を有することにある。

また、本発明に係るデータ同期再生装置の第２の特徴は、前記データ同期再生制御部は、前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を前記画像データ再生部に出力し、前記算出したフレーム番号を有する前記画像データを再生させることにある。

また、本発明に係るデータ同期再生装置の第３の特徴は、さらに、前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択部と、外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択部によって選択された前記画像フレームとを同一ファイルとして記憶する同期保存制御部と、を有することにある。

また、本発明に係るデータ同期再生装置の第４の特徴は、さらに、外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定部、を有することにある。

また、本発明に係るデータ同期再生方法の第１の特徴は、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして画像データ記憶部に記憶させる画像データ記憶ステップと、前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとしてプロセスデータ記憶部に記憶させるプロセスデータ記憶ステップと、前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生ステップと、前記フレーム周期に基づいて、前記画像データ再生ステップにより出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御ステップと、を有することにある。

また、本発明に係るデータ同期再生方法の第２の特徴は、前記データ同期再生制御ステップは、前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を出力し、前記算出したフレーム番号を有する前記画像データを前記画像データ再生ステップにより再生させることにある。

また、本発明に係るデータ同期再生方法の第３の特徴は、さらに、前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択ステップと、外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択ステップによって選択された前記画像フレームとを同一ファイルとして記憶させる同期保存制御ステップと、を有することにある。

また、本発明に係るデータ同期再生方法の第４の特徴は、さらに、外部入力に基づき、前記画像データ再生ステップによって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御ステップによって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定ステップ、を有することにある。

また、本発明に係るデータ同期制御プログラムの第１の特徴は、コンピュータに、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして画像データ記憶部に記憶させる画像データ記憶ステップと、前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとしてプロセスデータ記憶部に記憶させるプロセスデータ記憶ステップと、前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生ステップと、前記フレーム周期に基づいて、前記画像データ再生ステップにより出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御ステップと、を実行させることにある。

また、本発明に係るデータ同期制御プログラムの第２の特徴は、前記データ同期再生制御ステップは、前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を出力し、前記算出したフレーム番号を有する前記画像データを前記画像データ再生ステップにより再生させることにある。

また、本発明に係るデータ同期制御プログラムの第３の特徴は、さらに、前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択ステップと、外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択ステップによって選択された前記画像フレームとを同一ファイルとして記憶させる同期保存制御ステップと、を実行させることにある。

また、本発明に係るデータ同期制御プログラムの第４の特徴は、さらに、外部入力に基づき、前記画像データ再生ステップによって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御ステップによって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定ステップ、を実行させることにある。

本発明のデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムによれば、時刻情報に基づくのではなく、画像データに含まれる画像フレームのフレーム番号と、プロセスデータの基準時点からの経過時間とに基づいて、画像フレームとデータとを同期させて再生するので、データ及び画像フレームに時刻情報を付加する必要がない。

そのため、ファイル数やファイルの記憶容量を低減でき、従来と同じ記憶容量の記憶装置で従来よりも長期間にわたる記憶と同期再生が可能となる。

また、監視対象から取得した経時的変化のあったデータを記憶するので、連続的に長期間に渡って経時的変化がなかった場合、データ容量を大幅に削減することができる。

さらに、画像保存の際にＭＰＥＧ−４等の画像フレームの圧縮復号化技術を利用できるので、画像再生の際にＱｕｉｃｋ Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用することができ、これにより開発コストが低減することができる。

また、時刻情報を用いることなく、データと画像フレームとを高速に同期再生したり、頭出ししたりすることができる。

本発明に係るデータ同期再生装置を含むオンラインデータ管理システムの構成例を示す図である。 本発明に係るデータ同期再生装置の構成例を示すブロック図である。 データ同期再生装置のデータ記憶部に記憶されている画像データとプロセスデータとのファイル形式の一例を示す図である。 画像データのデータ構造の一例を示す図である。 プロセスデータのデータ構造の一例を示す図である。 実施形態１のデータ同期再生装置によるデータ同期表示処理の手順を示すフローチャートである。 画像データから数値データへの同期再生処理した際の具体例を示す図である。 実施形態１のデータ同期再生装置のデータ同期表示処理の手順を示すフローチャートである。 数値データから画像データへの同期再生処理した際の具体例を示す図である。 実施形態１のデータ同期再生装置のモニタに表示された表示画面の一例を示す図である。 実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。 実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。 実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。 実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。

（実施形態１）
以下、本発明に係るデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムの実施形態１について説明する。

＜構成の説明＞
図１は、本発明に係るデータ同期再生装置を含むオンラインデータ管理システムの構成例を示す図である。

このオンラインデータ管理システムは、例えば、加熱された鉄・ステンレス・アルミのスラブ（鋼片）を圧延機で圧延し、厚さ数ｍｍ〜十数ｍｍの熱延コイルに仕上る熱間圧延プラントシステムや、熱間圧延プラントや冷間圧延プラントで製造されたコイルを最終製品に仕上げるために、酸洗・焼鈍・めっき・塗装・切断などをおこなうプロセスラインプラントシステム等における各監視対象を撮影した画像データと、各監視対象から取得したプロセスデータとを、モニタ上に同期表示させて管理するものである。

図１において、このオンラインデータ管理システムは、本発明に係るデータ同期再生装置１と、複数台のＩＴＶ（Industrial Television）カメラ２１〜２ｍ（ｍは自然数。）と、カメラ切り替え器３と、ディジタル画像変換ユニット４と、プログラマブルロジックコントローラ（ＰＬＣ）等の制御機器５１〜５ｎ（ｎは自然数。）とが接続されて構成されており、圧延機やプレス機、それらの機械を駆動するモータやピストン等の各監視対象物６１〜６ｐ（ｐは自然数。）の動作状態や制御状態等を、複数台のＩＴＶカメラ２１〜２ｍが撮影した画像データと、制御機器５１〜５ｎが取得したプロセスデータとにより監視するシステムである。

ここで、例えば、データ同期再生装置１と、ディジタル画像変換ユニット４とは、イーサネット（登録商標）等のＬＡＮ７により接続されている一方、データ同期再生装置１と、制御機器５１〜５ｎとは、ＬＡＮ７とは別の制御用ネットワーク８により接続されている。なお、制御機器５１〜５ｎがＬＡＮ７に接続可能である場合には、制御用ネットワーク８はＬＡＮ７に置き換え可能となる。

また、本発明に係るデータ同期再生装置１は、装置本体１１に、モニタ（ディスプレイ）１２や、キーボード１３、マウス１４等が接続されたコンピュータ装置から構成されている。そして、このデータ同期再生装置１は、ディジタル画像変換ユニット４によってアナログ映像信号からディジタル映像信号に変換された複数台のＩＴＶカメラ２１〜２ｍからの画像データと、制御機器５１〜５ｎから取得した複数の数値データを含むプロセスデータとを入力して、モニタ１２に通常表示したり、同期表示処理等するものである。本発明にかかるデータ同期再生装置１の構成や動作、画像データ、プロセスデータの構成等については、後述する。

ＩＴＶカメラ２１〜２ｍは、複数の監視対象物６１〜６ｐを撮影してＰＡＬやＮＴＳＣ形式等のアナログ映像信号を出力するもので、固定式のカメラでも、制御信号を送ることにより、パン、チルト、ズーム等の遠隔操作が可能なカメラでも良い。なお、ＩＴＶカメラ２１〜２ｍには、音声マイクが設けられていても、設けられていなくてもどちらでも良い。また、ＩＴＶカメラ２１〜２ｍは、各監視対象物６１〜６ｐに対し１台ずつ設けられていても良いし、複数台設けられていても良い。

カメラ切り替え器３は、複数台のＩＴＶカメラ２１〜２ｍの映像信号のうちから、モニタ１２に表示する所定数（本実施形態１では、例えば、４台とする。）の映像信号を切り替えて出力するものである。なお、モニタ１２に表示する映像信号の数に制限がない場合や、ＩＴＶカメラ２１〜２ｍの台数がその所定数以下の場合、さらにはこの切替え機能をディジタル画像変換ユニット４やデータ同期再生装置１に持たせる場合には、カメラ切り替え器３は省略しても勿論よい。

ディジタル画像変換ユニット４は、複数台のＩＴＶカメラ２１〜２ｍから出力されたＮＴＳＣやＰＡＬ形式のアナログの映像信号を、ＭＰＥＧ−４等のディジタルの画像データに圧縮符号化してデータ同期再生装置１へ出力するものである。なお、複数台のＩＴＶカメラ２１〜２ｍがカメラ内部で撮影した映像信号のＡ／Ｄ変換を行い、ディジタル形式の画像データを出力可能な場合は、ディジタル画像変換ユニット４は、省略可能である。

制御機器５１〜５ｎは、それぞれ、モータや、加熱機、油圧機などの各監視対象物６１〜６ｐの動作をプログラムにより制御するもので、それぞれのＩ／Ｏ（入出力）ユニット５１１〜５ｎ１を介し各監視対象物６１〜６ｐから後述する所定のサンプリング間隔で時系列に検出した数値データを含むプロセスデータを取得するものである。

図２は、本発明に係るデータ同期再生装置１の構成例を示すブロック図である。

前述したように、このデータ同期再生装置１は、装置本体１１に、モニタ（ディスプレイ）１２や、キーボード１３、マウス１４等が接続されたコンピュータ装置から構成されるものである。

装置本体１１は、図２に示すように、ＣＰＵ１１１と、メモリ１１２と、ＨＤＤや大容量メモリ等の記憶部１１３と、外部機器インターフェース（以下、Ｉ／Ｆと略す。）部１１４と、制御ネットワークＩ／Ｆ部１１５と、ＬＡＮＩ／Ｆ部１１６等とを、内部バス１１７を介し接続して構成されている。

ＣＰＵ１１１は、記憶部１１３のプログラム記憶部１１３ａに記憶された各種アプリケーションプログラムのうち、画像データ再生プログラムを実行することにより本発明の画像データ再生部として機能すると共に、データ同期制御プログラムを実行することにより、本発明のデータ同期再生制御部、同期画像フレーム選択部、同期保存制御部、および画面レイアウト設定部として機能するものである。

メモリ１１２は、ＣＰＵ１１１が各種アプリケーションプログラムを実行する際にデータを一時記憶したり展開等する演算エリア等として使用するものである。

記憶部１１３は、プログラム記憶部１１３ａと、データ記憶部１１３ｂとを有する。

プログラム記憶部１１３ａは、ＯＳ（オペレーティングシステム）や、ＣＰＵ１１１を本発明の画像データ再生部として機能させるための画像データ再生プログラムと、ＣＰＵ１１１を本発明のデータ同期再生制御部、同期画像フレーム選択部、同期保存制御部、および画面レイアウト設定部として機能させるためのデータ同期制御プログラム等のアプリケーションプログラムを格納している。なお、本実施形態１では、画像データ再生プログラムとして、本装置専用にプログラミングした画像データ再生プログラムでも、あるいはＱuick Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを使用するようにしても良い。

データ記憶部１１３ｂは、本発明の画像データ記憶部として、複数台のＩＴＶカメラ２１〜２ｍが複数の監視対象物６１〜６ｐを撮影しＡ／Ｄ変換された複数の画像フレームを含む画像データを記憶すると共に、本発明のプロセスデータ記憶部として、制御機器５１〜５ｎが複数の監視対象物６１〜６ｐから時系列に取得した複数の数値データを含むプロセスデータとを記憶するものである。

なお、本実施形態１では、１つの記憶部１１３の中に、プログラム記憶部１１３ａと、データ記憶部１１３ｂとを設けているが、プログラム記憶部１１３ａと、データ記憶部１１３ｂとは、それぞれ、別の記憶部として構成しても勿論よい。

外部機器Ｉ／Ｆ部１１４は、モニタ１２や、キーボード１３、マウス１４等の外部機器と装置本体１１とを接続するためのインターフェースである。

制御ネットワークＩ／Ｆ部１１５は、制御ネットワーク１９と装置本体１１とを接続するためのインターフェースである。

ＬＡＮＩ／Ｆ部１１６は、ＬＡＮ７と装置本体１１とを接続するためのインターフェースである。

図３Ａ〜図３Ｃは、それぞれ、データ同期再生装置１のデータ記憶部１１３ｂに記憶されている画像データとプロセスデータとのファイル形式と、画像データおよびプロセスデータのデータ構造の一例を示す図である。

図３Ａに示すように、データ同期再生装置１の記憶部１１３のデータ記憶部１１３ｂでは、複数台のＩＴＶカメラ２１〜２ｍが複数の監視対象物６１〜６ｐを撮影した複数の画像フレームを含む画像データＤ１と、制御機器５１〜５ｎが複数の監視対象物６１〜６ｐから時系列に取得した複数の数値データを含むプロセスデータＤ２とを、１つのデータファイルＤｆ内に、２つのセクションＳ１、Ｓ２にて記憶している。ここで、画像データＤ１と、プロセスデータＤ２とは、別ファイルの別セクションに記憶するようにしても勿論良い。

図３Ｂは、データ記憶部１１３ｂに記憶されている画像データＤ１のデータ構造を示す図である。

図３Ｂに示すように、画像データＤ１は、複数台のＩＴＶカメラ２１〜２ｍそれぞれから出力されたアナログの映像信号がディジタル画像変換ユニット４によりＭＰＥＧ−４符号化方式等のディジタルの画像データに変換されたもので、画像ヘッダ情報Ｄ１１と、各ＩＴＶカメラ２１〜２ｍが対象とする監視対象物６１〜６ｐを撮影したフレーム番号♯１〜ｑ（ｑは自然数。）の複数の画像フレームＤ１２から構成されている。なお、ここでは、説明の便宜上、１つの画像データＤ１のみ示しているが、実際には、複数台のＩＴＶカメラ２１〜２ｍ毎に画像データＤ１がある。

画像ヘッダ情報Ｄ１１は、本実施形態１の場合、図３Ｂに示すように、少なくとも、この画像データＤ１を構成する画像フレームＤ１２の１フレームあたりの時間であるフレーム周期Ｔｆと、画像データＤ１を構成する複数の画像フレームＤ１２の全フレーム数ｑとを有する。なお、この画像ヘッダ情報Ｄ１１には、画像データＤ１を出力したＩＴＶカメラ２１〜２ｍを識別するためのカメラ識別情報や、同一のＩＴＶカメラ２１〜２ｍからの画像データＤ１であっても、日時の異なる画像データＤ１を識別すための日時識別情報を含めるようにしても勿論よい。また、さらに、この画像ヘッダ情報Ｄ１１に、対応するプロセスデータＤ２とリンクするためのリンク情報等を含めるようにしても勿論よい。

ここで、本実施形態１では、画像フレームＤ１２のフレーム周期Ｔｆは、例えば、１フレーム＝１／３０秒にしている。なお、１／３０秒は一例であり、画像フレームＤ１２のフレーム周期Ｔｆは、１／６０秒でも、１／５０秒等でも勿論よい。

画像フレームＤ１２は、ＩＴＶカメラ２１〜２ｍが撮影したアナログ形式の映像信号をディジタル画像変換ユニット４がＭＰＥＧ−４等の動画像圧縮方式により高能率圧縮符号化したデータであり、その他の圧縮符号化形式、例えば、Ｈ．２６４符号化方式や、フレーム間予測を行わないＭｏｔｉｏｎ ＪＰＥＧ等でも勿論よく、要は、ＬＡＮ７により伝送されるディジタル画像データの形式であれば良い。なお、複数の画像フレームＤ１２それぞれに、通常の復号再生用に、復号時刻情報（ＤＴＳ）や、再生時刻情報（ＰＴＳ）等の時刻情報が付与されていても勿論よいが、本実施形態１におけるプロセスデータとの同期再生処理には、復号時刻情報（ＤＴＳ）や再生時刻情報（ＰＴＳ）等の時刻情報は使用しない。

このように、本実施形態１では、画像データＤ１は、時刻情報を持っていないか、時刻情報を持っていてもプロセスデータＤ２との同期再生には使用しない。そのため、本実施形態１では、画像データＤ１とプロセスデータＤ２との同期再生処理の際には、画像データＤ１に対応するプロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１に格納されたサンプリング開始時刻Ｔｓ１を、画像データＤ１の先頭時刻（基準時点）、すなわちフレーム番号♯１の画像フレームＤ１２の再生開始情報として使用する。そして、フレーム番号♯１の画像フレームＤ１２以降のフレーム番号♯２〜ｐの画像フレームＤ１２のフレーム再生開始時刻は、フレーム番号♯１の画像フレームＤ１２の再生開始時刻として使用するサンプリング開始時刻Ｔｓ１と、各画像フレームＤ１２のフレーム番号♯等とに基づいて後述するように計算する。そのため、本実施形態１では、プロセスデータＤ２との同期再生処理には、各画像フレームＤ１２の時刻情報は不要であり、たとえ、時刻情報等があったとしても使用（参照）しない。これにより、各画像フレームＤ１２の時刻情報を使用（参照）せずに、フレーム番号に基づいて再生するので、再生や頭出しを高速化することができる。

図３Ｃは、データ記憶部１１３ｂに記憶されているプロセスデータＤ２のデータ構造を示す図である。

プロセスデータＤ２は、制御機器５１〜５ｎが複数の監視対象物６１〜６ｐから取得した経時的変化のあった数値データＤ２３から構成されたバイナリデータであり、図３Ｃに示すように、プロセスデータヘッダ情報Ｄ２１と、経時的変化のあった場合における制御機器５１〜５ｎが監視対象物６１〜６ｐから取得したレコード番号♯１〜ｒ（ｒは自然数。）の複数の数値データＤ２３と、この数値データＤ２３に対応するサンプリング開始時刻Ｔｓ１（基準時点）からの経過時間番号♯１〜ｒ（ｒは自然数。）の経過時間Ｄ２２とを有している。

プロセスデータヘッダ情報Ｄ２１は、本実施形態１の場合、少なくとも、このプロセスデータＤ２の取得を開始した時刻であるサンプリング開始時刻Ｔｓ１と、監視対象物６１〜６ｐから取得した複数の数値データＤ２３の全レコード数ｒが格納されている。なお、経過時間番号♯１の経過時間Ｄ２２は“０”、即ち、サンプリング開始時刻Ｔｓ１時点を示しており、レコード番号♯１は、サンプリング開始時刻Ｔｓ１時点における監視対象物６１〜６ｐから取得した数値データＤ２３が格納される。

数値データＤ２３は、経時的変化があった場合のみ監視対象物６１〜６ｐから取得されるので、経時的変化がなかった場合には取得されない。そのため、数値データＤ２３に、連続的に長期間に渡って経時的変化がなかった場合、プロセスデータＤ２のデータ容量を大幅に削減することができる。

このように、画像データＤ１を構成する複数の画像フレームＤ１２と、プロセスデータＤ２を構成する複数の数値データＤ２３とは、記録時に、同期が取られてない。そのため、本実施形態１のデータ同期再生装置１は、復号時刻情報（ＤＴＳ）や、再生時刻情報（ＰＴＳ）等の画像データＤ１の時刻情報や、プロセスデータＤ２のデータ取得時を示す時刻情報を使用せずに、画像データＤ１を構成する画像フレームＤ１２と、プロセスデータＤ２を構成する数値データＤ２３とを同期再生処理するためには、同期再生時に同期処理が必要となる。

そこで、本実施形態１のデータ同期再生装置１では、時刻情報を使用または参照せずに、フレーム番号と経過時間とを使用して、画像フレームと数値データとを使用して同期再生処理する。

＜動作の説明＞
次に、本実施形態１のデータ同期再生装置１におけるデータ同期表示処理について、フローチャートを参照して説明する。

（画像データＤ１からプロセスデータＤ２への同期再生動作の説明）
まず、本実施形態１のデータ同期再生装置１における画像データに基づくプロセスデータの同期再生動作について、フローチャートを参照して説明する。

図４は、本実施形態１のデータ同期再生装置１によるデータ同期表示処理の手順を示すフローチャートである。

まず、ユーザがデータ同期再生装置１のキーボード１３やマウス１４等を操作して、同期再生ボタン（図示せず。）等をクリック（選択）して、装置本体１１に対し、画像データＤ１とプロセスデータＤ２との同期再生指示が入力すると（Ｓ４００“ＹＥＳ”）、ＣＰＵ１１１は、プログラム記憶部１１３ａに格納された画像データ再生プログラムと、データ同期制御プログラムとを起動して同期再生処理を開始する。

つまり、装置本体１１のＣＰＵ１１１は、まず、画像データ再生プログラムを実行することにより画像データ再生部として機能して、データ記憶部１１３ｂに記憶された画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１を読み出し、メモリ１１２に一時保存して、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆを取得する（Ｓ４１０）。ここで、ＣＰＵ１１１は、前述したように、フレーム周期Ｔｆとして例えば１／３０秒を取得する。

なお、ＣＰＵ１１１は、Ｓ４００の処理の前に、このＳ４１０の処理により、予め、フレーム周期Ｔｆを取得するようにしても勿論よい。また、ＣＰＵ１１１は、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆが既知の場合には、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆを取得する必要はない。

次に、ＣＰＵ１１１は、画像データ再生プログラムの実行により本発明の画像データ再生部として機能して、ＯＳのタイマ（図示せず。）を利用して、画像データＤ１のフレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号を発生する（Ｓ４２０）。

そして、ＣＰＵ１１１は、フレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号を発生すると（Ｓ４３０“ＹＥＳ”）、本発明の画像データ再生部として機能して、データ記憶部１１３ｂに記憶された画像データＤ１を構成する画像フレームＤ１２を読み出し、その画像フレームＤ１２がＭＰＥＧ−４形式等によりエンコードされていれば、その画像フレームＤ１２をＭＰＥＧ−４形式等でデコードして、モニタ１２に再生すると共に、再生した画像フレームＤ１２のフレーム番号を出力する（Ｓ４４０）。その際、ユーザによりフレーム番号等により再生開始の画像フレームが指定されている場合には、指定されている画像フレームから再生を行う。なお、画像フレームＤ１２の指定は、フレーム番号等に限らず、キーボード１３やマウス１４により、モニタ１２に表示された表示画面上でカーソルにより指定しても良いし、画像フレームＤ１２が指定されない場合は、画像データＤ１における先頭の画像フレームＤ１２、すなわちフレーム番号♯１の画像フレームＤ１２から再生を開始する。なお、この段階では、画像データＤ１は、プロセスデータＤ２と非同期に再生される。

それと同時に、ＣＰＵ１１１は、本発明にかかるデータ同期制御プログラムを実行することにより本発明のデータ同期再生制御部として機能して、まずは、現在再生している画像フレームＤ１２のフレーム番号と、フレーム周期Ｔｆとを取得する（Ｓ４５０）。ここで、このＳ４５０の処理でも、Ｓ４１０の処理と同様に、ＣＰＵ１１１は、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆが既知の場合には、既知のフレーム周期Ｔｆを使用する。

次いで、ＣＰＵ１１１は、本発明のデータ同期再生制御部として、現在再生している画像フレームＤ１２のフレーム番号と、フレーム周期Ｔｆを基に、「先頭画像フレームからの相対時間」を、次式（１）により算出する（Ｓ４６０）。

先頭画像フレームからの相対時間＝フレーム番号×フレーム周期Ｔｆ・・・（１）
次に、ＣＰＵ１１１は、本発明のデータ同期再生制御部として、前式（１）から求めた「先頭画像フレームからの相対時間」を、メモリ１１２等に一時記憶しておいたプロセスデータＤ２の経過時間Ｄ２２と比較して、現在表示している画像フレームＤ１２に同期する数値データＤ２３を抽出する（Ｓ４７０）。経過時間Ｄ２２及び数値データＤ２３は、経時的変化があった場合のみ監視対象物６１〜６ｐから取得されるので、「先頭画像フレームからの相対時間」と一致する経過時間Ｄ２２が存在しているとは限らない。そこで、ＣＰＵ１１１は、「先頭画像フレームからの相対時間」と、経過時間番号♯１〜ｒの順に経過時間Ｄ２２の値とを比較することにより、「先頭画像フレームからの相対時間」を超えない範囲で最長の経過時間Ｄ２２に対応する数値データＤ２３を抽出する。

そして、ＣＰＵ１１１は、抽出された数値データＤ２３に基づいて表示する（Ｓ４８０）。これにより、ＣＰＵ１１１は、時刻情報を参照せずに、画像フレームＤ１２のフレーム番号と、経過時間Ｄ２２とに基づいて、現在表示している画像フレームＤ１２に時間的に同期した数値データＤ２３を同期して再生することができる。その際、ＣＰＵ１１１は、例えば、プロセスデータＤ２をグラフ形式等で表示している場合には、そのレコード番号の数値データＤ２３をグラフ形式等に変換し、グラフで表示する範囲に含まれる値を更新して、グラフの表示を更新する。なお、数値データＤ２３が複数のアイテム♯１〜ｓから構成されている場合には、複数のアイテム♯１〜ｓをグラフに反映させる。

そして、ＣＰＵ１１１は、ユーザにより同期再生中止指示が入力されるか、あるいは現在再生している画像データＤ１の最終画像フレームＤ１２まで再生が終了するまで（Ｓ４９０“ＮＯ”）、フレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号が発生する毎に（Ｓ４３０“ＹＥＳ”）、前述したＳ４４０〜Ｓ４８０までの処理により、フレーム番号とレコード番号とを対応させた画像フレームＤ１２と数値データＤ２３との同期再生処理を行う。

そのため、本実施形態１のデータ同期再生装置１では、時刻情報を参照せずに、画像データＤ１のフレーム番号と経過時間Ｄ２２とを対応させて、画像データＤ１を構成する画像フレームＤ１２と、プロセスデータＤ２を構成する数値データＤ２３とを同期させて再生することができる。

そして、ＣＰＵ１１１は、ユーザにより同期再生中止指示が入力されるか、あるいは現在再生している画像データＤ１の最終画像フレームＤ１２まで再生が終了した場合（Ｓ４９０“ＹＥＳ”）、同期再生処理を終了する。

（画像データＤ１からプロセスデータＤ２への同期再生の具体例）
次に、画像データＤ１からプロセスデータＤ２への同期再生の具体例を図示して説明する。

図５は、画像データＤ１からプロセスデータＤ２への同期再生処理した際の具体例を示している。なお、図５では、画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１とは、省略して示している。

図５に示すように、本実施形態１のデータ同期再生装置１では、例えば、画像データＤ１のうち先頭画像フレームから３フレーム目のフレーム番号♯３の画像フレームを再生しているとすると、本実施形態１では、フレーム周期Ｔｆは１／３０秒なので、ＣＰＵ１１１は、フレーム番号♯１の先頭画像フレームＤ１２からの相対時間を、前記式（１）により、３×１／３０秒＝１００（ｍ秒）と算出する。

次に、ＣＰＵ１１１は、フレーム番号♯１の先頭画像フレームＤ１２からの相対時間である１００（ｍ秒）は、経過時間番号＃１０の９２（ｍ秒）より長く、経過時間番号＃１１の１２７（ｍ秒）より短いので、経過時間番号＃１０に対応する数値データ＃１０を抽出する。

従って、本実施形態１のデータ同期再生装置１によれば、画像データＤ１を構成する画像フレームＤ１２とプロセスデータＤ２を構成する数値データＤ２３とは、記録時に同期が取られていなかったとしても、画像フレームＤ１２や数値データＤ２３の時刻情報を使用せずに、画像フレームＤ１２のフレーム番号と経過時間Ｄ２２等を使用して、画像フレームＤ１２と数値データＤ２３とを同期再生することができる。

その結果、本実施形態１のデータ同期再生装置１によれば、画像データＤ１とプロセスデータＤ２の同期再生処理に、双方のデータの時刻情報を参照する必要がなくなるので、画像データＤ１やプロセスデータＤ２のシンタックス（構造）や、ヘッダ情報を解析して探し出す必要がなくなり、高速に同期再生処理を実行することが可能となる。

（プロセスデータＤ２から画像データＤ１への同期再生動作の説明）
次に、本実施形態１のデータ同期再生装置１におけるプロセスデータＤ２から画像データＤ１の同期再生処理について、フローチャートを参照して説明する。

図６は、本実施形態１のデータ同期再生装置１によるデータ同期表示処理の手順を示すフローチャートである。

ユーザがモニタ１２に表示されたプロセスデータＤ２の表示エリアにおいて、例えば、スクロールバーやカーソル等をマウス１４やキーボード１３等により移動させることで、プロセスデータＤ２における数値データＤ２３のあるタイミングを指定して、指定したタイミングの数値データＤ２３と画像フレームＤ１２との同期再生指示が装置本体１１に入力すると（Ｓ６００“ＹＥＳ”）、ＣＰＵ１１１は、データ同期制御プログラムの実行によりデータ同期再生制御部として機能して、まずは、マウス１４やキーボード１３等により移動されたスクロールバーやカーソルの位置の先頭レコードからの相対時間を算出する（Ｓ６１０）。具体的には、ＣＰＵ１１１は、サンプリング開始時刻Ｔｓ１（基準時点）からのスクロールバーやカーソルの位置が示すタイミングまでの時間を相対時間として算出する。

また同時に、ＣＰＵ１１１は、データ同期再生制御部として機能して、画像データＤ１の画像データヘッダ情報Ｄ１１からフレーム周期Ｔｆを取得する（Ｓ６２０）。なお、ＣＰＵ１１１は、これらサンプリング間隔Ｔｓ２やフレーム周期Ｔｆを既に記憶等しており、既知である場合には、これらの取得処理を省略しても勿論よい。

次に、ＣＰＵ１１１は、データ同期再生制御部として機能して、次式（２）に示すように、算出された「先頭レコードからの相対時間」を、画像フレームＤ１２の１フレームあたりの時間であるフレーム周期Ｔｆで除算することにより、現在している数値データに同期した「同期すべき画像フレームのフレーム番号」を算出する（Ｓ６４０）。

同期すべき画像フレームのフレーム番号＝先頭レコードからの相対時間÷フレーム周期Ｔｆ・・・（２）
そして、ＣＰＵ１１１は、画像データ再生部として機能して、前記式（２）により算出したフレーム番号に基づいて、データ記憶部１１３ｂに記憶された画像データＤ１のうちから、該当するフレーム番号の画像フレームＤ１２を読み出し同期再生する（Ｓ６４０）。具体的には、ＣＰＵ１１１は、「先頭レコードからの相対時間」に対応する数値データＤ２３と、該当するフレーム番号の画像フレームＤ１２とを同期再生する。例えば、ＣＰＵ１１１は、「先頭レコードからの相対時間」と、経過時間番号♯１〜ｒの順に経過時間Ｄ２２の値とを比較することにより、「先頭レコードからの相対時間」を超えない範囲で最長の経過時間Ｄ２２に対応する数値データＤ２３を抽出し、この抽出された数値データＤ２３と、「同期すべき画像フレームのフレーム番号」の画像フレームＤ１２とを同期再生する。

これにより、本実施形態１によれば、経過時間と、画像フレームＤ１２のフレーム番号とにより、数値データＤ２３と画像フレームＤ１２との同期処理が可能となる。

（プロセスデータＤ２から画像データＤ１への同期再生の具体例）
次に、プロセスデータＤ２から画像データＤ１への同期再生の具体例を図示して説明する。

図７は、プロセスデータＤ２から画像データＤ１への同期再生処理した際の具体例を示している。なお、図７も、図５と同様に、画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１とは、省略して示している。

つまり、本実施形態１のデータ同期再生装置１では、例えば、図７に示すように、プロセスデータＤ２のうち、ユーザがモニタ１２に表示されたプロセスデータＤ２の表示エリアにおいて、マウス１４やキーボード１３等によりスクロールバーやカーソル等を移動させて、タイミングが指定されると、ＣＰＵ１１１は、例えば、先頭レコードからの相対時間を、指定された位置に基づいて、１３４（ｍ秒）として算出する。

そして、先頭レコードからの相対時間が１３４（ｍ秒）の数値データＤ２３に同期すべき画像フレームＤ１２のフレーム番号は、フレーム周期Ｔｆが１／３０秒なので、前記式（２）により、１３４ｍ秒÷（１／３０秒）＝４．０２≒４となり、先頭の画像フレームＤ１２より４番目のフレーム番号♯４の画像フレームＤ１２が、先頭レコードからの相対時間が１３４（ｍ秒）に対応する数値データＤ２３と同期再生されることになる。

従って、本実施形態１のデータ同期再生装置１によれば、画像フレームＤ１２のフレーム番号と先頭レコードからの相対時間等を使用して、カーソルの位置を指定するだけで、対応する画像データＤ１の画像フレームＤ１２を同期再生することができる。

なお、本実施形態１のデータ同期再生装置１では、記憶部１１３のデータ記憶部１１３ｂに、制御機器５１〜５ｎが複数の監視対象物６１〜６ｐから時系列に取得した複数の数値データを含むプロセスデータＤ２を記憶したが、プロセスデータＤ２に含まれるデータは、数値データに限らず、ビットデータやテキストデータであってもよい。

（表示画面の具体例）
次に、本実施形態１のデータ同期再生装置１のモニタ１２に表示される表示画面の具体例について説明する。

図８〜図１２は、それぞれ、本実施形態１のデータ同期再生装置１のモニタ１２に表示された表示画面１２１〜１２５の具体例を示す図である。なお、図８〜図１２に示す表示画面１２１〜１２５は、本実施形態１のデータ同期再生装置１のＣＰＵ１１１が、プログラム記憶部１１３ａに格納されたデータ同期制御プログラムを実行することにより画面レイアウト設定部として機能して設定や変更する表示画面の一例である。つまり、図８〜図１２に示す表示画面１２１〜１２５は、ＣＰＵ１１１が、画面レイアウト設定部として機能して、ユーザの指示に基づき画像データが表示される画像データ再生エリアと、プロセスデータが表示されるプロセスデータ再生エリアとをモニタ１２上に設定すると共に、画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定して表示した表示画面の一例である。

図８に示す表示画面１２１では、画面レイアウト設定部として機能して表示画面１２１の中央より上側に画像データ表示エリア１２１ａを設ける一方、表示画面１２１の中央より下側にプロセスデータ表示エリア１２１ｂを設けている。そして、この表示画面１２１では、画像データ表示エリア１２１ａに、４つの画像データ表示ウインドウ１２１ａ１〜１２１ａ４が設けられ、この４つの画像データ表示ウインドウ１２１ａ１〜１２１ａ４に、複数台のＩＴＶカメラ２１〜２ｍのうち、カメラ切替器３がユーザからの指示や自動的に切り替えられた、例えばカメラ番号♯１〜４（camera1〜４）の４台のＩＴＶカメラからの動画像の画像データＤ１が表示されている。

また、この表示画面１２１では、プロセスデータ表示エリア１２１ｂには、カメラ切替器３に切り替えられたカメラ番号♯１〜４（camera1〜４）の４台のＩＴＶカメラが撮影している監視対象物のプロセスデータＤ２が再生されている。ここで、プロセスデータ表示エリア１２１ｂにおける図上水平方向の横軸は、時間軸を示している一方、図上垂直方向の縦軸は、プロセスデータＤ２を構成する数値データＤ２３の値（レベル）を示している。

そして、４つの画像データ表示ウインドウ１２１ａ１〜１２１ａ４それぞれで再生される画像データＤ１と、プロセスデータ表示エリア１２１ｂにて再生されているプロセスデータＤ２とは、データ同期再生制御部として機能するＣＰＵ１１１により、前述のように画像フレームＤ１２と、数値データＤ２３とが同期されて再生される。

なお、この表示画面１２１のプロセスデータ表示エリア１２１ｂには、再生するプロセスデータＤ２の時刻を変更するため図上、水平方向に移動するプロセスデータ時刻変更バー１２１ｂ２等が表示されている。ユーザは、プロセスデータ時刻変更バー１２１ｂ２を、キーボード１３やマウス１４により表示画面１２１上でカーソル（図示せず）を操作してプロセスデータＤ２の時間軸の拡大・縮小や拡大表示を実行することができる。

また、図８において、１２１ｂ３は、プロセスデータ表示エリア１２１ｂに表示されているプロセスデータの抜出し記録（スナップショット）開始位置を指定する抜出し記録開始位置指定バー、１２１ｂ４は、プロセスデータ表示エリア１２１ｂに表示されているプロセスデータの抜出し記録終了位置を指定する抜出し記録終了位置指定バーであり、後述する実施形態１２の抜出し記録（スナップショット）にて使用するバーで、実施形態１では使用しない。ユーザは、プロセスデータ表示エリア１２１ｂにおいてこれらのバーを、前述したようにユーザがマウス１４やキーボード１３等を使用することにより移動させることができる。

図９に示す表示画面１２２では、プロセスデータＤ２を拡大して表示するため、表示画面１２２全体に、プロセスデータ表示エリア１２２ｂを拡大した状態を示している。そのため、図９に示す表示画面１２２では、図８に示す表示画面１２１では表示画面１２１の中央より上側半分に存在した画像データ表示エリア１２１ａが表示できないため、プロセスデータ表示エリア１２２ｂに重ねて画像データ表示エリア１２２ａを表示し、そのデータ表示エリア１２２ａに、４つの画像データ表示ウインドウ１２２ａ１〜１２２ａ４を設けている。

図１０に示す表示画面１２３では、図８に示す表示画面１２１と同様に、表示画面１２３の中央より上側に画像データ表示エリア１２３ａを設ける一方、表示画面１２３の中央より下側にプロセスデータ表示エリア１２３ｂを設けている。そして、この表示画面１２３では、画像データ表示エリア１２３ａに２つの画像データ表示エリア１２３ａ１，１２３ａ２を設け、画像データ表示エリア１２３ａ１にはカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１を表示する一方、画像データ表示エリア１２３ａ２には同じカメラ番号♯１のＩＴＶカメラ２１（camera1）からの静止画の画像データＤ１を表示している。また、この表示画面１２３では、プロセスデータ表示エリア１２３ｂには、画像データ表示エリア１２３ａ１に表示されたカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１に同期し、かつ、カメラ番号♯１のＩＴＶカメラ２１が撮影している監視対象物から制御機器が取得したプロセスデータＤ２が表示される。なお、プロセスデータ表示エリア１２３ｂは、図８，図９に示す表示画面１２１，１２２のプロセスデータ表示エリア１２１ｂ，１２２ｂと何ら変わりがない。

図１１に示す表示画面１２４では、図８に示す表示画面１２１等と同様に、表示画面１２４の中央より上側に画像データ表示エリア１２４ａを設ける一方、表示画面１２４の中央より下側にプロセスデータ表示エリア１２４ｂを設けている。そして、この表示画面１２４では、画像データ表示エリア１２４ａに、図１０に示す表示画面１２３と同様に、２つの画像データ表示エリア１２４ａ１を設け、画像データ表示エリア１２４ａ１にはカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１を表示する一方、画像データ表示エリア１２４ａ２には同じカメラ番号♯１のＩＴＶカメラ２１（camera1）からの撮影時刻を別にする４つの静止画の画像データＤ１を表示している。

また、プロセスデータＤ２に、例えば圧延されている圧延材のロット番号などのテキストデータが含まれている場合、プロセスデータ表示エリア１２４ｂに、テキストデータ１２４ｃを表示している。

なお、プロセスデータ表示エリア１２４ｂは、図８〜図１０に示す表示画面１２１〜１２３のプロセスデータ表示エリア１２１ｂ〜１２３ｂと何ら変わりがない。

図１２に示す表示画面１２５では、図８に示す表示画面１２１等と同様に、表示画面１２５の中央より上側に画像データ表示エリア１２５ａを設ける一方、表示画面１２５の中央より下側にプロセスデータ表示エリア１２５ｂを設けている。そして、この表示画面１２５では、画像データ表示エリア１２５ａに、例えば、４台のカメラ映像から２台のカメラ映像を選択するためのカメラ映像指定ボタン１２５ａ１と、そのカメラ映像指定ボタン１２５ａ１によって選択されたカメラ番号♯１，３の２台のＩＴＶカメラ２１，２３（camera1，３）からの動画像データが画像データ表示エリア１２５ａ２，１２５ａ３に表示される。このようにすると、この表示画面１２５の画像データ表示エリア１２５ａ２，１２５ａ３のウインドウの大きさは、図１０に示す表示画面１２３における画像データ表示エリア１２３ａ１，１２３ａ２のウインドウよりは小さいもの、図８に示す表示画面１２１における画像データ表示エリア１２３ａ１〜１２１ａ４のウインドウよりは大きくなるので、画像データＤ１が見易くなる。なお、この表示画面１２５では、プロセスデータ表示エリア１２５ｂは、図８〜図１１に示す表示画面１２１〜１２４のプロセスデータ表示エリア１２１ｂ〜１２４ｂと何ら変わりがない。

以上説明したように、本実施形態１のデータ同期再生装置１によれば、画像データＤ１を構成する画像フレームＤ１２のフレーム番号やフレーム周期Ｔｆと、プロセスデータＤ２を構成する数値データＤ２３の経過時間やサンプリング間隔Ｔｓ２等とを使用して、画像フレームＤ１２と数値データＤ２３との同期再生が可能となり、図８〜図１２に示す表示画面１２１〜１２５に示すような表示画面をモニタ１２に表示することができる。その結果、本実施形態１のデータ同期再生装置１によれば、画像データＤ１と数値データＤ２３の同期再生処理に、双方のデータの時刻情報を参照する必要がなくなるので、ファイル数やファイルの記憶容量を低減でき、従来と同じ記憶容量の記憶装置で従来よりも長期間にわたる記憶と同期再生が可能となる。

また、数値データＤ２３は、経時的変化があった場合のみ監視対象物６１〜６ｐから取得され、記憶されるので、数値データＤ２３に、経時的変化がなかった場合、経過時間Ｄ２２のデータ容量を大幅に削減することができる。

さらに、画像保存の際にＭＰＥＧ−４等の画像フレームの圧縮復号化技術を利用できるので、画像再生の際にＱｕｉｃｋ Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用することができ、これにより開発コストが低減することができる。

また、時刻情報を用いることなく、データと画像フレームとを高速に同期再生したり、頭出ししたりすることができる。

（実施形態２）
実施形態１では、時刻情報を参照せずに、画像フレームＤ１２のフレーム番号と、経過時間とを用いた画像データＤ１とプロセスデータＤ２との同期再生処理について説明したが、これに限らない。

本実施形態２では、実施形態１の機能に追加して、さらに、プロセスデータＤ２から指定した時間の数値データＤ２３の抜き出し記録、すなわちスナップショット記録すべき数値データＤ２３の時間を指定することにより、その指定された時間の数値データＤ２３に同期した画像フレームＤ１２を自動的に記憶することができる本実施形態２のデータ同期再生装置を例に挙げて説明する。

よって、本実施形態２のデータ同期再生装置では、実施形態１のデータ同期再生装置１の機能に対し、さらに、スナップショット記録の機能を追加したものであり、プログラム記憶部１１３ａに記憶されたデータ同期制御プログラムには、このスナップショット記録の機能である同期保存制御部として機能させるためのプログラムも含まれているものとする。なお、実施形態２のデータ同期再生装置の構成は、実施形態１のものと同様なので、図１および図２に示す実施形態１の構成を参照して、特徴ある動作のみを説明する。

つまり、実施形態２のデータ同期再生装置１では、ユーザがモニタ１２に表示されたプロセスデータ表示エリア１２１ｂにおいて、マウス１４やキーボード１３等を使用することにより移動させて、例えば、図８に示すように、抜出し記録開始位置指定バー１２１ｂ３および抜出し記録終了位置指定バー１２１ｂ４を、プロセスデータＤ２から抜き出して別途記録するプロセスデータＤ２の時間を指定する。そして、ユーザが保存ボタン（図示せず）等をクリックすると、ＣＰＵ１１１は、プログラム記憶部１１３ａに記憶されているデータ同期制御プログラムを実行して、まずは同期画像フレーム選択部として機能して、ユーザにより指定された時間の数値データＤ２３のレコード番号を、前記実施形態１の同期再生の場合と同様に、前記数式（２）等により、その指定された時間の数値データＤ２３に同期した範囲の画像フレームＤ１２のフレーム番号に変換する。具体的には、ＣＰＵ１１１は、指定された時間の先頭及び後尾における先頭レコードからの相対時間と、画像フレームＤ１２のフレーム周期に基づいて、指定された時間に対応する画像フレームＤ２１のフレーム番号を算出する。

次に、ＣＰＵ１１１は、データ同期制御プログラムの実行により同期保存制御部として機能して、ユーザによって指定された時間の数値データＤ２３と、その指定された時間の数値データＤ２３に同期した画像フレームＤ１２とを対応させて、画像データＤ１やプロセスデータＤ２のデータファイルＤｆとは、別のデータファイルＤｆとして、すなわち画像データＤ１やプロセスデータＤ２のデータファイルＤｆからユーザによって指定された時間の数値データＤ２３と、その指定された時間の数値データＤ２３に同期した画像フレームＤ１２とを抜き出したような形でデータ記憶部１１３ｂに記憶する。

そのため、実施形態２のデータ同期再生装置１では、メールプログラム等によりそのファイルを、電子メール等に添付してインターネットやイントラネット等のネットワークを介して、他のコンピュータ装置に送信することも可能となる。

これにより、ユーザが指定した時間の数値データＤ２３と、その時間の数値データＤ２３に同期した画像フレームＤ１２と記憶されたファイルを受信した当該他のコンピュータ装置では、実施形態１や実施形態２のデータ同期再生装置１と同様の画像データＤ１とプロセスデータＤ２の同期再生機能を有すれば、受信したファイルからユーザが指定した時間の数値データＤ２３と、その指定された時間の数値データＤ２３に同期した画像フレームＤ１２とを同期再生して、リモート診断などを実行することが可能となる。

１ データ同期再生装置
１１ 装置本体
１２ モニタ
１３ キーボード
１４ マウス
１１１ ＣＰＵ（画像データ再生部、データ同期再生制御部、同期画像フレーム選択部、同期保存制御部、画面レイアウト設定部）
１１２ メモリ
１１３ 記憶部
１１３ａ プログラム記憶部
１１３ｂ データ記憶部（画像データ記憶部、プロセスデータ記憶部）
１１４ 外部機器Ｉ／Ｆ部
１１５ 制御ネットワークＩ／Ｆ部
１１６ ＬＡＮＩ／Ｆ部
２１〜２ｍ ＩＴＶカメラ（ｍは自然数。）
３ カメラ切替器
４ ディジタル画像変換ユニット
５１〜５ｎ 制御機器（ｎは自然数。）
６１〜６ｐ 監視対象物６１〜６ｐ（ｐは自然数。）

産業上の利用の可能性

本発明は、プラントを監視するオンラインデータ管理システム等に適用することができる。

Claims (12)

1. カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶する画像データ記憶部と、
   前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとして記憶するプロセスデータ記憶部と、
   前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生部と、
   前記フレーム周期に基づいて、前記画像データ再生部から出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御部と、
   を有することを特徴とするデータ同期再生装置。
2. 請求項１記載のデータ同期再生装置において、
   前記データ同期再生制御部は、
   前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を前記画像データ再生部に出力し、前記算出したフレーム番号を有する前記画像データを再生させる
   ことを特徴とするデータ同期再生装置。
3. 請求項１または請求項２記載のデータ同期再生装置において、さらに、
   前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択部と、
   外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択部によって選択された前記画像フレームとを同一ファイルとして記憶する同期保存制御部と、
   を有することを特徴とするデータ同期再生装置。
4. 請求項１〜請求項３のいずれか一の請求項に記載のデータ同期再生装置において、さらに、
   外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定部、
   を有することを特徴とするデータ同期再生装置。
5. カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして画像データ記憶部に記憶させる画像データ記憶ステップと、
   前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとしてプロセスデータ記憶部に記憶させるプロセスデータ記憶ステップと、
   前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生ステップと、
   前記フレーム周期に基づいて、前記画像データ再生ステップにより出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御ステップと、
   を有することを特徴とするデータ同期再生方法。
6. 請求項５記載のデータ同期再生方法において、
   前記データ同期再生制御ステップは、
   前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を出力し、前記算出したフレーム番号を有する前記画像データを前記画像データ再生ステップにより再生させる
   ことを特徴とするデータ同期再生方法。
7. 請求項５または請求項６記載のデータ同期再生方法において、さらに、
   前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択ステップと、
   外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択ステップによって選択された前記画像フレームとを同一ファイルとして記憶させる同期保存制御ステップと、
   を有することを特徴とするデータ同期再生方法。
8. 請求項５〜請求項７のいずれか一の請求項に記載のデータ同期再生方法において、さらに、
   外部入力に基づき、前記画像データ再生ステップによって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御ステップによって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定ステップ、
   を有することを特徴とするデータ同期再生方法。
9. コンピュータに、
   カメラが監視対象を撮影した複数の画像フレームを、各画像フレームに時系列にフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして画像データ記憶部に記憶させる画像データ記憶ステップと、
   前記監視対象から取得した経時的変化のあったデータを、基準時点からの経過時間と共にプロセスデータとしてプロセスデータ記憶部に記憶させるプロセスデータ記憶ステップと、
   前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生ステップと、
   前記フレーム周期に基づいて、前記画像データ再生ステップにより出力された前記フレーム番号に対応する前記画像フレームの先頭フレームからの相対時間を算出し、この算出された先頭フレームからの相対時間に基づいて、前記データを前記モニタに再生するデータ同期再生制御ステップと、
   を実行させることを特徴とするデータ同期制御プログラム。
10. 請求項９記載のデータ同期制御プログラムにおいて、
    前記データ同期再生制御ステップは、
    前記モニタに表示されている前記プロセスデータの特定のタイミングが指定された場合、前記基準時点から前記指定されたタイミングまでの相対時間を算出し、この算出した相対時間と前記画像フレームのフレーム周期とに基づいて前記フレーム番号を算出し、この算出した前記フレーム番号を出力し、前記算出したフレーム番号を有する前記画像データを前記画像データ再生ステップにより再生させる
    ことを特徴とするデータ同期制御プログラム。
11. 請求項９または請求項１０記載のデータ同期制御プログラムにおいて、さらに、
    前記モニタに表示されている前記プロセスデータにおいて、外部入力により別ファイルとして記憶するデータの時間が指定された場合、その指定された時間の先頭及び後尾における前記基準時点からの相対時間と前記画像フレームのフレーム周期に基づいて、前記指定された時間に対応する前記画像フレームのフレーム番号を算出し、この算出したフレーム番号に対応する画像フレームを選択する同期画像フレーム選択ステップと、
    外部入力により指定された時間に対応する前記データと、前記同期画像フレーム選択ステップによって選択された前記画像フレームとを同一ファイルとして記憶させる同期保存制御ステップと、
    を実行させることを特徴とするデータ同期制御プログラム。
12. 請求項９〜請求項１１のいずれか一の請求項に記載のデータ同期制御プログラムにおいて、さらに、
    外部入力に基づき、前記画像データ再生ステップによって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御ステップによって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定ステップ、
    を実行させることを特徴とするデータ同期制御プログラム。