WO2012140715A1 - Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program - Google Patents

Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program Download PDF

Info

Publication number
WO2012140715A1
WO2012140715A1 PCT/JP2011/059010 JP2011059010W WO2012140715A1 WO 2012140715 A1 WO2012140715 A1 WO 2012140715A1 JP 2011059010 W JP2011059010 W JP 2011059010W WO 2012140715 A1 WO2012140715 A1 WO 2012140715A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
frame
reproduction
image data
Prior art date
Application number
PCT/JP2011/059010
Other languages
French (fr)
Japanese (ja)
Inventor
章 野島
Original Assignee
東芝三菱電機産業システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝三菱電機産業システム株式会社 filed Critical 東芝三菱電機産業システム株式会社
Priority to JP2013509678A priority Critical patent/JP5478776B2/en
Priority to PCT/JP2011/059010 priority patent/WO2012140715A1/en
Priority to TW100118960A priority patent/TWI454141B/en
Publication of WO2012140715A1 publication Critical patent/WO2012140715A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a data-synchronized playback apparatus and data for synchronizing and displaying image data including a plurality of image frames captured by a camera and process data including a plurality of numerical data acquired in time series from the monitoring object
  • the present invention relates to a synchronized playback method and a data synchronization control program.
  • the numerical data of the plant at the time of the abnormality and the image frame are displayed on the monitor for monitoring the plant, and the numerical data and the image frame are displayed on the storage device. Is stored as a separate file, and when the history information screen is developed for investigating abnormalities, numerical data and image frames at the time of the occurrence of abnormalities are displayed at the same time to enable detailed plant monitoring.
  • a technique has been proposed (see, for example, Patent Document 1).
  • the data synchronous reproduction device of the above-mentioned Patent Document 1 when confirming the numerical data of the plant and the image frame at the time of occurrence of an abnormality later, the record of each numerical data and the date / time information added to each image frame are included. Based on the synchronized playback based on this, when the number of monitoring targets increases, or when storing numerical data and image frames during normal operation, the number of files and the storage capacity of the file increase, so data for a long time is stored, There is a problem that a storage device having a very large size is required when the image frame and the numerical data are reproduced in synchronization later.
  • Patent Document 1 since the data synchronous reproduction apparatus of Patent Document 1 performs synchronous reproduction by adding date and time information to numerical data and an image frame, an image frame compression / decoding technique such as MPEG-4 is used when storing an image. There is a problem that the development cost increases because a general-purpose image data reproduction program such as Quick Time (registered trademark) player cannot be used during image reproduction.
  • the present invention has been made in view of such a problem, and a data synchronous reproduction apparatus and data synchronous reproduction capable of synchronously reproducing an image frame included in image data and data included in process data at high speed. It is an object to provide a method and a data synchronization control program.
  • a first feature of the data synchronous playback device is that a plurality of image frames captured by a camera are imaged, and a frame number is assigned to each image frame, and the frame period of the image frames.
  • an image data storage unit that stores the data as image data
  • a process data storage unit that stores a plurality of data acquired in time series from the monitoring target as process data together with a sampling number of the data by assigning a record number to each data.
  • the image data stored in the image data storage unit is output to a monitor for playback, and the image data playback unit outputs the frame number of the image frame to be played back, and the image data playback unit outputs the frame number.
  • the frame number is set to the frame period of the image frame and the sampling interval of the data. It converts the record number of the data Zui is the data having the converted record number to having a data synchronization reproduction control unit for reproducing on the monitor.
  • a second feature of the data synchronous reproduction device is that the data synchronous reproduction control unit is designated when the data at a specific timing is designated in the process data displayed on the monitor.
  • the converted record number of the data is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the converted frame number is output to the image data reproduction unit, The image data having the specified frame number is reproduced.
  • the third feature of the data synchronous reproduction device is that, when the range of data stored as a separate file is designated by external input in the process data displayed on the monitor, the data is designated.
  • An image in a range synchronized with the data in the specified range by converting the record number of the data in the specified range to the frame number of the image frame based on the sampling interval of the data and the frame period of the image frame A synchronous image frame selection unit for selecting a frame; a synchronous storage control unit for storing the data in a range specified by an external input and the image frame in a range selected by the synchronous image frame selection unit as the same file; , To have.
  • the fourth feature of the data synchronous reproduction device is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and a data synchronous reproduction control unit.
  • a screen layout setting unit for setting a process data reproduction area on which the process data is displayed on the monitor and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area It is in having.
  • the first feature of the data synchronous reproduction method is that a plurality of image frames obtained by photographing a monitoring target by a camera are stored as image data together with a frame number of each image frame by assigning a frame number to each image frame.
  • the output frame number is converted into the record number of the data based on the frame period of the image frame and the sampling interval of the data, The data having the converted record number is reproduced on the monitor. It lies in having a step.
  • the second feature of the data synchronous reproduction method is that, in the process data displayed on the monitor, when the data at a specific timing is designated, the record number of the designated data is designated. Is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the image data having the converted frame number is reproduced.
  • the third feature of the data synchronous reproduction method is that, in the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the specified range of the data A data record number is converted into a frame number of the image frame based on the sampling interval of the data and a frame period of the image frame, and an image frame in a range synchronized with the data in a specified range is selected. And storing the data in the specified range and the image frame in the selected range as the same file.
  • the fourth feature of the data synchronous reproduction method is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and a data synchronous reproduction control unit. Setting a process data reproduction area on which the process data is displayed on the monitor, and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area. There is.
  • the first feature of the data synchronization control program is that a plurality of image frames in which a camera captures a monitoring target is imaged on a computer together with a frame number of each image frame and a frame period of the image frame.
  • the output frame number is converted into the record number of the data based on the frame period of the image frame and the sampling interval of the data.
  • the data having the converted record number Certain that to execute the steps of reproducing on the monitor.
  • the second feature of the data synchronization control program according to the present invention is that, in the process data displayed on the monitor, when the data at a specific timing is specified, the data of the specified data The record number is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the step of reproducing the image data having the converted frame number is executed.
  • the third feature of the data synchronization control program is that, in the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the specified range of the data A data record number is converted into a frame number of the image frame based on the sampling interval of the data and a frame period of the image frame, and an image frame in a range synchronized with the data in a specified range is selected. And executing the step of storing the data in the specified range and the image frame in the selected range as the same file.
  • the fourth feature of the data synchronization control program according to the present invention is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and the data synchronization reproduction control unit. Setting a process data reproduction area on which the process data is displayed on the monitor, and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area; There is to make it.
  • the frame number of the image frame included in the image data and the record number of the data included in the process data are not based on the time information. Therefore, it is not necessary to add time information to the data and the image frame.
  • the number of files and the storage capacity of the files can be reduced, and storage and synchronized playback over a longer period than before can be performed with a storage device having the same storage capacity.
  • image frame compression / decoding technology such as MPEG-4 can be used when saving images
  • a general-purpose image data playback program such as Quick Time (registered trademark) player can be used when playing back images. This can reduce development costs.
  • data and image frames can be synchronized and played back at high speed.
  • FIG. 1 is a diagram showing a configuration example of an online data management system including a data synchronous reproduction apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a configuration example of the data synchronous reproduction apparatus according to the present invention.
  • FIG. 3A is a diagram illustrating an example of a file format of image data and process data stored in the data storage unit of the data synchronous playback device.
  • FIG. 3B is a diagram illustrating an example of a data structure of image data.
  • FIG. 3C is a diagram illustrating an example of a data structure of process data.
  • FIG. 4 is a flowchart illustrating a procedure of data synchronization display processing by the data synchronization reproduction apparatus of the first embodiment.
  • FIG. 5 is a diagram showing a specific example when the synchronous reproduction processing from image data to numerical data is performed.
  • FIG. 6 is a flowchart illustrating a procedure of data synchronization display processing of the data synchronization reproduction apparatus according to the first embodiment.
  • FIG. 7 is a diagram showing a specific example when the synchronous reproduction process from numerical data to image data is performed.
  • FIG. 8 is a diagram illustrating an example of a display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
  • FIG. 9 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
  • FIG. 10 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
  • FIG. 11 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous playback device of the first embodiment.
  • FIG. 12 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
  • FIG. 1 is a diagram showing a configuration example of an online data management system including a data synchronous reproduction apparatus according to the present invention.
  • This online data management system is, for example, a hot rolling plant system that rolls heated iron, stainless steel, and aluminum slabs (steel pieces) with a rolling mill and finishes them into hot rolled coils with a thickness of several mm to several tens of mm.
  • Image data of each monitoring target in Processa Implant System which performs pickling, annealing, plating, painting, cutting, etc., to finish coils manufactured in hot rolling plants and cold rolling plants into final products
  • the process data acquired from each monitoring target are displayed in synchronization on the monitor and managed.
  • this online data management system includes a data synchronized playback apparatus 1 according to the present invention, a plurality of ITV (Industrial Television) cameras 21 to 2m (m is a natural number), a camera switch 3 and a digital image.
  • the conversion unit 4 and control devices 51 to 5n (n is a natural number) such as a programmable logic controller (PLC) are connected to each other.
  • PLC programmable logic controller
  • the operation state and control state of each of the monitoring objects 61 to 6p are determined by image data captured by a plurality of ITV cameras 21 to 2m and process data acquired by the control devices 51 to 5n. This is a monitoring system.
  • the data synchronous reproduction apparatus 1 and the digital image conversion unit 4 are connected by a LAN 7 such as Ethernet (registered trademark), while the data synchronous reproduction apparatus 1 and the control devices 51 to 5n are: It is connected by a control network 8 different from the LAN 7.
  • the control network 8 can be replaced with the LAN 7.
  • the data synchronous reproduction apparatus 1 is composed of a computer apparatus in which a monitor (display) 12, a keyboard 13, a mouse 14 and the like are connected to the apparatus main body 11.
  • the data synchronous reproduction apparatus 1 includes image data from a plurality of ITV cameras 21 to 2m converted from an analog video signal to a digital video signal by the digital image conversion unit 4, and a plurality of data acquired from the control devices 51 to 5n.
  • the process data including the numerical data is input and displayed on the monitor 12 for normal display or synchronous display processing.
  • the configuration and operation of the data synchronous reproduction apparatus 1 according to the present invention, the configuration of image data, process data, and the like will be described later.
  • the ITV cameras 21 to 2m shoot multiple monitoring objects 61 to 6p and output analog video signals such as PAL and NTSC formats. Even fixed cameras can send pan and tilt by sending control signals. A camera capable of remote operation such as zooming may also be used.
  • the ITV cameras 21 to 2m may or may not be provided with an audio microphone.
  • One ITV camera 21 to 2m may be provided for each monitoring object 61 to 6p, or a plurality of ITV cameras 21 to 2m may be provided.
  • the camera switch 3 switches and outputs a predetermined number (for example, four in this embodiment) of video signals to be displayed on the monitor 12 from the video signals of the plurality of ITV cameras 21 to 2m. To do.
  • a predetermined number for example, four in this embodiment
  • this switching function is further applied to the digital image conversion unit 4 or the data synchronous reproduction apparatus 1.
  • the camera switch 3 may be omitted.
  • the digital image conversion unit 4 compresses and encodes NTSC or PAL format analog video signals output from a plurality of ITV cameras 21 to 2m into digital image data such as MPEG-4 and sends the digital image data to the data synchronous reproduction apparatus 1. Output. Note that the digital image conversion unit 4 can be omitted when a plurality of ITV cameras 21 to 2m can perform A / D conversion of video signals photographed inside the camera and output digital image data.
  • the control devices 51 to 5n control the operations of the monitoring objects 61 to 6p such as motors, heaters, and hydraulic machines by a program, and control the respective I / O (input / output) units 511 to 5n1.
  • the process data including numerical data detected in time series at a predetermined sampling interval to be described later is acquired from each of the monitoring objects 61 to 6p.
  • FIG. 2 is a block diagram showing a configuration example of the data synchronous reproduction apparatus 1 according to the present invention.
  • the data synchronous reproduction apparatus 1 is composed of a computer device in which a monitor (display) 12, a keyboard 13, a mouse 14 and the like are connected to the apparatus main body 11.
  • the apparatus main body 11 includes a CPU 111, a memory 112, a storage unit 113 such as an HDD or a large-capacity memory, an external device interface (hereinafter abbreviated as I / F) unit 114, and a control network.
  • the I / F unit 115 is connected to the LAN I / F unit 116 and the like via an internal bus 117.
  • the CPU 111 functions as an image data reproduction unit of the present invention by executing an image data reproduction program among various application programs stored in the program storage unit 113a of the storage unit 113, and executes a data synchronization control program. Accordingly, the data synchronization playback control unit, the synchronized image frame selection unit, the synchronization storage control unit, and the screen layout setting unit of the present invention function.
  • the memory 112 is used as a calculation area or the like for temporarily storing or developing data when the CPU 111 executes various application programs.
  • the storage unit 113 includes a program storage unit 113a and a data storage unit 113b.
  • the program storage unit 113a includes an OS (operating system), an image data reproduction program for causing the CPU 111 to function as an image data reproduction unit of the present invention, a data synchronization reproduction control unit, a synchronous image frame selection unit of the present invention, An application program such as a data synchronization control program for functioning as a synchronization storage control unit and a screen layout setting unit is stored.
  • an image data reproduction program an image data reproduction program programmed exclusively for this apparatus or a general-purpose image data reproduction program such as a Quick Time (registered trademark) player may be used. .
  • the data storage unit 113b captures image data including a plurality of image frames obtained by photographing a plurality of monitoring objects 61 to 6p with a plurality of ITV cameras 21 to 2m and A / D-converting them.
  • the process data storage unit of the present invention stores process data including a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n.
  • the program storage unit 113a and the data storage unit 113b are provided in one storage unit 113.
  • the program storage unit 113a and the data storage unit 113b are different from each other.
  • it may be configured as a storage unit.
  • the external device I / F unit 114 is an interface for connecting an external device such as the monitor 12, the keyboard 13, and the mouse 14 to the apparatus main body 11.
  • the control network I / F unit 115 is an interface for connecting the control network 19 and the apparatus main body 11.
  • the LAN I / F unit 116 is an interface for connecting the LAN 7 and the apparatus main body 11.
  • 3A to 3C are diagrams showing examples of file formats of image data and process data stored in the data storage unit 113b of the data synchronous reproduction apparatus 1, and data structures of the image data and process data, respectively. .
  • Data D1 and process data D2 including a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n are included in two sections S1 and S2 in one data file Df. I remember it.
  • the image data D1 and the process data D2 may be stored in different sections of different files.
  • FIG. 3B is a diagram illustrating a data structure of the image data D1 stored in the data storage unit 113b.
  • the image data D1 is obtained by converting analog video signals output from each of the plurality of ITV cameras 21 to 2m into digital image data such as an MPEG-4 encoding system by the digital image conversion unit 4. It is composed of image header information D11 and a plurality of image frames D12 having frame numbers # 1 to q (q is a natural number) obtained by photographing the monitoring objects 61 to 6p targeted by the ITV cameras 21 to 2m. Has been.
  • image data D1 is shown, but actually there is image data D1 for each of a plurality of ITV cameras 21 to 2m.
  • the image header information D11 constitutes at least a frame period Tf which is a time per frame of the image frame D12 constituting the image data D1 and the image data D1, as shown in FIG. 3B. And the total number of frames q of the plurality of image frames D12.
  • the image header information D11 includes the camera identification information for identifying the ITV cameras 21 to 2m that output the image data D1, and the date and time of the image data D1 from the same ITV cameras 21 to 2m.
  • date and time identification information for identifying different image data D1 may be included.
  • link information for linking with the corresponding process data D2 may be included in the image header information D11.
  • the image frame D12 is data obtained by performing high-efficiency compression coding by the digital image conversion unit 4 using a moving image compression method such as MPEG-4 on an analog video signal photographed by the ITV cameras 21 to 2m.
  • a moving image compression method such as MPEG-4
  • MPEG-4 a moving image compression method
  • the H.264 encoding method, Motion JPEG that does not perform inter-frame prediction, or the like may be used.
  • any format of digital image data transmitted by the LAN 7 may be used.
  • time information such as decoding time information (DTS) and reproduction time information (PTS) may be given to each of the plurality of image frames D12 for normal decoding and reproduction. Time information such as decoding time information (DTS) and reproduction time information (PTS) is not used for the synchronous reproduction processing with process data.
  • DTS decoding time information
  • PTS reproduction time information
  • the image data D1 does not have time information or is not used for synchronized reproduction with the process data D2 even if it has time information. For this reason, in the first embodiment, during the synchronous reproduction process of the image data D1 and the process data D2, the sampling start time Ts1 stored in the process data header information D21 of the process data D2 corresponding to the image data D1 is This is used as the start time of the image data D1, that is, the reproduction start information of the image frame D12 of frame number # 1. Then, the frame playback start time of the image frame D12 of frame number # 2 to p after the image frame D12 of frame number # 1 is the sampling start time Ts1 used as the playback start time of the image frame D12 of frame number # 1.
  • the time information of each image frame D12 is not necessary for the synchronized reproduction process with the process data D2, and even if there is time information or the like, it is not used (referenced). Thereby, since reproduction is performed based on the frame number without using (referring to) the time information of each image frame D12, the reproduction and cueing can be speeded up.
  • FIG. 3C is a diagram illustrating a data structure of the process data D2 stored in the data storage unit 113b.
  • the process data D2 is binary data composed of numerical data D22 acquired in time series by the control devices 51 to 5n from the plurality of monitoring objects 61 to 6p at predetermined sampling intervals Ts2, as shown in FIG. 3C. And the process data header information D21 and a plurality of numerical data D22 of record numbers # 1 to r (r is a natural number) acquired from the monitoring objects 61 to 6p by the plurality of control devices 51 to 5n. .
  • the process data header information D21 includes at least a sampling start time Ts1 that is a time at which acquisition of the process data D2 is started, a sampling interval Ts2 that is an interval at which the numerical data D22 is acquired, and a monitoring target Stores the total number of records r of a plurality of numerical data D22 acquired from the objects 61 to 6p at a predetermined sampling interval Ts2.
  • the sampling interval Ts2 of the process data header information D21 is, for example, 1 msec. However, this is an example and may be other than 1 msec.
  • each numerical data D22 includes one or a plurality of items (items) of item numbers # 1 to s (s is a natural number) as shown in FIG. 3C.
  • item # 1 is a temperature sensor value
  • item # 2 is a pressure sensor value.
  • the item is not related to the main part of the invention and may be omitted.
  • the plurality of image frames D12 constituting the image data D1 and the plurality of numerical data D22 constituting the process data D2 are not synchronized at the time of recording. Further, 1/30 second of the frame period Tf of the image frame does not coincide with 1 ms of the numerical data sampling interval Ts2. For this reason, the data synchronous playback apparatus 1 of the first embodiment displays time information of the image data D1 such as decoding time information (DTS) and playback time information (PTS), and time information indicating the data acquisition time of the process data D2.
  • DTS decoding time information
  • PTS playback time information
  • the data synchronous reproduction apparatus 1 of the first embodiment performs synchronous reproduction processing using image frames and numerical data using frame numbers and record numbers without using or referring to time information.
  • FIG. 4 is a flowchart showing a procedure of data synchronization display processing by the data synchronization reproduction apparatus 1 of the first embodiment.
  • the user operates the keyboard 13 and mouse 14 of the data synchronized playback apparatus 1 and clicks (selects) a synchronized playback button (not shown) or the like, and the image data D1 and the process are transmitted to the apparatus main body 11.
  • a synchronous reproduction instruction with data D2 is input (S400 “YES”)
  • the CPU 111 activates the image data reproduction program stored in the program storage unit 113a and the data synchronization control program, and starts synchronous reproduction processing.
  • the CPU 111 of the apparatus main body 11 first functions as an image data reproduction unit by executing an image data reproduction program, and the image data header information D11 of the image data D1 stored in the data storage unit 113b and the process data.
  • the process data header information D21 of D2 is read out and temporarily stored in the memory 112, and the frame period Tf included in the image data header information D11 and the sampling interval Ts2 included in the process data header information D21 are acquired (S410).
  • the CPU 111 acquires, for example, 1/30 seconds as the frame period Tf and 1 ms as the sampling interval Ts2.
  • the CPU 111 may acquire the frame period Tf and the sampling interval Ts2 in advance by the process of S410 before the process of S400. Further, when the frame period Tf included in the image data header information D11 is known, the CPU 111 does not acquire the frame period Tf included in the image data header information D11, and the sampling interval Ts2 included in the process data header information D21. Only get.
  • the CPU 111 functions as an image data reproduction unit of the present invention by executing an image data reproduction program, and uses a timer (not shown) of the OS to 1 / which is the frame period Tf of the image data D1.
  • a timer event signal is generated at intervals of 30 seconds (S420).
  • the CPU 111 When the CPU 111 generates a timer event signal at 1/30 second intervals that are the frame period Tf (S430 “YES”), the CPU 111 functions as the image data reproduction unit of the present invention and stores the image stored in the data storage unit 113b.
  • the image frame D12 constituting the data D1 is read and the image frame D12 is encoded in the MPEG-4 format or the like, the image frame D12 is decoded in the MPEG-4 format or the like and reproduced on the monitor 12, The frame number of the reproduced image frame D12 is output (S440). At this time, when the image frame to be reproduced is designated by the user by the frame number or the like, reproduction is performed from the designated image frame.
  • the designation of the image frame D12 is not limited to the frame number or the like, but may be designated by the cursor on the display screen displayed on the monitor 12 with the keyboard 13 or the mouse 14, or when the image frame D12 is not designated. Then, reproduction is started from the top image frame D12 in the image data D1, that is, the image frame D12 having the frame number # 1. At this stage, the image data D1 is reproduced asynchronously with the process data D2.
  • the CPU 111 functions as the data synchronous reproduction control unit of the present invention by executing the data synchronous control program according to the present invention, and first, the frame number of the currently reproduced image frame D12 and the frame period Tf. Are acquired (S450).
  • the CPU 111 uses the known frame period Tf.
  • the CPU 111 temporarily stores the “relative time from the first image frame” obtained from the previous equation (1) in the memory 112 or the like as shown in the following equation (2). By dividing the stored process data D2 by the sampling interval Ts2, the record number of the numerical data D22 synchronized with the currently displayed image frame D12 is calculated (S470).
  • Record number of numerical data to be synchronized relative time from first image frame / sampling interval Ts2 (2)
  • the CPU 111 selects and displays the numerical data D22 of the corresponding record number from the process data D2 based on the “record number of the numerical data to be synchronized” obtained by the above equation (2) (S480).
  • the CPU 111 does not refer to the time information, and the numerical data D22 synchronized in time with the currently displayed image frame D12 through the frame number of the image frame D12 and the record number of the numerical data D22. Can be played back synchronously.
  • the CPU 111 converts the numerical data D22 of the record number into the graph format or the like and updates the value included in the range to be displayed in the graph. To update the graph display. If the numerical data D22 is composed of a plurality of items # 1 to #s, the plurality of items # 1 to #s are reflected in the graph.
  • the CPU 111 has a frame period Tf of 1 until a synchronous reproduction stop instruction is input by the user or the reproduction ends up to the final image frame D12 of the currently reproduced image data D1 (S490 “NO”). / Every time a timer event signal is generated at 30-second intervals (S430 “YES”), the processing from S440 to S480 described above synchronizes the image frame D12 in which the frame number and the record number are associated with the numerical data D22. Perform playback processing.
  • the image frame D12 that forms the image data D1 is made by associating the frame number of the image data D1 with the record number of the numerical data D22 without referring to the time information. And the numerical data D22 constituting the process data D2 can be reproduced in synchronization.
  • the CPU 111 terminates the synchronous playback process when the user inputs a synchronous playback stop instruction or when the playback is completed up to the final image frame D12 of the currently reproduced image data D1 (S490 “YES”). .
  • FIG. 5 shows a specific example when the synchronous reproduction process from the image data D1 to the process data D2 is performed.
  • the image data header information D11 of the image data D1 and the process data header information D21 of the process data D2 are omitted.
  • the sampling interval Ts2 is 1 mm second
  • the image frame D12 constituting the image data D1 and the numerical data D22 constituting the process data D2 are not synchronized at the time of recording. Even if the frame period Tf of the frame D12 and the sampling interval Ts2 of the numerical data D22 do not coincide with each other, the frame number of the image frame D12 and the numerical data D22 are not used without using the time information of the image frame D12 or the numerical data D22. Using the record number or the like, the image frame D12 and the numerical data D22 can be reproduced synchronously.
  • the data synchronous reproduction apparatus 1 of the first embodiment it is not necessary to refer to the time information of both data in the synchronous reproduction processing of the image data D1 and the process data D2, so that the image data D1 and the process data There is no need to analyze and find out the syntax (structure) of D2 and header information, and it is possible to execute synchronized playback processing at high speed.
  • the relative time from the first image frame is calculated by the above-described formula (1) and formula (2), Although the description has been made so that the record number of the numerical data D22 to be synchronously reproduced is calculated one by one based on the relative time from the first image frame, the present invention is not limited to this, and the above-described equations (1) and (2) ) Once, the record number of the numerical data D22 to be synchronously reproduced is calculated, and thereafter the record number of the numerical data D22 to be synchronously reproduced is generated every time a timer event occurs every frame period Tf from the OS timer. Of course, it may be incremented by +1.
  • the record number of the numerical data D22 to be synchronized and reproduced first is calculated by the processing of S450 to S470 and the synchronized reproduction is performed, the calculation is performed first without executing the processing of S450 to S470.
  • the synchronous reproduction processing of the image frame D12 constituting the image data D1 and the numerical data D22 constituting the process data D2 becomes possible. Synchronous playback processing with a light processing load is possible.
  • FIG. 6 is a flowchart showing a procedure of data synchronization display processing by the data synchronization reproduction apparatus 1 of the first embodiment.
  • the user designates the numerical data D22 in the process data D2 by moving, for example, a scroll bar or cursor with the mouse 14 or the keyboard 13, etc.
  • a synchronous reproduction instruction with the image frame D12 from the numerical data D22 is input to the apparatus main body 11 (S600 “YES”)
  • the CPU 111 functions as a data synchronous reproduction control unit by executing the data synchronous control program.
  • the sampling interval Ts2 is acquired from the record number of the numerical data D21 and the process data header information D21 (S610).
  • the CPU 111 functions as a data synchronous reproduction control unit, and acquires the frame period Tf from the image data header information D11 of the image data D1 (S620). Note that the CPU 111 has already stored the sampling interval Ts2 and the frame period Tf, and if it is known, the acquisition processing may be omitted.
  • the CPU 111 functions as a data synchronous reproduction control unit, and based on the sampling interval Ts2 and the record number of the numerical data D22 designated by a scroll bar, cursor, etc., as shown in the following equation (3). Then, “relative time from the first numerical data” in the process data D2 is calculated (S630).
  • Relative time from the first numerical data current record number ⁇ sampling interval Ts2 ... (3)
  • the CPU 111 divides the “relative time from the first record” calculated by the equation (3) by the frame period Tf that is the time per frame of the image frame D12.
  • the “frame number of the image frame to be synchronized” synchronized with the current numerical data is calculated (S640).
  • Frame number of image frame to be synchronized relative time from head / frame period Tf (4)
  • the CPU 111 functions as an image data reproducing unit, and based on the frame number calculated by the equation (4), the image frame having the corresponding frame number is selected from the image data D1 stored in the data storage unit 113b. D12 is read and reproduced (S640).
  • FIG. 7 shows a specific example when the synchronous reproduction process from the process data D2 to the image data D1 is performed.
  • the image data header information D11 of the image data D1 and the process data header information D21 of the process data D2 are omitted.
  • the process data D2 display area of the process data D2 displayed on the monitor 12 among the process data D2 the mouse 14 and the keyboard 13 are displayed.
  • the scroll bar, the cursor, or the like is moved by specifying the numerical data D22 of the 134th record number # 134 from the first numerical data D22.
  • the frame number of the image frame D12 and the record number of the numerical data D22 are used without using the time information of the image frame D12 and the numerical data D22.
  • the image frame D12 of the corresponding image data D1 can be synchronously reproduced.
  • the data storage unit 113b of the storage unit 113 includes a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n.
  • the process data D2 is stored, the data included in the process data D2 is not limited to numerical data, and may be bit data or text data.
  • FIGS. 8 to 12 are diagrams showing specific examples of display screens 121 to 125 displayed on the monitor 12 of the data synchronous reproduction apparatus 1 of the first embodiment, respectively.
  • the display screens 121 to 125 shown in FIGS. 8 to 12 are displayed on the screen layout setting by the CPU 111 of the data synchronization playback apparatus 1 of the first embodiment executing the data synchronization control program stored in the program storage unit 113a.
  • the display screen which functions as a part and is set or changed. That is, in the display screens 121 to 125 shown in FIGS. 8 to 12, the CPU 111 functions as a screen layout setting unit to display an image data reproduction area where image data is displayed based on a user instruction and process data.
  • This is an example of a display screen in which a process data reproduction area to be reproduced is set on the monitor 12 and the number and size of image data to be reproduced are set and displayed within predetermined conditions in the image data reproduction area.
  • the image data display area 121 a is provided above the center of the display screen 121 and functions as a screen layout setting unit, while the process data display area 121 b is provided below the center of the display screen 121. ing.
  • the display screen 121 four image data display windows 121a1 to 121a4 are provided in the image data display area 121a, and the four image data display windows 121a1 to 121a4 are arranged in a plurality of ITV cameras 21 to 2m.
  • the process data display area 121b displays the monitoring object captured by the four ITV cameras with camera numbers # 1 to 4 (camera1 to 4) switched to the camera switch 3.
  • Process data D2 is being reproduced.
  • the horizontal axis in the horizontal direction in the figure indicates the time axis
  • the vertical axis in the vertical direction in the figure indicates the value (level) of the numerical data D22 constituting the process data D2. Show.
  • the image data D1 reproduced in each of the four image data display windows 121a1 to 121a4 and the process data D2 reproduced in the process data display area 121b are described above by the CPU 111 functioning as a data synchronous reproduction control unit.
  • the image frame D12 is reproduced in synchronization with the frame number of the image frame D12 and the record number of the numerical data D22.
  • a process data time change bar 121b2 that moves in the horizontal direction in the figure is displayed to change the time of the process data D2 to be reproduced.
  • the user may operate the cursor (not shown) of the process data time change bar 121b2 on the display screen 121 with the keyboard 13 or the mouse 14 to execute enlargement / reduction or enlargement display of the time axis of the process data D2. it can.
  • 121b3 is an extraction recording start position designation bar for designating the extraction recording (snapshot) start position of the process data displayed in the process data display area 121b
  • 121b4 is displayed in the process data display area 121b.
  • This is an extraction recording end position designation bar for designating the extraction recording end position of the processed process data, and is a bar used in extraction recording (snapshot) of Embodiment 12 to be described later, and is not used in Embodiment 1.
  • the user can move these bars in the process data display area 121b by using the mouse 14 or the keyboard 13 as described above.
  • FIG. 9 shows a state in which the process data display area 122b is enlarged on the entire display screen 122 in order to display the process data D2 in an enlarged manner. Therefore, in the display screen 122 shown in FIG. 9, the display screen 121 shown in FIG. 8 cannot display the image data display area 121a existing in the upper half of the center of the display screen 121. Therefore, the image data is superimposed on the process data display area 122b.
  • a display area 122a is displayed, and four image data display windows 122a1 to 122a4 are provided in the data display area 122a.
  • an image data display area 123 a is provided above the center of the display screen 123, while a process data display area is provided below the center of the display screen 123.
  • 123b is provided.
  • two image data display areas 123a1 and 123a2 are provided in the image data display area 123a, and the image data D1 of the moving image from the ITV camera 21 with the camera number # 1 is displayed in the image data display area 123a1.
  • still image data D1 from the ITV camera 21 (camera1) of the same camera number # 1 is displayed in the image data display area 123a2.
  • the process data display area 123b is synchronized with the image data D1 of the moving image from the ITV camera 21 of the camera number # 1 displayed in the image data display area 123a1, and the camera number #
  • the process data D2 acquired by the control device from the monitored object photographed by one ITV camera 21 is displayed.
  • the process data display area 123b is not different from the process data display areas 121b and 122b on the display screens 121 and 122 shown in FIGS.
  • the image data display area 124a is provided above the center of the display screen 124, while the process data is displayed below the center of the display screen 124, as in the display screen 121 shown in FIG.
  • An area 124b is provided.
  • two image data display areas 124a1 are provided in the image data display area 124a as in the display screen 123 shown in FIG. 10, and the ITV camera with the camera number # 1 is provided in the image data display area 124a1. While moving image data D1 from 21 is displayed, image data D1 of four still images for different shooting times from the ITV camera 21 (camera1) of the same camera number # 1 are displayed in the image data display area 124a2. is doing.
  • the process data D2 includes text data such as the lot number of the rolled material being rolled
  • the text data 124c is displayed in the process data display area 124b.
  • the process data display area 124b is not different from the process data display areas 121b to 123b of the display screens 121 to 123 shown in FIGS.
  • the image data display area 125a is provided above the center of the display screen 125, while the process data is displayed below the center of the display screen 125, like the display screen 121 shown in FIG. An area 125b is provided.
  • the image data display area 125a is selected by, for example, a camera image designation button 125a1 for selecting two camera images from four camera images and the camera image designation button 125a1. Moving image data from the two ITV cameras 21, 23 (camera 1, 3) with camera numbers # 1, 3 are displayed in the image data display areas 125a2, 125a3.
  • the window size of the image data display areas 125a2 and 125a3 on the display screen 125 is smaller than the window of the image data display areas 123a1 and 123a2 on the display screen 123 shown in FIG. Since it is larger than the window of the image data display areas 123a1 to 121a4 on the display screen 121, the image data D1 is easy to see.
  • the process data display area 125b is no different from the process data display areas 121b to 124b of the display screens 121 to 124 shown in FIGS.
  • the frame number and frame of the image frame D12 constituting the image data D1 without referring to the time information of the image data D1 and the process data D2.
  • the period Tf the record number of the numerical data D22 constituting the process data D2, the sampling interval Ts2, and the like
  • the image frame D12 and the numerical data D22 can be synchronized and reproduced, and the display shown in FIGS. Display screens as shown on the screens 121 to 125 can be displayed on the monitor 12.
  • the data synchronous reproduction apparatus 1 of the first embodiment it is not necessary to refer to the time information of both data in the synchronous reproduction processing of the image data D1 and the numerical data D22.
  • the capacity can be reduced, and a storage device having the same storage capacity as that of the prior art can perform storage and synchronous reproduction for a longer period than before.
  • image frame compression / decoding technology such as MPEG-4 can be used when saving images
  • a general-purpose image data playback program such as Quick Time (registered trademark) player can be used when playing back images. This can reduce development costs.
  • data and image frames can be synchronized and played back at high speed.
  • Embodiment 2 In the first embodiment, the synchronous reproduction process of the image data D1 and the process data D2 using the frame number of the image frame D12 and the record number of the numerical data D22 without referring to the time information has been described.
  • the second embodiment in addition to the function of the first embodiment, by further extracting and recording the numerical data D22 in the specified range from the process data D2, that is, by specifying the range of the numerical data D22 to be recorded by snapshot, The image frame D12 synchronized with the numerical data D22 in the specified range can be automatically stored. Therefore, in the data synchronous reproduction device of the second embodiment, the snapshot recording function is further added to the function of the data synchronous reproduction device 1 of the first embodiment, and the data stored in the program storage unit 113a.
  • the synchronization control program includes a program for functioning as a synchronization storage control unit that is a function of this snapshot recording. Since the configuration of the data synchronous reproduction apparatus of the second embodiment is the same as that of the first embodiment, only the characteristic operation will be described with reference to the configuration of the first embodiment shown in FIGS.
  • the user moves the process data display area 121b displayed on the monitor 12 by using the mouse 14 or the keyboard 13 and the like, for example, as shown in FIG.
  • the extraction record start position designation bar 121b3 and the extraction record end position designation bar 121b4 are extracted from the process data D2 and designated separately for the range of process data D2.
  • the CPU 111 executes the data synchronization control program stored in the program storage unit 113a, and first functions as a synchronized image frame selection unit.
  • the record number of the numerical data D22 in the specified range is set in the range synchronized with the numerical data D22 in the specified range according to the equations (3), (4), etc., as in the case of the synchronized playback in the first embodiment.
  • the frame number of the image frame D12 is converted.
  • the CPU 111 functions as a synchronous storage control unit by executing the data synchronization control program, and associates the numerical data D22 in the range specified by the user with the image frame D12 synchronized with the numerical data D22 in the specified range.
  • the data file Df of the image data D1 and the process data D2 is different from the data file Df, that is, the numerical data D22 in the range specified by the user from the data file Df of the image data D1 and the process data D2,
  • the image frame D12 synchronized with the numerical data D22 in the specified range is stored in the data storage unit 113b in a form that is extracted.
  • the file can be attached to an e-mail or the like by a mail program or the like and transmitted to another computer apparatus via a network such as the Internet or an intranet. .
  • the present invention can be applied to an online data management system for monitoring a plant.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Recording Measured Values (AREA)

Abstract

The purpose of the present invention is to provide a data synchronization and reproduction device that can rapidly synchronize and reproduce image frames and numerical data. Accordingly, this data synchronization and reproduction device (1) is provided with the following: a data storage unit (113b) that stores image data that includes a plurality of image frames of objects-of-monitoring (61-6p) picked up by cameras (31-3n), and process data that includes a plurality of numerical data items acquired in a time sequence from the objects-of-monitoring; a program storage unit (113a) that stores a data synchronization control program that causes image data to be reproduced and, on the basis of the frame number and frame period of an image frame and the sampling gap and record number of numerical data, synchronizes and reproduces image data and numerical data; and a CPU (111) that executes the data synchronization control program.

Description

データ同期再生装置、データ同期再生方法およびデータ同期制御プログラムData synchronous reproduction apparatus, data synchronous reproduction method, and data synchronous control program
　本発明は、カメラが監視対象を撮影した複数の画像フレームを含む画像データと、監視対象から時系列に取得した複数の数値データを含むプロセスデータとを同期させて表示するデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムに関する。 The present invention relates to a data-synchronized playback apparatus and data for synchronizing and displaying image data including a plurality of image frames captured by a camera and process data including a plurality of numerical data acquired in time series from the monitoring object The present invention relates to a synchronized playback method and a data synchronization control program.
　データ同期再生装置として、例えば、プラントに異常が発生した場合に、異常発生時のプラントの数値データと、画像フレームとをプラント監視用のモニタによって表示すると共に、記憶装置にその数値データと画像フレームとを別ファイルとして記憶し、異常究明のために履歴情報画面を展開する場合には、その異常発生時の数値データと画像フレームとを同時に表示して、きめの細かいプラント監視を可能にした先行技術が提案されている（例えば、特許文献１参照）。 For example, when an abnormality occurs in the plant, the numerical data of the plant at the time of the abnormality and the image frame are displayed on the monitor for monitoring the plant, and the numerical data and the image frame are displayed on the storage device. Is stored as a separate file, and when the history information screen is developed for investigating abnormalities, numerical data and image frames at the time of the occurrence of abnormalities are displayed at the same time to enable detailed plant monitoring. A technique has been proposed (see, for example, Patent Document 1).
特開平５－３４１８１号公報Japanese Patent Laid-Open No. 5-34181
　しかし、前述の特許文献１のデータ同期再生装置では、プラントに異常が発生した場合のみ、プラントの数値データと画像フレームとを表示すると共に記憶するようにしたので、異常発生時以外の通常運転時における数値データと画像フレームとを後から確認することはできない、という課題があった。 However, in the above-described data synchronous reproduction apparatus of Patent Document 1, only when an abnormality occurs in the plant, the numerical data of the plant and the image frame are displayed and stored, so that during normal operation other than when the abnormality occurs There is a problem that the numerical data and the image frame cannot be confirmed later.
　特に、前述の特許文献１のデータ同期再生装置では、異常発生時のプラントの数値データと画像フレームとを後から確認する場合、各数値データのレコードと、各画像フレームに付加された日時情報に基づいて同期再生するようにしていたため、監視対象が増えたり、通常運転時における数値データおよび画像フレームも記憶する場合、ファイル数やファイルの記憶容量が増加するので、長期間にわたるデータを記憶し、後から画像フレームと数値データとを同期再生する場合に、非常に大きなサイズの記憶装置が必要になるという課題がある。 In particular, in the data synchronous reproduction device of the above-mentioned Patent Document 1, when confirming the numerical data of the plant and the image frame at the time of occurrence of an abnormality later, the record of each numerical data and the date / time information added to each image frame are included. Based on the synchronized playback based on this, when the number of monitoring targets increases, or when storing numerical data and image frames during normal operation, the number of files and the storage capacity of the file increase, so data for a long time is stored, There is a problem that a storage device having a very large size is required when the image frame and the numerical data are reproduced in synchronization later.
　また、特許文献１のデータ同期再生装置では、数値データと画像フレームとに日時情報を付加することにより同期再生を行うので、画像保存の際にＭＰＥＧ－４等の画像フレームの圧縮復号化技術を利用できず、画像再生の際にＱｕｉｃｋ　Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用できないので、開発コストが増大するという課題があった。 In addition, since the data synchronous reproduction apparatus of Patent Document 1 performs synchronous reproduction by adding date and time information to numerical data and an image frame, an image frame compression / decoding technique such as MPEG-4 is used when storing an image. There is a problem that the development cost increases because a general-purpose image data reproduction program such as Quick Time (registered trademark) player cannot be used during image reproduction.
　さらに、画像フレームと数値データとを同期再生する場合に、各数値データのレコードと、各画像フレームに付加された日時情報とを照合しながら再生を行うので、高速な同期再生や頭出しが困難であるという課題があった。 In addition, when synchronized playback of image frames and numerical data, playback is performed while comparing each numerical data record with the date and time information added to each image frame, making high-speed synchronous playback and cueing difficult. There was a problem of being.
　本発明は、このような課題に鑑みてなされたものであり、画像データに含まれる画像フレームと、プロセスデータに含まれるデータとを高速に同期再生することができるデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムを提供することを目的とする。 The present invention has been made in view of such a problem, and a data synchronous reproduction apparatus and data synchronous reproduction capable of synchronously reproducing an image frame included in image data and data included in process data at high speed. It is an object to provide a method and a data synchronization control program.
　前記目的を達成するため、本発明に係るデータ同期再生装置の第１の特徴は、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶する画像データ記憶部と、前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するプロセスデータ記憶部と、前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生部と、前記画像データ再生部から出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するデータ同期再生制御部と、を有することにある。 In order to achieve the above object, a first feature of the data synchronous playback device according to the present invention is that a plurality of image frames captured by a camera are imaged, and a frame number is assigned to each image frame, and the frame period of the image frames. And an image data storage unit that stores the data as image data, and a process data storage unit that stores a plurality of data acquired in time series from the monitoring target as process data together with a sampling number of the data by assigning a record number to each data. The image data stored in the image data storage unit is output to a monitor for playback, and the image data playback unit outputs the frame number of the image frame to be played back, and the image data playback unit outputs the frame number. The frame number is set to the frame period of the image frame and the sampling interval of the data. It converts the record number of the data Zui is the data having the converted record number to having a data synchronization reproduction control unit for reproducing on the monitor.
　また、本発明に係るデータ同期再生装置の第２の特徴は、前記データ同期再生制御部は、前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換した前記フレーム番号を前記画像データ再生部に出力し、変換したフレーム番号を有する前記画像データを再生させることにある。 Further, a second feature of the data synchronous reproduction device according to the present invention is that the data synchronous reproduction control unit is designated when the data at a specific timing is designated in the process data displayed on the monitor. The converted record number of the data is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the converted frame number is output to the image data reproduction unit, The image data having the specified frame number is reproduced.
　また、本発明に係るデータ同期再生装置の第３の特徴は、さらに、前記モニタに表示されているプロセスデータにおいて、外部入力により別ファイルとして記憶するデータの範囲が指定された場合、その指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択する同期画像フレーム選択部と、外部入力により指定された範囲の前記データと、前記同期画像フレーム選択部によって選択された範囲の前記画像フレームとを同一ファイルとして記憶する同期保存制御部と、を有することにある。 Further, the third feature of the data synchronous reproduction device according to the present invention is that, when the range of data stored as a separate file is designated by external input in the process data displayed on the monitor, the data is designated. An image in a range synchronized with the data in the specified range by converting the record number of the data in the specified range to the frame number of the image frame based on the sampling interval of the data and the frame period of the image frame A synchronous image frame selection unit for selecting a frame; a synchronous storage control unit for storing the data in a range specified by an external input and the image frame in a range selected by the synchronous image frame selection unit as the same file; , To have.
　また、本発明に係るデータ同期再生装置の第４の特徴は、さらに、外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定部を有することにある。 Further, the fourth feature of the data synchronous reproduction device according to the present invention is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and a data synchronous reproduction control unit. A screen layout setting unit for setting a process data reproduction area on which the process data is displayed on the monitor and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area It is in having.
　また、本発明に係るデータ同期再生方法の第１の特徴は、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶するステップと、前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するステップと、前記画像データがモニタに出力され再生されると共に、再生する画像フレームのフレーム番号が出力された場合、出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するステップと、を有することにある。 Further, the first feature of the data synchronous reproduction method according to the present invention is that a plurality of image frames obtained by photographing a monitoring target by a camera are stored as image data together with a frame number of each image frame by assigning a frame number to each image frame. A step of storing a plurality of pieces of data acquired in time series from the monitoring target as process data together with a record number assigned to each data, and the image data is output to a monitor and reproduced. When the frame number of the image frame to be reproduced is output, the output frame number is converted into the record number of the data based on the frame period of the image frame and the sampling interval of the data, The data having the converted record number is reproduced on the monitor. It lies in having a step.
　また、本発明に係るデータ同期再生方法の第２の特徴は、前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換したフレーム番号を有する前記画像データを再生させる、ことにある。 Further, the second feature of the data synchronous reproduction method according to the present invention is that, in the process data displayed on the monitor, when the data at a specific timing is designated, the record number of the designated data is designated. Is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the image data having the converted frame number is reproduced.
　また、本発明に係るデータ同期再生方法の第３の特徴は、さらに、前記モニタに表示されているプロセスデータにおいて、別ファイルとして記憶するデータの範囲が指定された場合、指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択するステップと、指定された範囲の前記データと、選択された範囲の前記画像フレームとを同一ファイルとして記憶するステップと、を有することにある。 In addition, the third feature of the data synchronous reproduction method according to the present invention is that, in the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the specified range of the data A data record number is converted into a frame number of the image frame based on the sampling interval of the data and a frame period of the image frame, and an image frame in a range synchronized with the data in a specified range is selected. And storing the data in the specified range and the image frame in the selected range as the same file.
　また、本発明に係るデータ同期再生方法の第４の特徴は、さらに、外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定するステップ、を有することにある。 Further, the fourth feature of the data synchronous reproduction method according to the present invention is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and a data synchronous reproduction control unit. Setting a process data reproduction area on which the process data is displayed on the monitor, and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area. There is.
　また、本発明に係るデータ同期制御プログラムの第１の特徴は、コンピュータに、カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶するステップと、前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するステップと、前記画像データがモニタに出力され再生されると共に、再生する画像フレームのフレーム番号が出力された場合、出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するステップと、を実行させることにある。 In addition, the first feature of the data synchronization control program according to the present invention is that a plurality of image frames in which a camera captures a monitoring target is imaged on a computer together with a frame number of each image frame and a frame period of the image frame. A step of storing as data; a step of storing a plurality of data acquired in time series from the monitoring target as process data together with a sampling number of the data by assigning a record number to each data; and outputting the image data to a monitor When the frame number of the image frame to be reproduced is output, the output frame number is converted into the record number of the data based on the frame period of the image frame and the sampling interval of the data. And the data having the converted record number Certain that to execute the steps of reproducing on the monitor.
　また、本発明に係るデータ同期制御プログラムの第２の特徴は、さらに、前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換したフレーム番号を有する前記画像データを再生させるステップを実行させることにある。 Further, the second feature of the data synchronization control program according to the present invention is that, in the process data displayed on the monitor, when the data at a specific timing is specified, the data of the specified data The record number is converted into the frame number based on the sampling interval of the data and the frame period of the image frame, and the step of reproducing the image data having the converted frame number is executed.
　また、本発明に係るデータ同期制御プログラムの第３の特徴は、さらに、前記モニタに表示されているプロセスデータにおいて、別ファイルとして記憶するデータの範囲が指定された場合、指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択するステップと、指定された範囲の前記データと、選択された範囲の前記画像フレームとを同一ファイルとして記憶するステップと、を実行させることにある。 Further, the third feature of the data synchronization control program according to the present invention is that, in the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the specified range of the data A data record number is converted into a frame number of the image frame based on the sampling interval of the data and a frame period of the image frame, and an image frame in a range synchronized with the data in a specified range is selected. And executing the step of storing the data in the specified range and the image frame in the selected range as the same file.
　また、本発明に係るデータ同期制御プログラムの第４の特徴は、さらに、外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定するステップ、を実行させることにある。 Further, the fourth feature of the data synchronization control program according to the present invention is that, based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit, and the data synchronization reproduction control unit. Setting a process data reproduction area on which the process data is displayed on the monitor, and setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area; There is to make it.
　本発明のデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムによれば、時刻情報に基づくのではなく、画像データに含まれる画像フレームのフレーム番号と、プロセスデータに含まれるデータのレコード番号とに基づいて、画像フレームとデータとを同期させて再生するので、データ及び画像フレームに時刻情報を付加する必要がない。 According to the data synchronous reproduction apparatus, data synchronous reproduction method and data synchronous control program of the present invention, the frame number of the image frame included in the image data and the record number of the data included in the process data are not based on the time information. Therefore, it is not necessary to add time information to the data and the image frame.
　そのため、ファイル数やファイルの記憶容量を低減でき、従来と同じ記憶容量の記憶装置で従来よりも長期間にわたる記憶と同期再生が可能となる。 Therefore, the number of files and the storage capacity of the files can be reduced, and storage and synchronized playback over a longer period than before can be performed with a storage device having the same storage capacity.
　また、画像保存の際にＭＰＥＧ－４等の画像フレームの圧縮復号化技術を利用できるので、画像再生の際にＱｕｉｃｋ　Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用することができ、これにより開発コストが低減することができる。 In addition, since image frame compression / decoding technology such as MPEG-4 can be used when saving images, a general-purpose image data playback program such as Quick Time (registered trademark) player can be used when playing back images. This can reduce development costs.
　さらに、時刻情報を用いることなく、データと画像フレームとを高速に同期再生したり、頭出ししたりすることができる。 Furthermore, without using time information, data and image frames can be synchronized and played back at high speed.
図１は、本発明に係るデータ同期再生装置を含むオンラインデータ管理システムの構成例を示す図である。FIG. 1 is a diagram showing a configuration example of an online data management system including a data synchronous reproduction apparatus according to the present invention.
図２は、本発明に係るデータ同期再生装置の構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of the data synchronous reproduction apparatus according to the present invention.
図３Ａは、データ同期再生装置のデータ記憶部に記憶されている画像データとプロセスデータとのファイル形式の一例を示す図である。FIG. 3A is a diagram illustrating an example of a file format of image data and process data stored in the data storage unit of the data synchronous playback device.
図３Ｂは、画像データのデータ構造の一例を示す図である。FIG. 3B is a diagram illustrating an example of a data structure of image data.
図３Ｃは、プロセスデータのデータ構造の一例を示す図である。FIG. 3C is a diagram illustrating an example of a data structure of process data.
図４は、実施形態１のデータ同期再生装置によるデータ同期表示処理の手順を示すフローチャートである。FIG. 4 is a flowchart illustrating a procedure of data synchronization display processing by the data synchronization reproduction apparatus of the first embodiment.
図５は、画像データから数値データへの同期再生処理した際の具体例を示す図である。FIG. 5 is a diagram showing a specific example when the synchronous reproduction processing from image data to numerical data is performed.
図６は、実施形態１のデータ同期再生装置のデータ同期表示処理の手順を示すフローチャートである。FIG. 6 is a flowchart illustrating a procedure of data synchronization display processing of the data synchronization reproduction apparatus according to the first embodiment.
図７は、数値データから画像データへの同期再生処理した際の具体例を示す図である。FIG. 7 is a diagram showing a specific example when the synchronous reproduction process from numerical data to image data is performed.
図８は、実施形態１のデータ同期再生装置のモニタに表示された表示画面の一例を示す図である。FIG. 8 is a diagram illustrating an example of a display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
図９は、実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。FIG. 9 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
図１０は、実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。FIG. 10 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
図１１は、実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。FIG. 11 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous playback device of the first embodiment.
図１２は、実施形態１のデータ同期再生装置のモニタに表示された表示画面の他の例を示す図である。FIG. 12 is a diagram illustrating another example of the display screen displayed on the monitor of the data synchronous reproduction device of the first embodiment.
（実施形態１）
　以下、本発明に係るデータ同期再生装置、データ同期再生方法およびデータ同期制御プログラムの実施形態１について説明する。 (Embodiment 1)
Hereinafter, a first embodiment of a data synchronization reproduction apparatus, a data synchronization reproduction method, and a data synchronization control program according to the present invention will be described.
＜構成の説明＞
　図１は、本発明に係るデータ同期再生装置を含むオンラインデータ管理システムの構成例を示す図である。 <Description of configuration>
FIG. 1 is a diagram showing a configuration example of an online data management system including a data synchronous reproduction apparatus according to the present invention.
　このオンラインデータ管理システムは、例えば、加熱された鉄・ステンレス・アルミのスラブ（鋼片）を圧延機で圧延し、厚さ数ｍｍ～十数ｍｍの熱延コイルに仕上る熱間圧延プラントシステムや、熱間圧延プラントや冷間圧延プラントで製造されたコイルを最終製品に仕上げるために、酸洗・焼鈍・めっき・塗装・切断などをおこなうプロセスラインプラントシステム等における各監視対象を撮影した画像データと、各監視対象から取得したプロセスデータとを、モニタ上に同期表示させて管理するものである。 This online data management system is, for example, a hot rolling plant system that rolls heated iron, stainless steel, and aluminum slabs (steel pieces) with a rolling mill and finishes them into hot rolled coils with a thickness of several mm to several tens of mm. Image data of each monitoring target in Processa Implant System, which performs pickling, annealing, plating, painting, cutting, etc., to finish coils manufactured in hot rolling plants and cold rolling plants into final products And the process data acquired from each monitoring target are displayed in synchronization on the monitor and managed.
　図１において、このオンラインデータ管理システムは、本発明に係るデータ同期再生装置１と、複数台のＩＴＶ（Industrial　Television）カメラ２１～２ｍ（ｍは自然数。）と、カメラ切り替え器３と、ディジタル画像変換ユニット４と、プログラマブルロジックコントローラ（ＰＬＣ）等の制御機器５１～５ｎ（ｎは自然数。）とが接続されて構成されており、圧延機やプレス機、それらの機械を駆動するモータやピストン等の各監視対象物６１～６ｐ（ｐは自然数。）の動作状態や制御状態等を、複数台のＩＴＶカメラ２１～２ｍが撮影した画像データと、制御機器５１～５ｎが取得したプロセスデータとにより監視するシステムである。 In FIG. 1, this online data management system includes a data synchronized playback apparatus 1 according to the present invention, a plurality of ITV (Industrial Television) cameras 21 to 2m (m is a natural number), a camera switch 3 and a digital image. The conversion unit 4 and control devices 51 to 5n (n is a natural number) such as a programmable logic controller (PLC) are connected to each other. A rolling mill, a pressing machine, a motor and a piston for driving these machines, etc. The operation state and control state of each of the monitoring objects 61 to 6p (p is a natural number) are determined by image data captured by a plurality of ITV cameras 21 to 2m and process data acquired by the control devices 51 to 5n. This is a monitoring system.
　ここで、例えば、データ同期再生装置１と、ディジタル画像変換ユニット４とは、イーサネット（登録商標）等のＬＡＮ７により接続されている一方、データ同期再生装置１と、制御機器５１～５ｎとは、ＬＡＮ７とは別の制御用ネットワーク８により接続されている。なお、制御機器５１～５ｎがＬＡＮ７に接続可能である場合には、制御用ネットワーク８はＬＡＮ７に置き換え可能となる。 Here, for example, the data synchronous reproduction apparatus 1 and the digital image conversion unit 4 are connected by a LAN 7 such as Ethernet (registered trademark), while the data synchronous reproduction apparatus 1 and the control devices 51 to 5n are: It is connected by a control network 8 different from the LAN 7. When the control devices 51 to 5n can be connected to the LAN 7, the control network 8 can be replaced with the LAN 7.
　また、本発明に係るデータ同期再生装置１は、装置本体１１に、モニタ（ディスプレイ）１２や、キーボード１３、マウス１４等が接続されたコンピュータ装置から構成されている。そして、このデータ同期再生装置１は、ディジタル画像変換ユニット４によってアナログ映像信号からディジタル映像信号に変換された複数台のＩＴＶカメラ２１～２ｍからの画像データと、制御機器５１～５ｎから取得した複数の数値データを含むプロセスデータとを入力して、モニタ１２に通常表示したり、同期表示処理等するものである。本発明にかかるデータ同期再生装置１の構成や動作、画像データ、プロセスデータの構成等については、後述する。 Further, the data synchronous reproduction apparatus 1 according to the present invention is composed of a computer apparatus in which a monitor (display) 12, a keyboard 13, a mouse 14 and the like are connected to the apparatus main body 11. The data synchronous reproduction apparatus 1 includes image data from a plurality of ITV cameras 21 to 2m converted from an analog video signal to a digital video signal by the digital image conversion unit 4, and a plurality of data acquired from the control devices 51 to 5n. The process data including the numerical data is input and displayed on the monitor 12 for normal display or synchronous display processing. The configuration and operation of the data synchronous reproduction apparatus 1 according to the present invention, the configuration of image data, process data, and the like will be described later.
　ＩＴＶカメラ２１～２ｍは、複数の監視対象物６１～６ｐを撮影してＰＡＬやＮＴＳＣ形式等のアナログ映像信号を出力するもので、固定式のカメラでも、制御信号を送ることにより、パン、チルト、ズーム等の遠隔操作が可能なカメラでも良い。なお、ＩＴＶカメラ２１～２ｍには、音声マイクが設けられていても、設けられていなくてもどちらでも良い。また、ＩＴＶカメラ２１～２ｍは、各監視対象物６１～６ｐに対し１台ずつ設けられていても良いし、複数台設けられていても良い。 The ITV cameras 21 to 2m shoot multiple monitoring objects 61 to 6p and output analog video signals such as PAL and NTSC formats. Even fixed cameras can send pan and tilt by sending control signals. A camera capable of remote operation such as zooming may also be used. The ITV cameras 21 to 2m may or may not be provided with an audio microphone. One ITV camera 21 to 2m may be provided for each monitoring object 61 to 6p, or a plurality of ITV cameras 21 to 2m may be provided.
　カメラ切り替え器３は、複数台のＩＴＶカメラ２１～２ｍの映像信号のうちから、モニタ１２に表示する所定数（本実施形態１では、例えば、４台とする。）の映像信号を切り替えて出力するものである。なお、モニタ１２に表示する映像信号の数に制限がない場合や、ＩＴＶカメラ２１～２ｍの台数がその所定数以下の場合、さらにはこの切替え機能をディジタル画像変換ユニット４やデータ同期再生装置１に持たせる場合には、カメラ切り替え器３は省略しても勿論よい。 The camera switch 3 switches and outputs a predetermined number (for example, four in this embodiment) of video signals to be displayed on the monitor 12 from the video signals of the plurality of ITV cameras 21 to 2m. To do. When the number of video signals to be displayed on the monitor 12 is not limited, or when the number of ITV cameras 21 to 2m is equal to or less than the predetermined number, this switching function is further applied to the digital image conversion unit 4 or the data synchronous reproduction apparatus 1. Of course, the camera switch 3 may be omitted.
　ディジタル画像変換ユニット４は、複数台のＩＴＶカメラ２１～２ｍから出力されたＮＴＳＣやＰＡＬ形式のアナログの映像信号を、ＭＰＥＧ－４等のディジタルの画像データに圧縮符号化してデータ同期再生装置１へ出力するものである。なお、複数台のＩＴＶカメラ２１～２ｍがカメラ内部で撮影した映像信号のＡ／Ｄ変換を行い、ディジタル形式の画像データを出力可能な場合は、ディジタル画像変換ユニット４は、省略可能である。 The digital image conversion unit 4 compresses and encodes NTSC or PAL format analog video signals output from a plurality of ITV cameras 21 to 2m into digital image data such as MPEG-4 and sends the digital image data to the data synchronous reproduction apparatus 1. Output. Note that the digital image conversion unit 4 can be omitted when a plurality of ITV cameras 21 to 2m can perform A / D conversion of video signals photographed inside the camera and output digital image data.
　制御機器５１～５ｎは、それぞれ、モータや、加熱機、油圧機などの各監視対象物６１～６ｐの動作をプログラムにより制御するもので、それぞれのＩ／Ｏ（入出力）ユニット５１１～５ｎ１を介し各監視対象物６１～６ｐから後述する所定のサンプリング間隔で時系列に検出した数値データを含むプロセスデータを取得するものである。 The control devices 51 to 5n control the operations of the monitoring objects 61 to 6p such as motors, heaters, and hydraulic machines by a program, and control the respective I / O (input / output) units 511 to 5n1. The process data including numerical data detected in time series at a predetermined sampling interval to be described later is acquired from each of the monitoring objects 61 to 6p.
　図２は、本発明に係るデータ同期再生装置１の構成例を示すブロック図である。 FIG. 2 is a block diagram showing a configuration example of the data synchronous reproduction apparatus 1 according to the present invention.
　前述したように、このデータ同期再生装置１は、装置本体１１に、モニタ（ディスプレイ）１２や、キーボード１３、マウス１４等が接続されたコンピュータ装置から構成されるものである。 As described above, the data synchronous reproduction apparatus 1 is composed of a computer device in which a monitor (display) 12, a keyboard 13, a mouse 14 and the like are connected to the apparatus main body 11.
　装置本体１１は、図２に示すように、ＣＰＵ１１１と、メモリ１１２と、ＨＤＤや大容量メモリ等の記憶部１１３と、外部機器インターフェース（以下、Ｉ／Ｆと略す。）部１１４と、制御ネットワークＩ／Ｆ部１１５と、ＬＡＮＩ／Ｆ部１１６等とを、内部バス１１７を介し接続して構成されている。 As shown in FIG. 2, the apparatus main body 11 includes a CPU 111, a memory 112, a storage unit 113 such as an HDD or a large-capacity memory, an external device interface (hereinafter abbreviated as I / F) unit 114, and a control network. The I / F unit 115 is connected to the LAN I / F unit 116 and the like via an internal bus 117.
　ＣＰＵ１１１は、記憶部１１３のプログラム記憶部１１３ａに記憶された各種アプリケーションプログラムのうち、画像データ再生プログラムを実行することにより本発明の画像データ再生部として機能すると共に、データ同期制御プログラムを実行することにより、本発明のデータ同期再生制御部、同期画像フレーム選択部、同期保存制御部、および画面レイアウト設定部として機能するものである。 The CPU 111 functions as an image data reproduction unit of the present invention by executing an image data reproduction program among various application programs stored in the program storage unit 113a of the storage unit 113, and executes a data synchronization control program. Accordingly, the data synchronization playback control unit, the synchronized image frame selection unit, the synchronization storage control unit, and the screen layout setting unit of the present invention function.
　メモリ１１２は、ＣＰＵ１１１が各種アプリケーションプログラムを実行する際にデータを一時記憶したり展開等する演算エリア等として使用するものである。 The memory 112 is used as a calculation area or the like for temporarily storing or developing data when the CPU 111 executes various application programs.
　記憶部１１３は、プログラム記憶部１１３ａと、データ記憶部１１３ｂとを有する。 The storage unit 113 includes a program storage unit 113a and a data storage unit 113b.
　プログラム記憶部１１３ａは、ＯＳ（オペレーティングシステム）や、ＣＰＵ１１１を本発明の画像データ再生部として機能させるための画像データ再生プログラムと、ＣＰＵ１１１を本発明のデータ同期再生制御部、同期画像フレーム選択部、同期保存制御部、および画面レイアウト設定部として機能させるためのデータ同期制御プログラム等のアプリケーションプログラムを格納している。なお、本実施形態１では、画像データ再生プログラムとして、本装置専用にプログラミングした画像データ再生プログラムでも、あるいはＱuick　Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを使用するようにしても良い。 The program storage unit 113a includes an OS (operating system), an image data reproduction program for causing the CPU 111 to function as an image data reproduction unit of the present invention, a data synchronization reproduction control unit, a synchronous image frame selection unit of the present invention, An application program such as a data synchronization control program for functioning as a synchronization storage control unit and a screen layout setting unit is stored. In the first embodiment, as the image data reproduction program, an image data reproduction program programmed exclusively for this apparatus or a general-purpose image data reproduction program such as a Quick Time (registered trademark) player may be used. .
　データ記憶部１１３ｂは、本発明の画像データ記憶部として、複数台のＩＴＶカメラ２１～２ｍが複数の監視対象物６１～６ｐを撮影しＡ／Ｄ変換された複数の画像フレームを含む画像データを記憶すると共に、本発明のプロセスデータ記憶部として、制御機器５１～５ｎが複数の監視対象物６１～６ｐから時系列に取得した複数の数値データを含むプロセスデータとを記憶するものである。 As the image data storage unit of the present invention, the data storage unit 113b captures image data including a plurality of image frames obtained by photographing a plurality of monitoring objects 61 to 6p with a plurality of ITV cameras 21 to 2m and A / D-converting them. In addition to the storage, the process data storage unit of the present invention stores process data including a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n.
　なお、本実施形態１では、１つの記憶部１１３の中に、プログラム記憶部１１３ａと、データ記憶部１１３ｂとを設けているが、プログラム記憶部１１３ａと、データ記憶部１１３ｂとは、それぞれ、別の記憶部として構成しても勿論よい。 In the first embodiment, the program storage unit 113a and the data storage unit 113b are provided in one storage unit 113. However, the program storage unit 113a and the data storage unit 113b are different from each other. Of course, it may be configured as a storage unit.
　外部機器Ｉ／Ｆ部１１４は、モニタ１２や、キーボード１３、マウス１４等の外部機器と装置本体１１とを接続するためのインターフェースである。 The external device I / F unit 114 is an interface for connecting an external device such as the monitor 12, the keyboard 13, and the mouse 14 to the apparatus main body 11.
　制御ネットワークＩ／Ｆ部１１５は、制御ネットワーク１９と装置本体１１とを接続するためのインターフェースである。 The control network I / F unit 115 is an interface for connecting the control network 19 and the apparatus main body 11.
　ＬＡＮＩ／Ｆ部１１６は、ＬＡＮ７と装置本体１１とを接続するためのインターフェースである。 The LAN I / F unit 116 is an interface for connecting the LAN 7 and the apparatus main body 11.
　図３Ａ～図３Ｃは、それぞれ、データ同期再生装置１のデータ記憶部１１３ｂに記憶されている画像データとプロセスデータとのファイル形式と、画像データおよびプロセスデータのデータ構造の一例を示す図である。 3A to 3C are diagrams showing examples of file formats of image data and process data stored in the data storage unit 113b of the data synchronous reproduction apparatus 1, and data structures of the image data and process data, respectively. .
　図３Ａに示すように、データ同期再生装置１の記憶部１１３のデータ記憶部１１３ｂでは、複数台のＩＴＶカメラ２１～２ｍが複数の監視対象物６１～６ｐを撮影した複数の画像フレームを含む画像データＤ１と、制御機器５１～５ｎが複数の監視対象物６１～６ｐから時系列に取得した複数の数値データを含むプロセスデータＤ２とを、１つのデータファイルＤｆ内に、２つのセクションＳ１、Ｓ２にて記憶している。ここで、画像データＤ１と、プロセスデータＤ２とは、別ファイルの別セクションに記憶するようにしても勿論良い。 As shown in FIG. 3A, in the data storage unit 113b of the storage unit 113 of the data synchronous reproduction apparatus 1, an image including a plurality of image frames in which a plurality of ITV cameras 21 to 2m photograph a plurality of monitoring objects 61 to 6p. Data D1 and process data D2 including a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n are included in two sections S1 and S2 in one data file Df. I remember it. Here, the image data D1 and the process data D2 may be stored in different sections of different files.
　図３Ｂは、データ記憶部１１３ｂに記憶されている画像データＤ１のデータ構造を示す図である。 FIG. 3B is a diagram illustrating a data structure of the image data D1 stored in the data storage unit 113b.
　図３Ｂに示すように、画像データＤ１は、複数台のＩＴＶカメラ２１～２ｍそれぞれから出力されたアナログの映像信号がディジタル画像変換ユニット４によりＭＰＥＧ－４符号化方式等のディジタルの画像データに変換されたもので、画像ヘッダ情報Ｄ１１と、各ＩＴＶカメラ２１～２ｍが対象とする監視対象物６１～６ｐを撮影したフレーム番号♯１～ｑ（ｑは自然数。）の複数の画像フレームＤ１２から構成されている。なお、ここでは、説明の便宜上、１つの画像データＤ１のみ示しているが、実際には、複数台のＩＴＶカメラ２１～２ｍ毎に画像データＤ１がある。 As shown in FIG. 3B, the image data D1 is obtained by converting analog video signals output from each of the plurality of ITV cameras 21 to 2m into digital image data such as an MPEG-4 encoding system by the digital image conversion unit 4. It is composed of image header information D11 and a plurality of image frames D12 having frame numbers # 1 to q (q is a natural number) obtained by photographing the monitoring objects 61 to 6p targeted by the ITV cameras 21 to 2m. Has been. Here, for convenience of explanation, only one image data D1 is shown, but actually there is image data D1 for each of a plurality of ITV cameras 21 to 2m.
　画像ヘッダ情報Ｄ１１は、本実施形態１の場合、図３Ｂに示すように、少なくとも、この画像データＤ１を構成する画像フレームＤ１２の１フレームあたりの時間であるフレーム周期Ｔｆと、画像データＤ１を構成する複数の画像フレームＤ１２の全フレーム数ｑとを有する。なお、この画像ヘッダ情報Ｄ１１には、画像データＤ１を出力したＩＴＶカメラ２１～２ｍを識別するためのカメラ識別情報や、同一のＩＴＶカメラ２１～２ｍからの画像データＤ１であっても、日時の異なる画像データＤ１を識別すための日時識別情報を含めるようにしても勿論よい。また、さらに、この画像ヘッダ情報Ｄ１１に、対応するプロセスデータＤ２とリンクするためのリンク情報等を含めるようにしても勿論よい。 In the case of the first embodiment, the image header information D11 constitutes at least a frame period Tf which is a time per frame of the image frame D12 constituting the image data D1 and the image data D1, as shown in FIG. 3B. And the total number of frames q of the plurality of image frames D12. The image header information D11 includes the camera identification information for identifying the ITV cameras 21 to 2m that output the image data D1, and the date and time of the image data D1 from the same ITV cameras 21 to 2m. Of course, date and time identification information for identifying different image data D1 may be included. Furthermore, of course, link information for linking with the corresponding process data D2 may be included in the image header information D11.
　ここで、本実施形態１では、画像フレームＤ１２のフレーム周期Ｔｆは、例えば、１フレーム＝１／３０秒にしている。なお、１／３０秒は一例であり、画像フレームＤ１２のフレーム周期Ｔｆは、１／６０秒でも、１／５０秒等でも勿論よい。 Here, in the first embodiment, the frame period Tf of the image frame D12 is, for example, 1 frame = 1/30 seconds. Note that 1/30 seconds is an example, and the frame period Tf of the image frame D12 may be 1/60 seconds, 1/50 seconds, or the like.
　画像フレームＤ１２は、ＩＴＶカメラ２１～２ｍが撮影したアナログ形式の映像信号をディジタル画像変換ユニット４がＭＰＥＧ－４等の動画像圧縮方式により高能率圧縮符号化したデータであり、その他の圧縮符号化形式、例えば、Ｈ．２６４符号化方式や、フレーム間予測を行わないＭｏｔｉｏｎ　ＪＰＥＧ等でも勿論よく、要は、ＬＡＮ７により伝送されるディジタル画像データの形式であれば良い。なお、複数の画像フレームＤ１２それぞれに、通常の復号再生用に、復号時刻情報（ＤＴＳ）や、再生時刻情報（ＰＴＳ）等の時刻情報が付与されていても勿論よいが、本実施形態１におけるプロセスデータとの同期再生処理には、復号時刻情報（ＤＴＳ）や再生時刻情報（ＰＴＳ）等の時刻情報は使用しない。 The image frame D12 is data obtained by performing high-efficiency compression coding by the digital image conversion unit 4 using a moving image compression method such as MPEG-4 on an analog video signal photographed by the ITV cameras 21 to 2m. Format, e.g. Of course, the H.264 encoding method, Motion JPEG that does not perform inter-frame prediction, or the like may be used. In short, any format of digital image data transmitted by the LAN 7 may be used. Of course, time information such as decoding time information (DTS) and reproduction time information (PTS) may be given to each of the plurality of image frames D12 for normal decoding and reproduction. Time information such as decoding time information (DTS) and reproduction time information (PTS) is not used for the synchronous reproduction processing with process data.
　このように、本実施形態１では、画像データＤ１は、時刻情報を持っていないか、時刻情報を持っていてもプロセスデータＤ２との同期再生には使用しない。そのため、本実施形態１では、画像データＤ１とプロセスデータＤ２との同期再生処理の際には、画像データＤ１に対応するプロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１に格納されたサンプリング開始時刻Ｔｓ１を、画像データＤ１の先頭時刻、すなわちフレーム番号♯１の画像フレームＤ１２の再生開始情報として使用する。そして、フレーム番号♯１の画像フレームＤ１２以降のフレーム番号♯２～ｐの画像フレームＤ１２のフレーム再生開始時刻は、フレーム番号♯１の画像フレームＤ１２の再生開始時刻として使用するサンプリング開始時刻Ｔｓ１と、各画像フレームＤ１２のフレーム番号♯等とに基づいて後述するように計算する。そのため、本実施形態１では、プロセスデータＤ２との同期再生処理には、各画像フレームＤ１２の時刻情報は不要であり、たとえ、時刻情報等があったとしても使用（参照）しない。これにより、各画像フレームＤ１２の時刻情報を使用（参照）せずに、フレーム番号に基づいて再生するので、再生や頭出しを高速化することができる。 Thus, in the first embodiment, the image data D1 does not have time information or is not used for synchronized reproduction with the process data D2 even if it has time information. For this reason, in the first embodiment, during the synchronous reproduction process of the image data D1 and the process data D2, the sampling start time Ts1 stored in the process data header information D21 of the process data D2 corresponding to the image data D1 is This is used as the start time of the image data D1, that is, the reproduction start information of the image frame D12 of frame number # 1. Then, the frame playback start time of the image frame D12 of frame number # 2 to p after the image frame D12 of frame number # 1 is the sampling start time Ts1 used as the playback start time of the image frame D12 of frame number # 1. Based on the frame number # and the like of each image frame D12, the calculation is performed as described later. Therefore, in the first embodiment, the time information of each image frame D12 is not necessary for the synchronized reproduction process with the process data D2, and even if there is time information or the like, it is not used (referenced). Thereby, since reproduction is performed based on the frame number without using (referring to) the time information of each image frame D12, the reproduction and cueing can be speeded up.
　図３Ｃは、データ記憶部１１３ｂに記憶されているプロセスデータＤ２のデータ構造を示す図である。 FIG. 3C is a diagram illustrating a data structure of the process data D2 stored in the data storage unit 113b.
　プロセスデータＤ２は、制御機器５１～５ｎが複数の監視対象物６１～６ｐから所定のサンプリング間隔Ｔｓ２毎に時系列に取得した数値データＤ２２から構成されたバイナリデータであり、図３Ｃに示すように、プロセスデータヘッダ情報Ｄ２１と、複数台の制御機器５１～５ｎが監視対象物６１～６ｐから取得したレコード番号♯１～ｒ（ｒは自然数。）の複数の数値データＤ２２とを有している。 The process data D2 is binary data composed of numerical data D22 acquired in time series by the control devices 51 to 5n from the plurality of monitoring objects 61 to 6p at predetermined sampling intervals Ts2, as shown in FIG. 3C. And the process data header information D21 and a plurality of numerical data D22 of record numbers # 1 to r (r is a natural number) acquired from the monitoring objects 61 to 6p by the plurality of control devices 51 to 5n. .
　プロセスデータヘッダ情報Ｄ２１は、本実施形態１の場合、少なくとも、このプロセスデータＤ２の取得を開始した時刻であるサンプリング開始時刻Ｔｓ１と、数値データＤ２２を取得する間隔であるサンプリング間隔Ｔｓ２と、監視対象物６１～６ｐから所定のサンプリング間隔Ｔｓ２で取得した複数の数値データＤ２２の全レコード数ｒが格納されている。ここで、本実施形態１では、プロセスデータヘッダ情報Ｄ２１のサンプリング間隔Ｔｓ２は、例えば、１ｍ秒としているが、これは一例であり、１ｍ秒以外でも勿論よい。 In the case of the first embodiment, the process data header information D21 includes at least a sampling start time Ts1 that is a time at which acquisition of the process data D2 is started, a sampling interval Ts2 that is an interval at which the numerical data D22 is acquired, and a monitoring target Stores the total number of records r of a plurality of numerical data D22 acquired from the objects 61 to 6p at a predetermined sampling interval Ts2. Here, in the first embodiment, the sampling interval Ts2 of the process data header information D21 is, for example, 1 msec. However, this is an example and may be other than 1 msec.
　また、サンプリング間隔Ｔｓ２に基づいて監視対象物６１～６ｐから時系列に取得される数値データＤ２２には、それぞれ、レコード番号♯１～ｒというように、プロセスデータＤ２先頭のレコード番号♯１の数値データＤ２２からレコード番号が付されている。そして、各数値データＤ２２は、図３Ｃに示すように、アイテム番号♯１～ｓ（ｓは自然数。）の１または複数のアイテム（項目）から構成されている。例えば、アイテム＃１は温度センサの値、アイテム＃２は圧力センサの値である。なお、本発明では、アイテムは発明の要部とは関係しないので、省略して考えてもよい。 Also, in the numerical data D22 acquired in time series from the monitoring objects 61 to 6p based on the sampling interval Ts2, the numerical values of the record number # 1 at the head of the process data D2, such as record numbers # 1 to r, are obtained. A record number is assigned from the data D22. Each numerical data D22 includes one or a plurality of items (items) of item numbers # 1 to s (s is a natural number) as shown in FIG. 3C. For example, item # 1 is a temperature sensor value, and item # 2 is a pressure sensor value. In the present invention, the item is not related to the main part of the invention and may be omitted.
　このように、画像データＤ１を構成する複数の画像フレームＤ１２と、プロセスデータＤ２を構成する複数の数値データＤ２２とは、記録時に、同期が取られてない。また、画像フレームのフレーム周期Ｔｆの１／３０秒と、数値データのサンプリング間隔Ｔｓ２の１ｍ秒とは一致していない。そのため、本実施形態１のデータ同期再生装置１は、復号時刻情報（ＤＴＳ）や、再生時刻情報（ＰＴＳ）等の画像データＤ１の時刻情報や、プロセスデータＤ２のデータ取得時を示す時刻情報を使用せずに、画像データＤ１を構成する画像フレームＤ１２と、プロセスデータＤ２を構成する数値データＤ２２とを同期再生処理するためには、同期再生時に同期処理が必要となる。 Thus, the plurality of image frames D12 constituting the image data D1 and the plurality of numerical data D22 constituting the process data D2 are not synchronized at the time of recording. Further, 1/30 second of the frame period Tf of the image frame does not coincide with 1 ms of the numerical data sampling interval Ts2. For this reason, the data synchronous playback apparatus 1 of the first embodiment displays time information of the image data D1 such as decoding time information (DTS) and playback time information (PTS), and time information indicating the data acquisition time of the process data D2. In order to perform synchronous reproduction processing of the image frame D12 constituting the image data D1 and the numerical data D22 constituting the process data D2 without using them, synchronous processing is required during synchronous reproduction.
　そこで、本実施形態１のデータ同期再生装置１では、時刻情報を使用または参照せずに、フレーム番号とレコード番号を使用して、画像フレームと数値データとを使用して同期再生処理する。 Therefore, the data synchronous reproduction apparatus 1 of the first embodiment performs synchronous reproduction processing using image frames and numerical data using frame numbers and record numbers without using or referring to time information.
＜動作の説明＞
　次に、本実施形態１のデータ同期再生装置１におけるデータ同期表示処理について、フローチャートを参照して説明する。 <Description of operation>
Next, data synchronization display processing in the data synchronization reproduction apparatus 1 of Embodiment 1 will be described with reference to a flowchart.
（画像データＤ１からプロセスデータＤ２への同期再生動作の説明）
　まず、本実施形態１のデータ同期再生装置１における画像データに基づくプロセスデータの同期再生動作について、フローチャートを参照して説明する。 (Description of synchronous reproduction operation from image data D1 to process data D2)
First, the synchronous reproduction operation of process data based on image data in the data synchronous reproduction apparatus 1 of Embodiment 1 will be described with reference to a flowchart.
　図４は、本実施形態１のデータ同期再生装置１によるデータ同期表示処理の手順を示すフローチャートである。 FIG. 4 is a flowchart showing a procedure of data synchronization display processing by the data synchronization reproduction apparatus 1 of the first embodiment.
　まず、ユーザがデータ同期再生装置１のキーボード１３やマウス１４等を操作して、同期再生ボタン（図示せず。）等をクリック（選択）して、装置本体１１に対し、画像データＤ１とプロセスデータＤ２との同期再生指示が入力すると（Ｓ４００“ＹＥＳ”）、ＣＰＵ１１１は、プログラム記憶部１１３ａに格納された画像データ再生プログラムと、データ同期制御プログラムとを起動して同期再生処理を開始する。 First, the user operates the keyboard 13 and mouse 14 of the data synchronized playback apparatus 1 and clicks (selects) a synchronized playback button (not shown) or the like, and the image data D1 and the process are transmitted to the apparatus main body 11. When a synchronous reproduction instruction with data D2 is input (S400 “YES”), the CPU 111 activates the image data reproduction program stored in the program storage unit 113a and the data synchronization control program, and starts synchronous reproduction processing.
　つまり、装置本体１１のＣＰＵ１１１は、まず、画像データ再生プログラムを実行することにより画像データ再生部として機能して、データ記憶部１１３ｂに記憶された画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１を読み出し、メモリ１１２に一時保存して、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆと、プロセスデータヘッダ情報Ｄ２１に含まれるサンプリング間隔Ｔｓ２とを取得する（Ｓ４１０）。ここで、ＣＰＵ１１１は、前述したように、フレーム周期Ｔｆとして例えば１／３０秒、サンプリング間隔Ｔｓ２として例えば１ｍ秒を取得する。 That is, the CPU 111 of the apparatus main body 11 first functions as an image data reproduction unit by executing an image data reproduction program, and the image data header information D11 of the image data D1 stored in the data storage unit 113b and the process data. The process data header information D21 of D2 is read out and temporarily stored in the memory 112, and the frame period Tf included in the image data header information D11 and the sampling interval Ts2 included in the process data header information D21 are acquired (S410). Here, as described above, the CPU 111 acquires, for example, 1/30 seconds as the frame period Tf and 1 ms as the sampling interval Ts2.
　なお、ＣＰＵ１１１は、Ｓ４００の処理の前に、このＳ４１０の処理により、予め、フレーム周期Ｔｆおよびサンプリング間隔Ｔｓ２を取得するようにしても勿論よい。また、ＣＰＵ１１１は、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆが既知の場合には、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆを取得せず、プロセスデータヘッダ情報Ｄ２１に含まれるサンプリング間隔Ｔｓ２のみを取得する。 Of course, the CPU 111 may acquire the frame period Tf and the sampling interval Ts2 in advance by the process of S410 before the process of S400. Further, when the frame period Tf included in the image data header information D11 is known, the CPU 111 does not acquire the frame period Tf included in the image data header information D11, and the sampling interval Ts2 included in the process data header information D21. Only get.
　次に、ＣＰＵ１１１は、画像データ再生プログラムの実行により本発明の画像データ再生部として機能して、ＯＳのタイマ（図示せず。）を利用して、画像データＤ１のフレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号を発生する（Ｓ４２０）。 Next, the CPU 111 functions as an image data reproduction unit of the present invention by executing an image data reproduction program, and uses a timer (not shown) of the OS to 1 / which is the frame period Tf of the image data D1. A timer event signal is generated at intervals of 30 seconds (S420).
　そして、ＣＰＵ１１１は、フレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号を発生すると（Ｓ４３０“ＹＥＳ”）、本発明の画像データ再生部として機能して、データ記憶部１１３ｂに記憶された画像データＤ１を構成する画像フレームＤ１２を読み出し、その画像フレームＤ１２がＭＰＥＧ－４形式等によりエンコードされていれば、その画像フレームＤ１２をＭＰＥＧ－４形式等でデコードして、モニタ１２に再生すると共に、再生した画像フレームＤ１２のフレーム番号を出力する（Ｓ４４０）。その際、ユーザによりフレーム番号等により再生開始の画像フレームが指定されている場合には、指定されている画像フレームから再生を行う。なお、画像フレームＤ１２の指定は、フレーム番号等に限らず、キーボード１３やマウス１４により、モニタ１２に表示された表示画面上でカーソルにより指定しても良いし、画像フレームＤ１２が指定されない場合は、画像データＤ１における先頭の画像フレームＤ１２、すなわちフレーム番号♯１の画像フレームＤ１２から再生を開始する。なお、この段階では、画像データＤ１は、プロセスデータＤ２と非同期に再生される。 When the CPU 111 generates a timer event signal at 1/30 second intervals that are the frame period Tf (S430 “YES”), the CPU 111 functions as the image data reproduction unit of the present invention and stores the image stored in the data storage unit 113b. When the image frame D12 constituting the data D1 is read and the image frame D12 is encoded in the MPEG-4 format or the like, the image frame D12 is decoded in the MPEG-4 format or the like and reproduced on the monitor 12, The frame number of the reproduced image frame D12 is output (S440). At this time, when the image frame to be reproduced is designated by the user by the frame number or the like, reproduction is performed from the designated image frame. The designation of the image frame D12 is not limited to the frame number or the like, but may be designated by the cursor on the display screen displayed on the monitor 12 with the keyboard 13 or the mouse 14, or when the image frame D12 is not designated. Then, reproduction is started from the top image frame D12 in the image data D1, that is, the image frame D12 having the frame number # 1. At this stage, the image data D1 is reproduced asynchronously with the process data D2.
　それと同時に、ＣＰＵ１１１は、本発明にかかるデータ同期制御プログラムを実行することにより本発明のデータ同期再生制御部として機能して、まずは、現在再生している画像フレームＤ１２のフレーム番号と、フレーム周期Ｔｆとを取得する（Ｓ４５０）。ここで、このＳ４５０の処理でも、Ｓ４１０の処理と同様に、ＣＰＵ１１１は、画像データヘッダ情報Ｄ１１に含まれるフレーム周期Ｔｆが既知の場合には、既知のフレーム周期Ｔｆを使用する。 At the same time, the CPU 111 functions as the data synchronous reproduction control unit of the present invention by executing the data synchronous control program according to the present invention, and first, the frame number of the currently reproduced image frame D12 and the frame period Tf. Are acquired (S450). Here, also in the process of S450, as in the process of S410, when the frame period Tf included in the image data header information D11 is known, the CPU 111 uses the known frame period Tf.
　次いで、ＣＰＵ１１１は、本発明のデータ同期再生制御部として、現在再生している画像フレームＤ１２のフレーム番号と、フレーム周期Ｔｆを基に、「先頭画像フレームからの相対時間」を、次式（１）により算出する（Ｓ４６０）
　先頭画像フレームからの相対時間＝フレーム番号×フレーム周期Ｔｆ・・・（１）
　次に、ＣＰＵ１１１は、本発明のデータ同期再生制御部として、前式（１）から求めた「先頭画像フレームからの相対時間」を、次式（２）に示すように、メモリ１１２等に一時記憶しておいたプロセスデータＤ２のサンプリング間隔Ｔｓ２で除算することにより、現在表示している画像フレームＤ１２に同期する数値データＤ２２のレコード番号を算出する（Ｓ４７０）。 Next, as a data synchronous reproduction control unit of the present invention, the CPU 111 calculates the “relative time from the first image frame” based on the frame number of the currently reproduced image frame D12 and the frame period Tf as follows: ) To calculate (S460)
Relative time from the first image frame = frame number × frame period Tf (1)
Next, as the data synchronous reproduction control unit of the present invention, the CPU 111 temporarily stores the “relative time from the first image frame” obtained from the previous equation (1) in the memory 112 or the like as shown in the following equation (2). By dividing the stored process data D2 by the sampling interval Ts2, the record number of the numerical data D22 synchronized with the currently displayed image frame D12 is calculated (S470).
　同期すべき数値データのレコード番号＝先頭画像フレームからの相対時間÷サンプリング間隔Ｔｓ２・・・（２）
　そして、ＣＰＵ１１１は、前述の式（２）により求めた「同期すべき数値データのレコード番号」を基に、プロセスデータＤ２から対応するレコード番号の数値データＤ２２を選択して表示する（Ｓ４８０）。これにより、ＣＰＵ１１１は、時刻情報を参照せずに、画像フレームＤ１２のフレーム番号と、数値データＤ２２のレコード番号とを介して、現在表示している画像フレームＤ１２に時間的に同期した数値データＤ２２を同期して再生することができる。その際、ＣＰＵ１１１は、例えば、プロセスデータＤ２をグラフ形式等で表示している場合には、そのレコード番号の数値データＤ２２をグラフ形式等に変換し、グラフで表示する範囲に含まれる値を更新して、グラフの表示を更新する。なお、数値データＤ２２が複数のアイテム♯１～ｓから構成されている場合には、複数のアイテム♯１～ｓをグラフに反映させる。 Record number of numerical data to be synchronized = relative time from first image frame / sampling interval Ts2 (2)
Then, the CPU 111 selects and displays the numerical data D22 of the corresponding record number from the process data D2 based on the “record number of the numerical data to be synchronized” obtained by the above equation (2) (S480). Thereby, the CPU 111 does not refer to the time information, and the numerical data D22 synchronized in time with the currently displayed image frame D12 through the frame number of the image frame D12 and the record number of the numerical data D22. Can be played back synchronously. At that time, for example, when the process data D2 is displayed in a graph format or the like, the CPU 111 converts the numerical data D22 of the record number into the graph format or the like and updates the value included in the range to be displayed in the graph. To update the graph display. If the numerical data D22 is composed of a plurality of items # 1 to #s, the plurality of items # 1 to #s are reflected in the graph.
　そして、ＣＰＵ１１１は、ユーザにより同期再生中止指示が入力されるか、あるいは現在再生している画像データＤ１の最終画像フレームＤ１２まで再生が終了するまで（Ｓ４９０“ＮＯ”）、フレーム周期Ｔｆである１／３０秒間隔でタイマーイベント信号が発生する毎に（Ｓ４３０“ＹＥＳ”）、前述したＳ４４０～Ｓ４８０までの処理により、フレーム番号とレコード番号とを対応させた画像フレームＤ１２と数値データＤ２２との同期再生処理を行う。 Then, the CPU 111 has a frame period Tf of 1 until a synchronous reproduction stop instruction is input by the user or the reproduction ends up to the final image frame D12 of the currently reproduced image data D1 (S490 “NO”). / Every time a timer event signal is generated at 30-second intervals (S430 “YES”), the processing from S440 to S480 described above synchronizes the image frame D12 in which the frame number and the record number are associated with the numerical data D22. Perform playback processing.
　そのため、本実施形態１のデータ同期再生装置１では、時刻情報を参照せずに、画像データＤ１のフレーム番号と数値データＤ２２のレコード番号とを対応させて、画像データＤ１を構成する画像フレームＤ１２と、プロセスデータＤ２を構成する数値データＤ２２とを同期させて再生することができる。 Therefore, in the data synchronized playback device 1 of the first embodiment, the image frame D12 that forms the image data D1 is made by associating the frame number of the image data D1 with the record number of the numerical data D22 without referring to the time information. And the numerical data D22 constituting the process data D2 can be reproduced in synchronization.
　そして、ＣＰＵ１１１は、ユーザにより同期再生中止指示が入力されるか、あるいは現在再生している画像データＤ１の最終画像フレームＤ１２まで再生が終了した場合（Ｓ４９０“ＹＥＳ”）、同期再生処理を終了する。 Then, the CPU 111 terminates the synchronous playback process when the user inputs a synchronous playback stop instruction or when the playback is completed up to the final image frame D12 of the currently reproduced image data D1 (S490 “YES”). .
（画像データＤ１からプロセスデータＤ２への同期再生の具体例）
　次に、画像データＤ１からプロセスデータＤ２への同期再生の具体例を図示して説明する。 (Specific example of synchronous reproduction from image data D1 to process data D2)
Next, a specific example of synchronous reproduction from the image data D1 to the process data D2 will be described with reference to the drawings.
　図５は、画像データＤ１からプロセスデータＤ２への同期再生処理した際の具体例を示している。なお、図５では、画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１とは、省略して示している。 FIG. 5 shows a specific example when the synchronous reproduction process from the image data D1 to the process data D2 is performed. In FIG. 5, the image data header information D11 of the image data D1 and the process data header information D21 of the process data D2 are omitted.
　図５に示すように、本実施形態１のデータ同期再生装置１では、例えば、画像データＤ１のうち先頭画像フレームから３フレーム目のフレーム番号♯３の画像フレームを再生しているとすると、本実施形態１では、フレーム周期Ｔｆは１／３０秒なので、ＣＰＵ１１１は、フレーム番号♯１の先頭画像フレームＤ１２からの相対時間を、前記式（１）により、３×１／３０秒＝０．１秒と算出する。次に、ＣＰＵ１１１は、サンプリング間隔Ｔｓ２が１ｍｍ秒なので、先頭の数値データからのレコード番号を、０．１秒／１ｍｍ秒＝１００と算出し、レコード番号♯１００の数値データＤ２２を再生する。 As shown in FIG. 5, in the data synchronous reproduction apparatus 1 according to the first embodiment, for example, assuming that the image frame having the frame number # 3 of the third frame from the first image frame is reproduced from the image data D1. In the first embodiment, since the frame period Tf is 1/30 seconds, the CPU 111 calculates the relative time from the first image frame D12 of the frame number # 1 by 3 × 1/30 seconds = 0.1 according to the equation (1). Calculate as seconds. Next, since the sampling interval Ts2 is 1 mm second, the CPU 111 calculates the record number from the first numerical data as 0.1 second / 1 mm second = 100, and reproduces the numerical data D22 of the record number # 100.
　従って、本実施形態１のデータ同期再生装置１によれば、画像データＤ１を構成する画像フレームＤ１２とプロセスデータＤ２を構成する数値データＤ２２とは、記録時に同期が取られてなく、また、画像フレームＤ１２のフレーム周期Ｔｆと数値データＤ２２のサンプリング間隔Ｔｓ２とが一致していなくても、画像フレームＤ１２や数値データＤ２２の時刻情報を使用せずに、画像フレームＤ１２のフレーム番号と数値データＤ２２のレコード番号等を使用して、画像フレームＤ１２と数値データＤ２２とを同期再生することができる。 Therefore, according to the data synchronous reproduction apparatus 1 of the first embodiment, the image frame D12 constituting the image data D1 and the numerical data D22 constituting the process data D2 are not synchronized at the time of recording. Even if the frame period Tf of the frame D12 and the sampling interval Ts2 of the numerical data D22 do not coincide with each other, the frame number of the image frame D12 and the numerical data D22 are not used without using the time information of the image frame D12 or the numerical data D22. Using the record number or the like, the image frame D12 and the numerical data D22 can be reproduced synchronously.
　その結果、本実施形態１のデータ同期再生装置１によれば、画像データＤ１とプロセスデータＤ２の同期再生処理に、双方のデータの時刻情報を参照する必要がなくなるので、画像データＤ１やプロセスデータＤ２のシンタックス（構造）や、ヘッダ情報を解析して探し出す必要がなくなり、高速に同期再生処理を実行することが可能となる。 As a result, according to the data synchronous reproduction apparatus 1 of the first embodiment, it is not necessary to refer to the time information of both data in the synchronous reproduction processing of the image data D1 and the process data D2, so that the image data D1 and the process data There is no need to analyze and find out the syntax (structure) of D2 and header information, and it is possible to execute synchronized playback processing at high speed.
　なお、前記実施形態１の説明では、ＯＳタイマからフレーム周期Ｔｆ毎にタイマーイベントが発生する毎に、前述の式（１）および式（２）により、先頭画像フレームからの相対時間を計算し、先頭画像フレームからの相対時間に基づいて同期再生すべき数値データＤ２２のレコード番号とを逐一算出するように説明したが、本発明では、これに限らず、前述の式（１）および式（２）により、一度、同期再生すべき数値データＤ２２のレコード番号を算出した場合、その後は、ＯＳタイマからフレーム周期Ｔｆ毎にタイマーイベントが発生する毎に、同期再生すべき数値データＤ２２のレコード番号を＋１ずつインクリメントするようにしても勿論よい。このようにすると、Ｓ４５０～Ｓ４７０の処理により最初に同期再生すべき数値データＤ２２のレコード番号を算出して同期再生すれば、以後は、Ｓ４５０～Ｓ４７０の処理を実行せずに、最初に算出した同期再生すべき数値データＤ２２のレコード番号を＋１ずつインクリメント処理だけで、画像データＤ１を構成する画像フレームＤ１２と、プロセスデータＤ２を構成する数値データＤ２２との同期再生処理が可能となり、より高速かつ処理負荷の軽い同期再生処理が可能となる。 In the description of the first embodiment, every time a timer event occurs from the OS timer every frame period Tf, the relative time from the first image frame is calculated by the above-described formula (1) and formula (2), Although the description has been made so that the record number of the numerical data D22 to be synchronously reproduced is calculated one by one based on the relative time from the first image frame, the present invention is not limited to this, and the above-described equations (1) and (2) ) Once, the record number of the numerical data D22 to be synchronously reproduced is calculated, and thereafter the record number of the numerical data D22 to be synchronously reproduced is generated every time a timer event occurs every frame period Tf from the OS timer. Of course, it may be incremented by +1. By doing this, if the record number of the numerical data D22 to be synchronized and reproduced first is calculated by the processing of S450 to S470 and the synchronized reproduction is performed, the calculation is performed first without executing the processing of S450 to S470. By only incrementing the record number of the numerical data D22 to be synchronously incremented by +1, the synchronous reproduction processing of the image frame D12 constituting the image data D1 and the numerical data D22 constituting the process data D2 becomes possible. Synchronous playback processing with a light processing load is possible.
（プロセスデータＤ２から画像データＤ１への同期再生動作の説明）
　次に、本実施形態１のデータ同期再生装置１におけるプロセスデータＤ２から画像データＤ１の同期再生処理について、フローチャートを参照して説明する。 (Description of synchronous reproduction operation from process data D2 to image data D1)
Next, the synchronous reproduction process of the process data D2 to the image data D1 in the data synchronous reproduction apparatus 1 of Embodiment 1 will be described with reference to a flowchart.
　図６は、本実施形態１のデータ同期再生装置１によるデータ同期表示処理の手順を示すフローチャートである。 FIG. 6 is a flowchart showing a procedure of data synchronization display processing by the data synchronization reproduction apparatus 1 of the first embodiment.
　ユーザがモニタ１２に表示されたプロセスデータＤ２の表示エリアにおいて、例えば、スクロールバーやカーソル等をマウス１４やキーボード１３等により移動させることで、プロセスデータＤ２における数値データＤ２２を指定して、指定した数値データＤ２２からの画像フレームＤ１２との同期再生指示が装置本体１１に入力すると（Ｓ６００“ＹＥＳ”）、ＣＰＵ１１１は、データ同期制御プログラムの実行によりデータ同期再生制御部として機能して、まずは、指定された数値データＤ２１のレコード番号と、プロセスデータヘッダ情報Ｄ２１からサンプリング間隔Ｔｓ２とを取得する（Ｓ６１０）。 In the display area of the process data D2 displayed on the monitor 12, the user designates the numerical data D22 in the process data D2 by moving, for example, a scroll bar or cursor with the mouse 14 or the keyboard 13, etc. When a synchronous reproduction instruction with the image frame D12 from the numerical data D22 is input to the apparatus main body 11 (S600 “YES”), the CPU 111 functions as a data synchronous reproduction control unit by executing the data synchronous control program. The sampling interval Ts2 is acquired from the record number of the numerical data D21 and the process data header information D21 (S610).
　また同時に、ＣＰＵ１１１は、データ同期再生制御部として機能して、画像データＤ１の画像データヘッダ情報Ｄ１１からフレーム周期Ｔｆを取得する（Ｓ６２０）。なお、ＣＰＵ１１１は、これらサンプリング間隔Ｔｓ２やフレーム周期Ｔｆを既に記憶等しており、既知である場合には、これらの取得処理を省略しても勿論よい。 At the same time, the CPU 111 functions as a data synchronous reproduction control unit, and acquires the frame period Tf from the image data header information D11 of the image data D1 (S620). Note that the CPU 111 has already stored the sampling interval Ts2 and the frame period Tf, and if it is known, the acquisition processing may be omitted.
　次に、ＣＰＵ１１１は、データ同期再生制御部として機能して、サンプリング間隔Ｔｓ２と、スクロールバーやカーソル等により指定している数値データＤ２２のレコード番号とに基づいて、次式（３）に示すように、プロセスデータＤ２における「先頭の数値データからの相対時間」を算出する（Ｓ６３０）。 Next, the CPU 111 functions as a data synchronous reproduction control unit, and based on the sampling interval Ts2 and the record number of the numerical data D22 designated by a scroll bar, cursor, etc., as shown in the following equation (3). Then, “relative time from the first numerical data” in the process data D2 is calculated (S630).
　先頭の数値データからの相対時間＝現在のレコード番号×サンプリング間隔Ｔｓ２
　・・・（３）
　次に、ＣＰＵ１１１は、次式（４）に示すように、式（３）により算出した「先頭レコードからの相対時間」を、画像フレームＤ１２の１フレームあたりの時間であるフレーム周期Ｔｆで除算することにより、現在している数値データに同期した「同期すべき画像フレームのフレーム番号」を算出する（Ｓ６４０）。 Relative time from the first numerical data = current record number × sampling interval Ts2
... (3)
Next, as shown in the following equation (4), the CPU 111 divides the “relative time from the first record” calculated by the equation (3) by the frame period Tf that is the time per frame of the image frame D12. Thus, the “frame number of the image frame to be synchronized” synchronized with the current numerical data is calculated (S640).
　同期すべき画像フレームのフレーム番号＝先頭からの相対時間÷フレーム周期Ｔｆ・・・（４）
　そして、ＣＰＵ１１１は、画像データ再生部として機能して、前記式（４）により算出したフレーム番号に基づいて、データ記憶部１１３ｂに記憶された画像データＤ１のうちから、該当するフレーム番号の画像フレームＤ１２を読み出し再生する（Ｓ６４０）。これにより、本実施形態１によれば、数値データＤ２２のレコード番号と、画像フレームＤ１２のフレーム番号とにより、数値データＤ２２を指定しての画像フレームＤ１２の同期処理が可能となる。 Frame number of image frame to be synchronized = relative time from head / frame period Tf (4)
Then, the CPU 111 functions as an image data reproducing unit, and based on the frame number calculated by the equation (4), the image frame having the corresponding frame number is selected from the image data D1 stored in the data storage unit 113b. D12 is read and reproduced (S640). Thus, according to the first embodiment, it is possible to perform synchronization processing of the image frame D12 by designating the numerical data D22 based on the record number of the numerical data D22 and the frame number of the image frame D12.
（プロセスデータＤ２から画像データＤ１への同期再生の具体例）
　次に、プロセスデータＤ２から画像データＤ１への同期再生の具体例を図示して説明する。 (Specific example of synchronous reproduction from process data D2 to image data D1)
Next, a specific example of synchronous reproduction from the process data D2 to the image data D1 will be described with reference to the drawings.
　図７は、プロセスデータＤ２から画像データＤ１への同期再生処理した際の具体例を示している。なお、図７も、図５と同様に、画像データＤ１の画像データヘッダ情報Ｄ１１と、プロセスデータＤ２のプロセスデータヘッダ情報Ｄ２１とは、省略して示している。 FIG. 7 shows a specific example when the synchronous reproduction process from the process data D2 to the image data D1 is performed. In FIG. 7, as in FIG. 5, the image data header information D11 of the image data D1 and the process data header information D21 of the process data D2 are omitted.
　つまり、本実施形態１のデータ同期再生装置１では、例えば、図７に示すように、プロセスデータＤ２のうち、ユーザがモニタ１２に表示されたプロセスデータＤ２の表示エリアにおいて、マウス１４やキーボード１３等によりスクロールバーやカーソル等を移動させて、例えば、先頭の数値データＤ２２から１３４番目のレコード番号♯１３４番の数値データＤ２２を指定したものとする。 That is, in the data synchronized playback apparatus 1 of the first embodiment, for example, as shown in FIG. 7, in the process data D2 display area of the process data D2 displayed on the monitor 12 among the process data D2, the mouse 14 and the keyboard 13 are displayed. For example, it is assumed that the scroll bar, the cursor, or the like is moved by specifying the numerical data D22 of the 134th record number # 134 from the first numerical data D22.
　すると、本実施形態１では、サンプリング間隔Ｔｓ２が１ｍｍ秒なので、前記式（３）により、先頭の数値データからの相対時間は、１３４番目×１ｍｍ秒＝１３４ｍｍ秒となる。そして、１３４番目の数値データＤ２２に同期すべき画像フレームＤ１２のフレーム番号は、フレーム周期Ｔｆが１／３０秒なので、前記式（４）により、１３４ｍｍ秒÷（１／３０秒）＝４．０２≒４となり、先頭の画像フレームＤ１２より４番目のフレーム番号♯４の画像フレームＤ１２が、レコード番号♯１３４番の数値データＤ２２と同期再生されることになる。 Then, in the first embodiment, since the sampling interval Ts2 is 1 mmsec, the relative time from the first numerical data is 134th × 1 mmsec = 134 mmsec by the above equation (3). The frame number of the image frame D12 to be synchronized with the 134th numerical data D22 is 134 mmsec / (1/30 sec) = 4.02 according to the equation (4) because the frame period Tf is 1/30 sec. ≈4, and the image frame D12 having the fourth frame number # 4 from the first image frame D12 is synchronously reproduced with the numerical data D22 having the record number # 134.
　従って、本実施形態１のデータ同期再生装置１によれば、画像フレームＤ１２や数値データＤ２２の時刻情報を使用せずに、画像フレームＤ１２のフレーム番号と数値データＤ２２のレコード番号等を使用して、数値データＤ２２を指定するだけで、対応する画像データＤ１の画像フレームＤ１２を同期再生することができる。 Therefore, according to the data synchronous reproduction apparatus 1 of the first embodiment, the frame number of the image frame D12 and the record number of the numerical data D22 are used without using the time information of the image frame D12 and the numerical data D22. By simply specifying the numerical data D22, the image frame D12 of the corresponding image data D1 can be synchronously reproduced.
　なお、本実施形態１のデータ同期再生装置１では、記憶部１１３のデータ記憶部１１３ｂに、制御機器５１～５ｎが複数の監視対象物６１～６ｐから時系列に取得した複数の数値データを含むプロセスデータＤ２を記憶したが、プロセスデータＤ２に含まれるデータは、数値データに限らず、ビットデータやテキストデータであってもよい。 In the data synchronized playback device 1 of the first embodiment, the data storage unit 113b of the storage unit 113 includes a plurality of numerical data acquired in time series from the plurality of monitoring objects 61 to 6p by the control devices 51 to 5n. Although the process data D2 is stored, the data included in the process data D2 is not limited to numerical data, and may be bit data or text data.
（表示画面の具体例）
　次に、本実施形態１のデータ同期再生装置１のモニタ１２に表示される表示画面の具体例について説明する。 (Specific example of display screen)
Next, a specific example of the display screen displayed on the monitor 12 of the data synchronous reproduction device 1 of the first embodiment will be described.
　図８～図１２は、それぞれ、本実施形態１のデータ同期再生装置１のモニタ１２に表示された表示画面１２１～１２５の具体例を示す図である。なお、図８～図１２に示す表示画面１２１～１２５は、本実施形態１のデータ同期再生装置１のＣＰＵ１１１が、プログラム記憶部１１３ａに格納されたデータ同期制御プログラムを実行することにより画面レイアウト設定部として機能して設定や変更する表示画面の一例である。つまり、図８～図１２に示す表示画面１２１～１２５は、ＣＰＵ１１１が、画面レイアウト設定部として機能して、ユーザの指示に基づき画像データが表示される画像データ再生エリアと、プロセスデータが表示されるプロセスデータ再生エリアとをモニタ１２上に設定すると共に、画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定して表示した表示画面の一例である。 8 to 12 are diagrams showing specific examples of display screens 121 to 125 displayed on the monitor 12 of the data synchronous reproduction apparatus 1 of the first embodiment, respectively. Note that the display screens 121 to 125 shown in FIGS. 8 to 12 are displayed on the screen layout setting by the CPU 111 of the data synchronization playback apparatus 1 of the first embodiment executing the data synchronization control program stored in the program storage unit 113a. It is an example of the display screen which functions as a part and is set or changed. That is, in the display screens 121 to 125 shown in FIGS. 8 to 12, the CPU 111 functions as a screen layout setting unit to display an image data reproduction area where image data is displayed based on a user instruction and process data. This is an example of a display screen in which a process data reproduction area to be reproduced is set on the monitor 12 and the number and size of image data to be reproduced are set and displayed within predetermined conditions in the image data reproduction area.
　図８に示す表示画面１２１では、画面レイアウト設定部として機能して表示画面１２１の中央より上側に画像データ表示エリア１２１ａを設ける一方、表示画面１２１の中央より下側にプロセスデータ表示エリア１２１ｂを設けている。そして、この表示画面１２１では、画像データ表示エリア１２１ａに、４つの画像データ表示ウインドウ１２１ａ１～１２１ａ４が設けられ、この４つの画像データ表示ウインドウ１２１ａ１～１２１ａ４に、複数台のＩＴＶカメラ２１～２ｍのうち、カメラ切替器３がユーザからの指示や自動的に切り替えられた、例えばカメラ番号♯１～４（camera1～４）の４台のＩＴＶカメラからの動画像の画像データＤ１が表示されている。 In the display screen 121 shown in FIG. 8, the image data display area 121 a is provided above the center of the display screen 121 and functions as a screen layout setting unit, while the process data display area 121 b is provided below the center of the display screen 121. ing. In the display screen 121, four image data display windows 121a1 to 121a4 are provided in the image data display area 121a, and the four image data display windows 121a1 to 121a4 are arranged in a plurality of ITV cameras 21 to 2m. The image data D1 of moving images from, for example, four ITV cameras with camera numbers # 1 to 4 (cameras 1 to 4), for which the camera switch 3 has been automatically switched by the user, is displayed.
　また、この表示画面１２１では、プロセスデータ表示エリア１２１ｂには、カメラ切替器３に切り替えられたカメラ番号♯１～４（camera1～４）の４台のＩＴＶカメラが撮影している監視対象物のプロセスデータＤ２が再生されている。ここで、プロセスデータ表示エリア１２１ｂにおける図上水平方向の横軸は、時間軸を示している一方、図上垂直方向の縦軸は、プロセスデータＤ２を構成する数値データＤ２２の値（レベル）を示している。 In the display screen 121, the process data display area 121b displays the monitoring object captured by the four ITV cameras with camera numbers # 1 to 4 (camera1 to 4) switched to the camera switch 3. Process data D2 is being reproduced. Here, in the process data display area 121b, the horizontal axis in the horizontal direction in the figure indicates the time axis, while the vertical axis in the vertical direction in the figure indicates the value (level) of the numerical data D22 constituting the process data D2. Show.
　そして、４つの画像データ表示ウインドウ１２１ａ１～１２１ａ４それぞれで再生される画像データＤ１と、プロセスデータ表示エリア１２１ｂにて再生されているプロセスデータＤ２とは、データ同期再生制御部として機能するＣＰＵ１１１により、前述のように画像フレームＤ１２のフレーム番号と、数値データＤ２２のレコード番号とにより同期して再生される。 The image data D1 reproduced in each of the four image data display windows 121a1 to 121a4 and the process data D2 reproduced in the process data display area 121b are described above by the CPU 111 functioning as a data synchronous reproduction control unit. As described above, the image frame D12 is reproduced in synchronization with the frame number of the image frame D12 and the record number of the numerical data D22.
　なお、この表示画面１２１のプロセスデータ表示エリア１２１ｂには、再生するプロセスデータＤ２の時刻を変更するため図上、水平方向に移動するプロセスデータ時刻変更バー１２１ｂ２等が表示されている。ユーザは、プロセスデータ時刻変更バー１２１ｂ２を、キーボード１３やマウス１４により表示画面１２１上でカーソル（図示せず）を操作してプロセスデータＤ２の時間軸の拡大・縮小や拡大表示を実行することができる。 In the process data display area 121b of the display screen 121, a process data time change bar 121b2 that moves in the horizontal direction in the figure is displayed to change the time of the process data D2 to be reproduced. The user may operate the cursor (not shown) of the process data time change bar 121b2 on the display screen 121 with the keyboard 13 or the mouse 14 to execute enlargement / reduction or enlargement display of the time axis of the process data D2. it can.
　また、図８において、１２１ｂ３は、プロセスデータ表示エリア１２１ｂに表示されているプロセスデータの抜出し記録（スナップショット）開始位置を指定する抜出し記録開始位置指定バー、１２１ｂ４は、プロセスデータ表示エリア１２１ｂに表示されているプロセスデータの抜出し記録終了位置を指定する抜出し記録終了位置指定バーであり、後述する実施形態１２の抜出し記録（スナップショット）にて使用するバーで、実施形態１では使用しない。ユーザは、プロセスデータ表示エリア１２１ｂにおいてこれらのバーを、前述したようにユーザがマウス１４やキーボード１３等を使用することにより移動させることができる。 In FIG. 8, 121b3 is an extraction recording start position designation bar for designating the extraction recording (snapshot) start position of the process data displayed in the process data display area 121b, and 121b4 is displayed in the process data display area 121b. This is an extraction recording end position designation bar for designating the extraction recording end position of the processed process data, and is a bar used in extraction recording (snapshot) of Embodiment 12 to be described later, and is not used in Embodiment 1. The user can move these bars in the process data display area 121b by using the mouse 14 or the keyboard 13 as described above.
　図９に示す表示画面１２２では、プロセスデータＤ２を拡大して表示するため、表示画面１２２全体に、プロセスデータ表示エリア１２２ｂを拡大した状態を示している。そのため、図９に示す表示画面１２２では、図８に示す表示画面１２１では表示画面１２１の中央より上側半分に存在した画像データ表示エリア１２１ａが表示できないため、プロセスデータ表示エリア１２２ｂに重ねて画像データ表示エリア１２２ａを表示し、そのデータ表示エリア１２２ａに、４つの画像データ表示ウインドウ１２２ａ１～１２２ａ４を設けている。 9 shows a state in which the process data display area 122b is enlarged on the entire display screen 122 in order to display the process data D2 in an enlarged manner. Therefore, in the display screen 122 shown in FIG. 9, the display screen 121 shown in FIG. 8 cannot display the image data display area 121a existing in the upper half of the center of the display screen 121. Therefore, the image data is superimposed on the process data display area 122b. A display area 122a is displayed, and four image data display windows 122a1 to 122a4 are provided in the data display area 122a.
　図１０に示す表示画面１２３では、図８に示す表示画面１２１と同様に、表示画面１２３の中央より上側に画像データ表示エリア１２３ａを設ける一方、表示画面１２３の中央より下側にプロセスデータ表示エリア１２３ｂを設けている。そして、この表示画面１２３では、画像データ表示エリア１２３ａに２つの画像データ表示エリア１２３ａ１，１２３ａ２を設け、画像データ表示エリア１２３ａ１にはカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１を表示する一方、画像データ表示エリア１２３ａ２には同じカメラ番号♯１のＩＴＶカメラ２１（camera1）からの静止画の画像データＤ１を表示している。また、この表示画面１２３では、プロセスデータ表示エリア１２３ｂには、画像データ表示エリア１２３ａ１に表示されたカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１に同期し、かつ、カメラ番号♯１のＩＴＶカメラ２１が撮影している監視対象物から制御機器が取得したプロセスデータＤ２が表示される。なお、プロセスデータ表示エリア１２３ｂは、図８，図９に示す表示画面１２１，１２２のプロセスデータ表示エリア１２１ｂ，１２２ｂと何ら変わりがない。 In the display screen 123 shown in FIG. 10, similarly to the display screen 121 shown in FIG. 8, an image data display area 123 a is provided above the center of the display screen 123, while a process data display area is provided below the center of the display screen 123. 123b is provided. In the display screen 123, two image data display areas 123a1 and 123a2 are provided in the image data display area 123a, and the image data D1 of the moving image from the ITV camera 21 with the camera number # 1 is displayed in the image data display area 123a1. On the other hand, still image data D1 from the ITV camera 21 (camera1) of the same camera number # 1 is displayed in the image data display area 123a2. In the display screen 123, the process data display area 123b is synchronized with the image data D1 of the moving image from the ITV camera 21 of the camera number # 1 displayed in the image data display area 123a1, and the camera number # The process data D2 acquired by the control device from the monitored object photographed by one ITV camera 21 is displayed. The process data display area 123b is not different from the process data display areas 121b and 122b on the display screens 121 and 122 shown in FIGS.
　図１１に示す表示画面１２４では、図８に示す表示画面１２１等と同様に、表示画面１２４の中央より上側に画像データ表示エリア１２４ａを設ける一方、表示画面１２４の中央より下側にプロセスデータ表示エリア１２４ｂを設けている。そして、この表示画面１２４では、画像データ表示エリア１２４ａに、図１０に示す表示画面１２３と同様に、２つの画像データ表示エリア１２４ａ１を設け、画像データ表示エリア１２４ａ１にはカメラ番号♯１のＩＴＶカメラ２１からの動画像の画像データＤ１を表示する一方、画像データ表示エリア１２４ａ２には同じカメラ番号♯１のＩＴＶカメラ２１（camera1）からの撮影時刻を別にする４つの静止画の画像データＤ１を表示している。 In the display screen 124 shown in FIG. 11, the image data display area 124a is provided above the center of the display screen 124, while the process data is displayed below the center of the display screen 124, as in the display screen 121 shown in FIG. An area 124b is provided. In this display screen 124, two image data display areas 124a1 are provided in the image data display area 124a as in the display screen 123 shown in FIG. 10, and the ITV camera with the camera number # 1 is provided in the image data display area 124a1. While moving image data D1 from 21 is displayed, image data D1 of four still images for different shooting times from the ITV camera 21 (camera1) of the same camera number # 1 are displayed in the image data display area 124a2. is doing.
　また、プロセスデータＤ２に、例えば圧延されている圧延材のロット番号などのテキストデータが含まれている場合、プロセスデータ表示エリア１２４ｂに、テキストデータ１２４ｃを表示している。 Further, when the process data D2 includes text data such as the lot number of the rolled material being rolled, the text data 124c is displayed in the process data display area 124b.
　なお、プロセスデータ表示エリア１２４ｂは、図８～図１０に示す表示画面１２１～１２３のプロセスデータ表示エリア１２１ｂ～１２３ｂと何ら変わりがない。 The process data display area 124b is not different from the process data display areas 121b to 123b of the display screens 121 to 123 shown in FIGS.
　図１２に示す表示画面１２５では、図８に示す表示画面１２１等と同様に、表示画面１２５の中央より上側に画像データ表示エリア１２５ａを設ける一方、表示画面１２５の中央より下側にプロセスデータ表示エリア１２５ｂを設けている。そして、この表示画面１２５では、画像データ表示エリア１２５ａに、例えば、４台のカメラ映像から２台のカメラ映像を選択するためのカメラ映像指定ボタン１２５ａ１と、そのカメラ映像指定ボタン１２５ａ１によって選択されたカメラ番号♯１，３の２台のＩＴＶカメラ２１，２３（camera1，３）からの動画像データが画像データ表示エリア１２５ａ２，１２５ａ３に表示される。このようにすると、この表示画面１２５の画像データ表示エリア１２５ａ２，１２５ａ３のウインドウの大きさは、図１０に示す表示画面１２３における画像データ表示エリア１２３ａ１，１２３ａ２のウインドウよりは小さいもの、図８に示す表示画面１２１における画像データ表示エリア１２３ａ１～１２１ａ４のウインドウよりは大きくなるので、画像データＤ１が見易くなる。なお、この表示画面１２５では、プロセスデータ表示エリア１２５ｂは、図８～図１１に示す表示画面１２１～１２４のプロセスデータ表示エリア１２１ｂ～１２４ｂと何ら変わりがない。 In the display screen 125 shown in FIG. 12, the image data display area 125a is provided above the center of the display screen 125, while the process data is displayed below the center of the display screen 125, like the display screen 121 shown in FIG. An area 125b is provided. In the display screen 125, the image data display area 125a is selected by, for example, a camera image designation button 125a1 for selecting two camera images from four camera images and the camera image designation button 125a1. Moving image data from the two ITV cameras 21, 23 (camera 1, 3) with camera numbers # 1, 3 are displayed in the image data display areas 125a2, 125a3. In this way, the window size of the image data display areas 125a2 and 125a3 on the display screen 125 is smaller than the window of the image data display areas 123a1 and 123a2 on the display screen 123 shown in FIG. Since it is larger than the window of the image data display areas 123a1 to 121a4 on the display screen 121, the image data D1 is easy to see. In this display screen 125, the process data display area 125b is no different from the process data display areas 121b to 124b of the display screens 121 to 124 shown in FIGS.
　以上説明したように、本実施形態１のデータ同期再生装置１によれば、画像データＤ１やプロセスデータＤ２の時刻情報を参照せずに、画像データＤ１を構成する画像フレームＤ１２のフレーム番号やフレーム周期Ｔｆと、プロセスデータＤ２を構成する数値データＤ２２のレコード番号やサンプリング間隔Ｔｓ２等とを使用して、画像フレームＤ１２と数値データＤ２２との同期再生が可能となり、図８～図１２に示す表示画面１２１～１２５に示すような表示画面をモニタ１２に表示することができる。その結果、本実施形態１のデータ同期再生装置１によれば、画像データＤ１と数値データＤ２２の同期再生処理に、双方のデータの時刻情報を参照する必要がなくなるので、ファイル数やファイルの記憶容量を低減でき、従来と同じ記憶容量の記憶装置で従来よりも長期間にわたる記憶と同期再生が可能となる。 As described above, according to the data synchronous reproduction device 1 of the first embodiment, the frame number and frame of the image frame D12 constituting the image data D1 without referring to the time information of the image data D1 and the process data D2. By using the period Tf, the record number of the numerical data D22 constituting the process data D2, the sampling interval Ts2, and the like, the image frame D12 and the numerical data D22 can be synchronized and reproduced, and the display shown in FIGS. Display screens as shown on the screens 121 to 125 can be displayed on the monitor 12. As a result, according to the data synchronous reproduction apparatus 1 of the first embodiment, it is not necessary to refer to the time information of both data in the synchronous reproduction processing of the image data D1 and the numerical data D22. The capacity can be reduced, and a storage device having the same storage capacity as that of the prior art can perform storage and synchronous reproduction for a longer period than before.
　また、画像保存の際にＭＰＥＧ－４等の画像フレームの圧縮復号化技術を利用できるので、画像再生の際にＱｕｉｃｋ　Ｔｉｍｅ(登録商標)プレイヤー等の汎用の画像データ再生プログラムを利用することができ、これにより開発コストが低減することができる。 In addition, since image frame compression / decoding technology such as MPEG-4 can be used when saving images, a general-purpose image data playback program such as Quick Time (registered trademark) player can be used when playing back images. This can reduce development costs.
　さらに、時刻情報を用いることなく、データと画像フレームとを高速に同期再生したり、頭出ししたりすることができる。 Furthermore, without using time information, data and image frames can be synchronized and played back at high speed.
（実施形態２）
　前記実施形態１では、時刻情報を参照せずに、画像フレームＤ１２のフレーム番号と、数値データＤ２２のレコード番号とを用いた画像データＤ１とプロセスデータＤ２との同期再生処理について説明したが、本実施形態２では、実施形態１の機能に追加して、さらに、プロセスデータＤ２から指定した範囲の数値データＤ２２の抜き出し記録、すなわちスナップショット記録すべき数値データＤ２２の範囲を指定することにより、その指定範囲の数値データＤ２２に同期した画像フレームＤ１２を自動的に記憶することができるように構成したものである。よって、本実施形態２のデータ同期再生装置では、実施形態１のデータ同期再生装置１の機能に対し、さらに、スナップショット記録の機能を追加したものであり、プログラム記憶部１１３ａに記憶されたデータ同期制御プログラムには、このスナップショット記録の機能である同期保存制御部として機能させるためのプログラムも含まれているものとする。なお、実施形態２のデータ同期再生装置の構成は、実施形態１のものと同様なので、図１および図２に示す実施形態１の構成を参照して、特徴ある動作のみを説明する。 (Embodiment 2)
In the first embodiment, the synchronous reproduction process of the image data D1 and the process data D2 using the frame number of the image frame D12 and the record number of the numerical data D22 without referring to the time information has been described. In the second embodiment, in addition to the function of the first embodiment, by further extracting and recording the numerical data D22 in the specified range from the process data D2, that is, by specifying the range of the numerical data D22 to be recorded by snapshot, The image frame D12 synchronized with the numerical data D22 in the specified range can be automatically stored. Therefore, in the data synchronous reproduction device of the second embodiment, the snapshot recording function is further added to the function of the data synchronous reproduction device 1 of the first embodiment, and the data stored in the program storage unit 113a. It is assumed that the synchronization control program includes a program for functioning as a synchronization storage control unit that is a function of this snapshot recording. Since the configuration of the data synchronous reproduction apparatus of the second embodiment is the same as that of the first embodiment, only the characteristic operation will be described with reference to the configuration of the first embodiment shown in FIGS.
　つまり、実施形態２のデータ同期再生装置１では、ユーザがモニタ１２に表示されたプロセスデータ表示エリア１２１ｂにおいて、マウス１４やキーボード１３等を使用することにより移動させて、例えば、図８に示すように、抜出し記録開始位置指定バー１２１ｂ３および抜出し記録終了位置指定バー１２１ｂ４を、プロセスデータＤ２から抜き出して別途記録するプロセスデータＤ２の範囲を指定する。そして、ユーザが保存ボタン（図示せず）等をクリックすると、ＣＰＵ１１１は、プログラム記憶部１１３ａに記憶されているデータ同期制御プログラムを実行して、まずは同期画像フレーム選択部として機能して、ユーザにより指定された範囲の数値データＤ２２のレコード番号を、前記実施形態１の同期再生の場合と同様に、前記数式（３）、（４）等により、その指定範囲の数値データＤ２２に同期した範囲の画像フレームＤ１２のフレーム番号に変換する。 That is, in the data synchronized playback apparatus 1 of the second embodiment, the user moves the process data display area 121b displayed on the monitor 12 by using the mouse 14 or the keyboard 13 and the like, for example, as shown in FIG. In addition, the extraction record start position designation bar 121b3 and the extraction record end position designation bar 121b4 are extracted from the process data D2 and designated separately for the range of process data D2. When the user clicks a save button (not shown) or the like, the CPU 111 executes the data synchronization control program stored in the program storage unit 113a, and first functions as a synchronized image frame selection unit. The record number of the numerical data D22 in the specified range is set in the range synchronized with the numerical data D22 in the specified range according to the equations (3), (4), etc., as in the case of the synchronized playback in the first embodiment. The frame number of the image frame D12 is converted.
　次に、ＣＰＵ１１１は、データ同期制御プログラムの実行により同期保存制御部として機能して、ユーザによって指定された範囲の数値データＤ２２と、その指定範囲の数値データＤ２２に同期した画像フレームＤ１２とを対応させて、画像データＤ１やプロセスデータＤ２のデータファイルＤｆとは、別のデータファイルＤｆとして、すなわち画像データＤ１やプロセスデータＤ２のデータファイルＤｆからユーザによって指定された範囲の数値データＤ２２と、その指定範囲の数値データＤ２２に同期した画像フレームＤ１２とを抜き出したような形でデータ記憶部１１３ｂに記憶する。 Next, the CPU 111 functions as a synchronous storage control unit by executing the data synchronization control program, and associates the numerical data D22 in the range specified by the user with the image frame D12 synchronized with the numerical data D22 in the specified range. The data file Df of the image data D1 and the process data D2 is different from the data file Df, that is, the numerical data D22 in the range specified by the user from the data file Df of the image data D1 and the process data D2, The image frame D12 synchronized with the numerical data D22 in the specified range is stored in the data storage unit 113b in a form that is extracted.
　そのため、実施形態２のデータ同期再生装置１では、メールプログラム等によりそのファイルを、電子メール等に添付してインターネットやイントラネット等のネットワークを介して、他のコンピュータ装置に送信することも可能となる。 Therefore, in the data synchronized playback apparatus 1 of the second embodiment, the file can be attached to an e-mail or the like by a mail program or the like and transmitted to another computer apparatus via a network such as the Internet or an intranet. .
　これにより、ユーザが指定した範囲の数値データＤ２２と、その範囲の数値データＤ２２に同期した画像フレームＤ１２と記憶されたファイルを受信した当該他のコンピュータ装置では、実施形態１や実施形態２のデータ同期再生装置１と同様の画像データＤ１とプロセスデータＤ２の同期再生機能を有すれば、受信したファイルからユーザが指定した範囲の数値データＤ２２と、その範囲の数値データＤ２２に同期した画像フレームＤ１２とを同期再生して、リモート診断などを実行することが可能となる。 As a result, the numerical data D22 in the range specified by the user, the image frame D12 synchronized with the numerical data D22 in the range, and the other computer device that has received the stored file, the data in the first and second embodiments. If the synchronized playback function of the image data D1 and the process data D2 is the same as that of the synchronized playback device 1, the numerical data D22 in the range specified by the user from the received file and the image frame D12 synchronized with the numerical data D22 in the range Can be played back synchronously to execute remote diagnosis and the like.
　１　データ同期再生装置
　１１　装置本体
　１２　モニタ
　１３　キーボード
　１４　マウス
　１１１　ＣＰＵ（画像データ再生部、データ同期再生制御部、同期画像フレーム選択部、同期保存制御部、画面レイアウト設定部）
　１１２　メモリ
　１１３　記憶部
　１１３ａ　プログラム記憶部
　１１３ｂ　データ記憶部（画像データ記憶部、プロセスデータ記憶部）
　１１４　外部機器Ｉ／Ｆ部
　１１５　制御ネットワークＩ／Ｆ部
　１１６　ＬＡＮＩ／Ｆ部
　２１～２ｍ　ＩＴＶカメラ（ｍは自然数。）
　３　カメラ切替器
　４　ディジタル画像変換ユニット
　５１～５ｎ　制御機器（ｎは自然数。）
　６１～６ｐ　監視対象物６１～６ｐ（ｐは自然数。） DESCRIPTION OF SYMBOLS 1 Data synchronous reproduction apparatus 11 Apparatus main body 12 Monitor 13 Keyboard 14 Mouse 111 CPU (Image data reproduction part, Data synchronous reproduction control part, Synchronous image frame selection part, Synchronous preservation control part, Screen layout setting part)
112 memory 113 storage unit 113a program storage unit 113b data storage unit (image data storage unit, process data storage unit)
114 External device I / F unit 115 Control network I / F unit 116 LAN I / F unit 21 to 2 m ITV camera (m is a natural number)
3 Camera switcher 4 Digital image conversion unit 51 to 5n Control device (n is a natural number)
61 to 6p Monitoring object 61 to 6p (p is a natural number)
産業上の利用の可能性Industrial applicability
　本発明は、プラントを監視するオンラインデータ管理システム等に適用することができる。 The present invention can be applied to an online data management system for monitoring a plant.

Claims (12)

  1. 　カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶する画像データ記憶部と、
    　前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するプロセスデータ記憶部と、
    　前記画像データ記憶部に記憶されている前記画像データをモニタに出力して再生すると共に、再生する画像フレームのフレーム番号を出力する画像データ再生部と、
    　前記画像データ再生部から出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するデータ同期再生制御部と、
    　を有することを特徴とするデータ同期再生装置。     An image data storage unit that stores a plurality of image frames captured by the camera as image data together with a frame period of the image frames by assigning a frame number to each image frame;
    A plurality of data acquired in a time series from the monitoring target, a process data storage unit for storing each data as a process data together with a record number with a record number;
    An image data reproduction unit for outputting the image data stored in the image data storage unit to a monitor for reproduction, and outputting a frame number of an image frame to be reproduced;
    The frame number output from the image data reproduction unit is converted into a record number of the data based on a frame period of the image frame and a sampling interval of the data, and the data having the converted record number is converted into the data A data-synchronized playback control unit for playback on the monitor;
    A data synchronous reproduction apparatus comprising:
  2. 　請求項１記載のデータ同期再生装置において、
    　前記データ同期再生制御部は、
    　前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換した前記フレーム番号を前記画像データ再生部に出力し、変換したフレーム番号を有する前記画像データを再生させる、
    　ことを特徴とするデータ同期再生装置。     In the data synchronous reproduction apparatus of Claim 1,
    The data synchronous reproduction control unit
    In the process data displayed on the monitor, when the data at a specific timing is specified, the record number of the specified data is determined based on the sampling interval of the data and the frame period of the image frame. Converting to the frame number, outputting the converted frame number to the image data reproduction unit, and reproducing the image data having the converted frame number,
    A data synchronous reproduction apparatus characterized by the above.
  3. 　請求項１または請求項２記載のデータ同期再生装置において、さらに、
    　前記モニタに表示されているプロセスデータにおいて、外部入力により別ファイルとして記憶するデータの範囲が指定された場合、その指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択する同期画像フレーム選択部と、
    　外部入力により指定された範囲の前記データと、前記同期画像フレーム選択部によって選択された範囲の前記画像フレームとを同一ファイルとして記憶する同期保存制御部と、
    　を有することを特徴とするデータ同期再生装置。     The data synchronous reproduction apparatus according to claim 1 or 2, further comprising:
    In the process data displayed on the monitor, when a range of data to be stored as a separate file is designated by external input, the record number of the data in the designated range is set to the sampling interval of the data and the image frame. A frame number of the image frame based on the frame period, and a synchronized image frame selection unit that selects an image frame in a range synchronized with the data in a specified range;
    A synchronous storage control unit that stores the data in a range specified by an external input and the image frame in a range selected by the synchronous image frame selection unit as the same file;
    A data synchronous reproduction apparatus comprising:
  4. 　請求項１～請求項３のいずれか一の請求項に記載のデータ同期再生装置において、さらに、
    　外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定する画面レイアウト設定部、
    　を有することを特徴とするデータ同期再生装置。     In the data synchronous reproduction device according to any one of claims 1 to 3,
    Based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit and a process data reproduction area where the process data is displayed by the data synchronous reproduction control unit are set on the monitor. And a screen layout setting unit for setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area,
    A data synchronous reproduction apparatus comprising:
  5. 　カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶するステップと、
    　前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するステップと、
    　前記画像データがモニタに出力され再生されると共に、再生する画像フレームのフレーム番号が出力された場合、出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するステップと、
    　を有することを特徴とするデータ同期制御方法。     Storing a plurality of image frames captured by the camera as the image data together with a frame number of each image frame by assigning a frame number to each image frame;
    Storing a plurality of data acquired in a time series from the monitoring target as process data together with a sampling number of the data by assigning a record number to each data;
    When the image data is output to the monitor and reproduced and the frame number of the image frame to be reproduced is output, the output frame number is determined based on the frame period of the image frame and the sampling interval of the data. Converting the record number of the data and reproducing the data having the converted record number on the monitor;
    A data synchronization control method comprising:
  6. 　請求項５記載のデータ同期制御方法において、
    　前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換したフレーム番号を有する前記画像データを再生させる、
    　ことを特徴とするデータ同期制御方法。     The data synchronization control method according to claim 5, wherein
    In the process data displayed on the monitor, when the data at a specific timing is specified, the record number of the specified data is determined based on the sampling interval of the data and the frame period of the image frame. To convert the frame number into the image data and reproduce the image data having the converted frame number.
    And a data synchronization control method.
  7. 　請求項５または請求項６記載のデータ同期制御方法において、さらに、
    　前記モニタに表示されているプロセスデータにおいて、別ファイルとして記憶するデータの範囲が指定された場合、指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択するステップと、
    　指定された範囲の前記データと、選択された範囲の前記画像フレームとを同一ファイルとして記憶するステップと、
    　を有することを特徴とするデータ同期制御方法。     The data synchronization control method according to claim 5 or 6, further comprising:
    In the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the record number of the data in the specified range is set to the sampling interval of the data and the frame period of the image frame. Converting the frame number of the image frame on the basis of and selecting an image frame in a range synchronized with the data in a specified range;
    Storing the data in the specified range and the image frames in the selected range as the same file;
    A data synchronization control method comprising:
  8. 　請求項５～請求項７のいずれか一の請求項に記載のデータ同期制御方法において、さらに、
    　外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定するステップ、
    　を有することを特徴とするデータ同期制御方法。     The data synchronization control method according to any one of claims 5 to 7, further comprising:
    Based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit and a process data reproduction area where the process data is displayed by the data synchronous reproduction control unit are set on the monitor. And setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area;
    A data synchronization control method comprising:
  9. 　コンピュータに、
    　カメラが監視対象を撮影した複数の画像フレームを、各画像フレームにフレーム番号を付けて前記画像フレームのフレーム周期と共に画像データとして記憶するステップと、
    　前記監視対象から時系列に取得した複数のデータを、各データにレコード番号を付けて前記データのサンプリング間隔と共にプロセスデータとして記憶するステップと、
    　前記画像データがモニタに出力され再生されると共に、再生する画像フレームのフレーム番号が出力された場合、出力された前記フレーム番号を、前記画像フレームのフレーム周期と前記データのサンプリング間隔とに基づいて前記データのレコード番号に変換すると共に、変換したレコード番号を有する前記データを前記モニタに再生するステップと、
    　を実行させることを特徴とするデータ同期制御プログラム。     On the computer,
    Storing a plurality of image frames captured by the camera as the image data together with a frame number of each image frame by assigning a frame number to each image frame;
    Storing a plurality of data acquired in a time series from the monitoring target as process data together with a sampling number of the data by assigning a record number to each data;
    When the image data is output to the monitor and reproduced and the frame number of the image frame to be reproduced is output, the output frame number is determined based on the frame period of the image frame and the sampling interval of the data. Converting the record number of the data and reproducing the data having the converted record number on the monitor;
    A data synchronization control program characterized in that
  10. 　請求項９記載のデータ同期制御プログラムにおいて、さらに、
    　前記モニタに表示されている前記プロセスデータにおいて、特定のタイミングにおける前記データが指定された場合、指定された当該データの前記レコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記フレーム番号に変換して、変換したフレーム番号を有する前記画像データを再生させるステップを
    　実行させることを特徴とするデータ同期制御プログラム。     The data synchronization control program according to claim 9, further comprising:
    In the process data displayed on the monitor, when the data at a specific timing is specified, the record number of the specified data is determined based on the sampling interval of the data and the frame period of the image frame. A data synchronization control program that executes the step of converting the frame number into the frame number and reproducing the image data having the converted frame number.
  11. 　請求項９または請求項１０記載のデータ同期制御プログラムにおいて、さらに、
    　前記モニタに表示されているプロセスデータにおいて、別ファイルとして記憶するデータの範囲が指定された場合、指定された範囲の前記データのレコード番号を、前記データのサンプリング間隔と前記画像フレームのフレーム周期とに基づいて前記画像フレームのフレーム番号に変換して、指定された範囲の前記データに同期した範囲の画像フレームを選択するステップと、
    　指定された範囲の前記データと、選択された範囲の前記画像フレームとを同一ファイルとして記憶するステップと、
    　を実行させることを特徴とするデータ同期制御プログラム。     The data synchronization control program according to claim 9 or 10, further comprising:
    In the process data displayed on the monitor, when a range of data to be stored as a separate file is specified, the record number of the data in the specified range is set to the sampling interval of the data and the frame period of the image frame. Converting the frame number of the image frame on the basis of and selecting an image frame in a range synchronized with the data in a specified range;
    Storing the data in the specified range and the image frames in the selected range as the same file;
    A data synchronization control program characterized in that
  12. 　請求項９～請求項１１のいずれか一の請求項に記載のデータ同期制御プログラムにおいて、さらに、
    　外部入力に基づき、前記画像データ再生部によって前記画像データが表示される画像データ再生エリアと、前記データ同期再生制御部によって前記プロセスデータが表示されるプロセスデータ再生エリアとを前記モニタ上に設定すると共に、前記画像データ再生エリアにおいて所定の条件内で、再生すべき画像データの数および大きさを設定するステップ、
    　を実行させることを特徴とするデータ同期制御プログラム。     In the data synchronization control program according to any one of claims 9 to 11, further comprising:
    Based on an external input, an image data reproduction area where the image data is displayed by the image data reproduction unit and a process data reproduction area where the process data is displayed by the data synchronous reproduction control unit are set on the monitor. And setting the number and size of image data to be reproduced within a predetermined condition in the image data reproduction area;
    A data synchronization control program characterized in that
PCT/JP2011/059010 2011-04-11 2011-04-11 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program WO2012140715A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013509678A JP5478776B2 (en) 2011-04-11 2011-04-11 Data synchronous reproduction apparatus, data synchronous reproduction method, and data synchronous control program
PCT/JP2011/059010 WO2012140715A1 (en) 2011-04-11 2011-04-11 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program
TW100118960A TWI454141B (en) 2011-04-11 2011-05-31 Data synchronous regeneration device, data synchronous regeneration method and data synchronization control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/059010 WO2012140715A1 (en) 2011-04-11 2011-04-11 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program

Publications (1)

Publication Number Publication Date
WO2012140715A1 true WO2012140715A1 (en) 2012-10-18

Family

ID=47008926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059010 WO2012140715A1 (en) 2011-04-11 2011-04-11 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program

Country Status (3)

Country Link
JP (1) JP5478776B2 (en)
TW (1) TWI454141B (en)
WO (1) WO2012140715A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060612A (en) * 2013-09-19 2015-03-30 株式会社デンソー Information processing apparatus
CN104707868A (en) * 2013-12-11 2015-06-17 东芝三菱电机产业***株式会社 Data analysis device
JP6113370B1 (en) * 2016-01-22 2017-04-12 三菱電機株式会社 Storage device, control device, display device, and storage method
JP2020102130A (en) * 2018-12-25 2020-07-02 東芝三菱電機産業システム株式会社 Data collection and reproduction system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579951A (en) * 1991-09-18 1993-03-30 Hitachi Ltd Monitoring system
JPH0620180A (en) * 1992-06-30 1994-01-28 Hitachi Ltd Event reproducing device
JP2005188998A (en) * 2003-12-24 2005-07-14 Toyota Motor Corp Driving action analyzer
JP2005332069A (en) * 2004-05-18 2005-12-02 Nippon Steel Corp Apparatus and method for generating online supervision and analysis screen, computer program and recording medium
WO2008143315A1 (en) * 2007-05-22 2008-11-27 Nec San-Ei Instruments, Ltd. Data recording/reproducing device
JP2010072739A (en) * 2008-09-16 2010-04-02 Shinano Kenshi Co Ltd Data collection device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093807A (en) * 1987-12-23 1992-03-03 Texas Instruments Incorporated Video frame storage system
JP2895269B2 (en) * 1991-07-31 1999-05-24 株式会社東芝 Plant monitoring system
CN101529890B (en) * 2006-10-24 2011-11-30 索尼株式会社 Imaging device and reproduction control device
JP2009076084A (en) * 2008-10-16 2009-04-09 Geo Technical Laboratory Co Ltd Device and method for supporting image creation, computer program, and recording medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579951A (en) * 1991-09-18 1993-03-30 Hitachi Ltd Monitoring system
JPH0620180A (en) * 1992-06-30 1994-01-28 Hitachi Ltd Event reproducing device
JP2005188998A (en) * 2003-12-24 2005-07-14 Toyota Motor Corp Driving action analyzer
JP2005332069A (en) * 2004-05-18 2005-12-02 Nippon Steel Corp Apparatus and method for generating online supervision and analysis screen, computer program and recording medium
WO2008143315A1 (en) * 2007-05-22 2008-11-27 Nec San-Ei Instruments, Ltd. Data recording/reproducing device
JP2010072739A (en) * 2008-09-16 2010-04-02 Shinano Kenshi Co Ltd Data collection device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060612A (en) * 2013-09-19 2015-03-30 株式会社デンソー Information processing apparatus
CN104707868A (en) * 2013-12-11 2015-06-17 东芝三菱电机产业***株式会社 Data analysis device
JP6113370B1 (en) * 2016-01-22 2017-04-12 三菱電機株式会社 Storage device, control device, display device, and storage method
JP2020102130A (en) * 2018-12-25 2020-07-02 東芝三菱電機産業システム株式会社 Data collection and reproduction system
JP7020392B2 (en) 2018-12-25 2022-02-16 東芝三菱電機産業システム株式会社 Data collection and playback system

Also Published As

Publication number Publication date
TW201242349A (en) 2012-10-16
JPWO2012140715A1 (en) 2014-07-28
TWI454141B (en) 2014-09-21
JP5478776B2 (en) 2014-04-23

Similar Documents

Publication Publication Date Title
JP5820055B2 (en) Data synchronous reproduction apparatus, data synchronous reproduction method, and data synchronous control program
JP4685465B2 (en) Monitoring and recording device
CN101267523B (en) Device for processing motion image, imaging apparatus, image display control method
JP5478776B2 (en) Data synchronous reproduction apparatus, data synchronous reproduction method, and data synchronous control program
EP2227029A2 (en) Image processing apparatus, image processing method, and program
KR20190005188A (en) Method and apparatus for generating a composite video stream from a plurality of video segments
TWI635389B (en) Plant operation status analysis system
JP2004236211A (en) Image processing system
JP2007324663A (en) Video camera
JPH11327634A (en) Equipment logging device
JP3288715B2 (en) Image capturing device, image storage / playback device equipped with image capturing device, and image input device
JP4594161B2 (en) Video processing apparatus and video processing method
JP2010093323A (en) Monitoring system
JP3261993B2 (en) Moving image recording method and moving image storage / reproduction method
JP2024065386A (en) Video recording device, video recording device control method, and program
JP3812508B2 (en) Video recording device, video conversion device, and video editing device
JP5859100B2 (en) Image recording device
JP2011188193A (en) Recording/reproduction device, and recording/reproduction method
JP2001186469A (en) Intermittent picture recording device and its method
JP2010224995A (en) Operation screen recorder
JP2014086815A (en) Electronic apparatus
JP2005276383A (en) Picture file recording and reproducing apparatus and picture file recording and reproducing program
JP2005223485A (en) Image processing apparatus, image processing system, and image processing method
JP2005217786A (en) Image recording device and method therefor
JP2003009080A (en) Monitor image recording and reproducing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11863591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013509678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11863591

Country of ref document: EP

Kind code of ref document: A1