JP6355878B1 - Display and display method - Google Patents
Display and display method Download PDFInfo
- Publication number
- JP6355878B1 JP6355878B1 JP2018516215A JP2018516215A JP6355878B1 JP 6355878 B1 JP6355878 B1 JP 6355878B1 JP 2018516215 A JP2018516215 A JP 2018516215A JP 2018516215 A JP2018516215 A JP 2018516215A JP 6355878 B1 JP6355878 B1 JP 6355878B1
- Authority
- JP
- Japan
- Prior art keywords
- video
- slave
- event
- frame
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims abstract description 117
- 230000001360 synchronised effect Effects 0.000 claims abstract description 51
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 46
- 238000012544 monitoring process Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
プログラマブル表示器において、同期再生させる複数の映像のうち基準の映像となるマスタ映像と、複数の映像のうち再生速度が調整される映像であるスレーブ映像と、マスタ映像の一部とスレーブ映像の一部との同期再生を開始させるイベントである開始イベントと、同期再生を終了させるイベントである終了イベントと、を記憶する記憶部と、開始イベントから終了イベントまでの間のスレーブ映像内の映像と、開始イベントから終了イベントまでの間のマスタ映像内の映像と、が同期再生されるよう、開始イベントから終了イベントまでの間のスレーブ映像の再生速度の設定を調整するデータ処理部と、開始イベントから終了イベントまでの間、マスタ映像および調整後のスレーブ映像を同期再生する表示部と、を備える。In a programmable display, a master video that is a reference video among a plurality of videos to be played back synchronously, a slave video that is a video whose playback speed is adjusted among a plurality of videos, a part of the master video, and one of the slave videos A storage unit for storing a start event that is an event for starting synchronized playback with a unit and an end event that is an event for ending synchronized playback, and a video in a slave video between the start event and the end event, From the start event, a data processing unit that adjusts the playback speed setting of the slave video from the start event to the end event so that the video in the master video from the start event to the end event is played back synchronously. A display unit that synchronously reproduces the master video and the adjusted slave video until the end event.
Description
本発明は、映像を表示する表示器および表示方法に関する。 The present invention relates to a display for displaying video and a display method.
近年、映像を表示する表示器は、映像の表示速度を変える機能、複数の映像を同時に表示する機能といった種々の表示機能を有しており、様々な態様で映像を表示することができる。 In recent years, display devices that display video have various display functions such as a function of changing the display speed of video and a function of simultaneously displaying a plurality of videos, and can display video in various modes.
特許文献１に記載の動画再生装置は、マスタ側の映像とスレーブ側の映像とを同じフレームレートで撮影しておき、マスタ側の特定の動作の動作速度とスレーブ側の特定の動作の動作速度とを比較している。そして、特許文献１に記載の動画再生装置は、動作速度の比較結果に基づいてスレーブ側の再生速度を制御し、これにより、マスタ側の映像とスレーブ側の映像とを同期再生している。 The moving image reproducing device described in Patent Document 1 captures the master side video and the slave side video at the same frame rate, and operates the operation speed of a specific operation on the master side and the operation speed of a specific operation on the slave side. And comparing. The moving image playback apparatus described in Patent Document 1 controls the playback speed on the slave side based on the comparison result of the operation speeds, thereby synchronously playing back the master side video and the slave side video.
しかしながら、上記従来の技術である特許文献１では、マスタ側の映像とスレーブ側の映像とを同じフレームレートで撮影しておく必要があるので、映像を撮像する際の制約が多くなるという問題があった。 However, in Patent Document 1, which is the above-described conventional technique, it is necessary to capture the master-side image and the slave-side image at the same frame rate. there were.
本発明は、上記に鑑みてなされたものであって、種々の条件で動画フレームが取得されている複数の映像を同期再生することができる表示器を得ることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to obtain a display capable of synchronously reproducing a plurality of videos in which a moving image frame is acquired under various conditions.
上述した課題を解決し、目的を達成するために、本発明は、表示器において、同期再生させる複数の映像のうち基準の映像となるマスタ映像と、前記複数の映像のうち再生速度が調整される映像であるスレーブ映像と、前記マスタ映像の一部と前記スレーブ映像の一部との同期再生を開始させるイベントである開始イベントと、前記同期再生を終了させるイベントである終了イベントと、を記憶する記憶部を備える。また、本発明の表示器において、前記スレーブ映像の一部である前記開始イベントから前記終了イベントまでの間の前記スレーブ映像内の映像と、前記マスタ映像の一部である前記開始イベントから前記終了イベントまでの間の前記マスタ映像内の映像と、が同期再生されるよう、前記開始イベントから前記終了イベントまでの間の前記スレーブ映像の再生速度の設定を調整するデータ処理部を備える。また、本発明の表示器において、前記開始イベントから前記終了イベントまでの間、前記マスタ映像および調整後の前記スレーブ映像を同期再生する表示部を備える。また、本発明の表示器において、前記マスタ映像または前記スレーブ映像は、リアルタイムの映像である。 In order to solve the above-described problems and achieve the object, the present invention provides a display device in which a master video serving as a reference video among a plurality of videos to be synchronously played back and a playback speed of the plurality of videos are adjusted. A slave video that is a video to be recorded, a start event that is an event that starts synchronous playback of a part of the master video and a part of the slave video, and an end event that is an event that ends the synchronous playback A storage unit is provided. In the display device of the present invention, the video in the slave video from the start event to the end event that is a part of the slave video, and the end from the start event that is a part of the master video A data processing unit is provided that adjusts the setting of the playback speed of the slave video from the start event to the end event so that the video in the master video up to the event is played back synchronously. The display device of the present invention further includes a display unit that synchronously reproduces the master video and the adjusted slave video from the start event to the end event. In the display device of the present invention, the master video or the slave video is a real-time video.
本発明にかかる表示器は、種々の条件で動画フレームが取得されている複数の映像を同期再生することができるという効果を奏する。 The display according to the present invention has an effect that a plurality of videos in which a moving image frame is acquired under various conditions can be synchronously reproduced.
以下に、本発明の実施の形態にかかる表示器および表示方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。 Below, the indicator and display method concerning an embodiment of the invention are explained in detail based on a drawing. Note that the present invention is not limited to the embodiments.
実施の形態
図１は、本発明の実施の形態にかかるプログラマブル表示器の構成を示すブロック図である。表示器の一例であるプログラマブル表示器１０は、外部装置３０および撮像装置４０に接続されている。Embodiment FIG. 1 is a block diagram showing a configuration of a programmable display according to an embodiment of the present invention. A programmable display 10 that is an example of a display is connected to the external device 30 and the imaging device 40.
外部装置３０の例は、プログラマブルロジックコントローラ（ＰＬＣ：Programmable Logic Controller）といった制御機器である。外部装置３０がＰＬＣである場合、外部装置３０は、センサまたはロボットといった他機器から収集した情報をプログラマブル表示器１０に送る。なお、センサまたはロボットといった他機器が、外部装置３０であってもよい。以下では、外部装置３０がＰＬＣである場合について説明する。したがって、センサまたはロボットといった他機器で検出された情報は、ＰＬＣを介してプログラマブル表示器１０に送られる。 An example of the external device 30 is a control device such as a programmable logic controller (PLC). When the external device 30 is a PLC, the external device 30 sends information collected from another device such as a sensor or a robot to the programmable display 10. The external device 30 may be another device such as a sensor or a robot. Below, the case where the external apparatus 30 is PLC is demonstrated. Therefore, information detected by another device such as a sensor or a robot is sent to the programmable display 10 via the PLC.
外部装置３０は、工程の開始を示すイベントおよび工程の終了を示すイベントをプログラマブル表示器１０に送る。以下の説明では、工程の開始を示すイベントを開始イベントＶ１といい、工程の終了を示すイベントを終了イベントＶ２という。外部装置３０は、第１のトリガ条件が満たされた場合に開始イベントＶ１を発生させ、第２のトリガ条件が満たされた場合に終了イベントＶ２を発生させる。開始イベントＶ１および終了イベントＶ２は、工程中に特定のイベントが発生したことを示す情報である。イベント情報である開始イベントＶ１および終了イベントＶ２の例は、外部装置３０が監視する監視対象についてのデバイス値またはセンサ情報である。開始イベントＶ１および終了イベントＶ２は、接点のオン、接点のオフ、ステートメントの遷移、または検出された数値の遷移といった事象が生じた場合に発生する。開始イベントＶ１および終了イベントＶ２は、外部装置３０からプログラマブル表示器１０へのビットのオンまたはオフによって発生の有無が表される。 The external device 30 sends an event indicating the start of the process and an event indicating the end of the process to the programmable display 10. In the following description, an event indicating the start of a process is referred to as a start event V1, and an event indicating the end of a process is referred to as an end event V2. The external device 30 generates a start event V1 when the first trigger condition is satisfied, and generates an end event V2 when the second trigger condition is satisfied. The start event V1 and the end event V2 are information indicating that a specific event has occurred during the process. Examples of the start event V1 and the end event V2, which are event information, are device values or sensor information about a monitoring target monitored by the external device 30. The start event V1 and the end event V2 occur when an event such as contact ON, contact OFF, statement transition, or detected numeric value transition occurs. The start event V1 and the end event V2 indicate whether or not the start event V1 and the end event V2 are generated by turning on or off a bit from the external device 30 to the programmable display 10.
プログラマブル表示器１０は、ＰＬＣの内部メモリの値、ＰＬＣがセンサまたはロボットから取得した情報、撮像装置４０が撮像した映像といった種々の情報を表示する機器である。 The programmable display 10 is a device that displays various information such as the value of an internal memory of the PLC, information acquired by the PLC from a sensor or robot, and an image captured by the imaging device 40.
実施の形態のプログラマブル表示器１０は、外部装置３０から送られてくる開始イベントＶ１および終了イベントＶ２に基づいて、種々の条件でフレームが取得されている複数の映像を同期再生する。具体的には、プログラマブル表示器１０は、開始イベントＶ１から終了イベントＶ２までの間、後述するスレーブ映像と後述するマスタ映像とが同期再生されるよう、スレーブ映像の再生速度を調整する。なお、実施の形態では、プログラマブル表示器１０が、工場の生産工程の自動化を図るＦＡ（Factory Automation）の分野で用いられる表示器である場合について説明する。 The programmable display device 10 according to the embodiment synchronously reproduces a plurality of videos whose frames are acquired under various conditions based on the start event V1 and the end event V2 sent from the external device 30. Specifically, the programmable display 10 adjusts the reproduction speed of the slave video so that the slave video described later and the master video described later are synchronously reproduced from the start event V1 to the end event V2. In the embodiment, a case will be described in which the programmable display 10 is a display used in the field of FA (Factory Automation) for automating the production process of a factory.
撮像装置４０は、工場内の製品、製造装置または材料といった種々の監視対象を撮像し、撮像データである映像をプログラマブル表示器１０に送る。監視対象は、外部装置３０が制御装置である場合には被制御装置であり、外部装置３０がセンサといったセンシング機器である場合には、被センシング装置である。なお、撮像装置４０は、監視対象を撮像した映像を録画しておいてもよい。 The imaging device 40 images various monitoring objects such as products, manufacturing devices, and materials in a factory, and sends an image as imaging data to the programmable display 10. The monitoring target is a controlled device when the external device 30 is a control device, and is a controlled device when the external device 30 is a sensing device such as a sensor. Note that the imaging device 40 may record a video image of the monitoring target.
撮像装置４０は、同期再生させる映像のうち基準となる映像であるマスタ映像と、同期再生させる映像のうち再生速度が調整される映像であるスレーブ映像とを撮像する。何れの映像がマスタ映像となり、何れの映像がスレーブ映像となるかは、同期再生の際に操作者によってプログラマブル表示器１０で指定される。撮像装置４０は、撮像した映像を撮像装置接続ＩＦ（Ｉ／Ｆ：Interface）１３に送る。撮像装置４０が撮像装置接続ＩＦ１３に送る映像の例は、カメラまたはビデオによって撮像された映像である。 The imaging device 40 captures a master video that is a reference video among videos to be synchronized and reproduced, and a slave video that is a video whose playback speed is adjusted among the videos to be synchronized and reproduced. Which video is the master video and which video is the slave video is designated by the operator on the programmable display 10 at the time of synchronized playback. The imaging device 40 sends the captured video to the imaging device connection IF (I / F: Interface) 13. An example of an image sent from the imaging device 40 to the imaging device connection IF 13 is an image taken by a camera or a video.
なお、マスタ映像およびスレーブ映像を撮像する撮像装置４０は、１つであってもよいし、複数であってもよい。すなわち、マスタ映像およびスレーブ映像は、同一の撮像装置４０で撮像されてもよいし、異なる撮像装置４０で撮像されてもよい。また、マスタ映像およびスレーブ映像は、同時に撮像されてもよいし、異なる日時に撮像されてもよい。なお、マスタ映像およびスレーブ映像は、同時に撮像される場合には、異なる撮像装置４０で撮像される。また、マスタ映像およびスレーブ映像は、同一の角度から撮像されてもよいし、異なる角度から撮像されてもよい。 Note that there may be one or more imaging devices 40 that capture the master video and the slave video. That is, the master video and the slave video may be captured by the same imaging device 40 or may be captured by different imaging devices 40. Further, the master video and the slave video may be captured at the same time or may be captured at different dates and times. Note that the master video and the slave video are captured by different imaging devices 40 when captured simultaneously. Further, the master video and the slave video may be captured from the same angle or may be captured from different angles.
また、マスタ映像とスレーブ映像とは、フレームレートが異なる映像であってもよいし、フレームレートが同じ映像であってもよい。フレームレートは、単位時間当たりのフレーム数である。 Further, the master video and the slave video may be videos having different frame rates, or videos having the same frame rate. The frame rate is the number of frames per unit time.
また、マスタ映像のうち同期再生される映像部分とスレーブ映像のうち同期再生される映像部分とは、撮像時間である撮像長さが異なっていてもよいし、撮像時間が同じであってもよい。マスタ映像のうち同期再生される映像部分は、後述のマスタ開始フレームＭＳからマスタ終了フレームＭＥまでの映像であり、スレーブ映像のうち同期再生される映像部分は、後述のスレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでの映像である。 In addition, the video portion that is synchronously reproduced in the master video and the video portion that is synchronously reproduced in the slave video may have different imaging lengths, which are imaging times, or may be the same imaging time. . The portion of the master video that is played back synchronously is a video from a master start frame MS to a master end frame ME, which is described later, and the portion of the slave video that is played back synchronously is slaved from the slave start frame SS that is described later. It is an image up to the frame SE.
以下の説明では、撮像装置４０は、１つであり、同一の撮像装置４０が異なる日時にマスタ映像およびスレーブ映像を撮像する場合について説明する。また、実施の形態では、撮像装置４０が撮像するマスタ映像は、監視対象を第１の動作で動作させた場合の映像であり、撮像装置４０が撮像するスレーブ映像は、監視対象を第２の動作で動作させた場合の映像であるとする。 In the following description, there is one imaging device 40, and a case where the same imaging device 40 captures a master video and a slave video at different dates will be described. In the embodiment, the master video captured by the imaging device 40 is a video when the monitoring target is operated by the first operation, and the slave video captured by the imaging device 40 is the second monitoring target. It is assumed that the video is a motion image.
外部装置３０がプログラマブル表示器１０にセンサで検出された検出値を送る場合、センサが検出した検出値が基準値を超えると、外部装置３０が、開始イベントＶ１または終了イベントＶ２の発生を検出してプログラマブル表示器１０に送る。また、外部装置３０がプログラマブル表示器１０にロボットアームといったロボットで検出された動作の情報を送る場合、ロボットが特定の動作をすると、外部装置３０が、開始イベントＶ１または終了イベントＶ２の発生を検出してプログラマブル表示器１０に送る。また、外部装置３０がラダープログラムといったプログラムに従って動作する場合、外部装置３０が特定の動作に対応するプログラムを実行すると、外部装置３０が、開始イベントＶ１または終了イベントＶ２の発生を検出してプログラマブル表示器１０に送る。 When the external device 30 sends the detection value detected by the sensor to the programmable display 10, when the detection value detected by the sensor exceeds the reference value, the external device 30 detects the occurrence of the start event V1 or the end event V2. To the programmable display 10. Further, when the external device 30 sends information on the motion detected by the robot such as the robot arm to the programmable display 10, when the robot performs a specific motion, the external device 30 detects the occurrence of the start event V1 or the end event V2. To the programmable display 10. Further, when the external device 30 operates according to a program such as a ladder program, when the external device 30 executes a program corresponding to a specific operation, the external device 30 detects the occurrence of the start event V1 or the end event V2 and can perform programmable display. Send to vessel 10.
プログラマブル表示器１０は、撮像装置４０から送られてくる映像を受信する撮像装置接続ＩＦ１３を備えている。撮像装置４０から送られてくる映像は、マスタ映像またはスレーブ映像に設定される映像である。また、プログラマブル表示器１０は、外部装置３０から送られてくる開始イベントＶ１および終了イベントＶ２を受信する外部装置接続ＩＦ１２を備えている。また、プログラマブル表示器１０は、操作者からの指示を受付ける入力部１１と、映像の再生速度を調整するデータ処理部１４とを備えている。また、プログラマブル表示器１０は、映像を表示する表示部１７と、表示部１７に表示させる情報を生成する表示情報生成部１６と、データ処理部１４から送られてくる映像を記憶する記憶部１５とを備えている。
The programmable display 10 includes an imaging device connection IF 13 that receives an image transmitted from the imaging device 40. The video sent from the imaging device 40 is a video set as a master video or a slave video. The programmable display 10 also includes an external device connection IF 12 that receives a start event V1 and an end event V2 sent from the external device 30. In addition, the programmable display device 10 includes an
外部装置接続ＩＦ１２は、外部装置３０と通信するためのインタフェースである。外部装置接続ＩＦ１２は、外部装置３０に接続されており、外部装置３０から送られてくる開始イベントＶ１および終了イベントＶ２を受信する。外部装置接続ＩＦ１２の例は、ＵＳＢ（Universal Serial Bus）コネクタまたはＲＳ（Recommended Standard）−２３２Ｃコネクタである。外部装置接続ＩＦ１２は、受信した開始イベントＶ１および終了イベントＶ２をデータ処理部１４に送る。 The external device connection IF 12 is an interface for communicating with the external device 30. The external device connection IF 12 is connected to the external device 30 and receives a start event V1 and an end event V2 sent from the external device 30. An example of the external device connection IF 12 is a USB (Universal Serial Bus) connector or an RS (Recommended Standard) -232C connector. The external device connection IF 12 sends the received start event V1 and end event V2 to the data processing unit 14.
撮像装置接続ＩＦ１３は、撮像装置４０と通信するためのインタフェースである。撮像装置接続ＩＦ１３は、撮像装置４０に接続されており、撮像装置４０から送られてくる映像を受信する。撮像装置接続ＩＦ１３の例は、ＵＳＢコネクタまたはイーサネット（登録商標）である。撮像装置接続ＩＦ１３は、受信した映像をデータ処理部１４に送る。 The imaging device connection IF 13 is an interface for communicating with the imaging device 40. The imaging device connection IF 13 is connected to the imaging device 40 and receives an image transmitted from the imaging device 40. An example of the imaging device connection IF 13 is a USB connector or Ethernet (registered trademark). The imaging device connection IF 13 sends the received video to the data processing unit 14.
入力部１１は、マウス、キーボードまたはタッチパネルである。入力部１１は、操作者によってマウス、キーボードまたはタッチパネルに指示が入力されると、この指示を受付けてデータ処理部１４に入力する。
The
入力部１１は、操作者による以下の（１）から（７）の指示を受付けるインタフェースであり、受付けた指示をデータ処理部１４に入力する。
（１）開始イベントＶ１の種類を指定する指示
（２）終了イベントＶ２の種類を指定する指示
（３）映像の録画を開始する指示
（４）映像の録画を終了する指示
（５）同期再生させるマスタ映像を指定する指示
（６）同期再生させるスレーブ映像を指定する指示
（７）マスタ映像およびスレーブ映像の同期再生を開始させる指示The
(1) Instruction to specify the type of start event V1 (2) Instruction to specify the type of end event V2 (3) Instruction to start video recording (4) Instruction to end video recording (5) Synchronous playback Instruction to specify master video (6) Instruction to specify slave video for synchronous playback (7) Instruction to start synchronous playback of master video and slave video
データ処理部１４は、開始イベントＶ１の種類を指定する指示を入力部１１から受信すると、映像の同期再生の開始タイミングである開始イベントＶ１を設定する。また、データ処理部１４は、終了イベントＶ２の種類を指定する指示を入力部１１から受信すると、映像の同期再生の終了タイミングである終了イベントＶ２を設定する。データ処理部１４は、設定した開始イベントＶ１および終了イベントＶ２を記憶部１５に記憶させる。
When the data processing unit 14 receives an instruction designating the type of the start event V1 from the
データ処理部１４は、ＲＡＭ（Random Access Memory）１４０を備えており、ＲＡＭ１４０が、撮像装置４０から送られてくる映像を一時記憶する。ＲＡＭ１４０は、リングバッファの機能を有しており、データ処理部１４は、ＲＡＭ１４０内のデータ格納領域が映像で満たされると、古い映像から順番に削除し、新しい映像を優先的に格納する。
The data processing unit 14 includes a RAM (Random Access Memory) 140, and the
データ処理部１４は、映像の録画を開始する指示を入力部１１から受信すると、撮像装置４０から送られてくる映像の録画を開始して映像をＲＡＭ１４０に格納する。具体的には、データ処理部１４は、映像の映像信号にＡＤ（Analog-to-Digital：アナログ−デジタル）変換といった処理を実行することによって、映像信号を電子データ化し、これにより映像データを生成する。そして、データ処理部１４は、生成した映像データを記憶部１５に記憶させる。
When receiving an instruction to start video recording from the
データ処理部１４は、録画中に、設定済みの開始イベントＶ１と同じ開始イベントＶ１が外部装置３０から送られてくると開始イベントＶ１を検出し、開始イベントＶ１を検出したタイミングで取得されたフレームのフレーム位置をＲＡＭ１４０に格納する。また、データ処理部１４は、録画中に、設定済みの終了イベントＶ２と同じ終了イベントＶ２が外部装置３０から送られてくると終了イベントＶ２を検出し、終了イベントＶ２を検出したタイミングで取得されたフレームのフレーム位置をＲＡＭ１４０に格納する。
The data processing unit 14 detects the start event V1 when the same start event V1 as the set start event V1 is sent from the external device 30 during recording, and the frame acquired at the timing when the start event V1 is detected. Are stored in the
フレーム位置は、フレームが映像データの先頭から何番目のフレームであるかを表すフレーム番号の情報である。以下の説明では、プログラマブル表示器１０が、フレーム番号をフレーム位置とする場合について説明するが、プログラマブル表示器１０は、フレーム番号の代わりに映像の経過時間をフレーム位置に用いてもよい。また、以下の説明では、開始イベントＶ１を検出したタイミングで取得されたフレームのフレーム位置を開始フレーム位置という。また、終了イベントＶ２を検出したタイミングで取得されたフレームのフレーム位置を終了フレーム位置という。開始フレーム位置は、同期再生される映像部分の最初のフレームの位置であり、終了フレーム位置は、同期再生される映像部分の最後のフレームの位置である。 The frame position is frame number information indicating the frame number from the top of the video data. Although the following description demonstrates the case where the programmable display 10 makes a frame number a frame position, the programmable display 10 may use the elapsed time of an image | video for a frame position instead of a frame number. In the following description, the frame position of the frame acquired at the timing when the start event V1 is detected is referred to as the start frame position. The frame position of the frame acquired at the timing when the end event V2 is detected is referred to as the end frame position. The start frame position is the position of the first frame of the video portion to be played back synchronously, and the end frame position is the position of the last frame of the video portion to be played back synchronously.
データ処理部１４は、録画の完了したＲＡＭ１４０内の映像部分を記憶部１５に記憶させる。データ処理部１４は、ＲＡＭ１４０内の映像部分であって記憶部１５に未格納である最新の映像部分を順番に記憶部１５に記憶させる。この場合において、データ処理部１４は、録画済みの映像と、開始フレーム位置と、終了フレーム位置とを対応付けして記憶部１５に記憶させる。データ処理部１４が記憶部１５に記憶させる映像は、開始フレーム位置のフレームと、終了フレーム位置のフレームとを含んでいる。
The data processing unit 14 causes the
データ処理部１４は、映像の録画を終了する指示を入力部１１から受信すると、映像をＲＡＭ１４０に格納する処理を終了する。そして、データ処理部１４は、ＲＡＭ１４０内の全ての最新映像部分を記憶部１５に記憶させると、映像を記憶部１５に格納する処理を終了する。これにより、記憶部１５は、録画を開始してから終了するまでの一連の映像を記憶する。
When receiving an instruction from the
データ処理部１４は、スレーブ映像を指定する指示を入力部１１から受信すると、指定されたスレーブ映像を記憶部１５から読み出す。データ処理部１４は、読み出した映像のフレームのうち、開始フレーム位置のフレームをスレーブ開始フレームＳＳに設定する。スレーブ開始フレームＳＳは、スレーブ映像のうち、開始イベントＶ１が発生した第１タイミングのフレームであり、同期再生を開始するフレームである。換言すると、スレーブ開始フレームＳＳは、同期再生が行われるスレーブ映像の１つ目のフレームである。
When the data processing unit 14 receives an instruction to designate a slave video from the
また、データ処理部１４は、読み出した映像のフレームのうち、終了フレーム位置のフレームをスレーブ終了フレームＳＥに設定する。スレーブ終了フレームＳＥは、スレーブ映像のうち、終了イベントＶ２が発生した第２タイミングのフレームであり、同期再生を終了するフレームである。換言すると、スレーブ終了フレームＳＥは、同期再生が行われるスレーブ映像の最後のフレームである。スレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでに監視対象で実行される処理が、１タクト分の処理である。１タクト分の処理は、ＰＬＣが実行する１つのシーケンス処理の範囲内に含まれる処理である。１タクト分の処理の一例は、センサによって開始イベントＶ１が検出されてからセンサによって終了イベントＶ２が検出されるまでの処理である。 Further, the data processing unit 14 sets the frame at the end frame position among the read video frames as the slave end frame SE. The slave end frame SE is a frame at the second timing in the slave video where the end event V2 occurs, and is a frame for ending the synchronized playback. In other words, the slave end frame SE is the last frame of the slave video on which synchronized playback is performed. The process executed on the monitoring target from the slave start frame SS to the slave end frame SE is a process for one tact. The process for one tact is a process included in the range of one sequence process executed by the PLC. An example of processing for one tact is processing from when the start event V1 is detected by the sensor to when the end event V2 is detected by the sensor.
データ処理部１４は、マスタ映像を指定する指示を入力部１１から受信すると、指定されたマスタ映像を記憶部１５から読み出す。データ処理部１４は、読み出した映像のフレームのうち、開始フレーム位置のフレームをマスタ開始フレームＭＳに設定する。マスタ開始フレームＭＳは、マスタ映像のうち、開始イベントＶ１が発生した第３タイミングのフレームであり、同期再生を開始するフレームである。換言すると、マスタ開始フレームＭＳは、同期再生が行われるマスタ映像の１つ目のフレームである。
When the data processing unit 14 receives an instruction to designate a master video from the
また、データ処理部１４は、読み出した映像のフレームのうち、終了フレーム位置のフレームをマスタ終了フレームＭＥに設定する。マスタ終了フレームＭＥは、マスタ映像のうち、終了イベントＶ２が発生した第４タイミングのフレームであり、同期再生を終了するフレームである。換言すると、マスタ終了フレームＭＥは、同期再生が行われるマスタ映像の最後のフレームである。 Further, the data processing unit 14 sets the frame at the end frame position among the read video frames as the master end frame ME. The master end frame ME is a frame at the fourth timing in the master video where the end event V2 occurs, and is a frame that ends the synchronous reproduction. In other words, the master end frame ME is the last frame of the master video on which synchronized playback is performed.
なお、データ処理部１４は、複数のスレーブ映像を指定する指示を入力部１１から受信すると、指定された複数のスレーブ映像のそれぞれに、スレーブ開始フレームＳＳおよびスレーブ終了フレームＳＥを設定する。
When the data processing unit 14 receives an instruction for designating a plurality of slave videos from the
データ処理部１４は、マスタ映像およびスレーブ映像の同期再生を開始させる指示を入力部１１から受信すると、開始イベントＶ１から終了イベントＶ２までの間スレーブ映像とマスタ映像とが同期再生されるよう、スレーブ映像の再生速度の設定を調整する。このとき、データ処理部１４は、スレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでの再生時間が、マスタ開始フレームＭＳからマスタ終了フレームＭＥまでの再生時間と同じになるよう、スレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでの再生速度の設定を調整する。この場合において、データ処理部１４は、スレーブ映像が一定のフレームレートで再生されるようスレーブ映像の再生速度の設定を調整する。データ処理部１４は、マスタ映像と、再生速度の設定を調整したスレーブ映像とを表示情報生成部１６に送る。
When the data processing unit 14 receives an instruction from the
なお、データ処理部１４は、同期再生させるマスタ映像およびスレーブ映像を指定する指示を入力部１１から受信すると、マスタ映像およびスレーブ映像の同期再生を開始させる指示があったものと判断してもよい。この場合、データ処理部１４は、同期再生を開始させる指示を受信することなく、スレーブ映像の再生速度を調整する。
Note that the data processing unit 14 may determine that there is an instruction to start synchronous playback of the master video and the slave video when receiving an instruction to specify the master video and slave video to be played back synchronously from the
記憶部１５は、不揮発性の記憶装置である。記憶部１５の例は、フラッシュメモリといった不揮発性メモリ、ＨＤＤ（Hard Disk Drive）といったドライブである。記憶部１５は、監視対象が撮像された映像である、マスタ映像およびスレーブ映像を記憶する。また、記憶部１５は、マスタ映像の一部とスレーブ映像の一部との同期再生を開始させるイベントである開始イベントＶ１と、同期再生を終了させるイベントである終了イベントＶ２とを記憶する。
The
表示情報生成部１６は、データ処理部１４から送られてくるマスタ映像と、再生速度の設定が調整されたスレーブ映像とに基づいて、表示部１７が映像を表示するための画面データを生成する。表示情報生成部１６が生成する映像の例は、マスタ映像と、再生速度が調整されたスレーブ映像とを、同時に表示させる映像である。この場合、表示情報生成部１６は、映像表示画面のうちの第１の領域にマスタ映像を表示させ、第２の領域に再生速度が調整されたスレーブ映像を表示させる映像を生成する。表示情報生成部１６は、生成した映像を表示部１７に送る。 The display information generation unit 16 generates screen data for the display unit 17 to display the video, based on the master video sent from the data processing unit 14 and the slave video whose playback speed is adjusted. . An example of the video generated by the display information generating unit 16 is a video that simultaneously displays a master video and a slave video whose playback speed is adjusted. In this case, the display information generation unit 16 generates a video for displaying the master video in the first area of the video display screen and displaying the slave video with the playback speed adjusted in the second area. The display information generation unit 16 sends the generated video to the display unit 17.
表示部１７は、データ、画像および映像といった種々の情報を表示する機能部である。表示情報生成部１６で生成された画面データの一例は、映像データである。実施の形態の表示部１７は、マスタ映像と、再生速度が調整されたスレーブ映像とを、同期再生する。表示部１７は、液晶パネルまたは有機エレクトロルミネッセンス（ＥＬ：Electro Luminescence）パネルを適用可能である。なお、プログラマブル表示器１０は、入力部１１および表示部１７が一体形成されたタッチパネルを有していてもよい。
The display unit 17 is a functional unit that displays various information such as data, images, and videos. An example of the screen data generated by the display information generation unit 16 is video data. The display unit 17 according to the embodiment synchronously reproduces the master video and the slave video with the reproduction speed adjusted. A liquid crystal panel or an organic electroluminescence (EL) panel can be applied to the display unit 17. The programmable display device 10 may have a touch panel in which the
つぎに、プログラマブル表示器１０の動作について説明する。図２は、実施の形態にかかるイベント設定処理の処理手順を示すフローチャートである。ここでは、プログラマブル表示器１０が、監視対象が録画された映像の再生タイミングを調整する際に使用する、開始イベントＶ１および終了イベントＶ２の設定手順について説明する。なお、プログラマブル表示器１０が設定するイベントの数は、いくつであってもよいが、ここでは、プログラマブル表示器１０が２つのイベントを設定する場合の処理手順について説明する。 Next, the operation of the programmable display device 10 will be described. FIG. 2 is a flowchart of a process procedure of an event setting process according to the embodiment. Here, the setting procedure of the start event V1 and the end event V2 used when the programmable display 10 adjusts the reproduction timing of the video in which the monitoring target is recorded will be described. Note that the number of events set by the programmable display 10 may be any number, but here, a processing procedure when the programmable display 10 sets two events will be described.
イベント設定が開始されると、プログラマブル表示器１０の入力部１１は、開始イベントＶ１を指定した指定情報が操作者によって入力されると、この指定情報を受け付けて、データ処理部１４に送る。これにより、ステップＳ１１において、データ処理部１４が、開始イベントＶ１を設定し、設定した開始イベントＶ１を記憶部１５に記憶させる。
When the event setting is started, the
また、入力部１１は、終了イベントＶ２を指定した指定情報が操作者によって入力されると、この指定情報を受け付けて、データ処理部１４に送る。これにより、ステップＳ１２において、データ処理部１４が、終了イベントＶ２を設定し、設定した終了イベントＶ２を記憶部１５に記憶させる。
Further, when the operator inputs the designation information designating the end event V2, the
入力部１１は、開始イベントＶ１が指定された情報と終了イベントＶ２が指定された情報との何れの情報を先に受付けてもよい。また、データ処理部１４は、開始イベントＶ１と終了イベントＶ２との何れのイベントを先に設定してもよいし、何れのイベントを先に記憶部１５に記憶させてもよい。
The
図３は、実施の形態にかかる録画処理の処理手順を示すフローチャートである。なお、マスタ映像とスレーブ映像とは、録画処理手順が同じなので、ここではスレーブ映像の録画処理手順について説明する。 FIG. 3 is a flowchart of a process procedure of the recording process according to the embodiment. Since the master video and the slave video have the same recording processing procedure, the slave video recording processing procedure will be described here.
撮像装置４０は、監視対象の撮像を開始すると、撮像したスレーブ映像をプログラマブル表示器１０の撮像装置接続ＩＦ１３に送る。そして、撮像装置接続ＩＦ１３が、スレーブ映像をデータ処理部１４に送る。このとき、データ処理部１４は、記憶部１５が記憶している開始イベントＶ１を読み出す。換言すると、データ処理部１４は、設定されている開始イベントＶ１を記憶部１５から読み出す。
When imaging of the monitoring target is started, the imaging device 40 sends the captured slave video to the imaging device connection IF 13 of the programmable display 10. Then, the imaging device connection IF 13 sends the slave video to the data processing unit 14. At this time, the data processing unit 14 reads the start event V1 stored in the
データ処理部１４は、撮像装置４０から送られてくる映像をＲＡＭ１４０に格納することによって映像を録画する。また、外部装置３０は、開始イベントＶ１を検出すると、開始イベントＶ１をプログラマブル表示器１０に送る。開始イベントＶ１がデバイス値の遷移である場合、外部装置３０は、開始イベントＶ１に設定されたデバイス値が遷移した時に、開始イベントＶ１を検出し、プログラマブル表示器１０に送る。
The data processing unit 14 records the video by storing the video sent from the imaging device 40 in the
データ処理部１４は、録画中に、設定済みの開始イベントＶ１と同じ開始イベントＶ１が外部装置３０から送られてくると開始イベントＶ１を検出する。そして、ステップＳ２１において、データ処理部１４は、撮像装置４０にて撮像されてＲＡＭ１４０に格納している映像のうち、開始イベントＶ１を検出した時の開始フレーム位置を特定し、特定した開始フレーム位置をＲＡＭ１４０に格納する。このように、データ処理部１４は、開始イベントＶ１を検出したタイミングで取得されたフレームの開始フレーム位置をＲＡＭ１４０に格納する。そして、データ処理部１４は、開始イベントＶ１を検出した時の開始フレーム位置と映像とを対応付けして記憶部１５に記憶させる。
The data processing unit 14 detects the start event V1 when the same start event V1 as the set start event V1 is sent from the external device 30 during recording. In step S <b> 21, the data processing unit 14 specifies the start frame position when the start event V <b> 1 is detected in the video imaged by the imaging device 40 and stored in the
また、終了イベントＶ２がデバイス値の遷移である場合、外部装置３０は、終了イベントＶ２に設定されたデバイス値が遷移した時に、終了イベントＶ２を検出し、プログラマブル表示器１０に送る。 If the end event V2 is a transition of the device value, the external device 30 detects the end event V2 and sends it to the programmable display 10 when the device value set in the end event V2 changes.
データ処理部１４は、録画中に、設定済みの終了イベントＶ２と同じ終了イベントＶ２が外部装置３０から送られてくると終了イベントＶ２を検出する。そして、ステップＳ２２において、データ処理部１４は、撮像装置４０にて撮像されてＲＡＭ１４０に格納している映像のうち、終了イベントＶ２を検出した時の終了フレーム位置を特定し、特定した終了フレーム位置をＲＡＭ１４０に格納する。このように、データ処理部１４は、終了イベントＶ２を検出したタイミングで取得されたフレームの終了フレーム位置をＲＡＭ１４０に格納する。そして、データ処理部１４は、終了イベントＶ２を検出した時の終了フレーム位置と映像とを対応付けして記憶部１５に記憶させる。これにより、データ処理部１４は、ＲＡＭ１４０に格納してある映像と、開始フレーム位置と、終了フレーム位置とを対応付けして記憶部１５に記憶させる。
The data processing unit 14 detects the end event V2 when an end event V2 that is the same as the set end event V2 is sent from the external device 30 during recording. In step S <b> 22, the data processing unit 14 specifies the end frame position when the end event V <b> 2 is detected from the images captured by the imaging device 40 and stored in the
ここで、記憶部１５に記憶させた映像の映像データの構成について説明する。図４は、実施の形態にかかる、録画時の映像データの構成を示す図である。図４では、図３のフローにて記憶部１５に記憶させた映像データの概念を表している。なお、ここでは、プログラマブル表示器１０が、１つのマスタ映像１０１Ｍと１つのスレーブ映像１０１Ｓとを記憶部１５に記憶させた場合について説明するが、プログラマブル表示器１０は、２つ以上のスレーブ映像１０１Ｓを記憶部１５に記憶させてもよい。また、スレーブ映像１０１Ｓおよびマスタ映像１０１Ｍのうちの、いくつかは記憶部１５内の録画映像に限らず、現実の製造ラインの工程が撮像されたリアルタイム映像であってもよい。リアルタイム映像は、記憶部１５内に格納される前の映像である。
Here, the configuration of the video data of the video stored in the
記憶部１５は、開始フレーム位置５２と、終了フレーム位置５３と、映像データとが対応付けられた状態のマスタ映像１０１Ｍを記憶している。また、記憶部１５は、開始フレーム位置６２と、終了フレーム位置６３と、映像データとが対応付けられた状態のスレーブ映像１０１Ｓを記憶している。
The
マスタ映像１０１Ｍは、映像内の最初のフレームである先頭フレームＦ０と、映像内の最後のフレームである最終フレームＦ１と、その他のフレームとを含んでいる。先頭フレームＦ０は、マスタ映像１０１Ｍの録画が開始されたタイミングである録画開始タイミング５１でのフレームである。また、最終フレームＦ１は、マスタ映像１０１Ｍの録画が終了したタイミングである録画終了タイミング５４でのフレームである。
The
マスタ映像１０１Ｍ内のその他のフレームは、開始フレーム位置５２のフレームであるマスタ開始フレームＭＳと、終了フレーム位置５３のフレームであるマスタ終了フレームＭＥとを含んでいる。マスタ開始フレームＭＳは、同期再生される最初のフレームであり、マスタ終了フレームＭＥは、同期再生される最後のフレームである。
The other frames in the
また、スレーブ映像１０１Ｓは、映像内の最初のフレームである先頭フレームＦ１０と、映像内の最後のフレームである最終フレームＦ１１と、その他のフレームとを含んでいる。先頭フレームＦ１０は、スレーブ映像の録画が開始されたタイミングである録画開始タイミング６１でのフレームである。また、最終フレームＦ１１は、スレーブ映像の録画が終了したタイミングである録画終了タイミング６４でのフレームである。
The
スレーブ映像１０１Ｓ内のその他のフレームは、開始フレーム位置６２のフレームであるスレーブ開始フレームＳＳと、終了フレーム位置６３のフレームであるスレーブ終了フレームＳＥとを含んでいる。スレーブ開始フレームＳＳは、同期再生される最初のフレームであり、スレーブ終了フレームＳＥは、同期再生される最後のフレームである。
The other frames in the
スレーブ映像１０１Ｓ内のフレームのうち開始イベントＶ１が発生した第１タイミングのフレームがスレーブ開始フレームＳＳであり、スレーブ映像１０１Ｓ内のフレームのうち終了イベントＶ２が発生した第２タイミングのフレームがスレーブ終了フレームＳＥである。
Of the frames in the
また、マスタ映像１０１Ｍ内のフレームのうち開始イベントＶ１が発生した第３タイミングのフレームがマスタ開始フレームＭＳであり、マスタ映像１０１Ｍ内のフレームのうち終了イベントＶ２が発生した第４タイミングのフレームがマスタ終了フレームＭＥである。
The third timing frame in which the start event V1 has occurred among the frames in the
なお、データ処理部１４は、マスタ映像１０１Ｍを記憶部１５に記憶させる際に、開始フレーム位置５２であることを示す情報をマスタ開始フレームＭＳに付与しておいてもよい。また、データ処理部１４は、マスタ映像１０１Ｍを記憶部１５に記憶させる際に、終了フレーム位置５３であることを示す情報をマスタ終了フレームＭＥに付与しておいてもよい。また、データ処理部１４は、スレーブ映像１０１Ｓを記憶部１５に記憶させる際に、開始フレーム位置６２であることを示す情報をスレーブ開始フレームＳＳに付与しておいてもよい。また、データ処理部１４は、スレーブ映像１０１Ｓを記憶部１５に記憶させる際に、終了フレーム位置６３であることを示す情報をスレーブ終了フレームＳＥに付与しておいてもよい。
Note that the data processing unit 14 may add information indicating the
図４に示すように、スレーブ開始フレームＳＳは、マスタ開始フレームＭＳよりも遅いタイミングで取得され、スレーブ終了フレームＳＥは、マスタ終了フレームＭＥよりも早いタイミングで取得されている。これは、マスタ映像１０１Ｍが撮像される際よりも、スレーブ映像１０１Ｓが撮像される際の方が、監視対象が早い動作を実行しているからである。換言すると、監視対象は、早い動作を実行するほど、開始イベントＶ１と終了イベントＶ２との間の時間が短くなる。
As shown in FIG. 4, the slave start frame SS is acquired at a timing later than the master start frame MS, and the slave end frame SE is acquired at a timing earlier than the master end frame ME. This is because the monitoring target performs an operation faster when the
このように、スレーブ映像１０１Ｓとマスタ映像１０１Ｍとでは、開始イベントＶ１および終了イベントＶ２で規定される録画時間が異なっているので、このままスレーブ映像１０１Ｓとマスタ映像１０１Ｍとを同時に再生すると、監視対象が異なる動作速度で再生されることとなる。実施の形態のプログラマブル表示器１０は、スレーブ映像１０１Ｓとマスタ映像１０１Ｍとで監視対象が異なる動作速度で再生される場合に、スレーブ映像１０１Ｓの再生速度を調整し、これにより、スレーブ映像１０１Ｓとマスタ映像１０１Ｍとを同期再生する。換言すると、プログラマブル表示器１０は、マスタ映像１０１Ｍにおける監視対象の動作速度とスレーブ映像１０１Ｓにおける監視対象の動作速度とが同じ動作速度となるよう、スレーブ映像１０１Ｓの再生速度を調整する。
As described above, since the recording time defined by the start event V1 and the end event V2 is different between the
図５は、実施の形態にかかる映像再生処理の処理手順を示すフローチャートである。プログラマブル表示器１０の入力部１１は、マスタ映像１０１Ｍを指定した指定情報が操作者によって入力されると、この指定情報を受け付けて、データ処理部１４に送る。これにより、ステップＳ３１において、データ処理部１４は、指定されたマスタ映像１０１Ｍを記憶部１５内から選択して読み出す。このマスタ映像１０１Ｍが、同期再生処理の基準となる映像である。
FIG. 5 is a flowchart of a process procedure of the video reproduction process according to the embodiment. When the designation information specifying the
そして、ステップＳ３２において、データ処理部１４は、マスタ映像１０１Ｍに含まれるフレームに、開始イベントＶ１検出時に特定されたマスタ開始フレームＭＳと、終了イベントＶ２の検出時に特定されたマスタ終了フレームＭＥとを設定する。このとき、データ処理部１４は、記憶部１５内の開始フレーム位置５２に基づいてマスタ開始フレームＭＳを設定し、記憶部１５内の終了フレーム位置５３に基づいてマスタ終了フレームＭＥを設定する。
In step S32, the data processing unit 14 adds the master start frame MS specified when the start event V1 is detected and the master end frame ME specified when the end event V2 is detected to the frames included in the
また、プログラマブル表示器１０の入力部１１は、スレーブ映像１０１Ｓを指定した指定情報が操作者によって入力されると、この指定情報を受け付けて、データ処理部１４に送る。これにより、ステップＳ３３において、データ処理部１４は、指定されたスレーブ映像１０１Ｓを記憶部１５内から選択して読み出す。このスレーブ映像１０１Ｓが、再生速度の調整される映像である。
Further, when the operator inputs the designation information designating the
そして、ステップＳ３４において、データ処理部１４は、スレーブ映像１０１Ｓに含まれるフレームに、開始イベントＶ１の検出時に特定されたスレーブ開始フレームＳＳと、終了イベントＶ２の検出時に特定されたスレーブ終了フレームＳＥとを設定する。このとき、データ処理部１４は、記憶部１５内の開始フレーム位置６２に基づいてスレーブ開始フレームＳＳを設定し、記憶部１５内の終了フレーム位置６３に基づいてスレーブ終了フレームＳＥを設定する。
In step S34, the data processing unit 14 adds, to the frames included in the
このように、プログラマブル表示器１０は、ステップＳ３１の後にステップＳ３２の処理を実行し、ステップＳ３３の後にステップＳ３４の処理を実行する。なお、プログラマブル表示器１０は、ステップＳ３３およびステップＳ３４の処理を、ステップＳ３１およびステップＳ３２の処理よりも先に実行してもよい。 Thus, the programmable display 10 performs the process of step S32 after step S31, and performs the process of step S34 after step S33. In addition, the programmable display 10 may perform the process of step S33 and step S34 before the process of step S31 and step S32.
ステップＳ３１からＳ３４の後、データ処理部１４は、記憶部１５からスレーブ映像１０１Ｓおよびマスタ映像１０１Ｍを読み出す。そして、ステップＳ３５において、データ処理部１４は、スレーブ開始フレームＳＳまでの再生時間が、マスタ開始フレームＭＳまでの再生時間と同一になるよう、スレーブ映像１０１Ｓの再生速度の設定を調整する。
After steps S31 to S34, the data processing unit 14 reads the
具体的には、データ処理部１４は、スレーブ映像１０１Ｓの再生開始からスレーブ開始フレームＳＳまでの再生時間が、マスタ映像１０１Ｍの再生開始からマスタ開始フレームＭＳまでの再生時間と同一になるよう、スレーブ映像１０１Ｓの再生開始からスレーブ開始フレームＳＳまでのフレームの再生速度を調整する。スレーブ映像１０１Ｓの再生開始のフレームは、先頭フレームＦ１０であり、マスタ映像１０１Ｍの再生開始のフレームは、先頭フレームＦ０である。したがって、データ処理部１４は、先頭フレームＦ１０からスレーブ開始フレームＳＳまでの再生時間が、先頭フレームＦ０からマスタ開始フレームＭＳまでの再生時間と同じになるよう、スレーブ映像１０１Ｓの再生速度の設定を調整する。
Specifically, the data processing unit 14 determines that the reproduction time from the reproduction start of the
この後、ステップＳ３６において、データ処理部１４は、スレーブ終了フレームＳＥまでの再生時間が、マスタ終了フレームＭＥまでの再生時間と同一になるよう、スレーブ映像１０１Ｓの再生速度の設定を調整する。
Thereafter, in step S36, the data processing unit 14 adjusts the setting of the reproduction speed of the
具体的には、データ処理部１４は、スレーブ映像１０１Ｓのスレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでの再生時間が、マスタ映像１０１Ｍのマスタ開始フレームＭＳからマスタ終了フレームＭＥまでの再生時間と同一になるよう、スレーブ映像１０１Ｓのスレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでのフレームの再生速度の設定を調整する。
Specifically, the data processing unit 14 makes the playback time from the slave start frame SS to the slave end frame SE of the
さらに、ステップＳ３７において、データ処理部１４は、スレーブ映像１０１Ｓの再生終了までの再生時間が、マスタ映像１０１Ｍの再生終了までの再生時間と同一になるよう、スレーブ映像１０１Ｓの再生速度の設定を調整する。
Further, in step S37, the data processing unit 14 adjusts the setting of the reproduction speed of the
具体的には、データ処理部１４は、スレーブ映像１０１Ｓのスレーブ終了フレームＳＥから再生終了までの再生時間が、マスタ映像１０１Ｍのマスタ終了フレームＭＥから再生終了までの再生時間と同一になるよう、スレーブ映像１０１Ｓのスレーブ終了フレームＳＥから再生終了までのフレームの再生速度の設定を調整する。スレーブ映像１０１Ｓの再生終了のフレームは、最終フレームＦ１１であり、マスタ映像１０１Ｍの再生終了のフレームは、最終フレームＦ１である。したがって、データ処理部１４は、スレーブ終了フレームＳＥから最終フレームＦ１１までの再生時間が、マスタ終了フレームＭＥから最終フレームＦ１までの再生時間と同じになるよう、スレーブ映像１０１Ｓの再生速度の設定を調整する。
Specifically, the data processing unit 14 determines that the playback time from the slave end frame SE of the
データ処理部１４は、マスタ映像１０１Ｍと、スレーブ映像１０１Ｓの再生速度の設定を調整した後の映像である後述のスレーブ映像１０２Ｓとを、表示情報生成部１６を介して表示部１７に送る。これにより、表示部１７は、マスタ映像１０１Ｍと、スレーブ映像１０２Ｓを並べて同期再生する。このように、プログラマブル表示器１０は、マスタ映像１０１Ｍと、スレーブ映像１０２Ｓとを、１タクト毎に同期再生させる。
The data processing unit 14 sends the
図６は、実施の形態にかかる、同期再生時の映像データの構成を示す図である。図６では、プログラマブル表示器１０が、図４で説明した映像データを用いて同期再生を実行する場合の映像データの概念を表している。 FIG. 6 is a diagram illustrating a configuration of video data at the time of synchronous reproduction according to the embodiment. FIG. 6 shows the concept of video data when the programmable display 10 executes synchronized playback using the video data described in FIG.
データ処理部１４は、マスタ映像１０１Ｍを記憶部１５から読み出す。また、データ処理部１４は、スレーブ映像１０１Ｓを読み出して、図５で説明した処理によって、スレーブ映像１０１Ｓの再生速度を調整し、これによりスレーブ映像１０２Ｓを生成する。
The data processing unit 14 reads the
データ処理部１４は、スレーブ開始フレームＳＳとマスタ開始フレームＭＳとが同時に表示され、かつスレーブ終了フレームＳＥとマスタ終了フレームＭＥとが同時に表示されるよう、スレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでの再生速度の設定を調整する。この調整後のスレーブ映像が、スレーブ映像１０２Ｓである。
The data processing unit 14 displays the slave start frame SS and the master end frame MS from the slave start frame SS to the slave end frame SE so that the slave end frame SE and the master end frame ME are displayed at the same time. Adjust the playback speed setting. The slave image after this adjustment is the
具体的には、データ処理部１４は、マスタ映像１０１Ｍの先頭フレームＦ０およびスレーブ映像１０２Ｓの先頭フレームＦ１０を、タイミング７１で同時に表示させるフレームに設定する。タイミング７１は、マスタ映像１０１Ｍおよびスレーブ映像１０２Ｓの同期再生を開始するタイミングである。
Specifically, the data processing unit 14 sets the top frame F0 of the
また、データ処理部１４は、マスタ開始フレームＭＳおよびスレーブ開始フレームＳＳを、タイミング７２で同時に表示させるフレームに設定する。タイミング７２のマスタ開始フレームＭＳおよびスレーブ開始フレームＳＳは、開始イベントＶ１が発生したタイミングのフレームである。
In addition, the data processing unit 14 sets the master start frame MS and the slave start frame SS to frames that are simultaneously displayed at the
また、データ処理部１４は、マスタ終了フレームＭＥおよびスレーブ終了フレームＳＥを、タイミング７３で同時に表示させるフレームに設定する。タイミング７３のマスタ終了フレームＭＥおよびスレーブ終了フレームＳＥは、終了イベントＶ２が発生したタイミングのフレームである。
In addition, the data processing unit 14 sets the master end frame ME and the slave end frame SE to frames that are simultaneously displayed at the
また、データ処理部１４は、マスタ映像１０１Ｍの最終フレームＦ１およびスレーブ映像１０２Ｓの最終フレームＦ１１を、タイミング７４で同時に表示させるフレームに設定する。タイミング７４は、マスタ映像１０１Ｍおよびスレーブ映像１０２Ｓの同期再生を終了するタイミングである。
In addition, the data processing unit 14 sets the final frame F1 of the
そして、表示部１７は、タイミング７１からタイミング７２まで、マスタ映像１０１Ｍを一定の第１フレームレートで再生し、スレーブ映像１０２Ｓを一定の第２フレームレートで再生する。具体的には、表示部１７は、先頭フレームＦ０からマスタ開始フレームＭＳまでを一定の第１フレームレートで再生し、同時に先頭フレームＦ１０からスレーブ開始フレームＳＳまでを一定の第２フレームレートで再生する。
Then, from timing 71 to
また、表示部１７は、タイミング７２からタイミング７３まで、マスタ映像１０１Ｍを一定の第３フレームレートで再生し、スレーブ映像１０２Ｓを一定の第４フレームレートで再生する。具体的には、表示部１７は、マスタ開始フレームＭＳからマスタ終了フレームＭＥまでを一定の第３フレームレートで再生し、同時にスレーブ開始フレームＳＳからスレーブ終了フレームＳＥまでを一定の第４フレームレートで再生する。
Further, from timing 72 to
また、表示部１７は、タイミング７３からタイミング７４まで、マスタ映像１０１Ｍを一定の第５フレームレートで再生し、スレーブ映像１０２Ｓを一定の第６フレームレートで再生する。具体的には、表示部１７は、マスタ終了フレームＭＥから最終フレームＦ１までを一定の第５フレームレートで再生し、同時にスレーブ終了フレームＳＥから最終フレームＦ１１までを一定の第６フレームレートで再生する。
Further, from timing 73 to
ここで、データ処理部１４のハードウェア構成について説明する。図７は、実施の形態にかかるデータ処理部のハードウェア構成例を示す図である。データ処理部１４は、図７に示した制御回路３００、すなわちプロセッサ３０１およびメモリ３０２により実現することができる。プロセッサ３０１の例は、ＣＰＵ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）またはシステムＬＳＩ（Large Scale Integration）である。メモリ３０２の例は、ＲＡＭ、ＲＯＭ（Read Only Memory）またはフラッシュメモリである。
Here, the hardware configuration of the data processing unit 14 will be described. FIG. 7 is a diagram illustrating a hardware configuration example of the data processing unit according to the embodiment. The data processing unit 14 can be realized by the
データ処理部１４は、プロセッサ３０１が、メモリ３０２で記憶されている、データ処理部１４の動作を実行するためのプログラムを読み出して実行することにより実現される。また、このプログラムは、データ処理部１４の手順または方法をコンピュータに実行させるものであるともいえる。メモリ３０２は、プロセッサ３０１が各種処理を実行する際の一時メモリにも使用される。
The data processing unit 14 is realized by the
このように、プロセッサ３０１が実行するプログラムは、コンピュータで実行可能な、データ処理を行うための複数の命令を含むコンピュータ読取り可能かつ非遷移的な（non-transitory）記録媒体を有するコンピュータプログラムプロダクトである。プロセッサ３０１が実行するプログラムは、複数の命令がデータ処理を行うことをコンピュータに実行させる。
Thus, the program executed by the
また、データ処理部１４を専用のハードウェアで実現してもよい。また、データ処理部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。 Further, the data processing unit 14 may be realized by dedicated hardware. Further, some of the functions of the data processing unit 14 may be realized by dedicated hardware, and a part may be realized by software or firmware.
このように、実施の形態のプログラマブル表示器１０は、開始イベントＶ１から終了イベントＶ２までのスレーブ映像１０１Ｓを、開始イベントＶ１から終了イベントＶ２までのマスタ映像１０１Ｍに合わせて再生する。これにより、複数の映像において監視対象が別々の速度で動作をしている場合であっても、プログラマブル表示器１０は、再生時に監視対象の動作速度を工程毎に同期して並べて比較できる。
As described above, the programmable display 10 according to the embodiment reproduces the
また、マスタ映像１０１Ｍが監視対象の正常動作時の映像であり、スレーブ映像１０１Ｓが、監視対象の異常動作時の映像である場合、プログラマブル表示器１０は、正常動作時の映像と、異常動作時の映像とを同期再生することができる。また、プログラマブル表示器１０は、監視対象を通常動作時とは異なる速度で動作させた場合の映像をスレーブ映像１０１Ｓに設定してもよい。この場合でも、プログラマブル表示器１０は、マスタ映像１０１Ｍとスレーブ映像１０１Ｓとを同期再生することができる。したがって、工程中にイレギュラーな事態が発生した場合であっても、プログラマブル表示器１０は、操作者に、差異検出または状況把握を容易に確認させることができる。
In addition, when the
また、実施の形態では、プログラマブル表示器１０が、スレーブ映像１０１Ｓの再生速度を、開始イベントＶ１および終了イベントＶ２に基づいて調整している。このため、プログラマブル表示器１０は、マスタ映像１０１Ｍとスレーブ映像１０１Ｓとで録画時のフレームレートが異なる場合であっても同期再生が可能となる。また、プログラマブル表示器１０は、複数のスレーブ映像１０１Ｓでフレームレートが異なる場合であっても複数のスレーブ映像１０１Ｓの同期再生が可能となる。また、プログラマブル表示器１０は、マスタ映像１０１Ｍとスレーブ映像１０１Ｓとで撮像時間が異なる場合であっても同期再生が可能となる。
In the embodiment, the programmable display 10 adjusts the playback speed of the
また、実施の形態では、プログラマブル表示器１０は、複数の撮像装置４０で撮像されたスレーブ映像１０１Ｓを、マスタ映像１０１Ｍに同期再生することができる。換言すると、プログラマブル表示器１０は、マスタ映像１０１Ｍと、異なる角度から監視対象である被写体を撮影した場合のスレーブ映像１０１Ｓとを、同期再生をすることができる。このため、プログラマブル表示器１０は、スレーブ映像１０１Ｓ毎に割り当てられたチャンネルを切り替えた場合も、スレーブ映像１０１Ｓおよびマスタ映像１０１Ｍの相関性を担保することができる。また、プログラマブル表示器１０は、様々な角度から監視対象である製造ラインの工程を比較できるので、一方向の一映像だけでは気づきにくいような差異の検出を容易にすることができる。
In the embodiment, the programmable display device 10 can reproduce the
また、実施の形態では、プログラマブル表示器１０が、開始イベントＶ１および終了イベントＶ２を基準にして、複数の映像を管理することができるので、同期再生を行う基準データとなる基準フレームを抽出する際の計算量および計算時間を抑制することができる。同期再生を行う基準データとなる基準フレームは、マスタ開始フレームＭＳ、マスタ終了フレームＭＥ、スレーブ開始フレームＳＳおよびスレーブ終了フレームＳＥである。 Further, in the embodiment, since the programmable display 10 can manage a plurality of videos based on the start event V1 and the end event V2, when extracting a reference frame serving as reference data for performing synchronized playback The amount of calculation and the calculation time can be suppressed. Reference frames serving as reference data for performing synchronized reproduction are a master start frame MS, a master end frame ME, a slave start frame SS, and a slave end frame SE.
また、実施の形態では、プログラマブル表示器１０が、開始イベントＶ１および終了イベントＶ２を基準にして、複数の映像を管理することができるので、大量の映像データを取得した場合においても容易に同期再生を実行することができる。 In the embodiment, since the programmable display 10 can manage a plurality of videos based on the start event V1 and the end event V2, it can be easily synchronized and reproduced even when a large amount of video data is acquired. Can be executed.
また、実施の形態では、プログラマブル表示器１０が、タイムスタンプを用いることなく同期再生を実行するので、マスタ映像１０１Ｍおよびスレーブ映像１０１Ｓを同一の時間軸で管理する必要がない。したがって、撮像装置４０の不具合によってマスタ映像１０１Ｍまたはスレーブ映像１０１Ｓのフレームレートにずれが生じた場合であっても、プログラマブル表示器１０は、同期再生を実行することができる。すなわち、プログラマブル表示器１０は、異なる時間軸で取得したマスタ映像１０１Ｍおよびスレーブ映像１０１Ｓの同期再生を実行することができる。
In the embodiment, since the programmable display 10 performs synchronous reproduction without using a time stamp, it is not necessary to manage the
なお、実施の形態では、プログラマブル表示器１０が、開始イベントＶ１および終了イベントＶ２の２つのイベントに基づいて、映像を同期再生する場合について説明したが、プログラマブル表示器１０は、３つ以上のイベントに基づいて映像を同期再生してもよい。プログラマブル表示器１０は、３つのイベントに基づいて映像を同期再生する場合、１つ目の第１イベントと、２つ目の第２イベントとに基づいて映像の前段部を同期再生し、２つ目の第２イベントと、３つ目の第３イベントとに基づいて映像の後段部を同期再生する。 In the embodiment, the case has been described in which the programmable display 10 reproduces video synchronously based on two events of the start event V1 and the end event V2. However, the programmable display 10 has three or more events. The video may be synchronously reproduced based on the above. When the programmable display 10 performs synchronous reproduction of a video based on three events, the first stage of the video is synchronously reproduced based on the first first event and the second second event. Based on the second event of the eye and the third event of the third, the latter part of the video is synchronously reproduced.
また、スレーブ映像１０１Ｓがリアルタイム映像の場合、プログラマブル表示器１０は、第１イベントから第２イベントまでの、スレーブ映像１０１Ｓおよびマスタ映像１０１Ｍの表示態様に基づいて、第２イベントから第３イベントまでの、スレーブ映像１０１Ｓの再生速度を調整する。この場合、データ処理部１４は、スレーブ映像１０１Ｓおよびマスタ映像１０１Ｍを第１イベントから第２イベントまで同期再生させるためのスレーブ映像１０１Ｓの再生方法を計算し、計算結果である再生方法をスレーブ映像１０１Ｓの第２イベントから第３イベントまでの再生に適用する。すなわち、プログラマブル表示器１０は、第１イベントから第２イベントまでの間は、マスタ映像１０１Ｍおよびスレーブ映像１０１Ｓの再生速度、フレームレート、および再生時間の情報を収集し、収集結果に基づいて、第３イベントから第４イベントまでのスレーブ映像１０１Ｓの再生速度を調整する。
Further, when the
また、スレーブ映像１０１Ｓまたはマスタ映像１０１Ｍがリアルタイム映像の場合、プログラマブル表示器１０は、マスタ映像１０１Ｍおよびスレーブ映像１０１Ｓのフレームレートおよび録画時間に基づいて、スレーブ映像１０１Ｓの再生速度を調整してもよい。この場合、プログラマブル表示器１０は、予めマスタ映像１０１Ｍおよびスレーブ映像１０１Ｓの、フレームレートおよび録画時間を取得しておく。そして、プログラマブル表示器１０は、取得しておいたフレームレートおよび録画時間に基づいて、同期再生させる際の再生速度を計算し、計算結果に基づいて、開始イベントＶ１から終了イベントＶ２までのスレーブ映像１０１Ｓの再生速度を調整する。なお、マスタ映像１０１Ｍがリアルタイム映像であってもよいし、マスタ映像１０１Ｍおよびスレーブ映像１０１Ｓがリアルタイム映像であってもよい。
When the
また、プログラマブル表示器１０は、マスタ映像１０１Ｍおよびスレーブ映像１０１Ｓの一方を、撮像装置４０以外の他の装置から取得してもよい。また、プログラマブル表示器１０は、開始イベントＶ１および終了イベントＶ２の２つのイベントに基づいて、複数の音声を同期再生してもよい。この場合、プログラマブル表示器１０は、同期再生させる音声のうち基準となる音声であるマスタ音声と、同期再生させる映像のうち再生速度が調整される音声であるスレーブ音声とを同期再生する。この場合において、プログラマブル表示器１０は、マスタ音声における監視対象の動作速度とスレーブ音声における監視対象の動作速度とが同じ動作速度となるよう、スレーブ音声の再生速度を調整する。プログラマブル表示器１０は、フレームの代わりに、音声の波形といった音声が有する情報に基づいて、マスタ音声およびスレーブ音声を同期再生する。
The programmable display 10 may acquire one of the
また、プログラマブル表示器１０は、映像および音声以外の測定データを同期再生させてもよい。この場合も、プログラマブル表示器１０は、フレームの代わりに、測定データの波形といった測定データが有する情報に基づいて、マスタの測定データおよびスレーブの測定データを同期再生する。 Moreover, the programmable display 10 may synchronously reproduce measurement data other than video and audio. Also in this case, the programmable display 10 synchronously reproduces the master measurement data and the slave measurement data based on information included in the measurement data such as the waveform of the measurement data instead of the frame.
また、実施の形態では、プログラマブル表示器１０が、ステップＳ３１からＳ３７の処理を実行する場合について説明したが、プログラマブル表示器１０は、ステップＳ３５またはステップＳ３７の処理を省略してもよい。 Moreover, although the programmable display 10 demonstrated the case where the process of step S31 to S37 was performed in embodiment, the programmable display 10 may abbreviate | omit the process of step S35 or step S37.
このように、実施の形態によれば、開始イベントＶ１および終了イベントＶ２に基づいて、マスタ映像１０１Ｍとスレーブ映像１０１Ｓとが同期再生されるよう、スレーブ映像１０１Ｓの再生速度を調整するので、種々の条件で動画フレームが取得されている複数の映像を同期再生することが可能となる。
As described above, according to the embodiment, the playback speed of the
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。 The configuration described in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and can be combined with other configurations without departing from the gist of the present invention. It is also possible to omit or change the part.
１０ プログラマブル表示器、１１ 入力部、１２ 外部装置接続ＩＦ、１３ 撮像装置接続ＩＦ、１４ データ処理部、１５ 記憶部、１６ 表示情報生成部、１７ 表示部、３０ 外部装置、４０ 撮像装置、５１，６１ 録画開始タイミング、５２，６２ 開始フレーム位置、５３，６３ 終了フレーム位置、５４，６４ 録画終了タイミング、１０１Ｍ マスタ映像、１０１Ｓ，１０２Ｓ スレーブ映像、Ｆ０，Ｆ１０ 先頭フレーム、Ｆ１，Ｆ１１ 最終フレーム、ＭＥ マスタ終了フレーム、ＭＳ マスタ開始フレーム、ＳＥ スレーブ終了フレーム、ＳＳ スレーブ開始フレーム。 DESCRIPTION OF SYMBOLS 10 Programmable display device, 11 Input part, 12 External apparatus connection IF, 13 Imaging apparatus connection IF, 14 Data processing part, 15 Storage part, 16 Display information generation part, 17 Display part, 30 External apparatus, 40 Imaging apparatus, 51, 61 Recording start timing, 52, 62 Start frame position, 53, 63 End frame position, 54, 64 Recording end timing, 101M master video, 101S, 102S Slave video, F0, F10 first frame, F1, F11 final frame, ME master End frame, MS master start frame, SE slave end frame, SS slave start frame.
Claims (12)
前記スレーブ映像の一部である前記開始イベントから前記終了イベントまでの間の前記スレーブ映像内の映像と、前記マスタ映像の一部である前記開始イベントから前記終了イベントまでの間の前記マスタ映像内の映像と、が同期再生されるよう、前記開始イベントから前記終了イベントまでの間の前記スレーブ映像の再生速度の設定を調整するデータ処理部と、
前記開始イベントから前記終了イベントまでの間、前記マスタ映像および調整後の前記スレーブ映像を同期再生する表示部と、
を備え、
前記マスタ映像または前記スレーブ映像は、リアルタイムの映像であることを特徴とする表示器。 A master video that is a reference video among a plurality of videos to be played back synchronously, a slave video that is a video whose playback speed is adjusted among the plurality of videos, a part of the master video, and a part of the slave video, A storage unit for storing a start event that is an event for starting synchronous playback and an end event that is an event for ending the synchronous playback;
A video in the slave video from the start event to the end event that is a part of the slave video, and a master video from the start event to the end event that is a part of the master video. And a data processing unit that adjusts the setting of the playback speed of the slave video from the start event to the end event so that the video is synchronized and played back,
A display unit that synchronously reproduces the master video and the adjusted slave video from the start event to the end event;
Equipped with a,
The master image or the slave image may display characterized by real-time video der Rukoto.
前記スレーブ映像内の動画フレームのうち前記開始イベントが発生した第１タイミングの動画フレームであるスレーブ開始フレームから前記スレーブ映像内の動画フレームのうち前記終了イベントが発生した第２タイミングの動画フレームであるスレーブ終了フレームまでの再生時間が、前記マスタ映像内のフレームのうち前記開始イベントが発生した第３タイミングの動画フレームであるマスタ開始フレームから前記マスタ映像内の動画フレームのうち前記終了イベントが発生した第４タイミングの動画フレームであるマスタ終了フレームまでの再生時間と同じになるよう、再生速度の設定を調整する、
ことを特徴とする請求項１に記載の表示器。 The data processing unit
Among the video frames in the slave video, the second timing video frame in which the end event has occurred among the video frames in the slave video from the slave start frame that is the first timing video frame in which the start event has occurred. The playback time up to the slave end frame is that the end event has occurred in the video frame in the master video from the master start frame that is the third timing video frame in which the start event has occurred in the frame in the master video Adjust the playback speed setting to be the same as the playback time until the master end frame, which is the fourth timing video frame,
The display according to claim 1.
製造工程の１タクト毎に前記スレーブ開始フレームから前記スレーブ終了フレームまでの再生速度の設定を調整する、
ことを特徴とする請求項２に記載の表示器。 The data processing unit
Adjusting the setting of the playback speed from the slave start frame to the slave end frame for each tact of the manufacturing process;
The display according to claim 2.
ことを特徴とする請求項３に記載の表示器。 The one tact process is a process included in the range of one sequence process executed by the programmable logic controller.
The display according to claim 3.
ことを特徴とする請求項３に記載の表示器。 The one tact is a process from when the start event is detected by a sensor to when the end event is detected by the sensor.
The display according to claim 3.
外部装置から送られてくる情報に基づいて前記第１から第４タイミングを検出し、
前記第１タイミングに基づいて前記スレーブ開始フレームを設定し、前記第２タイミングに基づいて前記スレーブ終了フレームを設定し、前記第３タイミングに基づいて前記マスタ開始フレームを設定し、前記第４タイミングに基づいて前記マスタ終了フレームを設定する、
ことを特徴とする請求項２に記載の表示器。 The data processing unit
Detecting the first to fourth timings based on information sent from an external device;
The slave start frame is set based on the first timing, the slave end frame is set based on the second timing, the master start frame is set based on the third timing, and the fourth timing is set. Set the master end frame based on
The display according to claim 2.
ことを特徴とする請求項１から６のいずれか１つに記載の表示器。 The master video and the slave video are videos with different frame rates or recording times.
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項１から７のいずれか１つに記載の表示器。 The slave video is a video imaged simultaneously with the master video,
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項１から７のいずれか１つに記載の表示器。 The slave video is a video taken at a different time from the master video,
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項１から９のいずれか１つに記載の表示器。 The slave video is a video taken at an angle different from the master video,
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項１から９のいずれか１つに記載の表示器。 The display unit displays the master video and the slave video while switching.
Display device according to any one of claims 1 to 9, characterized in that.
前記マスタ映像の一部と前記スレーブ映像の一部との同期再生を開始させるイベントである開始イベントと、前記同期再生を終了させるイベントである終了イベントと、を設定する設定ステップと、
前記開始イベントから前記終了イベントまでの間の前記スレーブ映像内の映像と、前記開始イベントから前記終了イベントまでの間の前記マスタ映像内の映像と、が同期再生されるよう、前記開始イベントから前記終了イベントまでの間の前記スレーブ映像の再生速度の設定を調整する調整ステップと、
前記開始イベントから前記終了イベントまでの間、前記マスタ映像および調整後の前記スレーブ映像を、同期再生する再生ステップと、
を含み、
前記マスタ映像または前記スレーブ映像は、リアルタイムの映像であることを特徴とする表示方法。 An acquisition step of acquiring a master video that is a reference video among a plurality of videos to be synchronized and a slave video that is a video whose playback speed is adjusted among the plurality of videos,
A setting step for setting a start event that is an event for starting synchronous playback of a part of the master video and a part of the slave video, and an end event that is an event for ending the synchronous playback;
From the start event, the video in the slave video from the start event to the end event and the video in the master video from the start event to the end event are played back synchronously. An adjustment step for adjusting the setting of the playback speed of the slave video until the end event;
A playback step of synchronously playing back the master video and the adjusted slave video from the start event to the end event;
Only including,
The display method, wherein the master video or the slave video is a real-time video .
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/026667 WO2019021342A1 (en) | 2017-07-24 | 2017-07-24 | Display and display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6355878B1 true JP6355878B1 (en) | 2018-07-11 |
| JPWO2019021342A1 JPWO2019021342A1 (en) | 2019-07-25 |
Family
ID=62843793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018516215A Active JP6355878B1 (en) | 2017-07-24 | 2017-07-24 | Display and display method |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6355878B1 (en) |
| CN (1) | CN110089110B (en) |
| WO (1) | WO2019021342A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405336A (en) * | 2019-08-09 | 2020-07-10 | 合肥炬芯智能科技有限公司 | Multi-device synchronous playing method and system, electronic device and storage medium |
| EP3984244A4 (en) * | 2019-06-13 | 2023-07-12 | Verb Surgical Inc. | Method and system for synchronizing procedure videos for comparative learning |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6828133B1 (en) * | 2019-12-27 | 2021-02-10 | 株式会社ドワンゴ | Content generation device, content distribution server, content generation method, and content generation program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276222A (en) * | 1999-03-29 | 2000-10-06 | Omron Corp | Logging device |
| JP2002262233A (en) * | 2001-03-01 | 2002-09-13 | Mitsubishi Electric Corp | Behavior measurement system |
| JP2002320192A (en) * | 2001-04-20 | 2002-10-31 | Casio Comput Co Ltd | Dynamic image reproducer and dynamic image reproducing program |
| JP2006171184A (en) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | System and method for skill evaluation |
| JP2008514336A (en) * | 2004-09-29 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video image clip synchronized playback system |
| JP2014064109A (en) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | Reproduction control device, reproduction control method, and program |
| JP2014225772A (en) * | 2013-05-16 | 2014-12-04 | カシオ計算機株式会社 | Video playback apparatus, video playback method and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104253975A (en) * | 2014-07-17 | 2014-12-31 | 夏曹俊 | Multidimensional video synchronization system software |
-
2017
- 2017-07-24 CN CN201780077876.8A patent/CN110089110B/en active Active
- 2017-07-24 WO PCT/JP2017/026667 patent/WO2019021342A1/en active Application Filing
- 2017-07-24 JP JP2018516215A patent/JP6355878B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276222A (en) * | 1999-03-29 | 2000-10-06 | Omron Corp | Logging device |
| JP2002262233A (en) * | 2001-03-01 | 2002-09-13 | Mitsubishi Electric Corp | Behavior measurement system |
| JP2002320192A (en) * | 2001-04-20 | 2002-10-31 | Casio Comput Co Ltd | Dynamic image reproducer and dynamic image reproducing program |
| JP2008514336A (en) * | 2004-09-29 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video image clip synchronized playback system |
| JP2006171184A (en) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | System and method for skill evaluation |
| JP2014064109A (en) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | Reproduction control device, reproduction control method, and program |
| JP2014225772A (en) * | 2013-05-16 | 2014-12-04 | カシオ計算機株式会社 | Video playback apparatus, video playback method and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3984244A4 (en) * | 2019-06-13 | 2023-07-12 | Verb Surgical Inc. | Method and system for synchronizing procedure videos for comparative learning |
| CN111405336A (en) * | 2019-08-09 | 2020-07-10 | 合肥炬芯智能科技有限公司 | Multi-device synchronous playing method and system, electronic device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110089110B (en) | 2020-07-07 |
| JPWO2019021342A1 (en) | 2019-07-25 |
| WO2019021342A1 (en) | 2019-01-31 |
| CN110089110A (en) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6355878B1 (en) | Display and display method | |
| US9253389B2 (en) | Image pickup apparatus, image pickup system, image pickup method and computer readable recording medium implementing synchronization for image pickup operations | |
| WO2017056263A1 (en) | Manufacturing state display system, manufacturing state display method, and manufacturing state display program | |
| TW201338538A (en) | Data synchronously reproducing apparatus, data synchronously reproducing method and data synchronously controlling program | |
| JP6170311B2 (en) | Imaging apparatus and control method thereof | |
| JP3879359B2 (en) | Image recording device | |
| US8656144B2 (en) | Image processing device, image processing method, and image processing program | |
| JP4186520B2 (en) | Multi-view image recording apparatus, multi-view image frame synchronization processing method, and computer program | |
| JP5755387B1 (en) | Display, display method, display program | |
| US7027082B2 (en) | Image recording apparatus and image recording system | |
| TWI454141B (en) | Data synchronous regeneration device, data synchronous regeneration method and data synchronization control program | |
| JP2020024681A5 (en) | Information processing device, information processing system, display device, display control method, information processing system, information processing system control method, article manufacturing method, program and recording medium | |
| US8793603B2 (en) | Image processing device, image processing method, and image processing program | |
| WO2018207691A1 (en) | Surveillance device, surveillance method, computer program, and storage medium | |
| CN110612491B (en) | Factory equipment operation state analysis system | |
| US20130136413A1 (en) | Playback apparatus, control method and recording medium | |
| KR100929001B1 (en) | Method for measurement operation time using movie file | |
| WO2020166468A1 (en) | Playback system, recording system, playback method, program for playback, recording method, and program for recording | |
| JP7289299B2 (en) | Methods of process monitoring in machines | |
| JPH09166609A (en) | Image processor for speed measurement | |
| JP4381952B2 (en) | Recording / playback device | |
| JP3089738B2 (en) | Waveform analyzer | |
| WO2023053519A1 (en) | Setting device, setting method, and setting program | |
| WO2023002523A1 (en) | Control system and programmable logic controller | |
| JP2005275242A (en) | Video capture circuit and video capture method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180328 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180328 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6355878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |