JP2015060612A - Information processing apparatus - Google Patents

Information processing apparatus Download PDF

Info

Publication number
JP2015060612A
JP2015060612A JP2013194315A JP2013194315A JP2015060612A JP 2015060612 A JP2015060612 A JP 2015060612A JP 2013194315 A JP2013194315 A JP 2013194315A JP 2013194315 A JP2013194315 A JP 2013194315A JP 2015060612 A JP2015060612 A JP 2015060612A
Authority
JP
Japan
Prior art keywords
data
collected
time
collected data
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013194315A
Other languages
Japanese (ja)
Other versions
JP6098458B2 (en
Inventor
誠一 古田
Seiichi Furuta
誠一 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013194315A priority Critical patent/JP6098458B2/en
Publication of JP2015060612A publication Critical patent/JP2015060612A/en
Application granted granted Critical
Publication of JP6098458B2 publication Critical patent/JP6098458B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable plural pieces of collected data collected by different devices within the same period at individual collection timing to be reproduced so as to temporally synchronizing the collected data.SOLUTION: An information processing apparatus acquires plural pieces of collected data ID1, ID2, and ID3 collected by different devices within the same period at individual collection timing; performs processing for storing each of the plurality of collected data ID1, ID2, and ID3 collected within the same period in a plurality of slots made to correspond to a timeline that forms a basis of a time axis and obtained by dividing time into preset cycles so as to synchronize collection time using timestamps included in the respective collected data ID1, ID2, and ID3; and associates the timeline with the plural pieces of data ID1, ID2, and ID3 each stored in the slots, and outputs the data ID1, ID2, and ID3 so as to temporally synchronize the plural pieces of collected data ID1, ID2, and ID3.

Description

本発明は、情報処理装置に関するものである。   The present invention relates to an information processing apparatus.

従来、複数の複数映像時刻同期表示端末と、複数の映像配信装置とがネットワークを介して接続された映像配信システムにおいて、複数映像時刻同期表示端末が、映像配信装置と時刻同期を行い、映像配信装置に対して利用者の映像要求を要求し、実際に映像が表示されるまでの伝送遅延時間を取得し、伝送遅延時間を考慮して映像配信装置に対して映像を要求し、受信した複数の映像を時刻同期させて表示するようにしたものがある（例えば、特許文献１参照）。   Conventionally, in a video distribution system in which a plurality of multiple video time synchronization display terminals and a plurality of video distribution devices are connected via a network, the multiple video time synchronization display terminals perform time synchronization with the video distribution device, and video distribution Requests the user's video request to the device, obtains the transmission delay time until the video is actually displayed, requests the video to the video distribution device in consideration of the transmission delay time, and receives the received multiple Are displayed in time synchronization (for example, see Patent Document 1).

また、位置情報、加速度情報、周辺温度情報、各種センサー情報等の収集データを収集し、収集した複数の収集データを記憶媒体に記憶させるデータロガーや、車両の前方を撮影したカメラ画像や室内カメラ映像、加速度情報等の収集データを記憶媒体に記憶させるドライブレコーダ等、各種データ収集機器が商品化されている。   Also, data loggers that collect collected data such as position information, acceleration information, ambient temperature information, and various sensor information, and store the collected data in a storage medium, camera images taken in front of the vehicle, and indoor cameras Various data collection devices such as drive recorders that store collected data such as video and acceleration information in a storage medium have been commercialized.

また、スマートフォン等の携帯端末においては、内蔵カメラで撮影した車両前方の撮影画像と、ＧＰＳ衛星からの測位情報に基づく位置情報等の各種情報を関連付けして記憶媒体に記憶させたり、データをセンターへアップロードするようなアプリがあり、ドライブレコーダのように使用することも可能となっている。   Also, in a mobile terminal such as a smartphone, a captured image taken in front of the vehicle captured by a built-in camera and various information such as position information based on positioning information from a GPS satellite are associated with each other and stored in a storage medium, or data is stored in the center. Can be used like a drive recorder.

特開２００５−１６７６８８号公報JP 2005-167688 A

上記したデータロガー、ドライブレコーダ、携帯端末等においては、個別に収集データを収集するようになっているが、異なる機器で同一期間内に収集された各種収集データを、時刻の同期をとるように再現できると便利である。   In the above data logger, drive recorder, portable terminal, etc., collected data is collected individually, but various collection data collected in the same period by different devices are synchronized in time. It would be convenient if it could be reproduced.

例えば、データロガーで収集した位置情報や加速度情報と、携帯端末の内蔵カメラで撮影したカメラ映像を、時刻の同期をとるように再現できると、カメラ映像と位置情報や加速度情報の関係を容易に認識することが可能となる。   For example, if the position information and acceleration information collected by the data logger and the camera image taken by the built-in camera of the mobile terminal can be reproduced so as to synchronize the time, the relationship between the camera image and the position information and acceleration information can be easily It becomes possible to recognize.

しかし、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データは、例えば、収集データの収集開始タイミングが異なっていたり、収集データの収集周期が異なっている場合があるため、このような複数の収集データを、時刻の同期をとるように再現するといったことは困難である。   However, because multiple collection data collected within the same period at different collection timings with different devices, for example, the collection data collection start timing may be different, or the collection period of collection data may be different. It is difficult to reproduce such a plurality of collected data so as to synchronize the time.

本発明は上記問題に鑑みたもので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現できるようにすることを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to reproduce a plurality of collected data collected in the same period at different collection timings by different devices so as to synchronize the time.

上記目的を達成するため、請求項１に記載の発明は、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得する取得手段と、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行うスロット収納手段と、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成するデータベース生成手段と、を備えたことを特徴としている。   In order to achieve the above object, the invention described in claim 1 is an acquisition means for acquiring a plurality of collected data collected in the same period at different collection timings by different devices, and a timeline serving as a time axis reference In a plurality of slots that are associated with each other and divided at predetermined intervals, a plurality of collected data collected in the same period is synchronized with a collection time using a time stamp included in the plurality of collected data. The slot storing means for performing the storing process as described above, and the timeline and a plurality of data stored in the plurality of slots are associated with each other, and a database capable of outputting the plurality of data so as to synchronize the time is generated. Database generating means.

このような構成によれば、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースが生成されるので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現することができる。   According to such a configuration, a plurality of collected data collected within the same period at different collection timings by different devices are acquired, correlated with a timeline serving as a reference for the time axis, and each predetermined period. In a plurality of slots divided into a plurality of slots, a plurality of collected data collected within the same period is stored so as to synchronize the collection times using time stamps included in the plurality of collected data, and a timeline and A database capable of associating a plurality of data stored in a plurality of slots and outputting a plurality of data so as to synchronize the time is generated, so different devices within the same period at individual collection timings A plurality of collected data can be reproduced so as to synchronize time.

本発明の一実施形態に係る情報処理装置の全体構成を示す図である。1 is a diagram illustrating an overall configuration of an information processing apparatus according to an embodiment of the present invention. 本情報処理装置のフローチャートである。It is a flowchart of this information processing apparatus. スロットについて説明するための図である。It is a figure for demonstrating a slot. スロットに収納する収集データについて説明するための図である。It is a figure for demonstrating the collection data accommodated in a slot. データ抜けまたは不連続箇所の補間について説明するための図である。It is a figure for demonstrating the missing data or the interpolation of a discontinuous part. スロットに収納する収集データについて説明するための図である。It is a figure for demonstrating the collection data accommodated in a slot. 変形例について説明するための図である。It is a figure for demonstrating a modification. 収集されたデータのデータフォーマットと、データベース化されたスロットのデータの例を示した図である。It is the figure which showed the data format of the collected data, and the example of the data of the slot made into a database. 時刻範囲とエリアを指定してデータベース内の検索を行った場合の検索結果について説明するための図である。It is a figure for demonstrating the search result at the time of searching in a database, specifying a time range and an area.

本発明の一実施形態に係る情報処理装置の全体構成を図１に示す。本情報処理装置は、モニタ５０ａおよびキーボード５０ｂが接続されたサーバ５０により構成されている。このサーバ５０には、ネットワーク網を介してサーバ５１およびサーバ５２が接続されている。サーバ５１には、無線ＬＡＮアクセスポイント４１が接続されており、サーバ５２には、無線ＬＡＮアクセスポイント４２が接続されている。なお、サーバ５０〜５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、Ｉ／Ｏ等を備えたコンピュータとして構成されている。   FIG. 1 shows the overall configuration of an information processing apparatus according to an embodiment of the present invention. The information processing apparatus includes a server 50 to which a monitor 50a and a keyboard 50b are connected. A server 51 and a server 52 are connected to the server 50 via a network. A wireless LAN access point 41 is connected to the server 51, and a wireless LAN access point 42 is connected to the server 52. The servers 50 to 52 are configured as computers having a CPU, RAM, ROM, hard disk drive, I / O, and the like.

ビデオカメラ１０は、映像を撮影し、撮影した映像および音声を記憶媒体に記憶させるものである。本実施形態におけるビデオカメラ１０は、無線ＬＡＮ機能を有しており、無線ＬＡＮを経由して記憶媒体に記憶された映像および音声を送出することが可能となっている。   The video camera 10 captures video and stores the captured video and audio in a storage medium. The video camera 10 in this embodiment has a wireless LAN function, and can transmit video and audio stored in a storage medium via the wireless LAN.

携帯端末２０は、内蔵カメラ、加速度を検出する加速度センサ、温度を検出する温度検出部等を備えている。また、本実施形態における携帯端末２０は、無線ＬＡＮに接続する機能を有しており、無線ＬＡＮを経由して、携帯端末２０により撮影されたカメラ映像および音声、加速度センサにより検出された加速度を表す加速度情報、温度検出部で検出された気温を表す気温情報を送出することが可能となっている。   The portable terminal 20 includes a built-in camera, an acceleration sensor that detects acceleration, a temperature detection unit that detects temperature, and the like. In addition, the mobile terminal 20 in the present embodiment has a function of connecting to a wireless LAN. Via the wireless LAN, the camera image and sound captured by the mobile terminal 20 and the acceleration detected by the acceleration sensor are displayed. It is possible to send out acceleration information and temperature information representing the temperature detected by the temperature detector.

車両情報収集モジュール３０は、ＧＰＳ衛星からの測位情報を受信し、当該測位情報に基づいて車両の現在位置を特定するための現在位置情報を出力するＧＰＳ受信部、車両の加速度を検出する加速度センサを備えている。車両情報収集モジュール３０は、無線ＬＡＮに接続する機能を有しており、無線ＬＡＮを経由して、車両の現在位置を特定するための情報および車両の加速度を表す加速度情報を送出することが可能となっている。   The vehicle information collection module 30 receives positioning information from a GPS satellite, outputs a current position information for specifying the current position of the vehicle based on the positioning information, and an acceleration sensor that detects the acceleration of the vehicle It has. The vehicle information collection module 30 has a function of connecting to a wireless LAN, and can transmit information for specifying the current position of the vehicle and acceleration information representing the acceleration of the vehicle via the wireless LAN. It has become.

サーバ５１は、無線ＬＡＮアクセスポイント４１を介して接続されたビデオカメラ１０より送出される映像および音声を受信すると、受信した映像および音声をサーバ５０へ転送する。   When the server 51 receives the video and audio sent from the video camera 10 connected via the wireless LAN access point 41, the server 51 transfers the received video and audio to the server 50.

また、サーバ５２は、無線ＬＡＮアクセスポイント４２を介して接続された携帯端末２０より、カメラ映像および音声、加速度を表す加速度情報、気温情報等の情報を受信すると、受信した情報をサーバ５０へ転送する。   In addition, when the server 52 receives information such as camera video and audio, acceleration information representing acceleration, temperature information, and the like from the mobile terminal 20 connected via the wireless LAN access point 42, the server 52 transfers the received information to the server 50. To do.

サーバ５０のハードディスクドライブには、異なる機器で個別の収集タイミングで収集された複数の収集データが記憶されるようになっている。具体的には、ビデオカメラ１０により撮影された映像および音声、携帯端末２０により撮影されたカメラ映像および音声、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報、携帯端末２０の温度検出部で検出された気温を表す気温情報、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報、車両情報収集モジュール３０の加速度センサで検出された車両の加速度を表す加速度情報等の各種収集データが記憶されるようになっている。   The hard disk drive of the server 50 stores a plurality of collected data collected at different collection timings by different devices. Specifically, video and audio captured by the video camera 10, camera video and audio captured by the mobile terminal 20, acceleration information representing acceleration detected by the acceleration sensor of the mobile terminal 20, temperature detection of the mobile terminal 20 Various information such as temperature information representing the temperature detected by the vehicle, current position information output from the GPS receiver of the vehicle information collection module 30, and acceleration information representing the vehicle acceleration detected by the acceleration sensor of the vehicle information collection module 30 Collected data is stored.

本実施形態におけるサーバ５０は、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように出力することを可能とするデータに加工する処理を行う。   The server 50 according to the present embodiment performs a process of processing a plurality of collected data collected within the same period at different collection timings by different devices into data that can be output so as to synchronize time. .

図２に、サーバ５０のフローチャートを示す。本実施形態では、ビデオカメラ１０により撮影された映像と、携帯端末２０により同一期間に撮影されたカメラ映像と、携帯端末２０の加速度センサにより同一期間に検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より同一期間に出力された現在位置情報を対象として、上記処理を行うものとする。   FIG. 2 shows a flowchart of the server 50. In the present embodiment, an image captured by the video camera 10, a camera image captured by the mobile terminal 20 during the same period, acceleration information representing acceleration detected by the acceleration sensor of the mobile terminal 20 during the same period, and the vehicle It is assumed that the above processing is performed on current position information output from the GPS receiver of the information collection module 30 during the same period.

サーバ５０は、作業者の操作により上記対象の収集データが指定され、上記処理の開始が指示されると、図２に示す処理を実施する。   When the target collection data is designated by the operator's operation and the start of the process is instructed, the server 50 performs the process shown in FIG.

まず、同一期間内に収集された複数の収集データを取得する（Ｓ１００）。ここでは、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報を取得するものとする。   First, a plurality of collected data collected within the same period is acquired (S100). Here, an image captured by the video camera 10, a camera image captured by the mobile terminal 20, acceleration information indicating acceleration detected by the acceleration sensor of the mobile terminal 20, and a GPS receiver of the vehicle information collection module 30 It is assumed that the current position information output from is acquired.

次に、収集データをスロットに収納する（Ｓ１０２）。本実施形態において、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットがハードディスク上の記憶領域に用意されている。   Next, the collected data is stored in the slot (S102). In the present embodiment, a plurality of slots associated with a timeline serving as a time axis reference and divided at predetermined intervals are prepared in a storage area on the hard disk.

図３に、タイムラインとＩＤ１〜ＩＤ３のスロットの例を示す。ＩＤ１のスロットは１秒周期で区切られており、ＩＤ２のスロットは０．５秒周期で区切られており、ＩＤ３のスロットは０．２５秒周期で区切られている。収集データは、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに収納される。なお、タイムラインは、時刻を表す情報である。   FIG. 3 shows an example of a timeline and ID1 to ID3 slots. The slot of ID1 is divided with a period of 1 second, the slot of ID2 is divided with a period of 0.5 seconds, and the slot of ID3 is divided with a period of 0.25 seconds. The collected data is stored in a plurality of slots that are associated with a timeline serving as a reference for the time axis and divided at predetermined intervals. The timeline is information representing time.

具体的には、取得した各収集データの収集周期を特定し、収集周期に合わせて収集データを各スロットに収納する。例えば、ＧＰＳ受信部より出力された現在位置情報は、収集周期＝１秒として特定し、１秒周期に区切られたスロットに収納する。また、３０ｆｐｓ（Ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ）のフレームレートの映像の場合、収集周期＝１／３０秒として特定し、１／３０秒周期に区切られた各スロットに映像を構成している静止画を収納する。   Specifically, the collection period of each acquired data is specified, and the collected data is stored in each slot according to the collection period. For example, the current position information output from the GPS receiver is specified as collection cycle = 1 second, and is stored in slots divided into 1-second cycles. In addition, in the case of an image with a frame rate of 30 fps (Frame per Second), the collection period is specified as 1/30 seconds, and the still images constituting the image are stored in each slot divided into 1/30 second periods. .

なお、収集データをスロットに収納する際には、図４に示すように、各収集データに含まれるタイムスタンプに基づいて、各収集データに共通に含まれる同期基準時刻Ｔ１を特定し、この同期基準時刻Ｔ１を含むように各収集データを各スロットに収納する。なお、タイムスタンプは、収集データの収集時刻を特定するための情報である。タイムスタンプには、収集開始時刻と収集終了時刻が付与されるものや、収集開始時刻と収集終了時刻とともに一定周期毎に収集時刻が付与されるものなどがある。本実施形態では、各収集データのうち、収集開始時刻の最も遅い収集データの収集開始時刻を同期基準時刻Ｔ１として特定する。   When storing the collected data in the slot, as shown in FIG. 4, the synchronization reference time T1 included in each collected data is specified based on the time stamp included in each collected data, and this synchronization is performed. Each collected data is stored in each slot so as to include the reference time T1. The time stamp is information for specifying the collection time of collected data. Some time stamps are given a collection start time and a collection end time, and some time stamps are given a collection time at regular intervals together with the collection start time and the collection end time. In the present embodiment, the collection start time of the collection data with the latest collection start time among the collected data is specified as the synchronization reference time T1.

次に、スロットのデータを読み出す（Ｓ１０４）。すなわち、収集データを収納した全てのスロットのデータを読み出す。   Next, the slot data is read (S104). That is, the data of all slots storing the collected data is read.

次に、スロットから読み出した収集データにデータ抜けまたは不連続となる箇所があるか否かを判定する（Ｓ１０６）。例えば、ビデオカメラ１０で撮影された映像データをサーバ５１がキャプチャーする際に、サーバ５１のＣＰＵの付加が高い場合、映像データの取りこぼしが発生する。このようなデータの取りこぼしが発生した場合、スロットから読み出した収集データにデータ抜けが発生する。また、ビデオカメラ１０で撮影された映像データをサーバ５１が受信する際に、通信環境が悪い場合、映像データの送信途中で通信異常となる。このように、映像データの送信途中で通信異常となると、ビデオカメラ１０で撮影された映像データに不連続となる箇所が発生する。ここでは、このようなデータ抜けや不連続箇所を見つけるため、データ抜けまたは不連続となる箇所があるか否かを判定する。   Next, it is determined whether or not there is a location in the collected data read from the slot that is missing or discontinuous (S106). For example, when the server 51 captures video data captured by the video camera 10, if the CPU of the server 51 is high, video data may be missed. When such data omission occurs, data omission occurs in the collected data read from the slot. Further, when the server 51 receives video data captured by the video camera 10, if the communication environment is bad, a communication error occurs during the transmission of the video data. As described above, when a communication error occurs during transmission of video data, a discontinuous portion occurs in the video data captured by the video camera 10. Here, in order to find such data missing or discontinuous portions, it is determined whether or not there is a data missing or discontinuous portion.

ここで、スロットから読み出した収集データにデータ抜けまたは不連続となる箇所がある場合、Ｓ１０６の判定はＹＥＳとなり、データ抜け補間処理を行う（Ｓ１０８）。このデータ抜け補間処理は、図５（ａ）に示すように、データ抜けまたは不連続となる箇所がある場合、図５（ｂ）に示すように、データ抜けまたは不連続となっている箇所の収集データを補間する。例えば、データ抜けまたは不連続となる箇所の前後の収集データの平均値を用いてデータ抜けまたは不連続となっている箇所の収集データを補間する。   Here, if there is a location where data is missing or discontinuous in the collected data read from the slot, the determination in S106 is YES and data missing interpolation processing is performed (S108). As shown in FIG. 5 (a), this data missing interpolation process is performed when there is a data missing or discontinuous part, as shown in FIG. 5 (b). Interpolate collected data. For example, using the average value of the collected data before and after the data missing or discontinuous portion, the collected data at the data missing or discontinuous portion is interpolated.

次に、スロットに収納した収集データを、同期をとるようにシフトさせる（Ｓ１１０）。具体的には、図６に示すように、各スロットに収納した各収集データの同期基準時刻Ｔ１を、タイムライン上の同期基準時刻Ｔ１と一致させるように、各スロットに収納した各収集データをシフトさせる。   Next, the collected data stored in the slot is shifted so as to be synchronized (S110). Specifically, as shown in FIG. 6, the collection data stored in each slot is set so that the synchronization reference time T1 of each collection data stored in each slot matches the synchronization reference time T1 on the timeline. Shift.

次に、スロットのデータをデータベース化する（Ｓ１１２）。具体的には、時間軸の基準となるタイムラインと、複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成する。   Next, the slot data is made into a database (S112). Specifically, a timeline serving as a time axis reference is associated with a plurality of data stored in a plurality of slots, and a database capable of outputting a plurality of data so as to synchronize the time is generated. .

次に、Ｓ１１２にて生成したデータベースをハードディスクドライブに記憶させ（Ｓ１１４）、本処理を終了する。   Next, the database generated in S112 is stored in the hard disk drive (S114), and this process ends.

なお、上記データベースは、時間軸の基準となるタイムラインと、各スロットに収集時刻を同期させるように収納した複数の収集データを関連付けされたものとなっているので、各スロットから同一の収集時刻の複数の収集データを順次読み出すようにして、時刻の同期をとるように出力することが可能である。   In addition, since the above database associates a timeline serving as a time axis reference with a plurality of collected data stored so as to synchronize the collection time in each slot, the same collection time is obtained from each slot. The plurality of collected data can be sequentially read out and output so as to synchronize the time.

例えば、ユーザ操作によって同期基準時刻Ｔ１からの再現が指示されると、タイムライン上の同期基準時刻Ｔ１に対応する位置を特定し、この同期基準時刻Ｔ１に対応する位置から、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報とを順次読み出して再現する。   For example, when reproduction from the synchronization reference time T1 is instructed by a user operation, a position corresponding to the synchronization reference time T1 on the timeline is specified, and the video camera 10 takes a picture from a position corresponding to the synchronization reference time T1. The captured image, the camera image captured by the mobile terminal 20, the acceleration information representing the acceleration detected by the acceleration sensor of the mobile terminal 20, and the current position information output from the GPS receiver of the vehicle information collection module 30 Are sequentially read and reproduced.

すなわち、時刻の経過に伴って、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報とが、同期して変化するようにモニタ５０ａの表示部に表示される。   That is, with the passage of time, an image captured by the video camera 10, a camera image captured by the mobile terminal 20, acceleration information representing acceleration detected by the acceleration sensor of the mobile terminal 20, and vehicle information collection The current position information output from the GPS receiving unit of the module 30 is displayed on the display unit of the monitor 50a so as to change synchronously.

ここで、収集データのデータフォーマットと情報処理装置によりデータベース化されたデータについて説明する。図８に、デジタルカメラにより収集されたデータのデータフォーマット例と、本情報処理装置によりデータベース化されたデータ例を示す。図８（ａ）は、ＧＰＳ衛星からの測位情報に基づく現在位置特定機能を有するビデオカメラにより収集されたデータのデータフォーマット例を示したものである。図に示すように、このデータフォーマットには、機器ナンバー（機器ＮＯ）、日時（ＧＭＴ）、位置情報タイプ、位置情報、データタイプ、開始時刻、収録時間、データフォーマット、データポインタ、データ（映像データ）、チェックサム等の情報が含まれる。   Here, the data format of the collected data and the data stored in the database by the information processing apparatus will be described. FIG. 8 shows an example of the data format of data collected by the digital camera and an example of data stored in a database by the information processing apparatus. FIG. 8A shows an example of a data format of data collected by a video camera having a current position specifying function based on positioning information from a GPS satellite. As shown in the figure, this data format includes device number (device NO), date and time (GMT), position information type, position information, data type, start time, recording time, data format, data pointer, data (video data). ), Information such as a checksum.

ここでは、情報処理装置は、デジタルカメラにより収集されたデータを取得すると、取得した情報に含まれる日時（ＧＭＴ）および開始時刻からタイムスタンプを特定するとともに、取得した情報に含まれる複数の位置情報をポジションスタンプとし、タイムスタンプとポジションスタンプとデータを関連付けしたデータベースを生成する。このようにして、図８（ｂ）に示すような、時刻と位置情報とデータを関連付けしたデータが生成される。   Here, when the information processing apparatus acquires the data collected by the digital camera, the information processing apparatus specifies a time stamp from the date and time (GMT) and the start time included in the acquired information, and a plurality of pieces of position information included in the acquired information Is used as a position stamp, and a database in which the time stamp, the position stamp, and the data are associated with each other is generated. In this way, data associating time, position information, and data as shown in FIG. 8B is generated.

このような、タイムスタンプとポジションスタンプとデータを関連付けしたデータベースを生成しておくことで、例えば、図９に示すように、時刻範囲とエリアを指定してデータベース内の検索を行うと、指定した時刻範囲で、かつ、指定したエリア内で、様々な機器で収集された情報を容易に抽出することが可能となる。特に、大量のデータベースが構築されている場合、このように、エリアを限定して検索を行うことで、データ処理における処理付加を低減することが可能である。また、連続したポジションスタンプを抽出したり、連続したポジションスタンプから移動した方向を特定するといったことも可能である。   By creating a database in which such a time stamp, position stamp, and data are associated with each other, for example, as shown in FIG. It is possible to easily extract information collected by various devices within a time range and within a designated area. In particular, when a large amount of database is constructed, it is possible to reduce processing additions in data processing by performing a search with limited areas in this way. It is also possible to extract consecutive position stamps and to specify the direction of movement from successive position stamps.

上記した構成によれば、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースが生成されるので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現することができる。   According to the above-described configuration, a plurality of collected data collected in the same period at different collection timings by different devices are acquired, correlated with a timeline serving as a reference for the time axis, and each predetermined period. In a plurality of divided slots, a plurality of collected data collected within the same period is stored so that the collection times are synchronized using time stamps included in the plurality of collected data, and a plurality of timelines A database capable of associating multiple data stored in each slot and outputting multiple data so as to synchronize the time is generated, so it is collected within the same period at different collection timings on different devices A plurality of collected data can be reproduced so as to synchronize the time.

また、複数のスロットに収納された複数のデータにデータ抜けがある場合、当該データ抜けとなっている箇所の前後の収集データに基づいてデータ抜けとなっている箇所の収集データを補間するので、複数のスロットに収納された複数のデータにデータ抜けがある場合でも、データ抜けのないようにすることが可能である。   In addition, when there is data loss in a plurality of data stored in a plurality of slots, since the collected data of the location where the data is missing is interpolated based on the collected data before and after the location where the data is missing, Even when there is data loss in a plurality of data stored in a plurality of slots, it is possible to prevent data loss.

また、複数のスロットに収納された複数のデータに不連続箇所がある場合、当該不連続箇所の前後の収集データに基づいて不連続箇所の収集データを補間するので、複数のスロットに収納された複数のデータに不連続箇所がある場合でも、不連続箇所を補正することが可能である。   In addition, when there are discontinuous portions in a plurality of data stored in a plurality of slots, the collected data of the discontinuous portions are interpolated based on the collected data before and after the discontinuous portions, so that the data stored in the plurality of slots is stored. Even when there are discontinuous portions in a plurality of data, it is possible to correct the discontinuous portions.

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。   In addition, this invention is not limited to the said embodiment, Based on the meaning of this invention, it can implement with a various form.

例えば、上記実施形態では、Ｓ１１２にて、時間軸の基準となるタイムラインと、各スロットに収集時刻を同期させるように収納した複数の収集データを関連付けし、時刻の同期をとるように複数の収集データを出力することが可能なデータベースを生成した後、Ｓ１１２にて、このデータベースを記憶させるようにしたが、図７に示すように、Ｓ１１２にて、データベースを生成した後、データベースに基づいて、時刻の同期をとるように同一期間内に収集された複数の収集データを出力するようにしてもよい。   For example, in the above embodiment, in S112, a timeline serving as a reference for the time axis is associated with a plurality of collected data stored in each slot so as to synchronize the collection time, and a plurality of data are synchronized so as to synchronize the time. After generating a database capable of outputting the collected data, this database is stored in S112. However, as shown in FIG. 7, after generating the database in S112, based on the database A plurality of collected data collected in the same period may be output so as to synchronize the time.

また、上記実施形態では、サーバ５１およびサーバ５２を介してサーバ５０に各種収集データが入力される構成を示したが、例えば、メモリカード等の記憶媒体を介してサーバ５０に各種収集データが入力されるように構成してもよい。   In the above-described embodiment, the configuration in which various collection data is input to the server 50 via the server 51 and the server 52 has been described. For example, various collection data is input to the server 50 via a storage medium such as a memory card. You may comprise.

また、上記実施形態では、サーバ５０がサーバ５１およびサーバ５２を介して各種収集データを取得する構成を示したが、例えば、各種収集データの中からデータマイニング技術を用いて有用な情報（パターンやルール）を抽出したデータを格納したデータマイニングサーバや、ビッグデータと呼ばれる大量の収集データを格納したビッグデータサーバから異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、当該同一期間内に収集された複数の収集データを、収集時刻を同期させるように収納する処理を行うように構成してもよい。   In the above embodiment, the server 50 has acquired the various collection data via the server 51 and the server 52. For example, useful information (patterns or Multiple data collected within the same period at different collection timings on different devices from a data mining server that stores data extracted from the rules) or a big data server that stores a large amount of collected data called big data And you may comprise so that the process which accommodates several collection data collected in the said same period so that collection time may be synchronized may be performed.

また、上記実施形態では、サーバ５０が、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、当該同一期間内に収集された複数の収集データを、収集時刻を同期させるように収納する処理を行う構成を示したが、例えば、位置情報、加速度情報、周辺温度情報等の収集データを収集し、収集した複数の収集データを記憶媒体に記憶させるデータロガーにおいて、近距離無線通信インタフェースを介して異なる機器で個別の収集タイミングで同一期間内に収集された収集データを取得し、上記した位置情報、加速度情報、周辺温度情報等の収集データと、近距離無線通信インタフェースを介して収集された複数の収集データを、収集時刻を同期させるように収納する処理を行うように構成してもよい。このように、予め用意されたインタフェースを介して新たな収集データを取得し、上記した位置情報、加速度情報、周辺温度情報等の収集データと、予め用意されたインタフェースを介して収集された複数の収集データを、収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成するように構成することで、データロガーで新たな収集データを追加して収集することが可能となり機能拡張することが可能である。   In the above embodiment, the server 50 acquires a plurality of collected data collected in the same period at different collection timings by different devices, and collects the collected data collected in the same period as the collection time. In a data logger that collects collected data such as position information, acceleration information, and ambient temperature information and stores the collected data in a storage medium, for example, Acquire collected data collected within the same period at different collection timings with different devices via the short-range wireless communication interface, and collect the collected data such as position information, acceleration information, ambient temperature information, etc. You may comprise so that the several collection data collected via the communication interface may be accommodated so that collection time may be synchronized. In this way, new collection data is acquired through a previously prepared interface, and a plurality of collection data such as the above-described position information, acceleration information, ambient temperature information, and the like are collected through a previously prepared interface. It is possible to store collected data so that the collection time is synchronized, associate multiple data stored in the timeline with multiple slots, and output multiple data to synchronize the time By creating such a database, it is possible to add and collect new collected data with a data logger and to expand the function.

また、上記実施形態では、複数のスロットに収納された複数のデータにデータ抜けがある場合や複数のスロットに収納された複数のデータに不連続箇所がある場合、当該データ抜けとなっている箇所の前後の収集データに基づいてデータ抜けとなっている箇所の収集データを補間したり、不連続箇所の前後の収集データに基づいて不連続箇所の収集データを補間するようにしたが、このような手法に限定されることなく、別の手法を用いてデータ補間するようにしてもよい。また、補間の手法を複数用意しておき、ユーザが選択できるように構成してもよい。   Further, in the above embodiment, when there is data missing in a plurality of data stored in a plurality of slots, or when there are discontinuous portions in a plurality of data stored in a plurality of slots, the location where the data is missing Interpolated the collected data of the missing data based on the collected data before and after the data, or interpolated the collected data of the discontinuous parts based on the collected data before and after the discontinuous parts. Without being limited to such a method, data interpolation may be performed using another method. Further, a plurality of interpolation methods may be prepared so that the user can select.

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１００が取得手段に相当し、Ｓ１０２、Ｓ１１０がスロット収納手段に相当し、Ｓ１１２がデータベース生成手段に相当し、Ｓ１０６、Ｓ１０８が補間手段に相当し、Ｓ１１４がデータベース記憶制御手段に相当し、Ｓ２１４がデータ出力手段に相当する。   The correspondence between the configuration in the above embodiment and the configuration of the claims will be described. S100 corresponds to an acquisition unit, S102 and S110 correspond to a slot storage unit, and S112 corresponds to a database generation unit. S106 and S108 correspond to interpolation means, S114 corresponds to database storage control means, and S214 corresponds to data output means.

１０ ビデオカメラ
２０ 携帯端末
３０ 車両情報収集モジュール
４１、４２ 無線ＬＡＮアクセスポイント
５０〜５２ サーバ DESCRIPTION OF SYMBOLS 10 Video camera 20 Portable terminal 30 Vehicle information collection module 41, 42 Wireless LAN access point 50-52 Server

Claims (5)

異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得する取得手段と、
時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、前記同一期間内に収集された複数の収集データを、前記複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行うスロット収納手段と、
前記タイムラインと前記複数のスロットに収納された前記複数のデータを関連付けし、時刻の同期をとるように前記複数のデータを出力することが可能なデータベースを生成するデータベース生成手段と、を備えたことを特徴とする情報処理装置。 Acquisition means for acquiring a plurality of collected data collected in the same period at different collection timings with different devices;
A plurality of collected data collected within the same period is included in the plurality of collected data in a plurality of slots associated with a timeline serving as a time axis reference and divided at predetermined intervals. Slot storage means for performing processing to store the collection time so as to synchronize using a time stamp;
Database generating means for associating the timeline and the plurality of data stored in the plurality of slots and generating a database capable of outputting the plurality of data so as to synchronize time; An information processing apparatus characterized by that. 前記複数のスロットに収納された前記複数のデータにデータ抜けがある場合、当該データ抜けとなっている箇所の前後の収集データに基づいて前記データ抜けとなっている箇所の収集データを補間する補間手段を備えたことを特徴とする請求項１に記載の情報処理装置。   Interpolation that interpolates the collected data at the location where the data is missing based on the collected data before and after the location where the data is missing when there is data loss in the plurality of data stored in the plurality of slots The information processing apparatus according to claim 1, further comprising means. 前記複数のスロットに収納された前記複数のデータに不連続箇所がある場合、当該不連続箇所の前後の収集データに基づいて前記不連続箇所の収集データを補間する補間手段を備えたことを特徴とする請求項１または２に記載の情報処理装置。   When there are discontinuous portions in the plurality of data stored in the plurality of slots, an interpolation unit is provided for interpolating the collected data of the discontinuous portions based on the collected data before and after the discontinuous portions. The information processing apparatus according to claim 1 or 2. 前記データベース生成手段により生成された前記データベースを記憶媒体に記憶させるデータベース記憶制御手段を備えたことを特徴とする請求項１ないし３のいずれか１つに記載の情報処理装置。   4. The information processing apparatus according to claim 1, further comprising database storage control means for storing the database generated by the database generation means in a storage medium. 前記データベース生成手段により生成された前記データベースを読み出して、時刻の同期をとるように前記同一期間内に収集された複数の収集データを出力するデータ出力手段と、を備えたことを特徴とする請求項１ないし３のいずれか１つに記載の情報処理装置。   A data output means for reading the database generated by the database generation means and outputting a plurality of collected data collected in the same period so as to synchronize time. Item 4. The information processing apparatus according to any one of Items 1 to 3.
JP2013194315A 2013-09-19 2013-09-19 Information processing device Active JP6098458B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013194315A JP6098458B2 (en) 2013-09-19 2013-09-19 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013194315A JP6098458B2 (en) 2013-09-19 2013-09-19 Information processing device

Publications (2)

Publication Number Publication Date
JP2015060612A true JP2015060612A (en) 2015-03-30
JP6098458B2 JP6098458B2 (en) 2017-03-22

Family

ID=52818010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013194315A Active JP6098458B2 (en) 2013-09-19 2013-09-19 Information processing device

Country Status (1)

Country Link
JP (1) JP6098458B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044908A1 (en) * 2018-08-30 2020-03-05 株式会社安川電機 Industrial device data collection system and motor control device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579951A (en) * 1991-09-18 1993-03-30 Hitachi Ltd Monitoring system
JPH10260718A (en) * 1997-03-19 1998-09-29 Fuji Electric Co Ltd Method for predicting volume of water of dam
JP2006325064A (en) * 2005-05-20 2006-11-30 Advanced Telecommunication Research Institute International Wide area monitoring system
JP2009171497A (en) * 2008-01-21 2009-07-30 Hitachi Ltd Sensor net server, and sensor net system
JP2009301260A (en) * 2008-06-12 2009-12-24 Yokogawa Electric Corp Field data display device and field data display method
JP2011158990A (en) * 2010-01-29 2011-08-18 Fujitsu Ltd Collection device, sensor device, and collection method
JP2011257967A (en) * 2010-06-09 2011-12-22 Hitachi Ltd Rolling plant monitoring device, rolling plant monitoring system and rolling plant monitoring method
WO2012140715A1 (en) * 2011-04-11 2012-10-18 東芝三菱電機産業システム株式会社 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579951A (en) * 1991-09-18 1993-03-30 Hitachi Ltd Monitoring system
JPH10260718A (en) * 1997-03-19 1998-09-29 Fuji Electric Co Ltd Method for predicting volume of water of dam
JP2006325064A (en) * 2005-05-20 2006-11-30 Advanced Telecommunication Research Institute International Wide area monitoring system
JP2009171497A (en) * 2008-01-21 2009-07-30 Hitachi Ltd Sensor net server, and sensor net system
JP2009301260A (en) * 2008-06-12 2009-12-24 Yokogawa Electric Corp Field data display device and field data display method
JP2011158990A (en) * 2010-01-29 2011-08-18 Fujitsu Ltd Collection device, sensor device, and collection method
JP2011257967A (en) * 2010-06-09 2011-12-22 Hitachi Ltd Rolling plant monitoring device, rolling plant monitoring system and rolling plant monitoring method
WO2012140715A1 (en) * 2011-04-11 2012-10-18 東芝三菱電機産業システム株式会社 Data synchronization and reproduction device, data synchronization and reproduction method, and data synchronization control program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044908A1 (en) * 2018-08-30 2020-03-05 株式会社安川電機 Industrial device data collection system and motor control device

Also Published As

Publication number Publication date
JP6098458B2 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
US10720183B2 (en) Method and electronic device for generating multiple point of view video
US10734030B2 (en) Recorded data processing method, terminal device, and editing device
JP4778306B2 (en) Matching asynchronous image parts
KR101764033B1 (en) Time-synchronizing a parallel feed of secondary content with primary media content
US10015369B2 (en) Synchronization of cameras using wireless beacons
WO2015029393A1 (en) Information processing device and information processing method
KR101560763B1 (en) Method and apparatus for processing motion video
KR101155611B1 (en) apparatus for calculating sound source location and method thereof
JP2019057891A (en) Information processing apparatus, imaging apparatus, information processing method, and program
JP6098458B2 (en) Information processing device
US11778129B1 (en) Synchronization of image capture devices prior to capture
US9420316B2 (en) Control apparatus, reproduction control method, and recording medium
JP2016092772A (en) Signal processor and signal processing method and program thereof
US20200286523A1 (en) Method and apparatus for editing media content
JP4937795B2 (en) Content-associated information display method, content-associated information display device, program thereof, and recording medium
TWI535282B (en) Method and electronic device for generating multiple point of view video
JP6295634B2 (en) Information processing system and program
JP6089865B2 (en) Information processing apparatus, display method and program in information processing apparatus
JP2020057847A (en) Information synchronizer, information synchronizing method, and information synchronizing program
KR102367165B1 (en) The syncronizing method for the filming time and the apparatus
JP6296182B2 (en) Information processing apparatus, display method and program in information processing apparatus
JP4519569B2 (en) 3D MPEG signal synchronization system
KR101203706B1 (en) apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium
JP2023090471A (en) Information processing system, server device, and program
JP2020005213A (en) Transmitter, receiver, control method of transmitter, control method of receiver, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170206

R151 Written notification of patent or utility model registration

Ref document number: 6098458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250