JP5018000B2 - データ処理方法 - Google Patents
データ処理方法 Download PDFInfo
- Publication number
- JP5018000B2 JP5018000B2 JP2006273521A JP2006273521A JP5018000B2 JP 5018000 B2 JP5018000 B2 JP 5018000B2 JP 2006273521 A JP2006273521 A JP 2006273521A JP 2006273521 A JP2006273521 A JP 2006273521A JP 5018000 B2 JP5018000 B2 JP 5018000B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- stored
- converted
- database
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、外部入力されるディジタルデータをデータベースに蓄積し、蓄積したデータを検索してその加工／解析などを行なうデータ処理システムに係り、特にデータベースに格納されるバイナリ形式データを検索し、このデータから文字列データに変換したファイル出力を得るデータ処理方法に関する。
この種のデータ処理システムは、例えば、電力系統や電力設備の各部位の電圧、電流の波形をサンプリングしてディジタル信号に変換し、このディジタル信号の解析によって系統の運用状態や設備の動作状態を求める解析システム、車両等の試験運転における各種計測信号から試験データを取得する試験システム、監視カメラで撮影した映像から侵入者等が写っている映像部分を抽出する映像解析システム、指紋データを取得して個人を認証する指紋認証システムなどで実施されている。
上記のようなデータ処理システムは、大量のディジタルデータまたはアナログ信号をディジタルデータに変換して収集するデータ収集部と、このディジタルデータをデータベースのデータ蓄積方式に適合させたデータ形式に変換して蓄積するデータ変換部と、データベースに蓄積したデータを検索して目的とする加工を行うデータ加工部と、加工結果を画像データやファイルデータとして出力する出力部により構成され、各部はコンピュータ資源とそれを利用したソフトウェア構成で実現される（例えば特許文献１参照）。
ここで、データベースに対するデータ格納からファイル出力までの処理は、以下のようにしている。
（１）データ格納処理
収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納している（例：信号ＡのＯＮ出力〜信号ＡのＯＦＦ出力まで）。このため、データベースの各フィールドには、信号ＡのＯＮ出力時の時間から信号ＡのＯＦＦ出力の時間までに取得したデータが一列のバイナリデータ列として格納される。
収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納している（例：信号ＡのＯＮ出力〜信号ＡのＯＦＦ出力まで）。このため、データベースの各フィールドには、信号ＡのＯＮ出力時の時間から信号ＡのＯＦＦ出力の時間までに取得したデータが一列のバイナリデータ列として格納される。
（２）ファイル出力時のデータ保持処理
データベースに蓄積されたバイナリデータをファイル出力する際に、データベースより取得したデータをバイナリ変換前のデータのバイト数ごとに区切った後、数値変換を行なう。数値変換後のデータを加工し、さらに文字列変換したデータ別に配列としてメモリ上に保持する。
データベースに蓄積されたバイナリデータをファイル出力する際に、データベースより取得したデータをバイナリ変換前のデータのバイト数ごとに区切った後、数値変換を行なう。数値変換後のデータを加工し、さらに文字列変換したデータ別に配列としてメモリ上に保持する。
図２はデータ保持の処理態様の例を示し、データベースから取得したサンプリングデータ（バイナリ形式）を指定バイト（例：２バイト）で区切って数値変換し（Ｓ１）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量（実際の電圧値、電流値など）変換を行い（Ｓ２）、変換した値を文字列データに変換してフィールドデータとしてメモリ上に保持する（Ｓ３）。
（３）ファイル出力処理
データベースより取得したフィールドデータが全て文字列データに変換されてメモリ上に保持された後、同一時刻に取得したデータを取り出し、全フィールドのデータを取得してファイルに出力する。
データベースより取得したフィールドデータが全て文字列データに変換されてメモリ上に保持された後、同一時刻に取得したデータを取り出し、全フィールドのデータを取得してファイルに出力する。
図３はファイル出力処理態様の例を示し、出力する各フィールドのサンプリングデータを格納した配列から、同一時刻の文字列データを取り出し（Ｓ４）、全フィールドのデータを取得した後に１行分のデータをファイルに書き出し（Ｓ５）、これら処理を繰り返す。
特開２００３−１２２７６７号公報
データベースに対するデータ検索からファイル出力までの従来のデータ処理方法では、データベースより取得するデータ数が大きいと、変換した文字列データの保持処理に際してメモリ領域が随時拡大されて大容量のメモリ領域が使用され、そのメモリ領域の確保、解放に時間がかかり、結果的にファイル出力までに時間を要してしまい、高速処理が難しくなる。
本発明の目的は、データベースに格納したバイナリ形式のデータ検索から文字列に変換したファイル出力までの処理時間を短縮できるデータ処理方法を提供することにある。
本発明は、前記の課題を解決するため、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理においてバイナリ形式データを文字列データに変換するようにしたもので、以下の方法を特徴とする。
検出された１フィールド分のバイナリ形式のディジタルデータを、データ変換部により数値データに変換してフィールド毎に区分してデータベースに蓄積し、蓄積データの出力時に文字列データとしてファイルデータに書き込んで出力を得るデータ処理方法であって、
前記数値データに変換された１フィールド分のデータ数を取得して格納するデータ数格納メモリ領域、区切りバイト数、データ加工用の変換係数を格納するバイト数・変換係数メモリ領域、及び前記バイナリ形式のデータを格納するバイナリデータメモリ格納領域を前記データベース内に設け、データ保持処理手段により設けられた各メモリ領域に当該データをそれぞれ格納する共に、
前記ファイルデータ出力時に、ファイル出力処理手段により、前記区切りバイト数と時間から求められるデータ位置を特定して区切りバイトのサイズで数値変換し、変換された値に対して前記変換係数を使用して物理量変換を行い、返還結果を字列データに変換し前記ファイル出力データに書き込むことを特徴とするものである。
前記数値データに変換された１フィールド分のデータ数を取得して格納するデータ数格納メモリ領域、区切りバイト数、データ加工用の変換係数を格納するバイト数・変換係数メモリ領域、及び前記バイナリ形式のデータを格納するバイナリデータメモリ格納領域を前記データベース内に設け、データ保持処理手段により設けられた各メモリ領域に当該データをそれぞれ格納する共に、
前記ファイルデータ出力時に、ファイル出力処理手段により、前記区切りバイト数と時間から求められるデータ位置を特定して区切りバイトのサイズで数値変換し、変換された値に対して前記変換係数を使用して物理量変換を行い、返還結果を字列データに変換し前記ファイル出力データに書き込むことを特徴とするものである。
以上のとおり、本発明によれば、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理においてバイナリ形式データを文字列データに変換するようにしたため、検索データを文字列変換するまでの間のメモリの確保、解放の時間を短縮でき、結果的にファイル出力までの時間を短縮できる。
また、データ検索の時間が短縮されることで、データ処理システム全体として高速処理が期待できる。
図１は、本発明の実施形態を示すデータ格納からファイル出力までの処理態様図であり、以下、個別にその処理を説明する。
（１）データ格納処理は、従来手法と同様に、収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納し、データベースの各フィールドには、一列のバイナリデータ列として格納する。
（２）ファイル出力時のデータ保持処理
データベースより取得した各フィールドのバイナリ形式データよりデータ数を取得してメモリ領域に格納する（Ｓ１１）。その他、区切りバイト数、データ加工用のデータ（例では一次変換係数ａ，ｂ）などの必要なデータをメモリ領域に格納する（Ｓ１２）。そして、データベースより取得したバイナリデータをそのまま配列データとして格納する（Ｓ１３）。
データベースより取得した各フィールドのバイナリ形式データよりデータ数を取得してメモリ領域に格納する（Ｓ１１）。その他、区切りバイト数、データ加工用のデータ（例では一次変換係数ａ，ｂ）などの必要なデータをメモリ領域に格納する（Ｓ１２）。そして、データベースより取得したバイナリデータをそのまま配列データとして格納する（Ｓ１３）。
（３）ファイル出力処理
出力する各フィールドのサンプリングデータ（バイナリ形式）で、時間と区切りバイト数から求めるデータの位置を特定して、区切りバイト（２バイト）のサイズで数値変換し（Ｓ１４）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量変換を行い（Ｓ１５）、変換結果を文字列データに変換してファイル出力データに追加する（Ｓ１６）。全フィールドのデータを取得したとき、１行分のフィールドデータをファイルに書き込む（Ｓ１７）。
出力する各フィールドのサンプリングデータ（バイナリ形式）で、時間と区切りバイト数から求めるデータの位置を特定して、区切りバイト（２バイト）のサイズで数値変換し（Ｓ１４）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量変換を行い（Ｓ１５）、変換結果を文字列データに変換してファイル出力データに追加する（Ｓ１６）。全フィールドのデータを取得したとき、１行分のフィールドデータをファイルに書き込む（Ｓ１７）。
したがって、本実施形態によれば、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理でバイナリ形式データを文字列データに変換するため、データ保持処理に際してメモリの確保、解放の時間を短縮できる。
Claims (1)
- 検出された１フィールド分のバイナリ形式のディジタルデータを、データ変換部により数値データに変換してフィールド毎に区分してデータベースに蓄積し、蓄積データの出力時に文字列データとしてファイルデータに書き込んで出力を得るデータ処理方法であって、
前記数値データに変換された１フィールド分のデータ数を取得して格納するデータ数格納メモリ領域、区切りバイト数、データ加工用の変換係数を格納するバイト数・変換係数メモリ領域、及び前記バイナリ形式のデータを格納するバイナリデータメモリ格納領域を前記データベース内に設け、データ保持処理手段により設けられた各メモリ領域に当該データをそれぞれ格納する共に、
前記ファイルデータ出力時に、ファイル出力処理手段により、前記区切りバイト数と時間から求められるデータ位置を特定して区切りバイトのサイズで数値変換し、変換された値に対して前記変換係数を使用して物理量変換を行い、返還結果を字列データに変換し前記ファイル出力データに書き込むことを特徴とするデータ処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006273521A JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006273521A JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008090764A JP2008090764A (ja) | 2008-04-17 |
| JP5018000B2 true JP5018000B2 (ja) | 2012-09-05 |
Family
ID=39374814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006273521A Active JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5018000B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0921362A2 (pt) * | 2008-11-07 | 2019-09-24 | Sumitomo Electric Industries | aparelho de comunicacao |
| WO2010147454A1 (en) * | 2009-06-16 | 2010-12-23 | Emanual System Sdn Bhd | System and method of binary data storage and management in database management systems |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05127960A (ja) * | 1991-11-07 | 1993-05-25 | Meidensha Corp | データベースのデータ表現方式 |
| JPH0822476A (ja) * | 1994-07-06 | 1996-01-23 | Toshiba Corp | プラントデータ総合管理装置 |
| JPH10281813A (ja) * | 1997-04-10 | 1998-10-23 | Hioki Ee Corp | 測定データの記録方法 |
| JP2002351706A (ja) * | 2001-05-22 | 2002-12-06 | Ntt Comware Corp | バイナリファイル提示方法、バイナリファイル提示プログラムおよび記録媒体 |
| JP2003122767A (ja) * | 2001-10-10 | 2003-04-25 | Canon Inc | 情報処理装置及び情報処理方法 |
| JP2004165733A (ja) * | 2002-11-08 | 2004-06-10 | Matsushita Electric Ind Co Ltd | 画像変換装置及び画像変換方法並びに記録媒体 |
| JP2004234119A (ja) * | 2003-01-28 | 2004-08-19 | Yokogawa Electric Corp | 測定データ処理方法および測定データ処理装置 |
-
2006
- 2006-10-05 JP JP2006273521A patent/JP5018000B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008090764A (ja) | 2008-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005341064A5 (ja) | ||
| US9380257B2 (en) | Portable electronic equipment and method of recording media using a portable electronic equipment | |
| KR101174105B1 (ko) | 비접촉식 구조물 변위 측정용 파라미터 데이터 생성 방법 | |
| WO2019138983A1 (ja) | 一致判定装置、一致判定方法、記憶媒体 | |
| KR20060046317A (ko) | 정보처리장치 및 정보처리방법 | |
| JP5018000B2 (ja) | データ処理方法 | |
| JP5237037B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| RU2005131947A (ru) | Сбор диагностических данных в интегральной схеме | |
| CN113114986B (zh) | 基于画面和声音同步的预警方法及相关设备 | |
| CN113255438B (zh) | 一种结构化的录像文件标记方法、***、主机及存储介质 | |
| JP5366676B2 (ja) | 撮像装置及びその制御方法とプログラム、記憶媒体 | |
| CN107169057B (zh) | 一种重复图片的检测方法和装置 | |
| CN110876090B (zh) | 视频摘要回放方法、装置、电子设备及可读存储介质 | |
| CN101110907A (zh) | 图像显示*** | |
| US20190243407A1 (en) | Formulizing time-series sensor data to facilitate compact storage and eliminate personally identifiable information | |
| JP2008035124A5 (ja) | ||
| CN110876029B (zh) | 视频摘要回放方法、装置、电子设备及可读存储介质 | |
| JP2003315370A (ja) | 波形記録装置 | |
| JP2011069767A (ja) | 波形記録装置 | |
| JP2013160781A (ja) | 撮像録音装置 | |
| CN111258997B (zh) | 基于NiFi的数据处理方法和装置 | |
| JP4519866B2 (ja) | 画像記録装置及びその画像ファイル生成方法 | |
| KR20180003266A (ko) | 하드디스크에 저장된 cctv 영상 데이터 추출 방법 | |
| CN113645425A (zh) | 处理方法、处理***及信息追加装置、检测装置、处理装置 | |
| JP2007241945A (ja) | 画像処理装置及び画像処理判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5018000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |