CN108492345A - 一种基于尺度变换的数据块划分方法 - Google Patents

一种基于尺度变换的数据块划分方法 Download PDF

Info

Publication number
CN108492345A
CN108492345A CN201810069242.4A CN201810069242A CN108492345A CN 108492345 A CN108492345 A CN 108492345A CN 201810069242 A CN201810069242 A CN 201810069242A CN 108492345 A CN108492345 A CN 108492345A
Authority
CN
China
Prior art keywords
data
data block
scale
curve
plot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810069242.4A
Other languages
English (en)
Other versions
CN108492345B (zh
Inventor
谢国
李锦妮
冯楠
王文卿
王晓帆
赵金伟
赵钦
黑新宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU SINOBEST SOFTWARE TECHNOLOGY Co.,Ltd.
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810069242.4A priority Critical patent/CN108492345B/zh
Publication of CN108492345A publication Critical patent/CN108492345A/zh
Application granted granted Critical
Publication of CN108492345B publication Critical patent/CN108492345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于尺度变换的数据块划分方法，依据大数据处理的整体思想对数据进行块划分，然后基于尺度变换的方法对其进行数据划分，进而在此基础上可以进行数据趋势分析，解决了当数据量大并过于关注细节数据点使数据难以划分的问题；本发明还具有操作简单、划分结果准确、快速的优点。

Description

一种基于尺度变换的数据块划分方法
技术领域
本发明属于数据处理方法技术领域，具体涉及一种基于尺度变换的数据块划分方法。
背景技术
伴随着大数据的发展，数据处理技术领域也在不断发展，在数据量过大时如何更好的进行数据块划分，成为了一个要解决的主要问题。当数据量过大时，如果将数据曲线放大一定的尺寸，就会因为过于关注细节数据而增加了数据划分的难度；而如果不断地缩小图像尺寸，曲线上点的分布会非常密集，这样就更容易的看出曲线的大致趋势，也更有利于计算机快速、准确的划分数据块，则可以基于整体的思想对数据块进行划分，故针对此问题，利用一种基于尺度变换的方法对数据块进行划分。
发明内容
本发明的目的在于提供了一种基于尺度变换的数据块划分方法，解决了数据量过大时，直接在曲线上进行数据划分有一定的难度的问题。
本发明所采用的技术方案是，一种基于尺度变换的数据块划分方法，具体按照以下步骤实施：
步骤1、绘制数据曲线，等比例缩小该数据曲线，标记该数据曲线上同一个横坐标对应的多个像素点纵坐标的中间位置点，并将中间位置点依次连接得平滑数据曲线；
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段，将每个平滑曲线段的边界点映射到原始数据曲线，并将原始数据曲线划分为多个曲线段；
步骤3、随机选取步骤2中得到的某个曲线段，将该曲线段中的数据量与所需求的数据量进行比较；
若该曲线段中的数据点的个数大于所需求的数据个数，则重新执行步骤1、步骤2；
若该曲线段中的数据点的个数小于所需求的数据个数，则终止数据块的划分。
步骤1具体过程为：
步骤1.1、绘制数据X＝[x1,x2,...,xn]曲线图，其中n表示数据点的个数，并去除曲线图的边框以及所有标注，并保存为图片格式；
步骤1.2、记步骤1.1中得到的曲线的图片尺寸为k1*k2，再将该图片尺寸缩小到原图的并保存为图figure1.jpg，记当前图片尺寸为m1*m2，其中，
步骤1.3、将步骤1.2图figure1.jpg先进行灰度化、二值化处理，找出所有像素值为‘0’(代表‘黑’)的位置，形成新的曲线图；
步骤1.4、在步骤1.3得到的新的曲线图中，同一横坐标下对应多个纵坐标的像素点，找出纵坐标处于中间位置的像素点；
步骤1.5、将步骤1.4所得中间位置的像素点依次连接，得到一条新的平滑数据曲线。
步骤2具体包括以下步骤：
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割，得到若干数据块，并确定各数据块的边界点；
步骤2.2、确定步骤2.1所得各数据块的全部边界点，且生成如下向量：
X′＝[x1′,x2′,...,xn′]T (1)；
式(1)中，X′表示所有边界点的集合，xn′为各数据块的全部边界点；
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射，根据如下位置比例关系，映射出原始数据，
式(2)中，xn为原始数据划分的边界点，k1为原始曲线图的长度，m1为步骤1.2中图figure1.jpg的长度；
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点，由此原始数据被划分为若干数据块，得到数据整体划分结果。
本发明一种基于尺度变换的数据块划分方法有益效果为：依据大数据处理的整体思想对数据进行块划分，然后基于尺度变换的方法对其进行数据划分，进而在此基础上可以进行数据趋势分析，解决了当数据量大并过于关注细节数据点使数据难以划分的问题；
本发明一种基于尺度变换的数据块划分方法还具有操作简单、划分结果准确、快速的优点。
附图说明
图1本发明一种基于尺度变换的数据块划分方法的总体流程图；
图2是本发明一种基于尺度变换的数据块划分方法中原始数据曲线图；
图3是图2等比例缩小图；
图4是图3的灰度图；
图5是图4的二值图；
图6是本发明一种基于尺度变换的数据块划分方法中平滑数据曲线图；
图7是本发明一种基于尺度变换的数据块划分方法中划分数据量较大的曲线图；
图8是本发明一种基于尺度变换的数据块划分方法中划分数据量较小的曲线图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
本发明一种基于尺度变换的数据块划分方法，如图1所示，具体按照以下步骤实施：
步骤1、绘制数据曲线，等比例缩小该数据曲线，标记该数据曲线上同一个横坐标对应的多个像素点纵坐标的中间位置点，并将中间位置点依次连接得平滑数据曲线；
步骤1.1、绘制数据X＝[x1,x2,...,xn]曲线图，如图2所示，其中n表示数据点的个数，并去除曲线图的边框以及所有标注，并保存为图片格式；
步骤1.2、记步骤1.1中得到的曲线的图片尺寸为k1*k2，如图3所示，再将该图片尺寸缩小到原图的并保存为图figure1.jpg，记当前图片尺寸为m1*m2，其中，
步骤1.3、如图4和图5所示，将步骤1.2图figure1.jpg先进行灰度化、二值化处理，找出所有像素值为‘0’(代表‘黑’)的位置，形成新的曲线图；
步骤1.4、在步骤1.3得到的新的曲线图中，同一横坐标下对应多个纵坐标的像素点，找出纵坐标处于中间位置的像素点；
步骤1.5、如图6所示，将步骤1.4所得中间位置的像素点依次连接，得到一条新的平滑数据曲线。
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段，将每个平滑曲线段的边界点映射到原始数据曲线，并将原始数据曲线划分为多个曲线段；
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割，得到若干数据块，并确定各数据块的边界点；
步骤2.2、确定步骤2.1所得各数据块的全部边界点，且生成如下向量：
X′＝[x1′,x2′,...,xn′]T (1)；
式(1)中，X′表示所有边界点的集合，xn′为各数据块的全部边界点；
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射，根据如下位置比例关系，映射出原始数据，
式(2)中，xn为原始数据划分的边界点，k1为原始曲线图的长度，m1为步骤1.2中图figure1.jpg的长度；
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点，由此原始数据被划分为若干数据块，得到数据整体划分结果。
步骤3、随机选取步骤2中得到的某个曲线段，将该曲线段中的数据量与所需求的数据量进行比较；
如图7所示，若该曲线段中的数据点的个数大于所需求的数据个数，则重新执行步骤1、步骤2；
如图8所示，若该曲线段中的数据点的个数小于所需求的数据个数，则终止数据块的划分。
通过上述方式，本发明一种基于尺度变换的数据块划分方法，依据大数据处理的整体思想对数据进行块划分，然后基于尺度变换的方法对其进行数据划分，进而在此基础上可以进行数据趋势分析，解决了当数据量大并过于关注细节数据点使数据难以划分的问题；本发明还具有操作简单、划分结果准确、快速的优点。

Claims (3)

1.一种基于尺度变换的数据块划分方法，其特征在于，具体按照以下步骤实施：
步骤1、绘制数据曲线，等比例缩小该数据曲线，标记该数据曲线上同一个横坐标对应的多个像素点的纵坐标的中间位置点，并将中间位置点依次连接得平滑数据曲线；
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段，将每个平滑曲线段的边界点映射到原始数据曲线，并将原始数据曲线划分为多个曲线段；
步骤3、随机选取步骤2中得到的某个曲线段，将该曲线段中的数据量与所需求的数据量进行比较；
若该曲线段中的数据点的个数大于所需求的数据个数，则重新执行步骤1、步骤2；
若该曲线段中的数据点的个数小于所需求的数据个数，则终止数据块的划分。
2.如权利要求1所述一种基于尺度变换的数据块划分方法，其特征在于，步骤1具体过程为：
步骤1.1、绘制数据X＝[x1,x2,...,xn]曲线图，其中n表示数据点的个数，并去除曲线图的边框以及所有标注，并保存为图片格式；
步骤1.2、记步骤1.1中得到的曲线的图片尺寸为k1*k2，再将该图片尺寸缩小到原图的并保存为图figure1.jpg，记当前图片尺寸为m1*m2，其中，
步骤1.3、将步骤1.2图figure1.jpg先进行灰度化、二值化处理，找出所有像素值为‘0’(代表‘黑’)的位置，形成新的曲线图；
步骤1.4、在步骤1.3得到的新的曲线图中，同一横坐标下对应多个纵坐标的像素点，找出纵坐标处于中间位置的像素点；
步骤1.5、将步骤1.4所得中间位置的像素点依次连接，得到一条新的平滑数据曲线。
3.如权利要求1所述一种基于尺度变换的数据块划分方法，其特征在于，步骤2具体包括以下步骤：
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割，得到若干数据块，并确定各数据块的边界点；
步骤2.2、确定步骤2.1所得各数据块的全部边界点，且生成如下向量：
X′＝[x′1,x′2,...,x′n]T (1)；
式(1)中，X′表示所有边界点的集合，x′n为各数据块的全部边界点；
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射，根据如下位置比例关系，映射出原始数据，
式(2)中，xn为原始数据划分的边界点，k1为原始曲线图的长度，m1为步骤1.2中图figure1.jpg的长度；
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点，由此原始数据被划分为若干数据块，得到数据整体划分结果。
CN201810069242.4A 2018-01-24 2018-01-24 一种基于尺度变换的数据块划分方法 Active CN108492345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810069242.4A CN108492345B (zh) 2018-01-24 2018-01-24 一种基于尺度变换的数据块划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810069242.4A CN108492345B (zh) 2018-01-24 2018-01-24 一种基于尺度变换的数据块划分方法

Publications (2)

Publication Number Publication Date
CN108492345A true CN108492345A (zh) 2018-09-04
CN108492345B CN108492345B (zh) 2021-12-03

Family

ID=63343771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810069242.4A Active CN108492345B (zh) 2018-01-24 2018-01-24 一种基于尺度变换的数据块划分方法

Country Status (1)

Country Link
CN (1) CN108492345B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489810A (zh) * 2019-07-24 2019-11-22 西安理工大学 一种基于数据块的趋势自动提取方法
CN116610272A (zh) * 2023-04-23 2023-08-18 珠海芯烨电子科技有限公司 一种打印终端图片数据的处理方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012832A1 (en) * 2003-07-18 2005-01-20 Canon Kabushiki Kaisha Image processing apparatus and method
US20130278746A1 (en) * 2012-03-30 2013-10-24 Haripriya Pulyassary Water weather station for monitoring changes in water quality
CN104156733A (zh) * 2014-08-12 2014-11-19 中国人民解放军理工大学 一种基于多尺度结构特征的地基云状识别方法
CN104899384A (zh) * 2015-06-12 2015-09-09 卢伟 一种基于Revit的结构健康监测可视化***
CN105024702A (zh) * 2015-07-08 2015-11-04 西安理工大学 一种面向科学计算的浮点型数据无损压缩方法
CN105913062A (zh) * 2016-04-26 2016-08-31 深圳前海云汉金融科技有限公司 一种基于大数据的趋势曲线局部特征的匹配方法及终端
CN106067030A (zh) * 2016-05-26 2016-11-02 广西师范学院 一种河流特征分类数据的处理方法
CN106323977A (zh) * 2016-08-23 2017-01-11 刘钢 基于移动终端的变色诊断试纸定量成像***
CN106504298A (zh) * 2016-09-22 2017-03-15 珠海格力电器股份有限公司 曲线绘制方法及装置
CN106570624A (zh) * 2016-10-26 2017-04-19 东北电力大学 一种经济管理***
CN107369135A (zh) * 2017-06-22 2017-11-21 广西大学 一种基于尺度不变特征变换算法的显微成像***三维点扩散函数空间大小选取方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012832A1 (en) * 2003-07-18 2005-01-20 Canon Kabushiki Kaisha Image processing apparatus and method
US20130278746A1 (en) * 2012-03-30 2013-10-24 Haripriya Pulyassary Water weather station for monitoring changes in water quality
CN104156733A (zh) * 2014-08-12 2014-11-19 中国人民解放军理工大学 一种基于多尺度结构特征的地基云状识别方法
CN104899384A (zh) * 2015-06-12 2015-09-09 卢伟 一种基于Revit的结构健康监测可视化***
CN105024702A (zh) * 2015-07-08 2015-11-04 西安理工大学 一种面向科学计算的浮点型数据无损压缩方法
CN105913062A (zh) * 2016-04-26 2016-08-31 深圳前海云汉金融科技有限公司 一种基于大数据的趋势曲线局部特征的匹配方法及终端
CN106067030A (zh) * 2016-05-26 2016-11-02 广西师范学院 一种河流特征分类数据的处理方法
CN106323977A (zh) * 2016-08-23 2017-01-11 刘钢 基于移动终端的变色诊断试纸定量成像***
CN106504298A (zh) * 2016-09-22 2017-03-15 珠海格力电器股份有限公司 曲线绘制方法及装置
CN106570624A (zh) * 2016-10-26 2017-04-19 东北电力大学 一种经济管理***
CN107369135A (zh) * 2017-06-22 2017-11-21 广西大学 一种基于尺度不变特征变换算法的显微成像***三维点扩散函数空间大小选取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘佳宝: "一种过程数据趋势特征提取方法", 《化工自动化及仪表》 *
母东杰: "基于尺度变换的数据转折点检测方法", 《控 制 工 程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489810A (zh) * 2019-07-24 2019-11-22 西安理工大学 一种基于数据块的趋势自动提取方法
CN110489810B (zh) * 2019-07-24 2022-11-25 上海金润联汇数字科技有限公司 一种基于数据块的趋势自动提取方法
CN116610272A (zh) * 2023-04-23 2023-08-18 珠海芯烨电子科技有限公司 一种打印终端图片数据的处理方法及***

Also Published As

Publication number Publication date
CN108492345B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
WO2021114832A1 (zh) 样本图像数据增强方法、装置、电子设备及存储介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN103914561B (zh) 一种图像搜索方法和装置
CN115409755B (zh) 贴图处理方法和装置、存储介质及电子设备
CN103402042A (zh) 基于分块式误差扩散的半色调图像生成方法
CN113808180A (zh) 一种异源图像配准方法、***及装置
CN108492345A (zh) 一种基于尺度变换的数据块划分方法
CN113392854A (zh) 一种图像纹理特征提取分类方法
CN113256494A (zh) 一种文本图像超分辨率方法
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
Guan et al. NCDCN: multi-focus image fusion via nest connection and dilated convolution network
CN103685858A (zh) 视频实时处理的方法及设备
CN113160198A (zh) 一种基于通道注意力机制的图像质量增强方法
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN110348339B (zh) 一种基于实例分割的手写文档文本行的提取方法
WO2023138540A1 (zh) 边缘提取方法、装置、电子设备及存储介质
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN115861736B (zh) 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、***及存储介质
CN116977624A (zh) 一种基于YOLOv7模型的目标识别方法、***、电子设备及介质
CN116912556A (zh) 图片分类方法、装置、电子设备及存储介质
CN114359889B (zh) 一种长文本资料的文本识别方法
CN113705571B (zh) 基于rgb阈值去红章的方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211119

Address after: 510000 first floor, No. 12, Jianzhong Road, Tianhe District, Guangzhou, Guangdong

Applicant after: GUANGZHOU SINOBEST SOFTWARE TECHNOLOGY Co.,Ltd.

Address before: 710048 No. 5 Jinhua South Road, Shaanxi, Xi'an

Applicant before: XI'AN University OF TECHNOLOGY