CN105404892B - 基于有序模糊c均值聚类的青霉素发酵过程阶段划分方法 - Google Patents

Abstract

基于有序模糊C均值聚类的青霉素发酵过程阶段划分方法，包括以下步骤：(1)输入有序数据集；(2)选定聚类数目，对有序数据集进行初始分割，获得各数据段的初始聚类中心和伪边界以及样本点的初始隶属矩阵；(3)构造目标函数，在满足严格序列性约束的前提下，逐点对各数据段中前半段和后半段内样本点进行重新划分，并计算样本点重新划分后的隶属度；(4)迭代进行步骤(3)直至没有任何样本点的重新划分被接收；(5)输出最终的隶属度矩阵以及各数据段的聚类中心，完成序列数据分割。

Description

基于有序模糊C均值聚类的青霉素发酵过程阶段划分方法

技术领域

本发明涉及数据挖掘领域，是一种用于序列数据分割的有序模糊C均值聚类方法。

背景技术

随着大数据时代的来临，各行各业所产生的海量数据已成为一种宝贵的资源。深入挖掘海量数据中所隐藏的知识和信息，已经成为诸多领域共同的需求，这也促使了数据挖掘技术的产生。序列数据，或称轨迹数据，是一种特殊的数据存在形式。在序列数据中，各样本点按照一定的时空关系(轨迹)顺序生成，前面的样本点会影响到后面的样本点，因而各样本点之间并不相互独立。日常生产生活中的很多设备都会产生序列数据，如运动传感器、GPS、摄像机、电子笔、各类工业传感器等。为了挖掘序列数据中蕴含的数据模式，从而对其数据特征进行深入细致的分析，首先需要对序列数据进行分割或聚类，即依照某种规则将各样本点划分到不同的数据段或数据类，每个数据段内的样本点具有相似的特性，不同数据段之间的数据特征各不相同。

由于序列数据具有特定的序列性，其分割结果需满足以下两个条件才有物理意义：(1)分割后各样本点仍保持原来的顺序；(2)一个样本点只能归属于一个数据段或两个相邻的数据段。虽然传统的K均值聚类、模糊C均值聚类等方法可用于对序列数据进行分割，但由于这些传统聚类方法并不能处理数据的序列性，因而很可能将在序列上不相邻的样本点划分到同一数据段，从而打乱原始数据的序列结构，导致序列分割效果并不理想。在这种情况下，需对序列分割结果进行后处理以保持数据原始的序列性，效率低下。此外，K均值聚类方法对数据的分割是硬性的，不适合处理存在数据段边界重叠的情况。模糊C均值聚类方法虽以隶属度的方式将各样本点柔性地划分到多个数据段，但在处理序列数据时，并不能保证只将一个样本点划分到一个数据段或两个相邻的数据段，导致序列分割结果的物理意义难以解释。近年来，随着序列数据在各领域的大量涌现，为了便于分析这些序列数据的数据特征和数据模式，迫切需要有一种能够直接有效地对序列数据进行分割的方法。

发明内容

为了克服现有的聚类方法在对序列数据进行分割或聚类时存在分割效果不好、效率低、结果难以解释等不足，本发明提供了一种可应对序列数据的序列结构，效率高且分割效果好的有序模糊C均值聚类方法。该方法考虑到序列数据的序列性特点，通过对传统的模糊C均值聚类算法进行改进，在每个聚类步中施加序列性约束，聚类的同时保持样本点的原始顺序不变，并采用样本点逐个迭代优化策略，实现对序列数据最优的模糊分割。

本发明所采用的技术方案为：

一种用于序列数据分割的有序模糊C均值聚类方法，包括以下步骤：

(1)输入有序数据集；

(2)选定聚类数目，对有序数据集进行初始分割或聚类，获得各数据段的初始聚类中心和伪边界以及样本点的初始隶属度矩阵；

(3)构造目标函数，在满足严格序列性约束的前提下，逐点对各数据段中前半段和后半段内样本点进行重新划分，并计算样本点重新划分后的隶属度，如果由该样本点隶属度变化所引起的目标函数变化为负，接收这一重新划分，并更新该样本点的隶属度以及各数据段的聚类中心，继续重新划分当前数据段的下一个样本点，否则拒绝这一重新划分，跳转到下一数据段逐点进行重新划分；

(4)迭代进行步骤(3)直至没有任何样本点的重新划分被接收；

(5)输出最终的隶属度矩阵以及各数据段的聚类中心，完成序列数据分割。

其中，步骤(1)中所述的有序数据集为X＝{X₁,X₂,…,X_n}，由依序产生的n个样本点X_j，j＝1,…,n构成，样本点的形式可以是点、向量、矩阵或者高阶张量数据。

其中，步骤(2)中所述的聚类数目为c，对有序数据集X进行初始分割的方法如下：

①利用式(1)计算序列数据的累积长度L_j：

L_j＝L_j-1+||X_j-X_j-1|| (1)

式中j(j＝2,…,n)为样本点的索引，L₁＝0，||X_j-X_j-1||表示样本点X_j与样本点X_j-1之间的欧几里得距离；

②计算c个数据段的平均长度：λ＝L_n/c；

③设定第一个数据段的伪左边界为b₁＝1；

④对于第i(i＝2,…,c)个数据段，依次比较λ(i-1)与L_j(j＝1,…,n)的大小，找到第一个满足λ(i-1)≤L_j的j，将第i个数据段的伪左边界设定为b_i＝j；

⑤利用式(2)确定第j个样本点X_j在第i个数据段中的初始隶属度u_ij(0≤u_ij≤1)：

各样本点的隶属度需满足下列条件：

⑥计算各数据段的初始聚类中心m_i：

⑦所有样本点的隶属度u_ij构成c×n维的初始隶属度矩阵U。

其中，步骤(3)中所述的目标函数为：

式中J_i(u_i,m_i)为对应于第i(i＝1,…,c)个数据段的子目标函数，u_i为隶属度矩阵U的第i行，m_i为第i个数据段的聚类中心，u_ij为样本X_j(j＝1,…,n)在第i个数据段的隶属度，d_ij＝||X_j-m_i||为样本X_j与第i个聚类中心m_i之间的欧几里德距离，s∈[1,∞)是一个加权指数。

其中，步骤(3)中所述的第i个数据段中前半段内的样本点是指样本索引j满足j∈[b_i,b_i+n_i/2)的样本点，其中b_i为第i个数据段的伪左边界，n_i为第i个数据段内样本点的伪数目，对于i＝1到c-1,n_i的计算公式为：n_i＝b_i+1-b_i；对于i＝c，n_c的计算公式为：n_c＝n-b_c，式中n为样本点的总数。第i(i<c)个数据段中后半段内的样本点是指样本索引j满足j∈[b_i+n_i/2,b_i+1-1]的样本点，第c个数据段中后半段内的样本点是指样本索引j满足j∈[b_c+n_c/2,n]的样本点。

其中，步骤(3)中所述的严格序列性约束是指在对各数据段内的样本点逐点进行重新划分时，各数据段中前半段内从段首开始逐点重新划分，每个样本点只能重新划分到本数据段及其前一数据段，而各数据段中后半段内从段尾开始逐点重新划分，每个样本点只能重新划分到本数据段及其后一数据段。该序列性约束可以保证序列分割后各样本点的原始顺序保持不变。

其中，步骤(3)中所述的样本点重新划分后的隶属度的计算方法如下：

假设第j(j＝1,…,n)个样本点X_j当前的隶属度为ui_j，与当前各数据段聚类中心m_i(i＝1,…,c)间的欧几里德距离为d_ij＝||X_j-m_i||，样本点X_j按照如下三种情况进行重新划分：

①如果X_j位于第1个数据段的前半段或第c个数据段的后半段，则X_j不会被重新划分；

②如果X_j位于第i(i≠1)个数据段的前半段，则重新划分后X_j在第k(k＝1,…,c)个数据段内的隶属度为:

式中s为式(3)中定义的加权指数；

③如果X_j位于第i(i≠c)个数据段的后半段，则重新划分后X_j在第k(k＝1,…,c)个数据段内的隶属度为:

式中s为式(3)中定义的加权指数。

其中，步骤(3)中所述的由样本点隶属度变化所引起的目标函数变化量的计算方法如下：

由样本点X_j隶属度变化所引起的各数据段的子目标函数J_i(u_i,m_i)(i＝1,…,c)的变化量ΔJ_ij为：

式中s为式(3)中定义的加权指数，u_ij为X_j重新划分之前在第i个数据段的隶属度，为X_j重新划分之后在第i个数据段的隶属度。当X_j按照上述第②种情况进行划分时，如果ΔJ_(i-1)j+ΔJ_ij≥0，拒绝X_j的重新划分；如果ΔJ_(i-1)j+ΔJ_ij＜0，则接受X_j的重新划分以及X_j新的隶属度，并利用式(5)和式(6)更新各数据段的聚类中心和第i个数据段的伪左边界

当X_j按照上述第③种情况进行划分时，如果ΔJ_ij+ΔJ_(i+1)j≥0，拒绝X_j的重新划分；如果ΔJ_ij+ΔJ_(i+1)j＜0，则接受X_j的重新划分以及X_j新的隶属度，并利用式(5)和式(7)更新各数据段的聚类中心 和第i+1个数据段的伪左边界

其中，步骤(5)中所述的最终的隶属度矩阵以及各数据段的聚类中心是指反复迭代步骤(3)直至没有任何样本点的重新划分被接收之前最后一步迭代所得的隶属度矩阵和各数据段的聚类中心。

本发明的有益效果在于：(1)可对序列数据进行模糊分割或聚类，实施简单，且分割效果好、效率高；(2)通过在每个聚类步中施加严格序列性约束，序列分割的同时保持样本点的原始顺序不变，无需对分割结果进行后处理；(3)采用样本点逐个迭代优化策略，实现对序列数据的最优模糊分割。

附图说明

图1是本发明以青霉素发酵过程的操作阶段划分问题为例进行实施的实施流程图；

图2是青霉素发酵过程操作阶段划分的结果图。

具体实施方式

下面结合附图对本发明的实施例作详细描述：

为了说明本方法对于多阶段间歇过程中操作阶段划分问题的有效性，本实施例以青霉素发酵过程的操作阶段划分为例进行实施。青霉素发酵过程的样本集由80个正常批次的发酵数据构成，每个批次包含13个过程变量，发酵周期为400小时，采样间隔为1小时。该样本集可表示为X＝{X₁,X₂,…,X₄₀₀},其中每个样本点为X_j(80×13)，j＝1,…,400。如图1所示，具体划分步骤包括：

(1)输入青霉素发酵过程的样本集X；

(2)选定发酵过程的操作阶段总数为c＝6，对样本集X进行初始分割，获得各数据段，即操作阶段，的初始聚类中心m_i和伪边界b_i以及样本点的初始隶属度矩阵U，具体实现过程如下：

①计算序列数据的累积长度L_j：

L_j＝L_j-1+||X_j-X_j-1||

式中j(j＝2,…,400)为样本点的索引，L₁＝0，||X_j-X_j-1||表示样本点X_j与样本点X_j-1之间的欧几里得距离；

②计算c个数据段的平均长度：λ＝L_n/c；

③设定第一个数据段的伪左边界为b₁＝1；

④对于第i(i＝2,…,c)个数据段，依次比较λ(i-1)与L_j(j＝1,…,n)的大小，找到第一个满足λ(i-1)≤L_j的j，将第i个数据段的伪左边界设定为b_i＝j；

⑤确定第j个样本点X_j在第i个数据段中的初始隶属度u_ij(0≤u_ij≤1)：

各样本点的隶属度需满足下列条件：

⑥计算各数据段的初始聚类中心m_i：

⑦所有样本点的隶属度u_ij构成c×n维的初始隶属度矩阵U。

(3)建立如下目标函数：

式中J_i(u_i,m_i)为对应于第i(i＝1,…,c)个数据段的子目标函数，u_i为隶属度矩阵U的第i行，m_i为第i个数据段的聚类中心，u_ij为样本X_j(j＝1,…,n)在第i个数据段的隶属度，d_ij＝||X_j-m_i||为样本X_j与第i个聚类中心m_i之间的欧几里德距离，s∈[1,∞)是一个加权指数。

逐点对各数据段中前半段和后半段内的样本点进行重新划分，其中各数据段中前半段内从段首开始逐点重新划分，每个样本点只能重新划分到本数据段及其前一数据段，而各数据段中后半段内从段尾开始逐点重新划分，每个样本点只能重新划分到本数据段及其后一数据段。计算样本点重新划分后的隶属度，如果由该样本点隶属度变化所引起的目标函数变化为负，接收这一重新划分，并更新该样本点的隶属度以及各数据段的聚类中心，继续重新划分当前数据段的下一个样本点，否则拒绝这一重新划分，跳转到下一数据段逐点进行重新划分，具体实现过程如下：

根据以下三种情况对样本点X_j进行重新划分：

①如果X_j位于第1个数据段的前半段或第c个数据段的后半段，则X_j不会被重新划分；

②如果X_j位于第i(i≠1)个数据段的前半段(即样本索引j满足j∈[b_i,b_i+n_i/2)，其中b_i为第i个数据段的伪左边界，n_i为第i个数据段内样本点的伪数目，对于i＝2到c-1,n_i的计算公式为：n_i＝b_i+1-b_i；对于i＝c，n_c的计算公式为：n_c＝n-b_c，式中n为样本点的总数)，则重新划分后X_j在第k(k＝1,…,c)个数据段内的隶属度为:

式中d_ij＝||X_j-m_i||为样本点X_j与第i个聚类中心m_i之间的欧几里德距离，s∈[1,∞)是一个加权指数；

③如果X_j位于第i(i≠c)个数据段的后半段(即样本索引j满足j∈[b_i+n_i/2,b_i+1-1]，其中b_i为第i个数据段的伪左边界，n_i＝b_i+1-b_i为第i个数据段内样本点的伪数目)，则重新划分后X_j在第k(k＝1,…,c)个数据段内的隶属度为:

式中d_ij＝||X_j-m_i||为样本点X_j与第i个聚类中心m_i之间的欧几里德距离，s∈[1,∞)是一个加权指数。

计算由样本点X_j重新划分所引起的各数据段的子目标函数J_i(u_i,m_i)(i＝1,…,c)的变化量ΔJ_ij：

式中s∈[1,∞)是一个加权指数，u_ij为X_j重新划分之前在第i个数据段的隶属度，为X_j重新划分之后在第i个数据段的隶属度。当X_j按照上述第②种情况进行划分时，如果ΔJ_(i-1)j+ΔJ_ij≥0，拒绝X_j的重新划分；如果ΔJ_(i-1)j+ΔJ_ij＜0，则接受X_j的重新划分以及X_j新的隶属度，并更新各数据段的聚类中心和第i个数据段的伪左边界

当X_j按照上述第③种情况进行划分时，如果ΔJ_ij+ΔJ_(i+1)j≥0，拒绝X_j的重新划分；如果ΔJ_ij+ΔJ_(i+1)j＜0，则接受X_j的重新划分以及X_j新的隶属度，并更新各数据段的聚类中心和第i+1个数据段的伪左边界

(4)迭代进行步骤(3)直至没有任何样本点的重新划分被接收；

(5)输出步骤(4)中最后一次迭代所得的隶属度矩阵以及各数据段的聚类中心，完成青霉素发酵过程的操作阶段划分。

图2给出了青霉素发酵过程的操作阶段划分结果。可以看出采用本发明中的有序模糊C均值聚类方法可成功地将青霉素发酵过程划分为6个模糊操作阶段，它们沿发酵时间依次分布。操作阶段之间在首尾两端的重叠部分为操作阶段之间的过度区。在过度区内，青霉素发酵过程逐渐从一个操作模式过渡到另一个操作模式。

Claims (1)

1.基于有序模糊C均值聚类的青霉素发酵过程阶段划分方法，其特征在于包括以下步骤：

(1)输入青霉素发酵过程的样本集，该样本集由正常批次的发酵数据构成，可表示为X＝{X₁,X₂,…,X_n}，由n个样本点X_j，j＝1,…,n构成，每个样本点X_j包含正常批次的过程变量在j时刻的采样值；

(2)设定操作阶段总数为c，对数据集X进行初始分割，获得各操作阶段的初始聚类中心和伪边界以及样本点的初始隶属度矩阵，具体实现过程如下：

21.计算数据的累积长度L_j：

L_j＝L_j-1+||X_j-X_j-1|| (1)

式中j为样本点的索引，j＝2,…,n，L₁＝0，||X_j-X_j-1||表示样本点X_j与样本点X_j-1之间的欧几里得距离；

22.计算c个操作阶段的平均长度：λ＝L_n/c；

23.设定第一个操作阶段的伪左边界为b₁＝1，对于第i个操作阶段，i＝2,…,c，依次比较λ(i-1)与L_j的大小，j＝1,…,n，找到第一个满足λ(i-1)≤L_j的j，将第i个操作阶段的伪左边界设定为b_i＝j；

24.确定第j个样本点X_j在第i个操作阶段中的初始隶属度u_ij，0≤u_ij≤1：

各样本点的隶属度需满足下列条件：

25.计算各操作阶段的初始聚类中心：

26.所有样本点的隶属度u_ij构成c×n维的初始隶属度矩阵U；

(3)建立目标函数：

式中m_i为第i个操作阶段的聚类中心，u_ij为样本X_j在第i个操作阶段的隶属度，j＝1,…,n，s∈[1,∞)是一个加权指数；

(4)确定各操作阶段中前半段和后半段的样本点，第i个操作阶段中前半段内的样本点是指样本索引j满足j∈[b_i,b_i+n_i/2)的样本点，其中b_i为第i个操作阶段的伪左边界，n_i为第i个操作阶段内样本点的伪数目，对于i＝1到c-1,n_i的计算公式为：n_i＝b_i+1-b_i；对于i＝c，n_c的计算公式为：n_c＝n-b_c，式中n为样本点的总数；第i个操作阶段中后半段内的样本点是指样本索引j满足j∈[b_i+n_i/2,b_i+1-1]的样本点，i<c，第c个操作阶段中后半段内的样本点是指样本索引j满足j∈[b_c+n_c/2,n]的样本点；

(5)逐点对各操作阶段中前半段和后半段内样本点进行重新划分，计算各样本点重新划分后的隶属度，假设第j个样本点X_j当前的隶属度为u_ij，j＝1,…,n，与当前各操作阶段聚类中心m_i间的欧几里德距离为d_ij＝||X_j-m_i||，i＝1,…,c，样本点X_j按照如下三种情况进行重新划分：

I.如果X_j位于第1个操作阶段的前半段或第c个操作阶段的后半段，则X_j不会被重新划分；

II.如果X_j位于第i个操作阶段的前半段，i≠1，则重新划分后X_j在第k个操作阶段内的隶属度为：

其中k＝1,…,c，式中s为式(3)中定义的加权指数；

III.如果X_j位于第i个操作阶段的后半段，i≠c，则重新划分后X_j在第k个操作阶段内的隶属度为：

其中k＝1,…,c，式中s为加权指数；如果由该样本点隶属度变化所引起的目标函数变化为负，接收这一重新划分，并更新该样本点的隶属度以及各操作阶段的聚类中心，继续重新划分当前操作阶段的下一个样本点，否则拒绝这一重新划分，跳转到下一操作阶段逐点进行重新划分；

(6)迭代进行步骤(5)直至没有任何样本点的重新划分被接收；

(7)输出步骤(6)中最后一次迭代所得的隶属度矩阵以及各操作阶段的聚类中心，完成青霉素发酵过程的操作阶段划分。