TWI460680B

TWI460680B - 密度式資料分群方法

Info

Publication number: TWI460680B
Application number: TW100117240A
Authority: TW
Inventors: Cheng Fa Tsai; Tang Wei Huang
Original assignee: Univ Nat Pingtung Sci & Tech
Priority date: 2011-05-17
Filing date: 2011-05-17
Publication date: 2014-11-11
Also published as: TW201248548A; US20120296905A1; US8429166B2

Description

密度式資料分群方法

本發明係關於一種資料分群方法，尤其是一種密度式資料分群方法。

習知密度式資料分群方法主要係以資料點密度做為分群之依據。例如在給定的半徑R(Eps)參數及最少包含點(MinPts)參數下，若某一區域之資料點密度滿足設定之條件，即以該區域進行擴張搜尋，並逐步合併其他同樣密度滿足設定條件之區域，進而得到最終分群結果，習知較具代表性之密度式資料分群方法包含有DBSCAN、IDBSCAN及FDBSCAN等。該習知資料分群方法雖可有效的偵測不規則之圖形及濾除雜訊點，惟其分群所需時間亦相對增加。

以下針對幾種較具代表性的習知密度式資料分群方法進行說明：

1、DBSCAN資料分群方法：此法係由M. Ester等人於1996年所提出，步驟一係由一資料集中之數個資料點預先隨機選擇其中一資料點做為初始種子點；步驟二係判斷目前初始種子點之半徑R範圍內是否有超過最少包含點之資料點，若達到門檻值則將目前範圍內之資料點歸類到同一群集內並作為種子點，並從範圍內的其他種子點逐一進行擴張；步驟三係持續前述步驟二，直到該資料集中所有資料點都被歸類完畢為止。該習知DBSCAN資料分群方法是以較為合乎邏輯的密度判斷方式來進行分群，故可用以濾除雜訊及適用於不規則圖樣的資料點等；但因為必須對每個資料點進行繁複的密度判斷，故造成分群時間較為冗長。再且，需計算所有資料點與核心點之間的距離，因此將耗費大量時間，造成運算時間成本增加。

2、IDBSCAN資料分群方法：此法係由B.Borah等人於2004年所提出，其主要針對前述習知DBSCAN資料分群方法係循序判斷資料點進行擴散而耗時的行為進行改良，而採用經由減少查詢資料而提升分群速度的策略。該習知IDBSCAN資料分群方法係於擴張種子點半徑R之掃描範圍邊界上等距設置8個標記邊界點(Marked Boundary Object，MBO)，該擴張種子點半徑R之掃描範圍內的資料點僅選取最靠近該8個標記邊界點之資料點作為種子點，如此減少種子點之數量，便可減少重複的擴張動作，以克服該習知DBSCAN資料分群方法中種子點數量過多而造成速度緩慢之缺點。

一般而言，該習知IDBSCAN資料分群方法雖可藉由在擴張種子點半徑R之掃描範圍邊界上等距設置8個標記邊界點，而減少重複的擴張動作，惟，所能減少的擴張次數仍相當有限。

再者，由於該習知IDBSCAN資料分群方法需選取最靠近該8個標記邊界點之資料點作為種子點，因此，需要進行該8個標記邊界點與其鄰近資料點之距離計算，且需進行該鄰近資料點之距離排序，以取得最靠近該8個標記邊界點之資料點，使得減少的分群時間仍相當有限。

另，即使在擴張過程中，該擴張種子點掃描範圍內之種子點數量係不大於8個，然而，藉由最靠近該8個標記邊界點之資料點作為種子點，使得相鄰之種子點之掃描範圍重疊比例較高，造成其重複擴張之比例亦相當高，進而增加時間成本。

基於上述原因，有必要提供一種擴張次數少、不需進行距離計算及非以資料點為種子點之密度式資料分群方法，以提高資料分群效率者。

本發明的目的乃改良上述之缺點，以提供一種密度式資料分群方法，係可藉由減少擴張次數及不需進行距離計算，而達到提高資料分群效率者。

本發明密度式資料分群方法，係包含：一設定程序，係設定一半徑參數及一最小包含點參數；一分群程序，該分群程序係包含：一第一讀取步驟，係由一資料集依序讀取其中之一資料點，並設為一起始點；一第一判斷步驟，係判斷該起始點是否己分群，若判斷為是，則重新進行該第一讀取步驟，若判斷為否，則將該起始點定義歸屬為一群組，再以該起始點及該半徑參數定義一掃描範圍，將該掃描範圍內的所有資料點設為鄰近點；及一第二判斷步驟，係判斷該鄰近點之數量是否大於或等於該最少包含點參數，若判斷為是，則將該鄰近點與該起始點設為同一群組，再於該掃描範圍的邊界上選取該數個邊界標記點加入一種子表，且該數個邊界標記點係於該掃描範圍的邊界上等距設置若判斷為否，則重新進行該第一讀取步驟；一擴張程序，係由該種子表中之種子點擴張該群組，並選取至少一個邊界標記點加入該種子表；及一終止判斷程序，係判斷所有資料點是否皆已分群，若判斷為是，則完成該資料集的資料分群動作，若判斷為否，則重新進行該分群程序。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下：請參照第1及2圖所示，本發明密度式資料分群方法之較佳實施例，係藉由一電腦系統連接至少一資料庫作為執行架構，該資料庫中係存有一資料集1，該資料集1係由數筆資料點11所共同組成之群集，本發明之密度式資料分群方法係包含一設定程序S1、一分群程序S2、一擴張程序S3及一終止判斷程序S4。藉由上述流程，可快速且正確的完成對資料集中不同密度之區域進行分群之作業。

請再參照第1及2圖所示，該設定程序S1係藉由該電腦系統設定一半徑(Eps)參數R及一最少包含點(Minpts)參數。更詳言之，該半徑參數R及最少包含點參數係為正相關，當該半徑參數R的值設定愈大，該最少包含點參數的值也跟著設定愈大，反之，當該半徑參數R的值設定愈小，該最少包含點參數的值也跟著設定愈小，藉此，以提高資料分群的正確率。為方便後續說明，在此將「掃描範圍S」一詞定義為以任一資料點11或任一種子點為中心，並以該掃描半徑參數R作為半徑進行掃描所涵蓋之範圍。

請再參照第1及2圖所示，該分群程序S2，係由該資料集1之資料點11定義一群組(Cluster)，並選取數個邊界標記點2加入一種子表，再進行該擴張程序S3。其中，該邊界標記點2之數量為4個。請參照第3圖所示，該分群程序S2係包含一第一讀取步驟S21、一第一判斷步驟S22及一第二判斷步驟S23。

請參照第2及3圖所示，該第一讀取步驟S21，係由該資料集1依序讀取其中之一資料點11，並設為一起始點12，再進行該第一判斷步驟S22。更詳言之，該第一讀取步驟S21係於該資料集1中，依照該資料點11的排列順序讀取一資料點11作為該起始點12，並將該讀取之資料點11標示為「已讀取」。

請再參照第2及3圖所示，該第一判斷步驟S22，係判斷該起始點12是否已分群，若判斷為「是」，則重新進行該第一讀取步驟S21；若判斷為「否」，則將該起始點12定義為該群組，再以該起始點12及該半徑參數R定義一掃描範圍S，將該掃描範圍S內的所有資料點11設為鄰近點13，再進行該第二判斷步驟S23。更詳言之，計算該起始點12與其他資料點11的距離，將距離小於或等於該半徑參數R之資料點11定義為鄰近點13。

請參照第3及4圖所示，該第二判斷步驟S23，係判斷該鄰近點13之數量是否大於或等於該最少包含點參數，若判斷為「是」，則將該鄰近點13與該起始點12設為同一群組，再於該掃描範圍S的邊界上選取該數個邊界標記點2加入該種子表，使該邊界標記點2成為該種子表之種子點，再進行該擴張程序S3；若判斷為「否」，則將該起始點12視為雜訊點，並重新進行該第一讀取步驟S21。舉例而言，本實施例係於該掃描範圍S的邊界上，依順時針方向依序等距設置4個邊界標記點2a、2b、2c及2d，再將該邊界標記點2a、2b、2c及2d依序加入該種子表，若該起始點12之座標為(0,0)，則邊界標記點2a、2b、2c及2d之座標分別為(0,R)、(R,0)、(0,-R)及(-R,0)，因此，後續步驟僅由該邊界標記點2a、2b、2c及2d進行擴張，相較習知IDBSCAN資料分群方法由8個標記邊界點進行擴張，本發明可減少擴張次數。此外，由於該邊界標記點2係直接依序加入該種子表，不需計算各該邊界標記點2與各鄰近點13之距離，亦不需取得距離最短之鄰近點13，因此，相較習知資料分群方法，不需花費計算距離之時間。

請參照第1及5圖所示，該擴張程序S3，係由該種子表中之種子點擴張該群組，並選取至少一個邊界標記點2’加入該種子表，再進行該終止判斷程序S4。請參照第6圖所示，該擴張程序S3係包含一第二讀取步驟S31、一第三判斷步驟S32及一第四判斷步驟S33。

請參照第5及6圖所示，該第二讀取步驟S31，係由該種子表依序讀取其中一種子點，以該種子點及該半徑參數R定義該掃描範圍S，將該掃描範圍S內的所有資料點 11設為鄰近點13，再進行該第三判斷步驟S32。更詳言之，該第二讀取步驟S31係將該讀取之種子點先標示為「已讀取」，再計算該種子點之位置與該資料集1中所有資料點11的距離，將距離小於或等於該半徑參數R之資料點11定義為鄰近點13。

舉例而言，如第5圖所示，將該邊界標記點2a、2b、2c及2d依序設為該種子表之種子點，先以該邊界標記點2a為該種子點，而定義該掃描範圍S，即該掃描範圍S之中心位於該邊界標記點2a，再將該掃描範圍S內的所有資料點11設為新的鄰近點13；之後，再執行該第二讀取步驟S31時，係依序以該邊界標記點2b、2c及2d為該種子點，而定義該掃描範圍S，依此類推。

請再參照第5及6圖所示，該第三判斷步驟S32，係判斷該鄰近點13數量是否大於或等於該最少包含點參數，若判斷為「是」，則將該鄰近點13與該起始點12設為同一群組，並選取至少一個邊界標記點2’加入該種子表，再進行該第四判斷步驟S33；若判斷為「否」，重新進行該第二讀取步驟S31。其中，由於該掃描範圍之中心係位於該掃描範圍的邊界上，因此，該鄰近點13包含尚未被分群之資料點11及已被視為雜訊點之資料點11。更詳言之，若該鄰近點13數量大於或等於該最少包含點參數，則將該鄰近點13與該起始點12設為同一群組，使該群組進一步擴張。本實施例係於該掃描範圍S的邊界上，依順時針方向依序等距設置4個邊界標記點2’，由於該掃描範圍S之中心係可能位於該4個邊界標記點2的其中一個(即2a、 2b、2c或2d)，因此，有部分邊界標記點2’與部分邊界標記點2之位置重疊，若將4個邊界標記點2’全部加入該種子表，則會重複擴散至已進行過資料分群之資料點11，而造成無謂的時間浪費，因此，僅需將尚未加入該種子表之邊界標記點2’依序加入該種子表。

舉例而言，如第5圖所示，若該掃描範圍S之中心位於該邊界標記點2a，則在該4個邊界標記點2a’、2b’、2c’及2d’中，由於該邊界標記點2c’之位置即為該起始點12之位置，且以該起始點12為掃描範圍S之範圍內的資料點11已進行過資料分群，因此，僅需將該邊界標記點2a’、2b’及2d’依序加入該種子表，以免該掃描範圍S內之資料點11重複進行資料分群，而造成多餘的資料分群運算；之後，若該掃描範圍S之中心位於該邊界標記點2b，則在該4個邊界標記點2e’、2f’、2g’及2h’中，僅需將該邊界標記點2f’及2g’依序加入該種子表；之後，若該掃描範圍S之中心位於該邊界標記點2c，則在該4個邊界標記點2i’、2j’、2k’及2l’中，僅需將該邊界標記點2k’及2l’依序加入該種子表；之後，若該掃描範圍S之中心位於該邊界標記點2d，則在該4個邊界標記點2m’、2n’、2o’及2p’中，僅需將該邊界標記點2p’加入該種子表；之後，若該掃描範圍S之中心位於其他種子點，係可依此類推，將至少一個邊界標記點2’加入該種子表。

請再參照第6圖所示，該第四判斷步驟S33，係判斷該種子表中是否仍有種子點未被讀取，若判斷為「是」，則重新進行該第二讀取步驟S31；若判斷為「否」，則完成一個群組的資料分群動作，再進行該終止判斷程序S4。更詳言之，該種子表中之種子點於完成該擴張程序S3之第二讀取步驟S31後，即標示為「已讀取」，然而，該擴張程序S3之第三判斷步驟S32進行時，持續會有數個鄰近點13加入該種子表，因此，該種子表係不斷有鄰近點13被加入或標示為「已讀取」。若該種子表中仍有種子點未被讀取，則需由未被讀取的種子點判斷是否繼續擴張該群組；若該種子表之種子點皆已被讀取，即已完成一個群組的資料分群動作。

請再參照第1及2圖所示，該終止判斷程序S4，係判斷所有資料點11是否皆已完成分群動作，若判斷為「是」，則終止本發明密度式資料分群方法之程序，即已完成整個資料集1之分群動作；若判斷為「否」，則重新進行該分群程序S2。更詳言之，若一個群集之分群動作已完成，則判斷所有資料點11是否皆已完成分群動作，若判斷為「是」，即完成整個資料集1之分群動作；若判斷為「否」，則重新進行該分群程序S2之第一讀取步驟S21，將未進行分群之資料點11定義為另外之群組。

為驗證本發明密度式資料分群方法具有執行時間快、分群正確率高及雜訊濾除率佳等優點，於此針對資料集A至F進行分群，並與習知DBSCAN及IDBSCAN資料分群方法進行比較。其中，資料集A至F所包含之群集數分別為10、5、4、4、2及4，且各資料集之圖形皆不相同；資料集A至F皆具有115,000筆資料點，且含15,000筆之雜訊點。

此外，請參照表一所示，其係本發明於該設定程序S1中所設定之半徑參數R及最少包含點參數。

再者，本次實驗模擬所使用之設備包含CPU〔Intel Pentium D 3.40GHz〕、記憶體〔2GB〕，並以Windows7作業系統及Java程式語言作為演算法實作之工具。

請參照表二所示，其係習知資料分群方法與本發明密度式資料分群方法所進行之模擬結果。

請再參照表二所示，由習知資料分群方法與本發明密度式資料分群方法模擬結果比較，可得知本發明密度式資料分群方法可於維持相當高之分群正確率及雜訊濾除率的前提下，大幅降低執行時間的成本，可驗證本發明之資料分群方法確實針對群集內不同密度之區域能有良好之分群效果。

本發明密度式資料分群方法，係於該第二判斷步驟S23僅選取4個邊界標記點2加入該種子表，並於該第三判斷步驟S32選取至少一個邊界標記點2’加入該種子表，使得該種子表之種子點的數量較習知資料分群方式大幅降低，而減少資料分群時之擴張次數，進一步減少後續讀取種子點及判斷該擴張條件是否成立之執行時間。

本發明之密度式資料分群方法，係由於該邊界標記點2或2’係直接依序加入該種子表，不需計算各該邊界標記點2或2’與各鄰近點13之距離，亦不需取得距離最短之鄰近點13，因此，本發明密度式資料分群方法與習知資料分群方法比較，不需計算距離之時間，可減少整體資料分群運算時間。

本發明之密度式資料分群方法，係可藉由減少擴張次數及不需進行距離計算，而達到減少資料分群時間，因此，具有提高資料分群效率的功效。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

〔本發明〕

1‧‧‧資料集

11‧‧‧資料點

12‧‧‧起始點

13‧‧‧鄰近點

2,2’‧‧‧邊界標記點

2a至2d‧‧‧邊界標記點

2a’至2p’‧‧‧邊界標記點

S‧‧‧掃描範圍

S1‧‧‧設定程序

S2‧‧‧分群程序

S21‧‧‧第一讀取步驟

S22‧‧‧第一判斷步驟

S23‧‧‧第二判斷步驟

S3‧‧‧擴張程序

S31‧‧‧第二讀取步驟

S32‧‧‧第三判斷步驟

S33‧‧‧第四判斷步驟

S4‧‧‧終止判斷程序

第1圖：本發明較佳實施例之流程圖。

第2圖：本發明較佳實施例之資料集示意圖。

第3圖：本發明較佳實施例之分群程序的流程圖。

第4圖：本發明較佳實施例之種子點示意圖。

第5圖：本發明較佳實施例之種子點擴張示意圖。

第6圖：本發明較佳實施例之擴張程序的流程圖。

S1．．．設定程序

S2．．．分群程序

S3．．．擴張程序

S4．．．終止判斷程序

Claims

一種密度式資料分群方法，係包含：一設定程序，係設定一半徑參數及一最小包含點參數；一分群程序，該分群程序係包含：一第一讀取步驟，係由一資料集依序讀取其中之一資料點，並設為一起始點；一第一判斷步驟，係判斷該起始點是否已分群，若判斷為是，則重新進行該第一讀取步驟，若判斷為否，則將該起始點定義歸屬為一群組，再以該起始點及該半徑參數定義一掃描範圍，將該掃描範圍內的所有資料點設為鄰近點；及一第二判斷步驟，係判斷該鄰近點之數量是否大於或等於該最少包含點參數，若判斷為是，則將該鄰近點與該起始點設為同一群組，再於該掃描範圍的邊界上選取該數個邊界標記點加入一種子表，且該數個邊界標記點係於該掃描範圍的邊界上等距設置若判斷為否，則重新進行該第一讀取步驟；一擴張程序，係由該種子表中之種子點擴張該群組，並選取至少一個邊界標記點加入該種子表；及一終止判斷程序，係判斷所有資料點是否皆已分群，若判斷為是，則完成該資料集的資料分群動作，若判斷為否，則重新進行該分群程序。
依申請專利範圍第1項所述之密度式資料分群方法，其中該分群程序選取4個邊界標記點。
依申請專利範圍第1項所述之密度式資料分群方法，其中該擴張程序係包含：一第二讀取步驟，係由該種子表依序讀取其中一種子點，以該種子點及該半徑參數定義一掃描範圍，將該掃描範圍內的所有資料點設為鄰近點；一第三判斷步驟，係判斷該鄰近點數量是否大於或等於該最少包含點參數，若判斷為是，則將該鄰近點與該起始點設為同一群組，並選取該至少一個邊界標記點加入該種子表，若判斷為否，重新進行該第二讀取步驟；及一第四判斷步驟，係判斷該種子表中是否仍有種子點未被讀取，若判斷為是，則重新進行該第二讀取步驟，若判斷為否，則完成該群組的資料分群動作。