TWI634769B

TWI634769B - Method for detecting domain name transformation botnet through proxy server log

Info

Publication number: TWI634769B
Application number: TW105130289A
Authority: TW
Inventors: 鄭棕翰; 陳建智; 周國森; 黃秀娟; 施君熹
Original assignee: 中華電信股份有限公司
Priority date: 2016-09-20
Filing date: 2016-09-20
Publication date: 2018-09-01
Also published as: TW201815142A

Abstract

本發明有關於一種通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路的方法，以網站分析模組執行以下步驟，包含：存取代理伺服器日誌資料；再根據一節點過濾演算法對日誌資料中常規的用戶代理連線過濾掉；並根據一網站分群演算法，在剩餘紀錄中進行分群，以取得日誌內容中外部網站之間相關聯的集合；取得外部網站的連線拓樸，並以一連線特徵演算法判斷集合是否符合domain flux的連線特徵；以及，濾除剩餘紀錄當中與正常應用程式或內容傳遞網路(Content Delivery Network，CDN)連接之網域，其餘網域即判斷為domain flux殭屍網路。

Description

通過代理伺服器日誌偵測域名變換殭屍網路的方法

本發明有關於一種通過代理日誌偵測惡意網路之方法，特別是有關於一種通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路的方法。

針對代理伺服器日誌資料的整理及分析，是現今資訊安全控管的基礎，而隨著巨量資料時代到來，如何在巨量的日誌資料當中撈取出有價值的資訊，係領域內技術人員的主要課題，若能夠發展出一種可以篩選出惡意網域的群集，並進一步鎖定企業或公司內部的受害主機，對於需要進行嚴謹資安控管的企業或公司而言，將具有明顯之助益。

如中華民國專利公告號I455546，其係一種偵測快速變動網域技術之惡意網域的方法與系統，其主要是利用路由器資訊所包含的路由器主機名稱與網路位址自治系統號碼等等資訊，配合路由器主機的特定部分名稱相同，或是網路封包傳送時間大於預設的一個檢查值作為基礎，來判斷是否為惡意網域，然而，其準確性有所誤差，並有著將正常的應用程式錯誤的報告為惡意網域的可能性。

而除上開先前技術之外，領域中亦已發展出透過網路搜尋引擎與WHOIS網站查詢得到網域名稱相關網域的集合結果，以找出僅包含少量搜尋結果之可疑網站，最後再依據相關聯網域的集合與其搜尋結果數目，判斷是否為可疑殭屍網路的中繼站域名的技術方法，唯其仍無法準確篩選出域名變換(domain flux)殭屍網路，domain flux技術若應用殭屍網路，是一種可以透過既有的DNS服務，或是網域生成算法，來實現多個域名與同一IP位址相關聯，進而逃避統一資源定位符(Uniform Resource Locator，URL)檢測的技術。

承上，各種針對代理伺服器日誌資料所延伸出的惡意網站防護方法，因應日新月異的技術，仍有著諸多的可能性，可以各自針對問題進行改良，而一種針對domain flux殭屍網路的篩選方法，則係目前領域中人亟其需要的。

本發明提出一種通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路的方法，係因攻擊者為了使殭屍網路(Botnet)的存活率提高，會經常使用domain flux技術以避免被輕易查獲進而封鎖，但由於惡意程式連線至外部特定網站的行為都會詳細被記錄在代理伺服器的日誌資料內，故本發明之發想為透過分析代理伺服器的日誌資料，並透過網域聯集之結果來取得符合domain flux連線行為之聯集後得出行為可能為domain flux殭屍網路的方法。

本發明之一種通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路之方法，其主要係透過一網站分析模組執行複數步驟，首先為，網站分析模組存取代理伺服器日誌資料，並根據一節點過濾演算法對各該日誌資料中用戶代理(user-agent)資訊代表之連線狀況進行過濾，以將屬於與常規網站連線的日誌內容濾除；其中，該節點過濾演算法係利用用戶代理的節點維度值(degree)此種特徵，來過濾有名的網站，詳細來說，此步驟係透過映射歸納(MapReduce)架構，以外部網站其終端URL作為鍵(Key)，用戶代理當作值(Value)，可以有效率的得到每個外部網站被不同用戶代理連結的次數之清單，藉由過濾清單中維度值大的網站，即可初步過濾掉相對有名的網站，本發明係保留在長天期流量資訊中維度值小於一預設閾值(例如，閾值為10)的外部網站，其意旨為，除了過濾掉較有名的網站之外，僅保留只有被相當少數用戶代理(User-agent)所連線的外部網站通常表示其用途特殊，這些外部網站有高機率為惡意中繼站。

下一步驟為，該網站分析模組根據一網站分群演算法，在上一步驟過濾後剩餘的日誌內容的連線紀錄中，匹配外部網站中具有相同客戶端網際網路協定位址(Client IP)以及用戶代理連線紀錄者，以分群找出日誌內容中外部網站之間相關聯的集合；本步驟之目的，係為透過日誌中的流量資訊所提供之資訊，以將外部網站間建立關聯性，其旨在將被同一個程式所連結到的外部網站，皆視為有關的網站；詳細來說，本發明係將具有相同Client IP和用戶代理連線紀錄的外部網站都分在同一集合內，其係代表這些網站是有關連之特徵的，而由於這個建立外部網站集合之特徵(Client IP跟用戶代理)，可以透過日誌記錄中的欄位內容是否完全匹配(Exact Match)來判斷，故這種網站分群演算法亦可以透過MapReduce中的鍵與值(Key-value)架構來實做。

其中，該網站分群演算法可以透過聯集查找的方法進行分群，即以該網站分析模組以剩餘之日誌內容的連線紀錄建立若干集合後，進行下列步驟：以各集合內的個別連線紀錄資料作為元素，若連線紀錄連接的外部網站具有相同之Client IP及用戶代理者，則判斷為交集，並將元素有交集的集合合併；刪除集合內元素數量大於預設閥值的集合；將與其餘集合不相交集的集合判斷為獨立集合；以及，重複上述三步驟直至所有集合被判斷為獨立集合。

承上步驟，接著，該網站分析模組取得日誌內容中Client IP的連線紀錄和Client IP及連線之外部網站的連線拓樸；其中，本發明通過以上步驟以不相交集的網址集合對連線紀錄做集合分類後，所得出同一集合之連線紀錄僅會連結到同一集合的網域(domain)，同一集合的連線紀錄所隱含的意義係為具有相同目的之程式所產生出的網路行為，這個步驟將取得Client IP以及外部網址的連線拓樸，並且取得Client IP在代理伺服器日誌中的連線資訊，例如，對不相交集合的網址字串透過雜湊(hash)方法取得其群組代號，配合連線紀錄中所記載每個網址對應連線資訊，透過MapReduce的Multiple Input機制以網址當作key即可對照出得群組代號對應的連線紀錄集合以及群組的連線拓樸圖。

再來，該網站分析模組將外部網站與相關聯的集合間之關係透過連線拓樸呈現，並以一連線特徵演算法判斷集合是否符合domain flux的連線特徵，其中，所謂的domain flux的連線特徵，係指連線係透過少數的Client IP和相同的用戶代理(User-agent)以連線至許多相異的外部網址網域；實作上，該連線特徵演算法係用以運算一個集合中的終端URL數與Client IP數的比值，若計算出的比值超過了一預設閥值，即代表集合的網站符合domain flux連線特徵的網域變動行為。

最後，該網站分析模組取出符合domain flux連線特徵的集合，濾除其中代表與正常的網路應用程式(例如，防毒程式軟體)或內容傳遞網路(Content Delivery Network，CDN)等等所連接之網域，該網站分析模組即可將其餘網域判斷為domain flux的殭屍網路並予以警戒。

以上，即為本發明之通過代理伺服器日誌偵測domain flux殭屍網路的方法，可以透過domain flux殭屍網路所可能具有的特徵，在巨量長天期的日誌資料中，挖掘出疑似domain flux殭屍網路的外部網站，以便進行進一步的預防措施。

A‧‧‧電腦

B‧‧‧電腦

C‧‧‧電腦

E‧‧‧電腦

F‧‧‧電腦

G‧‧‧電腦

H‧‧‧電腦

1‧‧‧攻擊者

2‧‧‧攻擊者

10‧‧‧群集

11‧‧‧中繼站

12‧‧‧中繼站

13‧‧‧中繼站

20‧‧‧群集

21‧‧‧中繼站

22‧‧‧中繼站

23‧‧‧中繼站

30‧‧‧中繼站

S201~S205‧‧‧方法步驟

圖1為本發明通過代理伺服器日誌偵測domain flux殭屍網路的情境示意圖。

圖2為為本發明通過代理日誌對外部網站分群之方法流程圖。

圖3係為本發明一個用戶代理連結的次數之統計清單的範例示意圖。

圖4係為本發明將一簡單的日誌資料轉換成外部網站集合的範例示意圖。

圖5係為本發明以集合回推網路連線群組的範例示意圖。

圖6係為本發明domain flux的網路行為拓樸圖範例示意圖。

圖7係一防毒軟體透過domain flux方法進行連線行為的範例示意圖。

圖8係一種代理伺服器日誌資料的範例示意圖。

圖9係為透過本發明之方法篩選出符合domain flux殭屍網路之實施例示意圖。

圖10係為透過本發明之方法篩選出符合domain flux殭屍網路之實施例示意圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

圖1係為本發明通過代理伺服器日誌偵測domain flux殭屍網路的情境示意圖，攻擊者將惡意程式植入被害的主機後即可使其成為殭屍電腦(Bots)，而殭屍電腦可以進行竊取機密或敏感資料等惡意行為，而現今攻擊者為了提高殭屍網路(Botnet)之存活率，會使用domain flux的技術來迴避檢查，但由於惡意程式連到外部特定網站的行為都會被記錄在代理伺服器日誌資料內，故本發明仍可將其解析出來，圖1中，攻擊者1利用惡意程式將目標企業內部網路中的電腦A和電腦B和電腦C變為殭屍電腦，電腦A和電腦B和電腦C中的惡意程式會連結至中繼站11、中繼站12以及中繼站13，而電腦C在執行正常連線時連接到有名網站；另外，攻擊者2利用惡意程式將目標企業內部網路中的電腦D和電腦E和電腦H變為殭屍電腦，電腦A和電腦B和電腦C中的惡意程式會連結至中繼站21、中繼站22以及中繼站23，而電腦D在執行正常連線時連接到有名網站；其中電腦C和電腦D會連到中繼站也會連到名網站；另外，有名網站30係與執行正常應用程式的電腦C、電腦D、電腦E、電腦F和電腦G連結，其中的電腦與中繼站有著交錯的連結關係，且殭屍網路係透過domain flux來迴避一般檢查，將需要透過本發明的方法，才能夠有效率的在Proxy Server的日誌資料中，透過變成殭屍電腦的電腦A、電腦B、電腦E和電腦H的紀錄反追蹤出疑為殭屍網路中繼站網域的方法。

接著，圖2係為本發明通過代理日誌對外部網站分群之方法流程圖，首先，步驟S201係為以用戶代理維度值過濾有名網站，透過MapReduce的架構，網站分析模組獲取日誌中每個外部網站被不同用戶代理連結的次數清單，過濾清單中維度值過大的網站即可將有名的網站先濾掉，如圖3所示，其係為一個用戶代理連結的次數之統計清單的範例示意圖，在其中可以觀察到大多數的網站都只有被一組用戶代理連線過的紀錄(佔比92.77%)，而有名的網站例如www.***.com，其則是被22825個不同的用戶代理連線過；透過上述觀察可以得知，本發明透過檢查外部網站被不同的用戶代理連線紀錄，可以針對有名的網站先做初步篩選。以圖1範例討論的話，有名網站30會在S201的步驟先被慮除。

再來，請繼續參照圖2，步驟S202則是透過聯集查找來獲取外部網站的關聯集合，主要係將代理伺服器日誌資料轉換為外部網站集合之形式來呈現；本發明係以網站分析模組將具有相同Client IP和用戶代理連線紀錄的外部網站分至同個集合，代表這些網站之間是有關連的，其可以透過MapReduce的Key-value架構進行實做；請參考圖4，其係將一簡單的日誌資料轉換成外部網站集合的範例示意圖，由圖4中可以觀察到，其係以Client IP和用戶代理作為鍵，而終端的URL(Dest Url)作為值進行聯集查找，最後將範例日誌資料透過聯集查找所產出的結果係為“CnC1,CnC2,CnC3”以及“CnC4,CnC5,CnC6”此兩個不相交的集合，而關於聯集查找如何實施的詳細方法，將在之後段落進行說明。

接著，步驟S203係以集合回推網路連線群組，其中，網站分析模組透過互不相交的網址集合來對連線紀錄做分群，得出之同一群組的連線紀錄僅連線到同一集合的網域(domain)，同一群組之連線紀錄所表示的意義為其乃係同一目的之程式所產生出的網路行為；在本步驟中，網站分析模組會取得Client IP與外部網址的連線拓樸，並且取得Client IP在代理伺服器日誌中的連線資訊；如圖5中以集合回推網路連線群組的範例示意圖所示，本發明之網站分析模組對“CnC1,CnC2,CnC3”與CnC4,CnC5,CnC6”此兩不相交集合以雜湊(hash)方式獲取其Group-ID之後，再將終端URL的CnC1~CnC6依其所應屬的集合給予Group-ID，再搭配連線紀錄中所記錄下之CnC1~CnC6的連線資訊，透過MapReduce的Multiple Input以網址當作Key，即可對照出Group-ID對應的連線紀錄群組與群組之連線拓樸圖，如圖中下方所示。

再來，步驟S204係為判斷行為符合domain flux特徵，是網站分析模組分別將各個連線的群組以其網路連線拓樸圖呈現，接著判斷群組是否符合domain flux的連線特徵；其中，domain flux的連線特徵為少數的Client IP連線至眾多的外部網址，如圖6所示，其係為domain flux的網路行為拓樸圖範例示意圖，在單一集合內，只有少數Client IP使用相同的用戶代理(User-agent)連線多個不同網域，圖中可見，其係由10.107.56.20的Client IP使用相同的用戶代理連線至開頭為sp-install、c-sp-storage、sp-download、sp-alive、sp-setting、sp-storage、Orbtr-install、spms-download、c-api.sec等等的網域，其符合了一種典型以少數Client IP使用相同的用戶代理(User-agent)連線多個不同網域的domain flux的連線特徵。

再來，步驟S205係為過濾正當行為網域，其中，網站分析模組取出符合domain flux連線特徵的集合後，將濾除其中代表與正常的網路應用程式(例如，防毒程式軟體)或CDN等等所連接之網域；如圖7所示，其係一防毒軟體透過domain flux方法進行連線行為的範例示意圖，但這種已知的正常網路應用程式行為，將不會被列為本發明所欲偵測的殭屍網路行為，會在此步驟被排除掉，剩餘的網域才會被判斷為domain flux的殭屍網路；例如在圖7之範例中，可透過將”iavs9x.u.avast.com"的正規表示式加入過濾清單，來過濾掉這種正常網路應用程式。

接著，如圖8所示，其係舉出為一種代理伺服器日誌資料的範例示意圖，其中，每一行資料分別都代表一條log紀錄的所建立的時間戳(Timestamp)、客戶IP(Client IP)、終端URL(Dest Url)、終端埠(Dest Port)、用戶代理(User-agent)等資訊，更可以額外包含傳送量(Sent Byte)、接收量(Receive Byte)、方法(Method)、路徑(Path)等等資訊，而本發明主要僅使用到其中的客戶IP、終端URL與用戶代理資訊來偵測domain flux殭屍網路，藉由節點維度值的大小來判斷是否為有名的網站，維度值低的代表僅被少量用戶代理連線的外部網站，其有較高的機率為惡意中繼站。

承上，步驟S202中使用網站分群演算法將外部網站集合中有交集的集合合併，進而產生不相交的集合，其聯集查找方法的步驟如下：(一)以集合內的元素為單位，找出集合彼此間的交集，並將有交集的集合合併為一個集合(集合大小超過預設閥值的在此步驟中過濾)；(二)判斷哪些集合是不相交集合(跟其他集合沒有交集)並將它們獨立出來，剩下的集合則回到步驟(一)執行；(三)重複步驟(一)跟步驟(二)直到所有集合都被獨立出來。以圖4作為範例的話，以MapReduce架構，在Item 1~Item 8當中，以Client IP和用戶代理作為key，而終端URL作為值的話，首先可以群集出四個集合，分別為Item 1跟Item 2群集出CnC1,CnC2之值，Item 3與Item 4會群集出CnC2,CnC3之值，Item 5與Item 6會群集出CnC4,CnC5之值，Item 7與Item 8會群集出CnC4,CnC6之值，這四個集合可以作為再聯集的輸入集合，而聯集最後的結果為“CnC1,CnC2,CnC3”跟“CnC4,CnC5,CnC6”這兩個不相交的網址(URL)集合；接著，則依圖5範例所示，在本發明進行步驟S203後，取得兩集合的連線拓樸圖。

而本發明係依據同個Client IP連線到許多不同的終端URL，所呈現的一對多關係符合domain flux連線特徵之連線拓樸以判斷殭屍網路，其舉例來說，可以根據在一個集合中的終端URL數值，除以客戶IP數值的結果值超過一定的預設閥值，作為一種判定依據，來判斷集合符合domain flux連線特徵的網域變動行為。

最後，如圖9與圖10所示，其係為一個透過本發明之方法篩選出符合domain flux殭屍網路之實施例示意圖，經過本發明如圖2所示的流程後，取得之群組739663648符合domain flux殭屍網路集合之特徵，進一步，再將此群組上的網域(Domain)於Virus Total網站進行查詢，如圖10所示，可以觀察到確實透過本發明獲取出的整群網域都被登記為惡意的網址，故知本發明之通過代理伺服器日誌偵測domain flux殭屍網路之方法確實有效。

上列詳細說明乃針對本發明之最佳實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本發明於技術思想上實屬創新，也具備先前技術不及的多種功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出專利申請，懇請貴局核准本件發明專利申請案以勵發明，至感德便。

Claims

一種通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路之方法，其係以一網站分析模組執行下列步驟，包含：存取外部代理伺服器儲存的至少一日誌資料；根據一節點過濾演算法對各該日誌資料中用戶代理(user-agent)資訊代表的連線狀況進行過濾，將屬於與常規網站連線的日誌內容濾除；根據一網站分群演算法，在剩餘之日誌內容的連線紀錄中，匹配外部網站中具有相同客戶端網際網路協定位址(Client IP)以及用戶代理連線紀錄者，進行分群以取得日誌內容中外部網站之間相關聯的集合；取得日誌內容中Client IP的連線紀錄和Client IP及連線之外部網站的連線拓樸；將外部網站與相關聯的集合間之關係透過連線拓樸呈現，並以一連線特徵演算法判斷集合是否符合domain flux的連線特徵，其中，domain flux的連線特徵係指以Client IP使用相同的用戶代理對複數相異網域連線；以及取出符合domain flux連線特徵的集合，並濾除其中係與正常的網路應用程式或內容傳遞網路(Content Delivery Network，CDN)所連接之網域，其餘網域即判斷為domain flux殭屍網路。
如申請專利範圍第1項所述之通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路之方法，其中，該節點過濾演算法係由該網站分析模組係根據長天期的各該日誌資料中的終端統一資源定位符(Uniform Resource Locator，URL)作為鍵(Key)，用戶代理資訊作為值(Value)，透過映射歸納(MapReduce)架構計算獲取各該日誌資料中各外部網站被不同用戶代理連接次數的清單，各外部網站被不同的用戶代理連線之次數等同於節點上的維度值(Degree)，藉由維度值的大小即可判斷節點代表的外部網站是否為有名的網站，而僅有維度值小於預設閥值的外部網站才會被保留。
如申請專利範圍第1項所述之通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路之方法，其中，該網站分群演算法係以聯集查找方法進行分群，即以該網站分析模組以剩餘之日誌內容的連線紀錄建立若干集合後，進行下列步驟：以各集合內的個別連線紀錄資料作為元素，若連線紀錄連接的外部網站具有相同之Client IP及用戶代理者，則判斷為交集，並將元素有交集的集合合併；刪除集合內元素數量大於預設閥值的集合；將與其餘集合不相交集的集合判斷為獨立集合；以及重複上述三步驟直至所有集合被判斷為獨立集合。
如申請專利範圍第1項所述之通過代理伺服器日誌偵測域名變換(domain flux)殭屍網路之方法，其中，該連線特徵演算法係用以運算一個集合中的終端URL數與Client IP數之比值，若比值超過預設閥值，即代表集合的網站符合domain flux連線特徵的網域變動行為。