TWI706343B

TWI706343B - 樣本回放資料存取方法、裝置及電腦設備

Info

Publication number: TWI706343B
Application number: TW108100355A
Authority: TW
Inventors: 魏宏; 張曉明
Original assignee: 香港商阿里巴巴集團服務有限公司
Priority date: 2018-03-20
Filing date: 2019-01-04
Publication date: 2020-10-01
Also published as: WO2019179252A1; TW201941124A; CN108536759A; CN108536759B

Abstract

公開了一種樣本回放資料存取方法及裝置。配置記錄資訊表、批次資訊表、資料內容表；對於任一條待儲存資料，執行以下儲存操作：根據記錄資訊表，為所述待儲存資料分配記錄標識；根據批次資訊表，為所述待儲存資料分配批次標識；根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；對記錄資訊表、批次資訊表進行更新。

Description

樣本回放資料存取方法、裝置及電腦設備

本說明書實施例涉及機器學習技術領域，尤其涉及一種樣本回放資料存取方法及裝置。

目前，人工智慧已經成為各個行業的研究熱點，機器學習(或深度學習)算法是實現人工智慧的關鍵技術，目前一些算法已經開始應用於解決實際業務需求。同時研究人員也發現，除算法之外的一些其他周邊問題，例如資料存取、硬體資源佔用等，在新的應用場景下也產生了新的需求，一些傳統的成熟方案已經不再適用。

以強化學習中樣本回放需求為例，在強化學習中，為了進行訓練需要對之前的行為樣本進行回放以作為模型學習的輸入。樣本回放在強化學習中起到連接行為收益與迭代訓練之間的橋樑作用，為了提升學習效果，樣本回放可以採用多種回放策略，例如順序回放、隨機回放、按批次回放、按指定機率抽樣回放等。這些策略在理論算法上都是支持的，並且在實驗環境中都能夠分別順利實現，然而在實際應用中，需要在一個業務場景中靈活切換各種回放策略，有時還需要考慮分散式業務環境、資料吞吐量龐大等實際問題，目前並沒有方案能夠滿足這些需求。

針對上述技術問題，本說明書實施例提供一種樣本回放資料存取方法及裝置，技術方案如下：根據本說明書實施例的第1態樣，提供一種樣本回放資料儲存方法，配置記錄資訊表、批次資訊表、資料內容表；所述記錄資訊表，用於儲存最新寫入的樣本回放資料的記錄標識；所述批次資訊表，用於儲存最新寫入的樣本回放資料的批次標識；所述資料內容表，用於儲存樣本回放資料，每條樣本回放資料以記錄標識和批次標識共同構成標識字段；對於任一條待儲存資料，執行以下操作：根據記錄資訊表，為所述待儲存資料分配記錄標識；根據批次資訊表，為所述待儲存資料分配批次標識；根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；對記錄資訊表、批次資訊表進行更新。

根據本說明書實施例的第2態樣，提供一種樣本回放資料讀取方法，該方法包括：確定回放需求為：隨機選取記錄回放；根據記錄資訊表，獲得已寫入的樣本回放資料的記錄總數sum；生成隨機數數組，所述隨機數數組中包括從sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本記錄數量；遍歷所述隨機數數組執行以下步驟，得到n條樣本回放資料記錄：以數組中的任一數值作為記錄標識，從資料內容表中讀取具有該記錄標識的樣本回放資料。根據本說明書實施例的第3態樣，提供一種樣本回放資料讀取方法，該方法包括：確定回放需求為：隨機選取批次回放；根據批次資訊表，獲得已寫入的樣本回放資料的批次總數batch_sum；生成隨機數數組，所述隨機數數組中包括從batch_sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本批次數量；遍歷所述隨機數數組執行以下步驟，得到n個樣本回放資料批次：以數組中的任一個數值作為批次標識，從資料內容表中讀取具有該批次標識的樣本回放資料。根據本說明書實施例的第4態樣，提供一種樣本回放資料儲存裝置，配置記錄資訊表、批次資訊表、資料內容表；所述記錄資訊表，用於儲存最新寫入的樣本回放資料的記錄標識；所述批次資訊表，用於儲存最新寫入的樣本回放資料的批次標識；所述資料內容表，用於儲存樣本回放資料，每條樣本回放資料以記錄標識和批次標識共同構成標識字段；所述裝置包括：標識分配模組、內容寫入模組、資訊更新模組，對於任一條待儲存資料：所述標識分配模組，用於根據記錄資訊表，為所述待儲存資料分配記錄標識；以及根據批次資訊表，為所述待儲存資料分配批次標識；所述內容寫入模組，用於根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；所述資訊更新模組，用於對記錄資訊表、批次資訊表進行更新。根據本說明書實施例的第5態樣，提供一種樣本回放資料讀取裝置，該裝置包括：回放需求確定模組，用於確定回放需求為：隨機選取記錄回放；記錄總數確定模組，用於根據記錄資訊表，獲得已寫入的樣本回放資料的記錄總數sum；資料讀取模組，用於生成隨機數數組，所述隨機數數組中包括從sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本記錄數量；遍歷所述隨機數數組執行以下步驟，得到n條樣本回放資料記錄：以數組中的任一數值作為記錄標識，從資料內容表中讀取具有該記錄標識的樣本回放資料。根據本說明書實施例的第6態樣，提供一種樣本回放資料讀取裝置，該裝置包括：回放需求確定模組，用於確定回放需求為：隨機選取批次回放；批次總數確定模組，用於根據批次資訊表，獲得已寫入的樣本回放資料的批次總數batch_sum；資料讀取模組，用於生成隨機數數組，所述隨機數數組中包括從batch_sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本批次數量；遍歷所述隨機數數組執行以下步驟，得到n個樣本回放資料批次：以數組中的任一個數值作為批次標識，從資料內容表中讀取具有該批次標識的樣本回放資料。本說明書實施例所提供的技術方案，將樣本回放資料的記錄資訊和批次資訊進行抽離，並配置專用的表項分別儲存記錄資訊和批次資訊；在需要進行樣本回放時，可以靈活地實現各種常見的樣本回放策略，從而更好地滿足實際業務應用需求。應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本說明書實施例。此外，本說明書實施例中的任一實施例並不需要達到上述的全部效果。

為了使發明所屬技術領域中具有通常知識者更好地理解本說明書實施例中的技術方案，下面將結合本說明書實施例中的圖式，對本說明書實施例中的技術方案進行詳細地描述，顯然，所描述的實施例僅是本說明書的一部分實施例，而不是全部的實施例。基於本說明書中的實施例，發明所屬技術領域中具有通常知識者所獲得的所有其他實施例，都應當屬保護的範圍。強化學習(reinforcement learning)，又稱再勵學習、評價學習等，是一種重要的機器學習方法，在智慧控制機器人及分析預測等領域有許多應用。在強化學習過程中，電腦會在沒有任何提示的情況下嘗試選擇一系列行為並得到對應的結果，通過判斷這個結果的優劣來為之前的行為進行評價，該評價會用來反饋給行為方以調整之前的行為，算法的目標是調整這些行為以得到最好的評價，通過不斷調整，使得電腦能夠學習到在什麼樣的情況下選擇什麼樣的行為可以得到最好的結果。強化學習的樣本回放是利用行為資料作為原始樣本，並根據不同的強化學習算法進行不同的回放策略，例如可以順序回放、隨機回放、按批次回放、按指定機率抽樣回放等。現有技術方案儘管可以實現上述多種回放策略，但是每種策略都是單獨實現，不僅無法滿足策略靈活切換的實際需求，而且帶來了較高的開發及維護成本。另外，現有技術方案都是以單機記憶體隊列作為載體來實現樣本回放，記憶體隊列寫滿後會刪除最早添加的樣本記錄，類似FIFO(先進先出)隊列。但是記憶體隊列只能實現單機內部的多執行緒共享，無法適用於實際的分散式業務環境；而且受到記憶體容量以及非持久性儲存等因素的限制，也無法滿足實際應用中的大資料量、資料延遲使用等需求。針對上述問題，本說明書實施例提供一種樣本回放資料存取方法。一態樣，該方法以資料庫作為載體，從而保證樣本回放資料的儲存容量以及持久化可靠儲存。另一態樣，針對樣本回放的實際需求，還提供相應的資料儲存結構以及資料存取方法。在強化學習過程中，電腦的每次行為會對應產生一條行為資料，一條資料的具體內容可以包括：當前狀態state、採取的行為action、本次行為獲得的評價reward、等，資料中的具體內容可能會依算法而異，本說明書對於一條資料中包括哪些具體內容字段並不限定。為了對多次行為進行區分，將1條如上所述的資料稱為1條記錄(record)，不同的記錄以“記錄標識”字段進行區分。另外，在強化學習過程中，為了便於批量回放處理，還需要將多次行為劃分為不同的集合，劃分依據可以是按數量劃分(例如每1000條行為資料記為一個集合)，也可以按實際應用邏輯劃分(例如每種策略所產生的行為資料記為一個批次、每種環境所產生行為資料記為一個批次，等)，本說明書對於採用哪種集合劃分邏輯並不限定。為了對多個批次進行區分，將1個如上所述的資料集合稱為1個批次(batch)，不同的批次以“批次標識”字段進行區分。可見，在樣本回放需求中，一條樣本回放資料應至少包含以下字段：記錄標識，批次標識，行為內容本說明書中將記錄上述資料結構的表格稱為“資料內容表”，其中“記錄標識”和“批次標識”均為標識字段，不同的記錄可能對應相同的批次、也可能對應不同的批次；而“行為內容”則為內容字段，內容字段可以有多個，且不同算法對應的具體內容字段可能是不同的。除資料內容表之外，本說明書提供的資料儲存結構還包括“記錄資訊表”和“批次資訊表”：記錄資訊表：用於儲存最新寫入的一條樣本回放資料的記錄標識；可選地，在記錄資訊表中還可以儲存當前已寫入樣本回放資料的記錄總數。這裡將記錄總數定義為可選的原因在於：某些情況下，可以直接根據“最新寫入的記錄標識”確定記錄總數，例如：記錄標識從0開始，並且以+1的幅度自然遞增，在不限制記錄總數的情況下，記錄總數=最新寫入的記錄標識號+1。批次資訊表：用於儲存最新寫入的一條樣本回放資料的批次標識；可選地，在批次資訊表中還可以儲存當前已寫入樣本回放資料的批次總數。將批次總數定義為“可選”的原因與將記錄總數定義為可選的原因類似，這裡不再贅述。在定義上述儲存結構的基礎上，進一步提供樣本回放資料儲存方法，參見圖1a及圖1b所示，對於任一條待儲存的樣本回放資料，其儲存方法可以包括以下步驟： S101，根據記錄資訊表為待儲存資料分配記錄標識、根據批次資訊表為待儲存資料分配批次標識；最基本的標識分配方式是以自然計數進行編號，以記錄標識為例，假設第1條寫入記錄的編號為0，則後續寫入的記錄將依次編號為1、2、3……。假設以cur表示“最新寫入的樣本回放資料的記錄標識”，那麼在每次寫入資料之前，使用為待寫入資料分配記錄標識的計算公式為： cur=cur+1 如果針對資料內容表，預先配置l允許儲存的樣本回放資料的記錄數量最大值，那麼可以以該最大值為計數週期，為待儲存資料分配記錄標識，例如採用以下公式分配記錄標識： cur = (cur+1) %max 批次標識的分配方式與記錄標識的分配方式基本類似，區別在於，由於允許同一批次包含多條不同記錄，因此在對批次標識進行分配時，可能需要判斷當前的儲存資料與上一條儲存的資料批次是否相同；如果是則為該待儲存資料分配與上一條儲存的資料相同的批次標識；否則為該待儲存資料分配新的批次標識。需要說明的是，上述以自然計數對記錄或批次進行標識編號的方案只是一種具體的實施例，不應理解為對本說明書方案的限制，例如還可以採用其他特定算法為每條記錄或每個批次生成標識資訊，這些並不影響本說明書方案的實現。 S102，根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；根據前面實施例的描述，資料內容表包括3部分基本內容：記錄標識、批次標識、行為內容。對於當前待儲存資料而言，“記錄標識”與“批次標識”已在S101確定，而“行為內容”是從外部應用獲得，對上述三部分內容進行拼接，即可得到一條[記錄標識，批次標識，行為內容]的三元組資料，將該資料作為一個新的資料行寫入資料內容表即可。可以理解的是，這裡的“行為內容”一般對應多個具體字段，並且實際儲存時可能會多從外部應用獲得的資料進行一定的轉換處理，這些並不影響本說明書方案的實現。 S103，對記錄資訊表、批次資訊表進行更新。根據記錄資訊表和批次資訊表的定義可知，對資料內容表寫入完成後，對記錄資訊表、批次資訊表也要進行相應的更新。最基本的更新操作是對“最新寫入的樣本回放資料的記錄標識”以及“最新寫入的樣本回放資料的批次標識”進行更新。更新後的值即為S101中為待儲存資料所分配的記錄標識以及批次標識。事實上，根據S101中的計算公式，可以認為在計算新標識的同時，也完成了更新，實際應用中也可以採用這樣的處理方式。但是從嚴格意義上講，更新標識操作應該在確認資料向資料內容表寫入成功後進行，因此本說明書所提供的方法步驟仍然按照上述嚴格意義的流程設計，但是發明所屬技術領域中具有通常知識者應該清楚，這種方法步驟不應理解為對方案的限定。另外，如果在記錄資訊表中還配置了回放資料的記錄總數，那麼更新操作還應該包括：對記錄總數進行更新，也即將原紀錄總數+1。類似地，如果在批次資訊表中還配置了回放資料的批次總數，那麼更新操作還應該包括：對批次總數進行更新。具體而言，如果是最新寫入的記錄屬一個新的批次，則將原批次總數+1；如果最新寫入的記錄批次沒有發生變化，則保持批次總數不變。常見的樣本回放需求，按照回放對象可以分為指定回放和隨機回放兩大類，其中指定回放包括指定對指定記錄和/或指定批次的回放，針對指定回放需求，直接以指定的記錄標識和/或批次標識構建查詢條件，從資料內容表讀取相應資料即可。例如，需要順序回放批次1中0-99條記錄，則可以先生成一個序列數組list={ 0,1,2…99}，然後遍歷該序列數組，以batch=1，record=list{ }為條件拼裝查詢請求，從資料內容表中讀取相應資料即可。針對隨機回放需求，基本思路如下： 1)確定回訪需求，包括隨機讀取的範圍(例如全域回放，指定批次回放，等)及對象類型(記錄或批次)； 2)根據記錄資訊表或批次資訊表確定該範圍內該對象類型的總數； 3)生成一個隨機數數組，該數組包括從上述總數中選取的n個隨機值，其中n為回放所需的樣本記錄或批次數量； 4)然後遍歷該隨機數數組，拼裝查詢請求，從資料表中讀取相應資料。例如，需要從全域所有記錄中隨機回放n條記錄，那麼首先可以根據記錄資訊表獲得全域記錄的總數為sum，進而生成一個包含n個數值的隨機數數組list=n_random (sum)，然後遍歷該隨機數數組，以record=list{ }為條件拼裝查詢請求，從資料內容表中讀取相應資料即可。需要說明的是，以上所介紹的資料存取方法，適用於同一業務的樣本回放資料，如果存在多種業務，為了實現多種業務資料的複用儲存，可以進一步增加業務標識字段(可以是一個或多個，例如應用名稱、應用版本等)以對不同業務進行區分。在這種情況下，一條樣本回放資料還應包含至少一個業務標識字段，並且該業務標識字段需要同時配置在記錄資訊表、批次資訊表、資料內容表中，以建立三個表之間的關聯。從資料維護便利性的角度而言，一般不同的業務會分別使用獨立的記錄標識及批次標識體系，當然理論上也允許不同業務共用同一套標識體系，這並不影響本說明書方案的實現。另外，本說明書實施例中的記錄資訊表、批次資訊表、資料內容表僅代表邏輯意義上的基本劃分方式，實際應用中，在不脫離上述邏輯的前提下，可以對三個表中的一個或多個進行合併，也可以對三個表中的一個或多個做進一步拆分，這些均屬本說明書方案的保護範圍。下面將結合具體的實例，對本說明書所提供的樣本回放資料存取方案進行詳細說明。在智慧決策領域，可以利用深度強化學習解決很多實際問題，例如獎勵金發放多少金額會引起不同用戶的關注、疲勞度控制如何因人而異、大促時如何智慧根據系統壓力自動擴容縮容等。在真實的業務環境中，不僅資料生產者(業務應用端)是分散式的，資料使用者(模型訓練端)也是分散式的，而且資料使用者需要使用支持多種回放策略。本說明書提出基於HBase作為儲存媒體的樣本回放資料存取方案，從而滿足大規模分散式真實生產環境。圖2所示為樣本回放資料存取系統的整體架構示意圖；線上業務系統產生大量業務日誌，這些日誌通過加工處理寫入到樣本回放組件，樣本回放組件包括寫入端(write)、讀取端(read)、和作為持久化載體的HBase，我們利用HBase設計特定的表結構和Rowkey來實現樣本回放的所有功能。強化學習訓練系統可以以集群方式接收回放資料進行訓練，也可以是單機訓練消費。在HBase中，Rowkey是行的主鍵，使用一個Rowkey或者一個Rowkey範圍即scan來查找資料。有兩種“列”的概念：Family和Qualifier，一個Family下面可以有多個Qualifier，所以可以簡單的理解為，HBase中的列是二級列，也就是說Family是第一級列，Qualifier是第二級列，兩個是父子關係。根據HBase的基本特點，對記錄資訊表、批次資訊表、資料內容表結構設計如表1所示：

表1 a)記錄資訊表record meta： version表示版本號； app表示業務名稱； sum表示當前可用樣本總數，取值範圍是[0, max]； cur表示當前記錄(即最新寫入的記錄)編號，每添加1條記錄cur值增加1，當達到max時，從0開始循環計數； b)批次資訊表batch meta： version表示版本號； app表示業務名稱； batch_sum，表示當前可用batch總數，取值範圍是[0, maxbatch] batch_cur，表示當前批次(即最新寫入的記錄)編號，每更換1個批次batch_cur值1，當達到maxbatch時，從0開始循環計數； c)資料內容表record data： version表示版本號； app表示業務名稱； batch表示批次編號； cur表示記錄編號； data為kv list字段，可以動態擴充，例如對於dqn算法，可以是如下形式： [state:xxx][action:xxx][reward:xxxx][next_state:xxx] data字段還可以包括其他資訊，例如寫入時間資訊，從而實現按照時間範圍選取樣本回放資料等；另外，針對“按照指定機率隨機選取記錄回放”，data字段還可以用於儲存為每條樣本記錄指定的被選中機率。可以理解的是，所儲存的內容並不僅限於取值在[0, 1]的機率數值形式，也可以是其他形式，只要能夠區分不同記錄被選中的優先級即可。當然，這個指定機率資訊也可以儲存在其他位置，本說明書並不對指定機率資訊的獲取來源進行限定。可見，在上述儲存結構中，限制了允許儲存的記錄數量最大值max、允許儲存的批次數量最大值maxbatch_。並且在Rowkey中增加了version和app字段，作為三個表的關聯，從而實現多種業務/多種版本的複用儲存。其中version也可以寫入時間資訊，從而實現按照時間範圍選取樣本回放資料的需求。基於上述的資料結構，對於任一條待儲存資料，樣本回放組件寫入邏輯如下： S201. 讀取record meta表，得到當前總記錄編號cur： cur=(cur+1) %max； S202. 讀取batch meta表，得到當前批次編號batch_cur：如果是一個新批次寫入，batch_cur = (batch_cur+1)% maxbatch，如果不是新批次寫入，batch_cur = batch_cur。 S203. 拼接資料並向record data寫入：拼裝Rowkey = version : app : batch_cur : cur，內容是當前待儲存資料的行為內容四元組，state,action,reward, netx_state，將kv list寫入record data中與該Rowkey對應的行。拼裝Rowkey = version : app : null : cur內容，是當前待儲存資料的行為內容四元組，state,action,reward, netx_state，將kv list寫入record data中與該Rowkey對應的行。在本實施例中，針對每一次行為會寫入兩行記錄：一行帶有batch編號資訊，用於實現按批次回放需求；一行不帶有batch編號資訊，用於實現全域回放需求。這樣處理的原因在於，HBase中規定拼裝Rowkey時必須按照順序逐個字段拼裝，因此在全域回放(即不需要以batch編號資訊作為查詢條件)時不能跳過batch_cur而直接拼裝cur，當然，這個需求還有很多其他解決方案，本實施例僅用於示意性說明，不應理解為對技術方案的限定。 S204. 更新record meta表和batch meta表：更新record meta表的當前總條數sum=min(sum+1, max)，同時更新meta表中的當前編號值cur=cur；如果該條記錄是batch中最後一條，則更新batch meta表version:app的當前總條數，batch_sum=(min batch_sum+ 1, max)。同時更新batch meta表中的當前編號值batch_cur= batch_cur。以上介紹了樣本回放組件的資料寫入邏輯，下面再示意性地介紹幾種讀取邏輯：隨機讀取記錄： S301. 讀取record meta表，得到當前記錄總數sum； S302. 計算隨機數數組，從[0, sum-1]中選取n個隨機值： list=n_random (sum), S303. 從list中遍歷每個數值作為cur，拼裝Rowkey = version : app : null : cur，從record data表中讀取資料。隨機讀取批次： S401. 讀取batch meta表，得到當前批次總數batch_sum； S402. 計算隨機數數組，從[0, batch_sum-1]中選取n個隨機值： list = n_random(batch_sum) S403. 從list中遍歷每個數值作為batch_cur，拼裝Rowkey = version:app: batch_cur，由於是以batch整體作為讀取對象，因此這裡不需要拼接記錄編號cur，可以利用HBase中的scan方法實現整個批次的讀取。指定機率隨機記錄讀取：機率優先級抽樣是提升強化學習中的非常重要的手段，可以根據多種場景設計樣本優先級，可以以時間新舊為優先級，也可以以樣本業務重要性為優先級，指定優先級可以快速提升訓練效率，本說明書提供一種流式從隊列裡消費資料並按照指定的機率選取樣本的方案。假設每條樣本記錄被選中的機率是根據記錄所在批次新舊確定的，根據不同批次寫入的時間順序，分別將批次編號為：1、2、3、…N，其中N為批次最大值。那麼可以定義：記錄i被選中機率=記錄i的批次編號/N*α 其中α為機率修正參數，可以是(0, 1)中的取值，例如0.5、0.8等。需要說明的是，由於本實施例前面已經規定了允許儲存的批次數量最大值maxbatch，因此batch_cur是循環計數的，如果沒有規定maxbatch，這裡也可以直接利用batch_cur計算被選中機率。參見圖3所示，指定機率隨機記錄讀取邏輯如下： S501. 讀取record meta表，得到當前記錄總數sum； S502. 計算隨機數數組，從[0, sum-1]中選取n個隨機值： list=n_random (sum), S503. 從list中遍歷每個數值作為cur，拼裝Rowkey = version : app : null : cur，從record data表中讀取資料。可以看出S501~S503與S301~S303是一致的，下面進一步介紹根據指定機率隨機回放的實現方式： S504. 針對S503讀取到的每條記錄，根據被選中機率確定是否保留：針對任一條記錄i：一態樣，確定記錄i的被選中機率Pi: Pi=記錄i的批次編號/N*α 另一態樣，生成一個隨機機率值u: u=random(1),(u∈[0, 1])；比較Pi和u的大小，如果u＜Pi，則保留記錄i，反之如果u≥Pi，則丟棄記錄i。可以理解的是，對於u=Pi的情況，可以靈活設置，本實施例僅用於示意性說明。首次執行S504後，list中的n條記錄有部分會由於機率原因被丟棄，因此保留的記錄總數是小於n的，可以重複執行S502~S504，直到保留的記錄總數量達到n為止。重複選擇的過程中，一般是允許同一條記錄被多次保留的，如果需要特別避免這種情況，再增加避免重複的篩選條件即可。與現有技術相比，上述方案至少包括如下優勢： 1. 利用HBase集群的高可靠性，即使部分機器當機或重啟，都不會造成樣本回放資料丟失； 2. 利用HBase集群的高吞吐性能，可以對接實際線上生產系統巨量日誌樣本回流採集； 3. 可以集群部署，不受單機記憶體限制，整個資料集可以根據集群容量設定隊列上限，支持超大規模資料樣本集。同時由於容量大，可以匹配生產者和使用者的資料讀寫速度，不會因為生產者過快造成隊列樣本塞滿隊列； 4. 樣本回放資料結構動態schema，可以自由定義，動態擴展，後續當更複雜的強化學習需要在樣本中記錄更多的資訊，整個樣本回放組件可以支持資料字段動態擴充； 5. 支持全域回放、部分回放、順序回放、隨機回放等多種回放策略。相應於上述方法實施例，本說明書實施例還提供一種樣本回放資料儲存裝置，參見圖所示，該裝置可以包括：標識分配模組110、內容寫入模組120、資訊更新模組130，對於任一條待儲存資料：所述標識分配模組110，用於根據記錄資訊表，為所述待儲存資料分配記錄標識；以及根據批次資訊表，為所述待儲存資料分配批次標識；所述內容寫入模組120，用於根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；所述資訊更新模組130，用於對記錄資訊表、批次資訊表進行更新。根據本說明書提供的一種具體實施方式，標識分配模組110可以具體用於：判斷待儲存資料與上一條儲存的資料批次是否相同；如果是，則為待儲存資料分配與上一條儲存的資料相同的批次標識；否則為待儲存資料分配新的批次標識。根據本說明書提供的一種具體實施方式，內容寫入模組120，可以具體用於針對一條待儲存資料，拼接兩條記錄並寫入資料內容表，兩條記錄分別為：攜帶批次標識的記錄，用於實現按批次回放需求；不攜帶批次標識的記錄，用於實現全域回放需求。根據本說明書提供的一種具體實施方式，記錄資訊表可以還用於儲存已寫入的樣本回放資料的記錄總數；資訊更新模組130還可以用於：對記錄總數進行更新。根據本說明書提供的一種具體實施方式，批次資訊表還可以用於儲存已寫入的樣本回放資料的批次總數；資訊更新模組130還可以用於：對批次總數進行更新。根據本說明書提供的一種具體實施方式，針對資料內容表，預先配置允許儲存的樣本回放資料的記錄數量最大值；標識分配模組120可以具體用於：以記錄數量最大值為計數週期，為待儲存資料分配記錄標識。根據本說明書提供的一種具體實施方式，針對資料內容表，預先配置允許儲存的樣本回放資料的批次數量最大值；標識分配模組120可以具體用於：以批次數量最大值為計數週期，為待儲存資料分配批次標識。參見圖5所示，本說明書還提供一種樣本回放資料讀取裝置，該裝置可以包括：回放需求確定模組210，用於確定回放需求為：隨機選取記錄回放；記錄總數確定模組220，用於根據記錄資訊表，獲得已寫入的樣本回放資料的記錄總數sum；資料讀取模組230，用於生成隨機數數組，隨機數數組中包括從sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本記錄數量；遍歷隨機數數組執行以下步驟，得到n條樣本回放資料記錄：以數組中的任一數值作為記錄標識，從資料內容表中讀取具有該記錄標識的樣本回放資料。參見圖6所示，根據本說明書提供的一種具體實施方式，如果回放需求具體為：按照指定機率隨機選取記錄回放；則樣本回放資料讀取裝置還可以包括：資料選擇模組240，用於針對資料讀取模組所得到的每條樣本回放資料記錄，確定為該條樣本記錄指定的被選中機率；生成一隨機值，如果該隨機值小於該條記錄的指定被選中機率，則保留該條記錄，否則丟棄該條記錄；循環控制模組250，用於判斷保留的記錄總數是否達到n，若保留的記錄總數未達到n，則重複觸發資料讀取模組230、資料選擇模組240，直到保留的記錄數量達到n。參見圖7所示，本說明書還提供一種樣本回放資料讀取裝置，該裝置可以包括：回放需求確定模組310，用於確定回放需求為：隨機選取批次回放；批次總數確定模組320，用於根據批次資訊表，獲得已寫入的樣本回放資料的批次總數batch_sum；資料讀取模組330，用於生成隨機數數組，隨機數數組中包括從batch_sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本批次數量；遍歷隨機數數組執行以下步驟，得到n個樣本回放資料批次：以數組中的任一個數值作為批次標識，從資料內容表中讀取具有該批次標識的樣本回放資料。本說明書實施例還提供一種電腦設備，其至少包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，其中，處理器執行所述程式時實現前述的樣本回放資料儲存或讀取方法。圖8示出了本說明書實施例所提供的一種更為具體的計算設備硬體結構示意圖，該設備可以包括：處理器1010、儲存器1020、輸入/輸出介面1030、通訊介面1040和匯流排1050。其中處理器1010、儲存器1020、輸入/輸出介面1030和通訊介面1040通過匯流排1050實現彼此之間在設備內部的通訊連接。處理器1010可以採用通用的CPU(Central Processing Unit，中央處理器)、微處理器、應用特定積體電路(Application Specific Integrated Circuit，ASIC)、或者一個或多個積體電路等方式實現，用於執行相關程式，以實現本說明書實施例所提供的技術方案。儲存器1020可以採用ROM(Read Only Memory，唯讀記憶體)、RAM(Random Access Memory，隨機存取記憶體)、靜態儲存設備，動態儲存設備等形式實現。儲存器1020可以儲存作業系統和其他應用程式，在通過軟體或者韌體來實現本說明書實施例所提供的技術方案時，相關的程式碼保存在儲存器1020中，並由處理器1010來調用執行。輸入/輸出介面1030用於連接輸入/輸出模組，以實現資訊輸入及輸出。輸入輸出/模組可以作為組件配置在設備中(圖中未示出)，也可以外接於設備以提供相應功能。其中輸入設備可以包括鍵盤、滑鼠、觸控螢幕、麥克風、各類感測器等，輸出設備可以包括顯示器、揚聲器、振動器、指示燈等。通訊介面1040用於連接通訊模組(圖中未示出)，以實現本設備與其他設備的通訊交互。其中通訊模組可以通過有線方式(例如USB、網線等)實現通訊，也可以通過無線方式(例如行動網路、WIFI、藍牙等)實現通訊。匯流排1050包括一通路，在設備的各個組件(例如處理器1010、儲存器1020、輸入/輸出介面1030和通訊介面1040)之間傳輸資訊。需要說明的是，儘管上述設備僅示出了處理器1010、儲存器1020、輸入/輸出介面1030、通訊介面1040以及匯流排1050，但是在具體實施過程中，該設備還可以包括實現正常運行所必需的其他組件。此外，發明所屬技術領域中具有通常知識者可以理解的是，上述設備中也可以僅包含實現本說明書實施例方案所必需的組件，而不必包含圖中所示的全部組件。本說明書實施例還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現前述的樣本回放資料儲存或讀取方法。電腦可讀媒體包括永久性和非永久性、可行動和非可行動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒體不包括暫存電腦可讀媒體(transitory media)，如調製的資料訊號和載波。通過以上的實施方式的描述可知，發明所屬技術領域中具有通常知識者可以清楚地瞭解到本說明書實施例可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本說明書實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本說明書實施例各個實施例或者實施例的某些部分所述的方法。上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦，電腦的具體形式可以是個人電腦、筆記型電腦、蜂窩電話、相機電話、智慧電話、個人數位助理、媒體播放器、導航設備、電子郵件收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是實體上分開的，在實施本說明書實施例方案時可以把各模組的功能在同一個或多個軟體和/或硬體中實現。也可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。發明所屬技術領域中具有通常知識者在不付出創造性勞動的情況下，即可以理解並實施。以上所述僅是本說明書實施例的具體實施方式，應當指出，對於發明所屬技術領域中具有通常知識者來說，在不脫離本說明書實施例原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本說明書實施例的保護範圍。

110‧‧‧標識分配模組 120‧‧‧內容寫入模組 130‧‧‧資訊更新模組 210‧‧‧回放需求確定模組 220‧‧‧記錄總數確定模組 230‧‧‧資料讀取模組 240‧‧‧資料選擇模組 250‧‧‧循環控制模組 310‧‧‧回放需求確定模組 320‧‧‧批次總數確定模組 330‧‧‧資料讀取模組 1010‧‧‧處理器 1020‧‧‧儲存器 1030‧‧‧輸入/輸出介面 1040‧‧‧通訊介面 1050‧‧‧匯流排

為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅是本說明書實施例中記載的一些實施例，對於發明所屬技術領域中具有通常知識者來講，還可以根據這些圖式獲得其他的圖式。圖1a及圖1b是本說明書實施例的樣本回放資料儲存方法的流程示意圖；圖2是本說明書實施例的樣本回放資料存取系統的整體架構示意圖；圖3是本說明書實施例的一種樣本回放資料讀取方法的流程示意圖；圖4是本說明書實施例的樣本回放資料儲存裝置的結構示意圖；圖5是本說明書實施例的第一種樣本回放資料讀取裝置的結構示意圖；圖6是本說明書實施例的第二種樣本回放資料讀取裝置的結構示意圖；圖7是本說明書實施例的第三種樣本回放資料讀取裝置的結構示意圖；圖8是用於配置本說明書實施例裝置的一種設備的結構示意圖。

Claims

一種樣本回放資料儲存方法，其係由儲存裝置執行並配置記錄資訊表、批次資訊表、資料內容表；所述記錄資訊表，用於儲存最新寫入的樣本回放資料的記錄標識；所述批次資訊表，用於儲存最新寫入的樣本回放資料的批次標識；所述資料內容表，用於儲存樣本回放資料，每條樣本回放資料以記錄標識和批次標識共同構成標識字段；對於任一條待儲存資料，執行以下操作：根據記錄資訊表，為所述待儲存資料分配記錄標識；根據批次資訊表，為所述待儲存資料分配批次標識；根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；對記錄資訊表、批次資訊表進行更新。
根據請求項1所述的方法，所述為所述待儲存資料分配批次標識，包括：判斷所述待儲存資料與上一條儲存的資料批次是否相同；如果是，則為所述待儲存資料分配與上一條儲存的資料相同的批次標識；否則為所述待儲存資料分配新的批次標識。
根據請求項1所述的方法，針對一條待儲存資料，拼接兩條記錄並寫入資料內容表，所述兩條記錄分別為：攜帶批次標識的記錄，用於實現按批次回放需求；不攜帶批次標識的記錄，用於實現全域回放需求。
根據請求項1所述的方法，所述記錄資訊表，還用於儲存已寫入的樣本回放資料的記錄總數；所述對記錄資訊表進行更新，還包括：對所述記錄總數進行更新。
根據請求項1所述的方法，所述批次資訊表，還用於儲存已寫入的樣本回放資料的批次總數；所述對批次資訊表進行更新，還包括：對所述批次總數進行更新。
根據請求項1所述的方法，針對所述資料內容表，預先配置允許儲存的樣本回放資料的記錄數量最大值；所述為待儲存資料分配記錄標識，包括：以所述記錄數量最大值為計數週期，為待儲存資料分配記錄標識。
根據請求項1所述的方法，針對所述資料內容表，預先配置允許儲存的樣本回放資料的批次數量最大值；所述為待儲存資料分配批次標識，包括：以所述批次數量最大值為計數週期，為待儲存資料分配批次標識。
根據請求項1所述的方法，所述記錄資訊表、批次資訊表、資料內容表，利用業務標識字段作為關聯字段，以支持多種業務資料的複用儲存。
一種樣本回放資料讀取方法，其係由讀取裝置執行以下步驟，該方法包括：確定回放需求為：隨機選取記錄回放；根據記錄資訊表，獲得已寫入的樣本回放資料的記錄總數sum；生成隨機數數組，所述隨機數數組中包括從sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本記錄數量；遍歷所述隨機數數組執行以下步驟，得到n條樣本回放資料記錄：以數組中的任一數值作為記錄標識，從資料內容表中讀取具有該記錄標識的樣本回放資料。
根據請求項9所述的方法，所述回放需求具體為：按照指定機率隨機選取記錄回放；所述方法還包括以下步驟：針對所得到的每條樣本回放資料記錄，確定為該條樣本記錄指定的被選中機率；生成一隨機值，如果該隨機值小於該條樣本記錄的指定被選中機率，則保留該條樣本記錄，否則丟棄該條樣本記錄；若保留的記錄總數未達到n，則重複所述生成隨機數數組步驟、所述遍歷步驟、所述保留該條樣本記錄步驟以及所述丟棄該條樣本記錄步驟，直到保留的記錄數量達到n。
一種樣本回放資料讀取方法，其係由讀取裝置執行以下步驟，該方法包括：確定回放需求為：隨機選取批次回放；根據批次資訊表，獲得已寫入的樣本回放資料的批次總數batch_sum；生成隨機數數組，所述隨機數數組中包括從batch_sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本批次數量；遍歷所述隨機數數組執行以下步驟，得到n個樣本回放資料批次：以數組中的任一個數值作為批次標識，從資料內容表中讀取具有該批次標識的樣本回放資料。
一種樣本回放資料儲存裝置，配置記錄資訊表、批次資訊表、資料內容表；所述記錄資訊表，用於儲存最新寫入的樣本回放資料的記錄標識；所述批次資訊表，用於儲存最新寫入的樣本回放資料的批次標識；所述資料內容表，用於儲存樣本回放資料，每條樣本回放資料以記錄標識和批次標識共同構成標識字段；所述裝置包括：標識分配模組、內容寫入模組、資訊更新模組，對於任一條待儲存資料：所述標識分配模組，用於根據記錄資訊表，為所述待儲存資料分配記錄標識；以及根據批次資訊表，為所述待儲存資料分配批次標識；所述內容寫入模組，用於根據資料內容表的儲存結構，對所分配的記錄標識、批次標識以及所述待儲存資料的內容進行拼接、並將拼接結果寫入資料內容表；所述資訊更新模組，用於對記錄資訊表、批次資訊表進行更新。
根據請求項12所述的裝置，所述標識分配模組，具體用於：判斷所述待儲存資料與上一條儲存的資料批次是否相同；如果是，則為所述待儲存資料分配與上一條儲存的資料相同的批次標識；否則為所述待儲存資料分配新的批次標識。
根據請求項12所述的裝置，所述內容寫入模組，具體用於針對一條待儲存資料，拼接兩條記錄並寫入資料內容表，所述兩條記錄分別為：攜帶批次標識的記錄，用於實現按批次回放需求；不攜帶批次標識的記錄，用於實現全域回放需求。
根據請求項12所述的裝置，所述記錄資訊表，還用於儲存已寫入的樣本回放資料的記錄總數；所述資訊更新模組還用於：對所述記錄總數進行更新。
根據請求項12所述的裝置，所述批次資訊表，還用於儲存已寫入的樣本回放資料的批次總數；所述資訊更新模組還用於：對所述批次總數進行更新。
根據請求項12所述的裝置，針對所述資料內容表，預先配置允許儲存的樣本回放資料的記錄數量最大值；所述標識分配模組，具體用於：以所述記錄數量最大值為計數週期，為待儲存資料分配記錄標識。
根據請求項12所述的裝置，針對所述資料內容表，預先配置允許儲存的樣本回放資料的批次數量最大值；所述標識分配模組，具體用於：以所述批次數量最大值為計數週期，為待儲存資料分配批次標識。
根據請求項12所述的裝置，所述記錄資訊表、批次資訊表、資料內容表，利用業務標識字段作為關聯字段，以支持多種業務資料的複用儲存。
一種樣本回放資料讀取裝置，該裝置包括：回放需求確定模組，用於確定回放需求為：隨機選取記錄回放；記錄總數確定模組，用於根據記錄資訊表，獲得已寫入的樣本回放資料的記錄總數sum；資料讀取模組，用於生成隨機數數組，所述隨機數數組中包括從sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本記錄數量；遍歷所述隨機數數組執行以下步驟，得到n條樣本回放資料記錄：以數組中的任一數值作為記錄標識，從資料內容表中讀取具有該記錄標識的樣本回放資料。
根據請求項20所述的裝置，所述回放需求具體為：按照指定機率隨機選取記錄回放；所述裝置還包括：資料選擇模組，用於針對所述資料讀取模組所得到的每條樣本回放資料記錄，確定為該條樣本記錄指定的被選中機率；生成一隨機值，如果該隨機值小於該條樣本記錄的指定被選中機率，則保留該條樣本記錄，否則丟棄該條樣本記錄；循環控制模組，用於判斷保留的記錄總數是否達到n，若保留的記錄總數未達到n，則重複觸發所述資料讀取模組、所述資料選擇模組，直到保留的記錄數量達到n。
一種樣本回放資料讀取裝置，該裝置包括：回放需求確定模組，用於確定回放需求為：隨機選取批次回放；批次總數確定模組，用於根據批次資訊表，獲得已寫入的樣本回放資料的批次總數batch_sum；資料讀取模組，用於生成隨機數數組，所述隨機數數組中包括從batch_sum個記錄標識中選取的n個隨機值，其中n為回放所需的樣本批次數量；遍歷所述隨機數數組執行以下步驟，得到n個樣本回放資料批次：以數組中的任一個數值作為批次標識，從資料內容表中讀取具有該批次標識的樣本回放資料。
一種電腦設備，包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，其中，所述處理器執行所述程式時依序實現如請求項1至8任一項所述的樣本回放資料儲存方法。
一種電腦設備，包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，其中，所述處理器執行所述程式時依序實現如請求項9至11任一項所述的樣本回放資料讀取方法。