CN105095686A - 基于多核cpu硬件的高通量转录组测序数据质量控制方法 - Google Patents

Abstract

本发明是一种基于多核CPU硬件的高通量转录组测序数据质量控制方法。包括：利用多核CPU对高通量转录组测序数据进行并行处理，得到去除低测序质量序列的数据；利用多核CPU对去除低测序质量序列的数据中的rRNA序列进行预测和去除，并进行污染序列的定性鉴定；对序列比对结果进行统计和评价。本发明基于多核CPU计算机，克服了基于单核CPU硬件计算机的计算效率瓶颈，可以使高通量转录组数据质量控制效率提高7倍以上；本发明的应用将会显著提高高通量转录组数据质量控制的准确度和速度，广泛有助于转录组测序相关研究的迅速发展。

Description

基于多核CPU硬件的高通量转录组测序数据质量控制方法

技术领域

本发明专利涉及生物信息学，具体的说是一种基于多核CPU硬件的高通量转录组测序数据质量控制方法，能够快速的对高通量转录组测序数据进行质量控制。

背景技术

高通量测序技术又称“下一代”测序技术，是对传统测序一次革命性的改变，能够一次对几十万到几百万条DNA/RNA分子进行序列测定，已经越来越广泛地应用于生物学相关研究中。与传统的Sanger测序技术相比，新一代测序技术的通量提高了一到两个数量级，数据量更多(100MB至数G)。转录组测序是基于高通量测序技术的一项深入应用，能够对一个物种的转录图谱进行细致、深入而全面的分析。然而，由于高通量测序技术本身的限制及转录组提取等人为实验的操作误差，原始生成的转录组数据往往含有部分低质量序列，包括低质量碱基、污染序列和核RNA序列(rRNA)等。这些低质量序列的存在将会极大地影响后续转录组数据分析的准确性，甚至导致错误的结论。此外，由于后续的转录组分析结果依赖于将序列与参考基因组进行比对(alignment)后得出，因此转录组序列的比对质量也是衡量转录组测序数据整体质量的关键因素之一。综上所述，质量控制是进行高通量转录组测序数据分析必须的关键步骤。目前已有的转录组数据质量控制方法主要集中于完成序列比对层面的质量评价，而无法全面的对于碱基、序列、污染和比对质量同时进行质量控制。

由于高通量转录组测序数据一般需要测定不同条件或不同时间点采集的多个样本，每个样本一般分别需要三个或以上生物学重复和技术重复，因此测序的样本量巨大，导致每次测序往往获得超过二十个样本和几十G的数据量，所以对应于高通量转录组数据的质量控制，必须有具有相当运算能力的超级计算机和相应的分析软件来实现。采用目前的普通分析方法利用单一的CPU计算机对几亿条序列进行逐条扫描并分别处理，可能需要数天甚至一个月的时间，使数据分析的效率亦成为了相关研究中的一大瓶颈。

发明内容

为了解决传统分析方法和计算***无法全面、精确而高效地满足高通量转录组测序数据质量控制的要求的问题，本发明根据高通量转录组测序数据可并行处理的特点，提出一种基于多核CPU硬件的高通量转录组测序数据质量控制方法。

本发明为实现上述目的所采用的技术方案是：一种基于多核CPU硬件的高通量转录组测序数据质量控制方法，包括以下步骤：

利用多核CPU对高通量转录组测序数据进行并行处理，得到去除低测序质量序列的数据；

利用多核CPU对去除低测序质量序列的数据中的rRNA序列进行预测和去除，并进行污染序列的定性鉴定；

对序列比对结果进行统计和评价。

所述利用多核CPU对高通量转录组测序数据进行低测序质量序列的去除，包括以下步骤：

利用Parallel-QC工具将输入文件分割成若干个小规模子数据；

将各个子数据分配到不同的CPU内核上；

同时在多个CPU内核上检测其子数据中每个序列的碱基质量和接头序列，并根据用户指定的长度依次切除每个序列两端的低质量碱基，过滤含有用户指定比例的低质量碱基的序列，删除其中的接头序列；

将上述处理后的序列合并到一起，从而得到去除低测序质量序列的数据。

所述利用多核CPU对去除低测序质量序列的数据中的rRNA序列进行预测和去除，并进行污染序列的定性鉴定，包括以下步骤：

将数据库SILVA中所有的rRNA序列构建隐马尔科夫模型；基于隐马尔科夫模型搜索对于转录组序列进行rRNA预测和提取，并将预测的rRNA序列从转录组数据中去除；

将所预测和提取的16S或18SrRNA，映射到已知rRNA序列数据库SILVA上，获得所有序列的物种来源信息，分别将16S和18SrRNA特征序列的注释结果汇总到一起，生成物种结构组成结果，从而获得转录组测序数据中所有可能存在的物种及污染信息；

所述基于隐马尔科夫模型搜索对于转录组序列进行rRNA预测和提取，并将预测的rRNA序列从转录组数据中去除，包括以下步骤：

将经过Parallel-QC处理过的去除低质量测序序列的数据文件分割成小规模子数据；

将不同的子数据分配到不同的CPU内核上；

在众多CPU内核上同时预测子序列的16S、18S、23S或28SrRNA特征序列；

将各类特征序列预测结果合并到一起；

根据特征序列预测结果多次将大规模输入数据从外存储器中载入内存并查找提取，最后将搜索结果合并。

所述对序列比对到参考基因组上的结果进行统计和评价，包括统计序列的数目、计算序列覆盖度、汇总双端序列比对信息。

所述统计序列的数目包括全部序列、比对成功的序列、比对到某些特定基因组区域的序列以及上述序列在全部序列中所占的比例。

所述计算序列覆盖度包括有序列成功比对的基因的数目、每个基因的碱基覆盖度、成功比对的序列在基因组结构上的分布。

所述包括双端均成功比对的序列数目、只有一端成功比对的序列的数目、双端比对序列的的***片段长度。

本发明具有以下优点及有益效果：

1.实现了全面、高效的转录组数据质量控制，包括对于测序质量、rRNA序列、污染序列和比对结果等多方面的综合分析和质控；

2.与基于多核CPU计算机相配合，克服了基于单核CPU硬件计算机的计算效率瓶颈，可以使高通量转录组数据质量控制效率提高7倍以上；

3.本发明的应用将会显著提高高通量转录组数据质量控制的准确度和速度，广泛有助于转录组测序相关研究的迅速发展。

附图说明

图1为本发明的硬件架构图；其中，①为DMI与PCIe2.0总线；②为三通道DDR3内存总线；③为SATA总线；

图2为本发明的软件流程图；其中，(1)为低测序质量数据处理；(2)为rRNA序列和污染序列的定性鉴定；(3)为序列对比结果的评价和质量控制；

图3为采用16核CUP应用本发明和应用单核CPU对于同一个转录组测序数据的测试结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明采用的技术方案是多核CPU计算机以及构筑于其上的高效、统一的软件平台。其特点是(1)高性能并行计算和存储硬件***；(2)功能全面、高性能、统一、可配置的并行化软件平台。

(1)高性能并行计算和存储硬件

该硬件***采用多路多核CPU进行大规模并行化计算。图1是计算服务器的***结构图：

首先，多路多核CPU并行化计算，采用4路处理器，处理器之间采用QPI总线连接。每路处理器具有8个独立计算核心，配备三通道DDR3RDIMM内存，同时也适应于云计算服务器的计算要求。

其次，高速缓存和高速总线：适应于并发式的测序数据分析任务的调配和协同工作环境在大规模任务分配上的需要。

最后，RAID磁盘阵列：通过RAID磁盘阵列存储，不但提高中心服务器的响应速度和稳定性，而且有利于不定期的中心服务器更新。同时可应付云计算服务器的备份和升级需要。

(2)功能全面、高性能、统一、可配置的软件平台

高性能的软件平台包括低测序质量数据处理、污染序列的定性鉴定、rRNA污染序列的定性定量鉴定和序列比对质量的检测等(图2)。此***被命名为RNA-QC-Chain软件***(http://www.computationalbioenergy.org/rna-qc-chain.html，自主知识产权)，其数据质量控制步骤是：

第一，基于多核CPU并行计算的低测序质量数据处理。利用Parallel-QC工具(http://www.computationalbioenergy.org/parallel-qc.html，自主知识产权)，将输入文件分割成小规模子数据，将不同的子数据分配到不同的CPU内核上，然后同时在多个CPU内核上预测每个序列的碱基质量和接头序列，并根据用户指定的长度依次切除序列两端的低质量碱基，过滤含有一定比例低质量碱基的序列，删除其中的接头序列，最后将过滤后的序列合并到一起，从而得到去除低测序质量序列的数据结果。

第二，基于多核CPU并行计算的污染序列的定性鉴定。首先利用rRNA-filter工具去除数据中的rRNA序列。将公开的rRNA数据库SILVA中所有的rRNA序列(包括16S、18S、23S和28SrRNA序列)构建隐马尔科夫模型(HMM)，并基于HMM搜索对于转录组序列进行rRNA预测，然后将预测的rRNA序列从转录组数据中去除。SILVA数据库是目前世界上收录最全面rRNA序列的核RNA数据库之一，涵盖了细菌、真菌和真核生物三大领域的rRNA序列。因此，我们的方法能够尽可能多的去除转录组序列中所含有的rRNA序列。rRNA-filter将输入文件分割成小规模子数据，将不同的子数据分配到不同的CPU内核上，然后在众多CPU内核上同时预测子序列的16S、18S、23S或28SrRNA特征序列，最后将各类特征序列预测结果合并到一起；然后，根据特征序列预测结果多次将大规模输入数据从外存储器中载入内存并查找提取，最后将搜索结果合并。

然后，16S或18SrRNA序列是一种较短的生物标记特征序列，广泛应用于原核和真核物种的鉴定。rRNA-filter基于对所预测和提取16S或18SrRNA进行注释的结果，定性地获得高通量测序数据中所有序列的物种来源信息，并分别将16S和18SrRNA特征序列的搜索结果汇总到一起，生成图形化的物种结构组成结果，从而获得转录组测序数据中所有可能存在的物种及污染信息。

第三，全面、精确的序列比对结果的评价和质量控制。利用自主开发的SAM-stats工具，基于SAM格式的序列比对结果文件，对转录组序列与基因组数据(已知)的比对结果进行精确、全面的统计和评价，其功能包括：

　统计序列的数目，包括全部序列、比对成功的序列、比对到某些特定基因组区域的序列以及上述序列在全部序列中所占的比例等；

　计算序列覆盖度，包括有序列成功比对的基因的数目、每个基因的碱基覆盖度、成功比对的序列在基因组结构上的分布等；

　汇总双端序列比对信息，包括双端均成功比对的序列数目、只有一端成功比对的序列的数目、双端比对序列的的***片段长度等。

综上所述，本软件平台依赖于多核CPU硬件平台，只有相互配合才能够发挥高效率转录组测序数据质量控制的功能。

如图1所示，基于多核CPU硬件的高通量转录组测序数据质量控制方法，其主要部分是：第一，4路多核心CPU的多尺度并行化计算能力，每路CPU具备独立8个计算核心，并具有三通道内存。第二，高速缓存和高速总线。第三，RAID磁盘阵列，不但提高中心服务器的响应速度和稳定性，而且有利于不定期的中心服务器更新。计算和存储硬件基本配置是：单路CPU至少具备4个独立物理计算核心，双通道内存2GB以上，硬盘至少50G以上，CPU和存储之间高速互联。

如图2所示，其流程主要步骤是：首先，使用Parallel-QC软件工具，利用多核CPU对转录组序列进行处理，依次切除输入数据序列两端的低质量碱基，过滤含有一定比例低质量碱基的序列，删除其中的接头序列，然后将结果合并起来，作为高测序质量序列数据。然后，利用rRNA-filter工具，对于上一步得到的数据进行rRNA序列的预测和污染序列的定性检测，使用并行化多线程计算工具，提取并去除预测的rRNA序列(16S/18S或23S/28S)，并将其中的16S或18S序列映射到已知rRNA序列数据库SILVA上，获得所有序列的物种来源(包括可能得污染物种)信息。最后，针对序列比对到参考基因组上的结果(SAM格式的文件)，利用SAM-stats软件工具，从序列比对的角度统计和评价转录组数据的质量，包括比对成功序列的数目、基因的覆盖度和双端比对序列的效果等。综合上述结果，生成图形化分析结果和分析报告。软件平台基本配置是：Linux操作***，预装GCC运行环境、CUDA运行环境(3.0以上)、RNA-QC-Chain软件***版本1.0以上，Parallel-META软件版本2.0以上。RNA-QC-Chain软件***与Parallel-META软件***的运行界面为命令行形式，配电子版使用说明。同时官方网站(http://www.computationalbioenergy.org/software.html)提供长期软件更新服务。

本发明的方法，克服了基于单核CPU硬件计算机的计算效率瓶颈，使高通量转录组数据质量控制效率提高7倍以上。如图3所示，对于同一个转录组测序数据的测试表明，使用16核CPU可在23分钟内完成整个质量控制过程，而使用单核CPU时耗时为180分钟。

Claims (8)

1.一种基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，包括以下步骤：

利用多核CPU对高通量转录组测序数据进行并行处理，得到去除低测序质量序列的数据；

利用多核CPU对去除低测序质量序列的数据中的rRNA序列进行预测和去除，并进行污染序列的定性鉴定；

对序列比对结果进行统计和评价。

2.根据权利要求1所述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述利用多核CPU对高通量转录组测序数据进行低测序质量序列的去除，包括以下步骤：

利用Parallel-QC工具将输入文件分割成若干个小规模子数据；

将各个子数据分配到不同的CPU内核上；

同时在多个CPU内核上检测其子数据中每个序列的碱基质量和接头序列，并根据用户指定的长度依次切除每个序列两端的低质量碱基，过滤含有用户指定比例的低质量碱基的序列，删除其中的接头序列；

将上述处理后的序列合并到一起，从而得到去除低测序质量序列的数据。

3.根据权利要求1所述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述利用多核CPU对去除低测序质量序列的数据中的rRNA序列进行预测和去除，并进行污染序列的定性鉴定，包括以下步骤：

将数据库SILVA中所有的rRNA序列构建隐马尔科夫模型；基于隐马尔科夫模型搜索对于转录组序列进行rRNA预测和提取，并将预测的rRNA序列从转录组数据中去除；

将所预测和提取的16S或18SrRNA，映射到已知rRNA序列数据库SILVA上，获得所有序列的物种来源信息，分别将16S和18SrRNA特征序列的注释结果汇总到一起，生成物种结构组成结果，从而获得转录组测序数据中所有可能存在的物种及污染信息。

4.根据权利要求3所述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述基于隐马尔科夫模型搜索对于转录组序列进行rRNA预测和提取，并将预测的rRNA序列从转录组数据中去除，包括以下步骤：

将经过Parallel-QC处理过的去除低质量测序序列的数据文件分割成小规模子数据；

将不同的子数据分配到不同的CPU内核上；

在众多CPU内核上同时预测子序列的16S、18S、23S或28SrRNA特征序列；

将各类特征序列预测结果合并到一起；

根据特征序列预测结果多次将大规模输入数据从外存储器中载入内存并查找提取，最后将搜索结果合并。

5.根据权利要求1所述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述对序列比对到参考基因组上的结果进行统计和评价，包括统计序列的数目、计算序列覆盖度、汇总双端序列比对信息。

6.根据权利要求5所述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述统计序列的数目包括全部序列、比对成功的序列、比对到某些特定基因组区域的序列以及上述序列在全部序列中分别所占的比例。

7.根据权利要求5述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述计算序列覆盖度包括有序列成功比对的基因的数目、每个基因的碱基覆盖度、成功比对的序列在基因组结构上的分布。

8.根据权利要求5述的基于多核CPU硬件的高通量转录组测序数据质量控制方法，其特征在于，所述包括双端均成功比对的序列数目、只有一端成功比对的序列的数目、双端比对序列的的***片段长度。