震撼!华大LUSH基因序列比对加速工具集再次突破计算极限!

2022-01-22 10:45:43  阅读:285102+

     2017年5月,19岁的世界围棋第一人柯洁九段在和AlphaGo的围棋终极人机大战以0:3完败,这也是人类顶尖高手与这台机器之间的最后一次较量,同年10月 《Nature》杂志发表了超过它所有之前版本的AlphaGo Zero。这一成就向世界展示了建立系统来自学完成复杂任务的可能,而其背后所代表的是运算能力,是计算机科学的分支领域--高能计算(High Performance Computing),其实际应用不仅成为了国家综合实力的体现,更给人们的日常生活带来了改变,目前该技术已在航空航天、核试验模拟、天气预报、生命科学、高新制造(汽车、电子)等领域取得了广泛应用。

以生命科学领域举例,随着生命遗传密码(基因组)的不断破解,人的生老病死这一复杂事情可以用数字化的方式具体呈现,以期实现疾病的精准预测、诊断和治疗,让人们远离传感染疾病、防控出生缺陷、肿瘤和心脑血管疾病,提升人均预期寿命,并大幅度降低社会卫生负担。

二十年来,个人全基因组测序的成本以“超摩尔定律”的速度下降,而高能计算在测序数据分析方向的应用也发生了翻天覆地的变化。目前全球主流的基因组测序数据分析工具是Broad Institute开发的免费开源工具集GATK(Genome Analysis Toolkit),该项生命科学领域公认的最佳工作流程完成一个人的全基因组(Whole Genome Sequencing,WGS)30X数据分析需要1800分钟。深耕于基因组学20多年的华大基因在基因组高能计算领域再获突破进展,于日成功实现6分钟完成30X WGS全流程的分析任务,相较于GATK标准计算时长提速300倍。

根据NIH公布的最新资料,随着测序技术的发展,测序成本以超摩尔定律下

https://www.genome.gov/about-genomics/fact-sheets/DNA-Sequencing-Costs-Data

6分钟完成30X WGS任务是由华大基因自主研发的LUSH工具集实现的,打破了该软件在2020年1月创造的15分钟极限速度。其中的黑科技正是采用了全新的底层架构设计,提供了基于中央处理器和图形处理器相结合进行基因数据分析的高能加速方案,在降低集群计算资源消耗、提高检出速度的同时,实现了全程自动化、信息化,有记录可回溯,可以更好地用于精准医学的应用场景。

LUSH工具集加速的全新底层架构逻辑

LUSH工具集提供了一种“CPU+GPU”的高并行软硬件解决方案,基于经典流程中的软件模块BWA、SAMTOOLS和GATK,利用GPU的通用运算技术,通过计算引擎和加速引擎的全新架构设计,实现算法优化和并行化处理,并结合华大自主研发的超高通量测序仪,完成碱基数据流的超高速分析,最终获得准确的分析结果。

LUSH工具集加速流程示意图

正是因为生命数字化进程需要严谨的科学精神,而其应用场景主要体现在精准医疗、健康管理等与人类健康有着息息相关的领域,因此不同于其他高能计算领域,基因组数据分析对精度有极高的要求。而实际上高能和准确并不能完全兼得,数据范围、分布和浮点精度、峰值能和内存都会影响算法的选择,尤其涉及到唯一最优解和似解的算法可能大相径庭。LUSH工具集正是通过在经典流程算法的基础上利用了其全新设计的底层架构进一步减少了中间结果的读写,并利用CPU实现基因分析任务的智能分发,利用GPU数千计算核心实现百万任务的极速并行处理,同时解决了经典流程计算密度较高、频繁地存储器访问等问题,经过测试其标准品的准确结果与经典流程一致,高达99.86%,使得其可以在计算结果的准确与极速上得以衡。

更优越的能、更低的成本和更高效的检出是所有高能计算应用领域的研发追求目标。对加速组件的持续研发源自对速度无止境的追求,正如手机芯片行业的发展是随着移动端需求的旺盛,技术才得以不断地迭代和进步。从基因组学基础研究到临床研究及应用,实现测序工具的自主可控的同时也需要实现数学方法上的自主研发,而不只是追求芯片的底层下潜开发。对后者是无止境的追求,而只有前者的完全可控才能实现从跟随模仿到真正超越的可能,从核心算法的研发上助力我国精准医疗自主可控的发展进程。




“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!