Achelous简介

Achelous是什么?

Achelous是一个分布式的融合计算系统,为生命科学,地理空间,科学计算,人工智能等行业用户提供端到端的计算服务支撑。它囊括了数据、算力、算法、流程等核心要素,是集存(存储)、管(数据管理)、算(计算)和察(数据分析及可视化)于一体的整体解决方案。Achelous是数据系统公司极道科技2016年发起的项目,并且经过5年多的设计开发已经在全球各地数据中心大规模部署实施,服务于海量的基因数据,空间数据的分析、处理、加工和学习。同时Achelous也为人工智能企业级应用提供了高效的训练和推断平台。

Achelous为用户提供了分布式计算系统,作业调度功能,WDL语言和数据流执行引擎等功能。Achelous在最大程度上契合不同用户的使用习惯和不同的数据分析处理的应用场景。

Achelous的功能 >> Cloud服务 + WDL语法引擎(例如:Cromwell)+ 任务调度引擎(例如:SGE、Slurm)

与其他系统集成的解决方案(例如:SGE+云平台+Cromwell简单拼凑)相比,Achelous是基于最新的分布式计算理念和技术的全新实现,Achelous有自带的统一资源管理器,多模式作业调度系统,WDL/BSL语法引擎和数据流执行引擎。Achelous还具备很多高级特性,在不改变用户使用习惯的前提下,提升数据计算的便捷性和计算效能。

Achelous的核心组件包括,统一资源管理器,作业调度器和数据流执行引擎Bioflow,既可以兼容传统的进程,也可以基于容器技术(Docker和Singularity)构建大规模的分布式数据计算平台。Achelous提供完全开放的平台,支持用户通过流程编排语言WDL、BSL(一种极道自主定义的数据流描述语言)甚至可视化拖拽的方式定义数据分析流程(Pipeline),分析海量数据。

Achelous操作简易快捷,容易上手,用户无需硬件知识即可以轻松使用GPU,FPGA等专业硬件;无需编程基础即可写出完美并行并且健壮的数据分析流程;无需学习各种计算框架即可组合批量计算(Batch Computing),高性能计算算法实现(MPICH,OpenMPI)和人工智能(Machine Learning/Deep Learning)等多种模式实现的工具(GATK,GATK4-Spark,DeepVariant, MPI-Blast等)到自己的分析流程中,全面提升行业(例如:生物信息)数据分析的效率。

Achelous为企业用户提供了什么?

Achelous 既可以部署到企业的私有数据中心,也可以部署到公有云(阿里云、腾讯云等),提供弹性计算能力。与传统分析平台类似,Achelous 平台设定了登陆节点。系统管理员和普通用户通过登陆界点管理集群和投递计算任务。

Achelous部署架构

Achelous部署架构

上图展示了Achelous平台的核心服务:

  1. Achelous:分布式调度器和执行引擎,支持超大规模科学计算和生信分析。其中Bioflow是生信流程调度器及执行引擎,负责执行WDL或者BSL编写的流程。Achelous具备高可用性,可动态负载平衡。
  2. Poros:企业级的智能运维系统,帮助用户轻松管理计算集群及任务。
  3. 配置集群:提供用户和管理员对集群环境的配置功能。并能确保高可用。
  4. 分布式镜像仓库:为用户提供分布式容器镜像仓库,确保高并发性和高可用性。

Achelous 平台名词解释

Achelous

Achelous 极道计算系统的总称,源自古希腊罗马神话中的“河神”,寓意是管理和调度各种数据流和计算流。

Achelous系统包含下面的组件:

Paladin

  • 命令行:hermit

Paladin 寓意是“圣骑士”,一剑走天涯。它负责调度单个任务,接收用户或者其它组件投递的任务,并根据资源和优先级调度到集群运行,可支持进程和容器。Paladin是SGE模拟客户端(qsub、qstat、qdel和qhost等)命令行对应的服务器端。Paladin有自己的命令行hermit,hermit不兼容SGE命令行的格式,可用于配置、管理Paladin上的用户提交的所有任务(不限于qsub)。

Bioflow

  • 命令行:biocli 、bioadm

寓意是让生信工具(“Bio”)流(“flow”)起来。它是工作流执行引擎,支持WDL和BSL(极道定义的流程语言)。Bioflow内置了WDL和BSL的执行引擎,将Job转变成单个任务,提交给Paladin运行。如果用户在Job中指定了运行Tensroflow、MPI等,它将这些任务转换为请求发送给Partisaner执行。Bioflow的客户端命令行是biocli(普通用户使用)和bioadm(系统管理员配置使用)。

Partisaner

  • 命令行:particli

Partisaner:寓意是“爱开party的人”,与Paladin不同,它负责调度一组容器(“开party”)到集群中运行。Partisaner的客户端是particli。通过particli用户可以投递运行分布式Tensorflow程序、PyTorch程序、MPI程序等需要多机协同的任务。

wdl

  • 命令行:wdl

wdl是一个编译成二进制文件的单机可运行的命令行,内置了WDL语言的执行引擎,可以直接运行WDL流程,通过本地运行命令行、Docker容器或者把任务投递到Paladin执行任务。wdl命令行主要用于调试流程,Bioflow则用于生产。

Poros

  • 命令行:poroscli

名称来源于古希腊神话中的机遇和造物之神,寓意是“管理所有资源”,是我们的智能监控系统。Poros通过可视化界面访问,也提供了命令行poroscli。

imgcli

  • 命令行: imgcli:

imgcli 是Achelous 平台提供给用户的镜像管理工具。为非管理员用户提供镜像管理功能。

Achelous为社区(非付费)用户提供了什么?

对于在校学生或者生物信息从业者,极道科技提供了一系列丰富的资源,帮助他们快速入门,在个人小资源环境下进行生物信息分析。这些包括:

提供用户免费下载和使用常用的生物信息分析容器镜像。通用用户名:guest 密码:helloXtao123
用户可以使用该工具完成单机WDL流程分析。
Powered by XTAO TechnologyLast Modified On:2021 2023-03-24 09:05:23

results matching ""

    No results matching ""