搜索
查看: 1344|回复: 2

生信分析云平台产品开发 - 4 生信分析流程图形化

[复制链接]

9

主题

12

帖子

275

积分

中级会员

Rank: 3Rank: 3

积分
275
发表于 2019-9-19 13:04:03 | 显示全部楼层 |阅读模式
本帖最后由 豆浆包子 于 2019-12-2 14:17 编辑

前文链接:

看不到图片点击这里

在上文  生信分析云平台开发 - 3 生信分析流程的进化 讨论了生信分析pipeline的进化,从手动到自动,但仍然停留在终端命令行阶段,为了让更多非生信专业的人能够使用,就要想办法实现生信分析pipeline的图形化:提供能够快速上手的UI,简单点击鼠标就能够运行的图形化系统。

核心功能:pipeline的图形化工作流设计器
变量处理:要实现pipeline图形设计器,首先要先对用到的变量,做统一的设计。
变量的分类: 根据实际经验,pipeline变量用到根据用途可以分为以下几类:
  • 分析数据目录${data} 分析过程输出目录${result}
  • 分析用到的软件 bwa ${tools.bwa};samtools ${tools.samtools}
  • 分析流程中用的reference文件以及数据库,如 hg19.fa ${ref.hg19}
  • 分析流程中,用到的cutoff值. 如 cnv的cutoff值 ${cutoff.cnv}
  • 分析流程运行时配置的资源,如 线程数 ${threads} 分配内存大小${mem}

变量值的类型:
  • 字符:通用的格式,比较宽松
  • 程序:校验变量值时,判断文件是否存在,是否有可执行权限
  • 文件:校验变量值时,判断文件是否存在,是否有读写权限
  • 目录:校验变量时,判断目录是否存在,是否有读写权限
  • 数值:校验变量时,判断是否为数值格式

最终设计数据好数据结构,做好增删改查功能,UI如下:
variable.png

分析步骤/节点设计:前文提到,生信分析pipeline其实就是基于文件输入输出的工作流,这里对工作流做了简化,归纳起来工作流中有4种节点。
  • Input节点,提供pipeline的起始输入文件
    start.png
    input_menu.png
  • Output节点,获取pipeline的最终输出文件
    end.png
    end_menu.png
  • Task节点,输入文件,运行分析过程,输出分析过程运行结果
    task.png
    task_menu.png
  • Database节点,部分pipeline运行结果,需要将输出文件保存至系统数据库中
    database.png
    database_menu.png

工作流设计: 最后,有了变量,和节点,最后就是工作流的设计了。用连接线,将以上4中节点连接起来,计算相互之间的依赖关系,用统一的格式保存起来。
pipeline.png

设计器功能增强:
  • 当分析节点没有相互连接时候,要提示错误
validate_1.png

  • 修正Start的错误后,重新验证状态时:
    validate_2.png
  • 在Task任务中选择Start输入的文件,并填写好输出文件后:保存时提示,没有运行的命令:
    validate_3.png
    validate_4.png
  • 在Task中输入运行的命令,可以看到:变量提供了语法着色显示,防止输错
    validate_5.png
  • 最终满足校验要求后,工作流是这样的:
    validate_6.png
最后上一张,完成了的工作流设计器:
深度截图_选择区域_20190916185149.png



SliverWorkspace_V2.pdf (981.57 KB, 下载次数: 25)
回复

使用道具 举报

0

主题

6

帖子

331

积分

中级会员

Rank: 3Rank: 3

积分
331
发表于 2019-11-21 14:41:31 | 显示全部楼层
请问图形化流程底层用的是什么技术呢?和galaxy有什么异同?
回复 支持 反对

使用道具 举报

9

主题

12

帖子

275

积分

中级会员

Rank: 3Rank: 3

积分
275
 楼主| 发表于 2019-11-21 22:46:53 | 显示全部楼层
tmcjp_0529 发表于 2019-11-21 14:41
请问图形化流程底层用的是什么技术呢?和galaxy有什么异同?

基于JavaScript的图形库,galaxy不大熟悉,但是感觉上我们这边是从生信人员角度出发设计的,或许更灵活一些。

有兴趣的话,加QQ群或者PPT里的微信,我们可以提供测试用账户。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|生信技能树 ( 粤ICP备15016384号  

GMT+8, 2020-7-14 06:31 , Processed in 0.032460 second(s), 32 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.