搜索
查看: 833|回复: 0

使用docker完成生信分析环境搭建

[复制链接]

9

主题

12

帖子

275

积分

中级会员

Rank: 3Rank: 3

积分
275
发表于 2019-12-12 12:16:39 | 显示全部楼层 |阅读模式
生信开发人员最头疼的问题,可能就是平台搭建和软件安装了。部署和迁移上要费很大力气。本文讲述使用docker制作一个镜像,后续通过导入自己定制的镜像,复制文件完成分析流程的部署和迁移
如何使用docker,推荐阅读 Docker — 从入门到实践
一、准备工作
  • 首先我们需要对手头的pipeline做一个分类。为了保持docker镜像尽可能的小,不能将所有文件全部放在docker镜像里面,需要外部挂载几个目录。
    • data目录,  保存待分析的文件。在docker里面挂载目录为:/opt/data
    • result目录,保存分析中间文件和最终结果文件。在docker里面挂载目录为:/opt/result
    • ref目录,     保存分析流程用到的脚本、工具软件、注释数据库,reference文件等,
      ​                      在docker里面挂载为:/opt/ref
      如果有需要可以划分的更详细,比如/opt/tool,   /opt/db等等,看个人习惯

  • 安装docker & docker-compose:
    • Ubuntu   16.04
      #下载安装脚本安装
      wget -qO- https://get.docker.com/ | sh
      #安装docker-compose
      sudo apt-get install docker-compose
    • Ubuntu 18.04
    • 卸载旧版本dockerDocker 的旧版本名称为:docker 、 docker-engine 或者 docekr-io。如果安装过旧版本的需要先卸载:

      $ sudo apt-get remove docker docker-engine docker.io
    • 安装最新版本的 Docker最新版本的 Docker 分两个版本,docker-ce(Community Edition)和docker-ee(Enterprise Edition)。CE版本是免费的,如果我们学习或者一般应用,CE足够。我们安装社区版:由于docker安装需要使用https,所以需要使 apt 支持 https 的拉取方式。
      2.1 安装 https 相关的软件包

      $ sudo apt-get update # 先更新一下软件源库信息
      $ sudo apt-get install \
          apt-transport-https \
          ca-certificates \
          curl \
          software-properties-common
    ​        2.2   设置apt仓库地址,鉴于国内网络问题,强烈建议使用国内地址​            添加 Docker 官方apt仓库(使用国外源)​            执行该命令时,如遇到长时间没有响应说明网络连接不到docker网站,需要使用国内的
      # 添加 Docker 官方的 GPG 密钥
      $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
      ​
      # 设置稳定版本的apt仓库地址
      $ sudo add-apt-repository \
         "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
         $(lsb_release -cs) \
         stable"
         
      # 添加 阿里云 的apt仓库(使用国内源)
      $ curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
      $ sudo add-apt-repository \
           "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \
           $(lsb_release -cs) \
           stable"
    ​        2.3 安装 docker软件
      $ sudo apt-get update
      # 安装最新版的docker
      $ sudo apt-get install docker-ce
      ​
      # 如果要安装指定版本的docker,则使用下面的命令:
      $ apt-cache policy docker-ce # 查看可供安装的所有docker版本
      $ sudo apt-get install docker-ce=18.03.0~ce-0~ubuntu # 安装指定版本的docker
      ​
      # 检查docker是否安装成功
      $ docker --version # 查看安装的docker版本
    ​        2.4 安装 docker-compose
      # 安装docker-compose
      sudo apt-get install docker-compose
      # 查看docker-compose 版本
      docker-compose version
      ​
      #或者
      sudo apt-get install python-pip
      sudo pip install docker-compose
    • CentOS 7/8
    该 centos-extras 库必须启用。默认情况下,此仓库是启用的,但是如果已禁用它,则需要重新启用它
    建议使用 overlay2 存储驱动程序。


    将当前用户加入sudo用户列表,修改配置文件,避免每次换切用户
        #安装环境所需 编辑sudo权限#避免每次都要切回root
        vi /etc/sudoers
        # 找到这一行
        root      ALL=(ALL)       ALL
        # 添加一行,bootsir为当前用户名      
        boosir    ALL=(ALL)       ALL
        # 找到这一行
        Defaults  secure_path = /sbin:/bin:/usr/sbin:/usr/bin
        # 修改为
        Defaults  secure_path = /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin

    卸载旧版本
    较旧的 Docker 版本称为 docker 或 docker-engine 。如果已安装这些程序,请卸载它们以及相关的依赖项。
      $ sudo yum remove docker \
                        docker-client \
                        docker-client-latest \
                        docker-common \
                        docker-latest \
                        docker-latest-logrotate \
                        docker-logrotate \
                        docker-engine
    安装 Docker Engine-Community
    使用 Docker 仓库进行安装
    在新主机上首次安装 Docker Engine-Community 之前,需要设置 Docker 仓库。之后,您可以从仓库安装和更新 Docker。
    设置仓库
      # 安装所需的软件包。yum-utils 提供了 yum-config-manager ,并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2
      $ sudo yum install -y yum-utils device-mapper-persistent-data lvm2
      ​
      # 使用以下命令来设置稳定的仓库。
      $ sudo yum-config-manager \
          --add-repo \
          https://download.docker.com/linux/centos/docker-ce.repo
    安装 Docker Engine-Community
    安装最新版本的 Docker Engine-Community 和 containerd,或者转到下一步安装特定版本:
      $ sudo yum install docker-ce docker-ce-cli containerd.io
    如果提示您接受 GPG 密钥,请选是。
    有多个 Docker 仓库吗?
    如果启用了多个 Docker 仓库,则在未在 yum install 或 yum update 命令中指定版本的情况下,进行的安装或更新将始终安装最高版本,这可能不适合您的稳定性需求。
    Docker 安装完默认未启动。并且已经创建好 docker 用户组,但该用户组下没有用户。
    要安装特定版本的 Docker Engine-Community,请在存储库中列出可用版本,然后选择并安装:
    • 列出并排序您存储库中可用的版本。此示例按版本号(从高到低)对结果进行排序。

      $ sudo yum list docker-ce --showduplicates | sort -r
      docker-ce.x86_64  3:18.09.1-3.el7                     docker-ce-stable
      docker-ce.x86_64  3:18.09.0-3.el7                     docker-ce-stable
      docker-ce.x86_64  18.06.1.ce-3.el7                    docker-ce-stable
      docker-ce.x86_64  18.06.0.ce-3.el7                    docker-ce-stable
    • 通过其完整的软件包名称安装特定版本,该软件包名称是软件包名称(docker-ce)加上版本字符串(第二列),从第一个冒号(:)一直到第一个连字符,并用连字符(-)分隔。例如:docker-ce-18.06.3.ce-3.el7。

      $ sudo yum install docker-ce-18.06.3.ce-3.el7 docker-ce-cli containerd.io
    启动 Docker。
      $ sudo systemctl start docker
    • 安装 docker-compose

      #或者github直接下载
      sudo curl -L https://github.com/docker/compos ... 5.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
      sudo chmod +x /usr/local/bin/docker-compose9.  非root用户运行docker  # 首先创建docker用户组,如果docker用户组存在可以忽略
      sudo groupadd docker
      ​
      # 把用户添加进docker组中
      sudo gpasswd -a ${USER} docker
      ​
      # 重启docker
      sudo service docker restart
      #或者
      sudo systemctl restart docker
      ​
      # 如果普通用户执行docker命令,如果提示get …… dial unix /var/run/docker.sock权限不够,则修改/var/run/docker.sock权限,使用root用户执行如下命令,即可
      sudo chmod a+rw /var/run/docker.sock
二、下载镜像、运行容器、在容器中安装ssh服务
选择镜像其实和选择Linux操作系统版本一样,最常用的有centOS和Ubuntu系列。根据个人喜好来选择。
个人倾向于选择Ubuntu18.04,官方宣布该LTS版本有10年支持周期,可以放心使用。
  # 拉取镜像 ubuntu:18.04,名称:版本号
  docker pull ubuntu:18.04
  ​
  # 显示下载完成之后,查看现有镜像
  docker images 或者 docker image ls
  ​
  # 可以看到以下内容:
  REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
  ubuntu              18.04               775349758637        5 weeks ago         64.2MB
  ​
  # 下面基于镜像运行一个容器
  docker run -i -t ubuntu18.04  /bin/bash
  ​
  # 下面显示类似,此时在容器中运行了/bin/bash,可以当成一个精简ubuntu系统来安装软件。
  root@b8080a125313:/#
  ​
  # 为了我们后面使用该容器来运行分析流程,我们需要先安装ssh-server  ssh服务
  root@b8080a125313:/# apt-get update && apt-get install ssh-server
  ​
  # 安装ssh服务之后,需要修改几个地方,安装vim
  root@b8080a125313:/# apt-get update && apt-get install vim
  ​
  # 修改 /etc/ssh_config 第38行Port修改为9018 (可选)并保存
  Port 9018
  ​
  # 修改 /etc/sshd_config并保存
  Port 9018  #修改默认端口号(可选)
  ListenAddress 0.0.0.0  #默认监听地址,所有地址
  LoginGraceTime 10m     #允许用户登录耗时(可选)
  PermitRootLogin yes    #允许root用户登录,docker默认用户是root用户,在运行docker系统中是普通帐户权限
  ​
  # 给root帐户添加密码,根据需要可以设置的复杂一些,这里简单的20191124
  root@b8080a125313:/# passwd root
  ​
  # 启动ssh服务
  root@b8080a125313:/# service ssh start
  ​
  # 获取容器ip地址,安装net-tools
  root@b8080a125313:/# apt-get update && apt-get install net-tools
  root@b8080a125313:/# ifconfig
  eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
          inet 172.17.0.2  netmask 255.255.0.0  broadcast 172.17.255.255
          ether 02:42:ac:11:00:02  txqueuelen 0  (Ethernet)
          RX packets 27095  bytes 55050990 (55.0 MB)
          RX errors 0  dropped 0  overruns 0  frame 0
          TX packets 26785  bytes 2478368 (2.4 MB)
          TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  ​
  lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
          inet 127.0.0.1  netmask 255.0.0.0
          loop  txqueuelen 1000  (Local Loopback)
          RX packets 0  bytes 0 (0.0 B)
          RX errors 0  dropped 0  overruns 0  frame 0
          TX packets 0  bytes 0 (0.0 B)
          TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  ​
  # 打开一个docker容器外的终端,连接ssh,按照刚才的密码、端口可以连接上。
  ssh root@172.17.0.2 -p9018 #选择yes,输入密码之后连接上去
  ​
  Welcome to Ubuntu 18.04.3 LTS (GNU/Linux 4.15.0-30deepin-generic x86_64)
  ​
   * Documentation:  https://help.ubuntu.com
   * Management:     https://landscape.canonical.com
   * Support:        https://ubuntu.com/advantage
  This system has been minimized by removing packages and content that are
  not required on a system that users do not log into.
  ​
  To restore this content, you can run the 'unminimize' command.
  ​
  The programs included with the Ubuntu system are free software;
  the exact distribution terms for each program are described in the
  individual files in /usr/share/doc/*/copyright.
  ​
  Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
  applicable law.
  ​
  root@b8080a125313:~#
  # 连接成功。三、保存更改、更新镜像、将容器导出为文件  # 为了保存更改,我们需要提交我们的保存
  docker ps -a
  # 看到我们刚才运行的容器
  CONTAINER ID  IMAGE        COMMAND      CREATED            STATUS                PORTS   NAMES
  b8080a125313  ubuntu:18.04 "/bin/bash"  About an hour ago  Exited (0) 5seconds           xxxxx
  ​
  # 将容器编号b808开头的提交为镜像mybioinfo:1.00版本1.00
  docker commit b808 bioinfo:1.00
  # 查看镜像列表
  docker images 或者 docker image ls
  # 可以看到,体积有所增大,我们每一次操作都会造成镜像的体积增大
  REPOSITORY          TAG                 IMAGE ID            CREATED              SIZE
  mybioinfo           1.00                60684fc2c474        About a minute ago   244MB
  ​
  # 我们也可以直接将修改过的容器快照直接导出为文件
  docker export -o mybioinfo_1.00.tar b808
  ls -lh mybioinfo_1.00.tar               
  -rw------- 1 sliver sliver 239M 12月 11 14:43 mybioinfo_1.00.tar
  # 如果需要迁移,我们可以导入这个容器快照文件为镜像
  cat mybioinfo_1.00.tar | docker import - test/mybioinfo:1.00
  ​
  # 当然在镜像上也可以导入导出,使用docker save和docker load命令四、运行自定义镜像容器,并挂载目录  # docker运行容器,并挂载目录
  docker run -d -p 9018:9018 \
      --name bioinfo \
      --net="host" \  #这里直接使用host的网络,也可以使用bridge,使用端口映射
      -v /media/sliver/Information/result:/opt/result:rw \
      -v /media/sliver/Information/ref:/opt/ref:ro \
      -v /media/sliver/Information/data:/opt/data:ro \
      mybioinfo:1.00  \
      service ssh start -D
  # 或者使用docker-compose 编写docker-compose.yml文件如下:
  version: "2"
  services:
    ubuntu18.04:
      image: mybioinfo:1.00
      container_name: bioinfo
      volumes:      
        - /media/sliver/Information/result:/opt/result:rw
        - /media/sliver/Information/ref:/opt/ref:ro
        - /media/sliver/Information/data:/opt/data:ro
      ports:
        - "9018:9018"
      network_mode: "host" #这里直接使用host的网络,也可以使用bridge,使用端口映射
      environment:
        - TZ="Asia/Shanghai"
      command: service ssh start -D
  ​
  #在docker-compose.yml目录下,运行docker-compose up -d也可以将镜像部署为容器运行
  ​
  # 这里使用了主机网络host模式
  ssh root@192.168.0.9 -p9018
  # 登录获取shell
  root@sliverworkspace:~#五、继续安装其他软件,复制文件
  • 由于我们在容器中部署了ssh服务,我们既可以本地连接运行也可以远程连接运行,和真实的机器一样用法
  • 我们可以继续安装软件,如果使用conda安装直接将软件安装在容器内,会继续增大容器导出文件的体积。不推荐这种用法,推荐将软件工具下载在/opt/ref目录下,在容器中编译运行。
  • reference文件及数据库文件可以直接复制在/opt/ref目录下,以减小容器快照体积

六、重复三至四步,我们搭建好环境之后,最终将容器导出为文件,同时复制ref文件夹。就可以在docker环境支持下快速完成生信分析环境的部署与迁移。七、官方推荐使用docker-file来描述docker镜像创建过程,这里过程太过繁琐,就不继续折腾了。有兴趣的可以继续改进
欢迎下载产品PPT   或加QQ群:853718264参与讨论


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|生信技能树 ( 粤ICP备15016384号  

GMT+8, 2020-7-13 10:35 , Processed in 0.025896 second(s), 30 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.