搜索
查看: 4689|回复: 2

使用ASPERA更高效地下载SRA[fastq]数据

[复制链接]

13

主题

31

帖子

263

积分

中级会员

Rank: 3Rank: 3

积分
263
发表于 2016-9-25 20:03:54 | 显示全部楼层 |阅读模式
本帖最后由 ZARL1114 于 2016-9-25 20:18 编辑

  很多PAPER都会上传测序的fastq文件到公共数据库,因为原始数据很大,所以要以压缩打包为SRA的形式进行管理。
  绝大多数NGS文章会提供文章中项目的SRA号,可以下载SRA格式的压缩文件。
  SRA是便于管理的一种NGS  fastq文件的压缩打包方式。
  一般来说,可以从NCBI的FTP中看到SRA数据库的资源,http://www.ncbi.nlm.nih.gov/public/
   这个数据量是很大的。
  每个PAPER的项目中都有固定的SRA NUMBER,主要根据四种标准来标注
  分别是 SRP SRX SRS SRR 对于从感兴趣的可以在 http://sra.dnanexus.com/?q=&result_type=Run 进行查找
  但是有的时候我们往往需要下载很大的数据,所以一般直接下载到服务器上。
    wget的方法相对效率慢一些
    aspera connect 的下载速度更快
    tar -xzvf aspera-connect-3.1.1.70545-linux-64.tar.gz
    sh aspera-connect-3.1.1.70545-linux-64.sh
  但是文件夹隐藏了,可以cd 到/home/usrname文件夹,ls -a就能看到 .aspera 这就是安装的文件夹。
    export PATH=$PATH:/home/username/.aspera/connect/bin
  示例命令
    nohup /home/ytan/.aspera/connect/bin/ascp -i /home/ytan/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR645/SRR645370/SRR645370.sra /mnt/fastdata/ytan/NGS & > aspera.log
  可以用脚本并行下载多个SRA文件
  下载的SRA文件  则需要用 SRAtoolkit解压
   示例命令
    # FOR PE
    .../fastq-dump --split-3  .../SRR***.sra -O out_path
    # FOR SE
    .../fastq-dump .../SRR***.sra -O out_path
  就得到了fastq文件 可以进行QC 以及后续的分析了




上一篇:【learnyoung】答题
下一篇:表达量大全-Expression Atlas
回复

使用道具 举报

0

主题

5

帖子

71

积分

注册会员

Rank: 2

积分
71
发表于 2018-11-14 09:54:50 | 显示全部楼层
[root@dodogene etc]# nohup: ignoring input and appending output to `nohup.out'

[1]+  Exit 1                  nohup /root/.aspera/connect/bin/ascp -i /home/ytan/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR645/SRR645370/SRR645370.sra /mnt/fastdata/ytan/NGS
回复 支持 反对

使用道具 举报

0

主题

5

帖子

71

积分

注册会员

Rank: 2

积分
71
发表于 2018-11-14 10:16:54 | 显示全部楼层
嗯 换了个机子,就可以了。
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh anonftp@ftp-private.ncbi.nlm.nih.gov:sra/sra-instant/reads/ByRun/sra/SRR/SRR358/SRR3589956/SRR3589956.sra ../data/
以上。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|生信技能树 ( 粤ICP备15016384号  

GMT+8, 2019-10-20 07:24 , Processed in 0.040702 second(s), 27 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.