搜索
查看: 2971|回复: 8

[其他] sratoolkit转化SRA数据出错

[复制链接]

4

主题

23

帖子

602

积分

高级会员

Rank: 4

积分
602
发表于 2017-12-21 11:07:53 | 显示全部楼层 |阅读模式
使用如图的命令转化数据格式,出现错错误:
fastq-dump.2.8.2 err: item not found while constructing within virtual database module - the path '/PRO/sra/SRA051557/SRR488803'  cannot be opened as database or table
看官方文档说是找不到sra文件路径,检查文件路径是否正确。但我这是批量脚本,其他个体没有问题,就这个出错。有遇到相同问题的么,求高手解惑啊~~

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

12

主题

28

帖子

805

积分

高级会员

Rank: 4

积分
805
发表于 2017-12-22 19:34:04 | 显示全部楼层
本帖最后由 mckf111 于 2017-12-27 11:06 编辑
ydchen 发表于 2017-12-22 17:39
直接ftp下载已经split好的fastq文件,速度不一定快吧。
毕竟SRA是一种压缩手段,还是能大幅度节省时间传 ...

的确,是我没说清楚,我主要是想说fastq-dump工具不太适合直接下载fastq文件,因为它慢而且网络连接不稳定,我还记得biostar handbook上专门为bash on windows的同学提供了一个wonderdump的脚本,目的就是绕开其不稳定的网络连接。

从ENA下载的文件应该是fastq.gz压缩格式,而且sra文件也可以从ENA下载,单纯从大小上来说,sra的确是最小的,fastq.gz要大不少,拿这个SRR488803来说,我看了下两个fastq.gz (PE)文件各2.0G,共4.0G,而sra文件是2.7G。然而,用fastq-dump命令从sra中得到fastq需要的转换时间也不少,两相权衡,不好说,哈哈

总之,如果需要fastq、sam或sra文件,一般按如下操作:
1. 找地方:查看EBI-ENA上有没有相应的fastq.gz文件,如果有,就在这里下载;如果没有,那就去NCBI的SRA数据库下载!

2. 选方法:   
    首选Aspera Connect软件,这是IBM旗下的商业高速文件传输软件,与NCBI和EBI有协作合同,我们可以免费使用它下载高通量测序文件,体验飞一般的感觉,在德国时速度可以稳定在300M/s,现在在国内,用普通家庭电信宽带,速度依然可维持在50M/s左右,见下图。下载完成后,本地用fastq-dump提取fastq文件,相关使用方法请查阅SRA Knowledge BaseSRA HandbookENA data download;   

    其次,如果该方法不奏效,优先使用sratoolkit中的prefetch命令

    最后,使用sratoolkit中的fastq-dump和sam-dump命令下载,如果fastq-dump不稳定,大家可以尝试前面提到的wonderdump脚本。

警告尽量不要用wget或curl下载,某些sra文件有一些依赖文件,用这种方式下载不下来,最后得到的sra文件是不完整的。

P.S. 我用Aspera下载了楼主的SRR488803.sra文件,可看到下载速度和时间如下,还是很不错的:






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Welcome to my blog: http://bioinfostar.com
回复 支持 3 反对 0

使用道具 举报

12

主题

28

帖子

805

积分

高级会员

Rank: 4

积分
805
发表于 2017-12-21 12:16:45 | 显示全部楼层
本帖最后由 mckf111 于 2017-12-21 12:36 编辑

google上有几个遇到类似问题的,问题都提在sratoolkit的github issue中,我看了几个,没有很直接的解决方案,你有兴趣可以去仔细琢磨下。

但一般来说我们只要下到数据就开心了,不想琢磨那么多,所以我的建议是,能不用fastq-dump就不用,想下SRA data的话,首选ENA,里面可以直接ftp下载已经split好的fastq文件,速度快,不用存sra.cache,所见即所得。

我搜了一下你这个序列号,很容易就找到了:

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Welcome to my blog: http://bioinfostar.com
回复 支持 1 反对 0

使用道具 举报

365

主题

512

帖子

1713

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1713
发表于 2017-12-22 17:38:12 | 显示全部楼层
找不到sra文件路径是必须的,看你的文件名很明显不对,你下载的sra文件后缀呢?
你的命令里面指定的文件名,你ls查看一下看看
回复 支持 反对

使用道具 举报

365

主题

512

帖子

1713

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1713
发表于 2017-12-22 17:39:06 | 显示全部楼层
mckf111 发表于 2017-12-21 12:16
google上有几个遇到类似问题的,问题都提在sratoolkit的github issue中,我看了几个,没有很直接的解决方案 ...

直接ftp下载已经split好的fastq文件,速度不一定快吧。
毕竟SRA是一种压缩手段,还是能大幅度节省时间传输时间的
回复 支持 反对

使用道具 举报

365

主题

512

帖子

1713

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1713
发表于 2017-12-27 10:05:26 | 显示全部楼层
mckf111 发表于 2017-12-22 19:34
的确,是我没说清楚,我主要是想说fastq-dump工具不太适合直接下载fastq文件,因为它慢而且网络连接不稳定 ...

非常赞~!!!
回复 支持 反对

使用道具 举报

4

主题

23

帖子

602

积分

高级会员

Rank: 4

积分
602
 楼主| 发表于 2017-12-28 11:46:21 | 显示全部楼层
ydchen 发表于 2017-12-22 17:38
找不到sra文件路径是必须的,看你的文件名很明显不对,你下载的sra文件后缀呢?
你的命令里面指定的文件名 ...

我的文件没有后缀,全部都是SRR后面跟数字的类型
回复 支持 反对

使用道具 举报

4

主题

23

帖子

602

积分

高级会员

Rank: 4

积分
602
 楼主| 发表于 2017-12-28 11:51:12 | 显示全部楼层
mckf111 发表于 2017-12-22 19:34
的确,是我没说清楚,我主要是想说fastq-dump工具不太适合直接下载fastq文件,因为它慢而且网络连接不稳定 ...

好吧,谢谢你说了这么多。我这个只是批量转化的时候出的问题,下载啥的问题不大。
回复 支持 反对

使用道具 举报

5

主题

26

帖子

291

积分

中级会员

Rank: 3Rank: 3

积分
291
发表于 2018-1-26 15:11:24 | 显示全部楼层
有的时候,会突然有一个包的名称很奇葩
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|生信技能树    

GMT+8, 2019-6-20 20:17 , Processed in 0.033982 second(s), 25 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.