搜索
查看: 1851|回复: 5

[coding] 批量删除文件中的重复行

[复制链接]

3

主题

10

帖子

168

积分

注册会员

Rank: 2

积分
168
发表于 2016-11-8 19:50:08 | 显示全部楼层 |阅读模式
对单个文件去除重复行一般用sort -u就可以了,但是当文件数量比较多时,每个都用一次sort -u很麻烦,小伙伴们有什么比较好的方法吗??
eg:1.txt   2.txt   3.txt  4.txt   5.txt.........每个文件都需要进行去除重复行处理。


回复

使用道具 举报

11

主题

52

帖子

280

积分

中级会员

Rank: 3Rank: 3

积分
280
发表于 2016-11-8 20:08:53 | 显示全部楼层
sort -u `ls`
回复 支持 反对

使用道具 举报

11

主题

52

帖子

280

积分

中级会员

Rank: 3Rank: 3

积分
280
发表于 2016-11-9 00:57:25 | 显示全部楼层
for n in `ls`;do  sort -u $n -o ${n}_sort; done
回复 支持 反对

使用道具 举报

11

主题

52

帖子

280

积分

中级会员

Rank: 3Rank: 3

积分
280
发表于 2016-11-9 00:57:46 | 显示全部楼层

1234567890000
这个命令是错误的
回复 支持 反对

使用道具 举报

3

主题

10

帖子

168

积分

注册会员

Rank: 2

积分
168
 楼主| 发表于 2016-11-10 12:27:37 | 显示全部楼层
dongye 发表于 2016-11-9 00:57
for n in `ls`;do  sort -u $n -o ${n}_sort; done

谢谢。。。
回复 支持 反对

使用道具 举报

0

主题

17

帖子

123

积分

注册会员

Rank: 2

积分
123
发表于 2017-9-11 17:39:21 | 显示全部楼层
[Bash shell] 纯文本查看 复制代码
sort -u *.txt
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|生信技能树 ( 粤ICP备15016384号  

GMT+8, 2019-11-21 17:44 , Processed in 0.029817 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.