linux去重命令

linux去重命令是什么呢？

创新互联专注于吴堡网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供吴堡营销型网站建设，吴堡网站制作、吴堡网页设计、吴堡网站官网定制、微信小程序定制开发服务，打造吴堡网络公司原创品牌,更为您提供吴堡网站排名全网营销落地服务。

在介绍uniq命令之前，我们先来新建在下面的案例中需要用到的文件/tmp/uniq.txt，内容如下

默认情况下uniq只会检索相邻的重复数据从而去重。在/tmp/uniq.txt中虽然“onmpw web site” 有三条，但是其中一条是和其他两条不相邻的，所以只去重了一条，同理“error php function”也是这种情况。

鉴于以上的检索机制，所以uniq一般情况下要和sort命令一块儿使用。

复制代码

# sort 1.txt | uniq

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

repeat no data

wello web site

复制代码

现在再看是不是所有的重复项都已经经过去重处理了。

好了，小试牛刀一把以后，下面我们开始对uniq命令的选项进行简单的介绍。

-c 统计每一行数据的重复次数

复制代码

sort 1.txt | uniq -c

1 alpha css web

1 cat linux command

2 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

我们看 “error php function”出现了两次，“onmpw web site”出现了三次。其余的都没有重复项所以为1。

-i 忽略大小写

在1.txt中添加一行数据 “Error PHP function”

复制代码

cat 1.txt

alpha css web

cat linux command

error php function

hello world

onmpw web site

onmpw web site

wello web site

Error PHP function

recruise page site

error php function

repeat no data

onmpw web site

复制代码

复制代码

sort 1.txt | uniq –c

1 alpha css web

1 cat linux command

2 error php function

1 Error PHP function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

我们看结果，uniq默认是区分大小写的。使用-i可以忽略掉大小写问题

复制代码

sort 1.txt | uniq –c –i

1 alpha css web

1 cat linux command

3 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

现在再看是不是大小写已经忽略掉了。

-u 只输出没有重复的数据

复制代码

sort 1.txt | uniq –iu

alpha css web

cat linux command

hello world

recruise page site

repeat no data

wello web site

复制代码

看到没，结果中的“error php function”和“onmpw web site”都没有被输出。

-w N 表示从第一个字符开始只检索N个字符来判重。

复制代码

sort 1.txt | uniq –iw 2

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

wello web site

复制代码

这里我们让uniq只对前两个字符进行检索，recruit 和 repeat前两个字符都是re，所以这两行也被认为是重复的。

-f N 表示略过前面N个字段，从第N+1个字段开始检索重复数据。以空格符或者tab键为分隔符。

复制代码

sort 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

3 error php function

1 hello world

4 onmpw web site

1 repeat no data

1 wello web site

复制代码

我们在结果中可以看到，这是略过前面的2个字段，从第三个字段开始判重的。“recruise page site” 和 “onmpw web site”的第三个字段相同，所以被认为是相同的数据。但是我们看到，“wello web site”和“onmpw web site”不但第三个字段相同，第二个也相同。那为什么它不被计入“onmpw web site”的重复数据中呢。对于这个问题就要回到前面说的，uniq只检测相邻的数据是否是重复的。

要解决这个问题还需要在sort命令上着手。还记得sort命令的-k选项吗，没错，我们就用它来解决。

复制代码

sort –k 2 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

1 repeat no data

1 recruise page site

3 error php function

4 onmpw web site

1 hello world

复制代码

我们看，是不是解决了。

-s N表示略过前面N个字符，关于这个选项的例子我们这里就不再举了，该选项和-f N的用法差不多。只不过-f N是略过前面N个字段；-s是略过前面N个字符。

-d 只输出有重复项的第一条的数据。

sort 1.txt | uniq -idw 2

repeat no data

error php function

onmpw web site

结果只有这三条。为什么会有“repeat no data”这条数据，这里注意-w 2的应用。

-D 对于重复项全部输出

复制代码

sort 1.txt | uniq –iDw 2

repeat no data

recruise page site

error php function

error php function

Error PHP function

onmpw web site

onmpw web site

onmpw web site

复制代码

好了，关于uniq的选项的所有常用的命令已经都介绍完了。关于uniq更详细的信息可以使用命令info uniq。

Linux文本操作常用命令

在Linux系统里常用于文本查看、操作、统计的命令：

通过多敲键盘，形成手感 肌肉记忆 ，熟练掌握这些命令，在以后生信分析中游刃有余。以下是每个命令的详细的介绍（主要是跟着 生信技能树小郭老师 学习做的笔记）

接下来通过示例把10个命令的常用参数和用法展示出来：

参数的用法介绍：

注意事项：

用 cat 命令可以 查看文本 ，也可以 编辑文本 ，编辑文本要加 符号，退出时，另起一行，按 control C 退出

zcat可以查看压缩的文本文件，tac逆向查看

结合 管道符| 使用

head / tail -n :查看文件的前 / 后 n 行，默认 10 行 （在R语言里head和tail默认是前6行）。

less命令用得最多 ，more命令用得比较少

3.1 less命令

less [参数] 文件名

less命令重要的补充用法1 ：

需要注意 退出 ：只要使用less命令， 按q键

less命令重要的补充用法2 ：

参数用法：

less命令 不加参数 查看文件：

less命令加 -N参数 查看文件：显示行号

less命令加 -S参数 查看文件：单行显示，非常规整

对比：less和cat命令显示文本行号的用法：less -N，cat -n

3.2 more命令

**more ** 逐页查看，按空格翻页，按回车换行 ，more命令一般很少用，熟练掌握less命令就好

查看压缩文件

wc 统计字符是也把换行符统计进去，但是别的命令不一定会把换行符算进去，。

常见参数:

切记：用less命令，按q退出

cut命令是按关键词来切的

常见参数:

排列前：

排列后：

解释：1和0比，1大；7和0比，7大…在sort字典排序里，100816比1737小，所以100816排在前面。

命令行查看一个表格结构时，因为制表符对齐的原因，出现一个错位的现象。还有 字典排序 可能和我们平时的认知不一样，所以 加上-n参数 ， 让数值有数学意义上的大小来排序 。

uniq命令去重，只有两行出现重复，而且是相邻的两行，如果不相邻，即使出现两行一模一样，不会去重。

uniq命令通常和sort命令搭配使用

换其它文件试试

总之，uniq命令使用时经常和sort一起

常见参数:

常见用法1：

paste file1 file2

-s :按行合并 演示

常见用法2 : paste - -

常见参数:

要养成一个好习惯，原始数据不要轻易修改，修改的东西另外保存，文本保存用 (重定向)或是 (追加)

1. 用 less 查看 example.gtf ，然后管道符传递给 wc

2. 截取 example.gtf 第 9 列的内容

3. 在第2步的基础上截取分号分割的第1列

4. 在第3步的基础上排序、去重复并统计

5. 在第4步的基础上，将空格替换成制表符

补充小知识 ：

清屏 ：control L

查看历史（输入过的）命令 ：history

利用Linux命令行进行文本按行去重并按重复次数排序

利用linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。用于演示的测试文件内容如下：[plain]Hello

World.

Apple

and

Nokia.

Hello

World.

I

wanna

buy

an

Apple

device.

The

Iphone

of

Apple

company.

Hello

World.

The

Iphone

of

Apple

company.

My

name

is

Friendfish.

Hello

World.

Apple

and

Nokia.

实现命令及过程如下：[plain]1、文本行去重

(1)排序

由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起。

$

sort

test.txt

Apple

and

Nokia.

Apple

and

Nokia.

Hello

World.

Hello

World.

Hello

World.

Hello

World.

I

wanna

buy

an

Apple

device.

My

name

is

Friendfish.

The

Iphone

of

Apple

company.

The

Iphone

of

Apple

company.

(2)去掉相邻的重复行

$

sort

test.txt

|

uniq

Apple

and

Nokia.

Hello

World.

I

wanna

buy

an

Apple

device.

My

name

is

Friendfish.

The

Iphone

of

Apple

company.

2、文本行去重并按重复次数排序

(1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计。)。

$

sort

test.txt

|

uniq

-c

2

Apple

and

Nokia.

4

Hello

World.

1

I

wanna

buy

an

Apple

device.

1

My

name

is

Friendfish.

2

The

Iphone

of

Apple

company.

(2)对文本行按重复次数进行排序。

sort

-n可以识别每行开头的数字，并按其大小对文本行进行排序。默认是按升序排列，如果想要按降序要加-r选项(sort

-rn)。

$

sort

test.txt

|

uniq

-c

|

sort

-rn

4

Hello

World.

2

The

Iphone

of

Apple

company.

2

Apple

and

Nokia.

1

My

name

is

Friendfish.

1

I

wanna

buy

an

Apple

device.

(3)每行前面的删除重复次数。

cut命令可以按列操作文本行。可以看出前面的重复次数占8个字符，因此，可以用命令cut

-c

9-

取出每行第9个及其以后的字符。

$

sort

test.txt

|

uniq

-c

|

sort

-rn

|

cut

-c

9-

Hello

World.

The

Iphone

of

Apple

company.

Apple

and

Nokia.

My

name

is

Friendfish.

I

wanna

buy

an

Apple

device.

下面附带说一下cut命令的使用，用法如下：[plain]cut

-b

list

[-n]

[file

...]

cut

-c

list

[file

...]

cut

-f

list

[-d

delim][-s][file

...]

上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；

list表示-b、-c、-f操作范围，-n常常表示具体数字；

file表示的自然是要操作的文本文件的名称；

delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；

-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）

三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。

范围的表示方法：

n

只有第n项

n-

从第n项一直到行尾

n-m

从第n项到第m项(包括m)

-m

从一行的开始到第m项(包括m)

-

从一行的开始到结束的所有项

在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用。

【shell】Linux删除文本重复行

通常如果我们想获取一个文件里不重复的行的时候，我们可以直接通过 sort -u 命令，先把文件排序，然后去掉连续的重复行就行。

可是，如果我们去掉重复行之后，还想保留文件原有的顺序，该怎么办呢？

虽然 Linux 下有个看上去似乎很有用的命令叫uniq，但事实上 uniq 命令仅仅只对连续的重复行有效。

如果不排序，直接使用 uniq 命令是没有用的；使用 sort -u 的话，我们就丢失了文件原有的行的顺序了。

一个终极的解决方案是使用 awk：

简要解释一下：awk 的基本执行流程是，对文件的每一行，做一个指定的逻辑判断，如果逻辑判断成立，则执行指定的命令；如果逻辑判断不成立，则直接跳过这一行。

我们这里写的 awk 命令是!x[$0]++，意思是，首先创建一个 map 叫x，然后用当前行的全文$0作为 map 的 key，到 map 中查找相应的 value，如果没找到，则整个表达式的值为真，可以执行之后的语句；如果找到了，则表达式的值为假，跳过这一行。

由于表达式之后有++，因此如果某个 key 找不到对应的 value，该++操作会先把对应的 value 设成 0，然后再自增成 1，这样下次再遇到重复的行的时候，对应的 key 就能找到一个非 0 的 value 了。

我们前面说过，awk 的流程是先判断表达式，表达式为真的时候就执行语句，可是我们前面写的这个 awk 命令里只有表达式，没有语句，那我们执行什么呢？原来，当语句被省略的时候，awk 就执行默认的语句，即打印整个完整的当前行。就这样，我们通过这个非常简短的 awk 命令实现了去除重复行并保留原有文件顺序的功能。