三剑客通配符

ls y*.txt

find /  -name '[0-9]*.sh'

作用不大，只用于特定场景

ls ?.txt;ls ??.txt; ls ???.txt

[a-z] 找到a到z之间的所有字母，不区分大小写了

只能限定的使用[abc]或[ABC],不能使用范围，否则都会找出来

ls y[0-9a-z].log

ls [!yu]*

ls [^yu]*

ls [!yu].sh

find /etc -name '*hosts*'

find /etc -name 'ifcfg*'

find /etc -name 'ifcfg*[0-9]'

find /dev -name 'sd?'

find /dev -name 'sd?[0-9]'

正则表达式是一套规则和方法

正则工作时以单位进行，一次处理一行

正则表达式化繁为简，提高工作效率

linux仅受三剑客（sed、awk、grep）支持，其他命令无法使用

正则表达式应用非常广泛，很多编程语言都支持正则表达式，用于处理字符串提取数据。

通配符是大部分普通命令都支持的，用于查找文件或目录

而正则表达式是通过三剑客命令在文件（数据流）中过滤内容的，注意区别

linux仅受三剑客（sed、awk、grep）支持，其他命令无法使用

以及注意字符集，需要设置`LC_ALL=C`，注意这一点很重要)(常常脚本中使用)

因为我们系统本身是支持多语言系统的，生成了不同的编码表

不同的编码表，不同的符号可能不同，不兼容，所占字符也不同

如果你的系统编码是中文，很可能导致你的正则出错

export LC_ALL=C

可以查看系统的支持语言

包含了一些特殊字符

包含了一些其他的元字符

反斜杠 \
反斜杠用于在元字符前添加，使其成为普通字符

所见即所得，可以用于匹配如标点符号，还原其本义。

能够识别linux的特殊符号、或变量，需要借助转义符还原字符本义。

-i  ：不区分字符的大小写

-o  ：仅显示匹配到的字符串本身，只输出匹配内容

-v  ：显示不能被模式匹配到的行，排除匹配结果

-E  ：支持使用扩展的正则表达式元字符

-n  ：显示行号

-c  ：统计行数

^ 尖角符

$ 美元符

^$ 匹配空行

.   点符

\ 转义符

元字符

重复前一个字符0此或n次

.* 符

^.*符号

.*$ 符

匹配括号内的内容

[A-Z] 匹配大写字母

[a-z0-9] 匹配小写字母和数字

[a-z0-9A-Z] 匹配大写、小写字母、数字，没有空格，特殊符号

[^a-zA-Z0-9]只想拿到特殊符号，对中括号里的字符进行取反即可

扩展正则在使用时需要注意，一般都需要添加参数，否则默认只支持正则，扩展的符号可能不识别

使用-E参数是最新扩展正则用法

Main Topic

a{n}

a{n,m}

a{n,}

a{,m}

#重复前一个字符1次或多次
#匹配一次或者多次，没有的行是不会显示的

[0-9]+

[A-Za-z0-9]+

竖线在正则里是或者的意思

竖线在正则里是或者的意思

() 作用是将一个或者多个字符捆绑在一起，当做一个整体进行处理

1.可以用括号，把正则括起来，以及系统最多支持9个括号

2.括号内的数据，可以向后引用，
() () () ()    \1  \2  \3  \4

使用

他会有一个字符工场（sed模式空间），不是直接对原数据处理

匹配失败也会将默认的结果输出到终端，不取消默认输出会看见多行

过滤指定字符信息

取出指定的字符行

修改文件内容

options[选项]
解释说明
-n    取消默认的 sed 软件的输出,常与 sed 命令的 p 连用
-e    一行命令语句可以执行多条 sed 命令
-f    选项后面可以接 sed 脚本的文件名
-r    使用正则拓展表达式,默认情况 sed 只识别基本正则表达式
-i    直接修改文件内容,而不是输出终端

a 追加,在指定行后添加一行或多行文本
i 插入,在指定的行前添加一行或多行文本
c 取代指定的行
d 删除指定的行
p 打印模式空间的内容,通常 p 会与选项-n 一起使用
s 取代

使用扩展正则时记得加上参数 -r

空地址

单地址

/pattern/

范围区间

步长

对3到末尾行操作，包括3行

对匹配字符yuchao到chaoge的行操作

a 追加,在指定行后添加一行或多行文本

i 插入,在指定的行前添加一行或多行文本

以前可以通过，cat实现多行文本追加

echo 追加多行数据

sed追加多行文本

如果不指定范围，sed默认是删除所有文本行数据了

删除第二行

sed删除n到m行

删除第三行开始，向下2行，及3-5行

删除奇数行 1,3,5,7,9

删除偶数行 2,4,6,8

保留前二行(及删除后面的行)

找到game那一行，且删掉

删除game这一行到结尾

删除game和http的行
也就是删除了2个指定的行

最好不要使用模糊匹配，要精准的
指向某一行，不然容易出错

感叹号在很多命令里都是取反的作用，
sed也一样，但是是和`sed命令`结合用

如修改nginx的端口

修改mysql的数据存储路径

sshd_config配置文件

c    把选定的行改为新的文本。

#语法
sed '行号 c 修改后的内容' file

sed '2c  I love linux , python !' t1.log
## 注意后面的字符会原样写入到文本中，有双引号也会原样输出

也可以使用正则进行替换

这个功能占用了sed使用率的80%，
基本替换的功能都是这个s指令

字符yuchao改为老于

sed使用shell变量

使用正则，分组替换（好用）

sed '2 p ' t1.log

sed -r '/[0-9]{9}/p' t1.log -n

作用是将sed操作结果，写入到指定文件中

格式：sed '/模式(正则)/w new_file' old_file

找出computer这一行，数据写入到game2.log文件中

-e选项用于接上sed多个命令

语法
sed -e 'sed命令' -e 'sed命令'  -e 'sed命令'

sed提取ip地址

分号也用于执行多条命令，和linux基础命令一样支持这种写法。

单独提取出1,2,4行信息

它可以理解为不是单单的一门软件了，awk更是是一门编程语言，
支持条件判断、数组、循环等功能

对文本行数据提取数据字段

模式、动作

awk内置变量（默认预留变量）

找出那些行进行处理

即是进行打印还是什么问题

不写模式、默认处理每一行

awk不指定动作的话，默认打印整行信息

即指定模式，也指定动作

awk的动作，必须写在花括号里

pattern和action都要用单引号，防止shell作特殊解释

注意给awk传入数据，一般都是file

也可以是管道传递的数据

生成连续的数列

-n 选项限制单个命令行的参数个数

NR      行

NR==    等于行

NR>=    大于等于行
NR<=    小于等于
NR>=N && NR<=M   从N行到M行
|| 或的用法

直接写NF变量表示每一行字段的总数

$0       输出所有字段

$N   输出第N列字段
$NF      输出最后一列
$(NF-1)     输出倒数第2列

FS：字段分隔符，默认是空格和制表符。

OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。

RS：行分隔符，用于分割每一行，默认是换行符。

ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。

-F

-v

awk在数据输入时，读取的一个行分隔符

打印数据后，的一个行分隔符

awk看到空格就认为是新的一行数据
awk -v RS=' '  '{print $0}' test_awk.log

把awk输出的行分隔符，改为 @@

I have a dog, it is lovely, it is called Mimi. Every time I go home from school, Mimi always cruising around me, I will go to the kitchen to get a piece of meat to it, it lay on the floor to eat. My legs and then jump to bark "Wang "called, so I picked up Mimi, it is the opportunity to lick my hand, making me laugh.I like Mimi, like puppies.

1.将一整行的数据，改为，每一个单词，就是一行

2.改为这样后，就可以交给sort去排序了

3.再去uniq 去重 -c 统计重复的次数

简单处理

复杂处理

tr命令就是将字符替换的作用

tr 命令的一些参数

解题思路

解题

#核心还是将文本中的空格和其余符号变为换行符

sed -r 's#[^a-zA-Z0-9]+#\n#g' 1.txt | sort -n | uniq -c | sort -nr | head -5

直接取出连续字母字符即可

grep -E '[a-zA-Z]+' 1.txt -o | sort -n | uniq -c | sort -nr | head -5

输入字段(列)分隔符,分隔符就是菜刀,把一行字符串切为很多区域

默认的分隔符为空格，但是有时不太适用

决定awk输出每个字段的分隔符是什么，默认是空格

column，格式化列显示

awk -v FS=':'  '/bash$/{print $1}'  /etc/passwd

awk -v FS=':'  '/\/bin/bash$/{print $1}'  /etc/passwd

BEGIN模式作用是在awk开始读取文件行数据、之前就先执行，一般用于预定义一些操作

语法
awk 'BEGIN{}  模式 {动作}'
#注意括号里的语法，模式加在两者之间

END就是awk结束后的操作

END是awk读取完所有的文件后，再执行END模块，一般用来总结、格式化打印一个结果

在于区分一个字符串的边界

因为linux识别，命令，参数，文件对象，中间是以空格区分的

echo 'hello world'

ls *.txt   > all_txt.file
#无论你如何写，得到的都是最后一次写入的数据

ls *.txt   >> all_txt.file
#追加，在文档后追加，写几次就有几个

将数据交给前面的命令处理

0  stdin   数据输入，如键盘的输入，如文件数据的导入
1  stdout  正确输出
2  stderr  错误输出

2>&1

ls /etc/weqwwqq > 1.txt 2>&1

make && make install
#make执行完成之后再执行make install

必须上一个的命令正确执行，下一个命令才会执行

#如果第一个执行成功，第二个命令不执行

#作用就是执行多个Linux命令，无论对错

#需要和双引号结合使用

#当你进行引号嵌套时，请你这样用，
#最外层用双引号，内层用单引号
而且文件名最好不要出现空格

生成英文字母序列，数字序列，用于文件拷贝的文件名简写

#没有双引号，此时文件夹会生成两个文件，应为 date '+%F %T'
输出的结果会出现一个空格，最后touch会当成两个文件处理。

#因此，在结合特殊命令时，请加上双引号，表示限定字符串区间