ASCII码 ASCII码

linux三剑客(grep、sed、awk)基本使用

发布于:2022-06-24 18:39:58  栏目:技术文档

镜像下载、域名解析、时间同步请点击 阿里云开源镜像站

准备

作为一个经常在服务器上游走的后端,需要熟悉不少命令行操作。其中,grep、sed、awk号称”linux三剑客”,使用频繁,功能强大,本文通过一个实例演示下基本用法。首先准备一个文本文件,命名为text.txt,内容如下:

  1. cat text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. 3 subject_no 主体备案号 青ICP备11000289号
  5. 4 addr 注册地址 青海省西宁市城中区南关街138号
  6. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  7. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  8. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  9. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  10. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

grep

首先,最简单的是grep。经常用来过滤查看日志。对于grep需要知道如下几个常用的命令选项:

-n

额外输出行号。例如过滤出每一行包含”青”的记录:

  1. grep -n "青" text.txt
  2. 1:1 province 省份 青海省
  3. 3:3 subject_no 主体备案号 青ICP备11000289号
  4. 4:4 addr 注册地址 青海省西宁市城中区南关街138号
  5. 7:7 site_no 网站备案/许可证号 青ICP备11000289号-2

-v

排除匹配的行。例如排除包含”青”的行记录:

  1. grep -v '青' text.txt
  2. 2 domain 域名或者ip tianfengyinlou.cn
  3. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  4. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  5. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  6. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

-E

支持扩展正则匹配。grep的时候,我们可以按照正则表达式来进行匹配,但在需要扩展正则匹配时,要通过-E指定才能生效。常见的或操作,比如筛选包含”青海省”或者”青ICP”的行记录,不指定-E是无法获得想要的结果的。

  1. grep -E '青海省|青ICP' text.txt
  2. 1 province 省份 青海省
  3. 3 subject_no 主体备案号 青ICP备11000289号
  4. 4 addr 注册地址 青海省西宁市城中区南关街138号
  5. 7 site_no 网站备案/许可证号 青ICP备11000289号-2

-l

只输出有匹配行的文件名。有时候,我们并不需要输出匹配的行记录,仅仅只是需要知道匹配到了行记录的文件名:

  1. grep -l 青 text.txt
  2. text.txt

-R

递归匹配目录中的文件内容。有时候,在一个目录中我们并不知道哪个文件内容包含我们想要的结果,此时,可以查找整个目录,输出匹配的文件名以及行记录:

  1. grep -R 青海 ./DevMisc
  2. # ...
  3. ./DevMisc/linux三剑客.md:1 province 省份 青海省
  4. ./DevMisc/linux三剑客.md:4 addr 注册地址 青海省西宁市城中区南关街138号
  5. ./DevMisc/text.txt:1 province 省份 青海省
  6. ./DevMisc/text.txt:4 addr 注册地址 青海省西宁市城中区南关街138号

结合-l参数就可以知道一个目录中有哪些文件包含了匹配项:

  1. grep -Rl 青 ./DevMisc
  2. ./DevMisc/linux三剑客.md
  3. ./DevMisc/text.txt

-A

通过-A(after)指定输出匹配行后的额外行数。例如,想要额外输出包含”青”的行记录后一行,可以指定-A1:

  1. grep -A1 青 text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. --
  5. 3 subject_no 主体备案号 青ICP备11000289号
  6. 4 addr 注册地址 青海省西宁市城中区南关街138号
  7. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  8. --
  9. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  10. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn

-B

通过-B(before)指定输出匹配行前的额外行数。例如,想要额外输出包含”青”的行记录前一行,可以指定-B1:

  1. grep -B1 青 text.txt
  2. 1 province 省份 青海省
  3. --
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. 3 subject_no 主体备案号 青ICP备11000289号
  6. 4 addr 注册地址 青海省西宁市城中区南关街138号
  7. --
  8. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  9. 7 site_no 网站备案/许可证号 青ICP备11000289号-2

-C

通过-C指定输出匹配行前后的额外行数。例如,想要额外输出包含”青”的行记录前后各一行,可以指定-C1:

  1. grep -C1 青 text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. --
  5. --
  6. 2 domain 域名或者ip tianfengyinlou.cn
  7. 3 subject_no 主体备案号 青ICP备11000289号
  8. 4 addr 注册地址 青海省西宁市城中区南关街138号
  9. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  10. --
  11. --
  12. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  13. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  14. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn

sed

查找

sed的各项操作需要指定一个特定的动作。查找需要指定一个动作为p(print),例如,打印出第三行的记录,需要指定行号加动作3p:

  1. sed -n 3p text.txt
  2. 3 subject_no 主体备案号 青ICP备11000289号

这里必须指定一个选项-n。因为sed的默认行为是遍历文本文件的每一行并输出每一行,假如不带-n选项,第三行会输出两次=默认输出一次+命令行指定输出一次:

  1. sed 3p text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. 3 subject_no 主体备案号 青ICP备11000289号
  5. 3 subject_no 主体备案号 青ICP备11000289号
  6. 4 addr 注册地址 青海省西宁市城中区南关街138号
  7. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  8. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  9. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  10. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  11. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

所以-n的作用是取消sed的默认输出行为, 一般都只与p组合使用。利用sed的默认输出行为,我们可以模拟复制每一行的操作,有时候在特定场景下非常有用:

  1. sed p text.txt
  2. 1 province 省份 青海省
  3. 1 province 省份 青海省
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. 2 domain 域名或者ip tianfengyinlou.cn
  6. 3 subject_no 主体备案号 青ICP备11000289号
  7. 3 subject_no 主体备案号 青ICP备11000289号
  8. 4 addr 注册地址 青海省西宁市城中区南关街138号
  9. 4 addr 注册地址 青海省西宁市城中区南关街138号
  10. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  11. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  12. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  13. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  14. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  15. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  16. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  17. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  18. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  19. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

sed不仅可以输出指定的某一行,还可以按行号范围进行输出,例如输出1-5行:

  1. sed -n 1,5p text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. 3 subject_no 主体备案号 青ICP备11000289号
  5. 4 addr 注册地址 青海省西宁市城中区南关街138号
  6. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00

sed还可以按照正则匹配来输出特定的行。格式为/xx/p, 例如,查找包含”青海省”的行记录:

  1. sed -n '/青海省/p' text.txt
  2. 1 province 省份 青海省
  3. 4 addr 注册地址 青海省西宁市城中区南关街138号

查找包含数字0到6的行记录:

  1. sed -n '/[0-6]/p' text.txt
  2. 1 province 省份 青海省
  3. 2 domain 域名或者ip tianfengyinlou.cn
  4. 3 subject_no 主体备案号 青ICP备11000289号
  5. 4 addr 注册地址 青海省西宁市城中区南关街138号
  6. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  7. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  8. 7 site_no 网站备案/许可证号 青ICP备11000289号-2

查找以0结尾的行记录:

  1. sed -n '/0$/p' text.txt
  2. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00

如果想要支持扩展正则匹配,需要通过-r来指定,例如查找每一行包含”青海省”或者”青”的记录:

  1. sed -nr '/青海省|青/p' text.txt
  2. 1 province 省份 青海省
  3. 3 subject_no 主体备案号 青ICP备11000289号
  4. 4 addr 注册地址 青海省西宁市城中区南关街138号
  5. 7 site_no 网站备案/许可证号 青ICP备11000289号-2

sed正则匹配也支持按范围输出,格式为/xx/,/xx/p。例如查找包含”domain”的行到包含”addr”的行记录:

  1. sed -n '/domain/,/addr/p' text.txt
  2. 2 domain 域名或者ip tianfengyinlou.cn
  3. 3 subject_no 主体备案号 青ICP备11000289号
  4. 4 addr 注册地址 青海省西宁市城中区南关街138号

删除

  1. # 删除第三行
  2. sed 3d text.txt
  3. 1 province 省份 青海省
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. 4 addr 注册地址 青海省西宁市城中区南关街138号
  6. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  7. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  8. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  9. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  10. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  11. # 删除包含青的行
  12. sed '/青/d' text.txt
  13. 2 domain 域名或者ip tianfengyinlou.cn
  14. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  15. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  16. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  17. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  18. # 更改text.txt
  19. cat text.txt ysj@yangsj2-knownsec
  20. 1 province 省份 青海省
  21. 2 domain 域名或者ip tianfengyinlou.cn
  22. 3 subject_no 主体备案号 青ICP备11000289号
  23. 4 addr 注册地址 青海省西宁市城中区南关街138号
  24. #5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  25. #6 update_time 更新时间, 毫秒级时间戳 1607414120745
  26. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  27. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  28. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  29. # 删除空行和注释行
  30. sed -r '/^$|#/d' text.txt
  31. 1 province 省份 青海省
  32. 2 domain 域名或者ip tianfengyinlou.cn
  33. 3 subject_no 主体备案号 青ICP备11000289号
  34. 4 addr 注册地址 青海省西宁市城中区南关街138号
  35. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  36. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  37. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

增加

sed的增加动作有三种:

  • i:在指定行的上方增加一行
  • a: 在指定行的下方增加一行
  • c: 在指定行的地方增加一行,原有行会被覆盖

上述三种增加行为示例为:

注意:示例的增加行为在mac上会报错,可能在mac上用法不一致。

  1. # 在第3行上方增加一行记录
  2. sed '3i insert oneline above 3rd line' text.txt
  3. 1 province 省份 青海省
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. insert oneline above 3rd line
  6. 3 subject_no 主体备案号 青ICP备11000289号
  7. 4 addr 注册地址 青海省西宁市城中区南关街138号
  8. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  9. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  10. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  11. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  12. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  13. # 在第3行下方增加一行记录
  14. sed '3a insert oneline after 3rd line' text.txt
  15. 1 province 省份 青海省
  16. 2 domain 域名或者ip tianfengyinlou.cn
  17. 3 subject_no 主体备案号 青ICP备11000289号
  18. insert oneline after 3rd line
  19. 4 addr 注册地址 青海省西宁市城中区南关街138号
  20. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  21. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  22. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  23. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  24. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  25. # 在第3行创建一行记录,原记录被替换
  26. sed '3c create oneline at 3rd line' text.txt
  27. 1 province 省份 青海省
  28. 2 domain 域名或者ip tianfengyinlou.cn
  29. create oneline at 3rd line
  30. 4 addr 注册地址 青海省西宁市城中区南关街138号
  31. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  32. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  33. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  34. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  35. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

修改

上述所有的操作输出均没有改变文件自身的内容。想要使得操作改变文件自身的内容,需要指定选项-i。指定-i的操作需要格外小心。

例如,在文件中第一行插入一行记录:

  1. sed -i '1i add oneline above first line' text.txt
  2. cat text.txt
  3. add oneline above first line
  4. 1 province 省份 青海省
  5. 2 domain 域名或者ip tianfengyinlou.cn
  6. 3 subject_no 主体备案号 青ICP备11000289号
  7. 4 addr 注册地址 青海省西宁市城中区南关街138号
  8. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  9. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  10. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  11. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  12. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

sed的删除动作为d(delete),例如删除文件中的第一行:

  1. # 删除增加的第一行
  2. sed -i 1d text.txt
  3. cat text.txt
  4. 1 province 省份 青海省
  5. 2 domain 域名或者ip tianfengyinlou.cn
  6. 3 subject_no 主体备案号 青ICP备11000289号
  7. 4 addr 注册地址 青海省西宁市城中区南关街138号
  8. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  9. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  10. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  11. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  12. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

当然,我们也有办法做安全的删除操作,即将-i换成-i.bak 可以在真实改动文件内容前,备份文件。但是这个操作一般不适合应用在大文件上,因为备份很慢。

  1. # 删除第一行并备份
  2. sed -i.bak 1d text.txt
  3. cat text.txt
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. 3 subject_no 主体备案号 青ICP备11000289号
  6. 4 addr 注册地址 青海省西宁市城中区南关街138号
  7. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  8. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  9. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  10. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  11. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  12. cat text.txt.bak
  13. 1 province 省份 青海省
  14. 2 domain 域名或者ip tianfengyinlou.cn
  15. 3 subject_no 主体备案号 青ICP备11000289号
  16. 4 addr 注册地址 青海省西宁市城中区南关街138号
  17. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  18. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  19. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  20. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  21. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

替换

sed可以对文件内容进行替换(substitute),格式为使用任意三个相同的符号,如三个斜线s/xx/yy/g、三个#号s#xx#yy#g、三个@符号s@xx@yy@g等,效果是将xx替换为yy。

这里的符号选择是任意的,可以是三个1,三个2都行。常用的是上述三种,因为和文件内容重合度最小,具体使用哪种,需要根据文件内容选择。如果文件内容本身包含了/,则不方便使用三个斜线来操作。

  1. # 将"青" 替换为"蜀"
  2. sed 's/青/蜀/g' text.txt
  3. 1 province 省份 蜀海省
  4. 2 domain 域名或者ip tianfengyinlou.cn
  5. 3 subject_no 主体备案号 蜀ICP备11000289号
  6. 4 addr 注册地址 蜀海省西宁市城中区南关街138号
  7. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  8. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  9. 7 site_no 网站备案/许可证号 蜀ICP备11000289号-2
  10. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  11. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  12. # 将第三行的青替换为蜀
  13. sed '3s/青/蜀/g' text.txt
  14. 1 province 省份 青海省
  15. 2 domain 域名或者ip tianfengyinlou.cn
  16. 3 subject_no 主体备案号 蜀ICP备11000289号
  17. 4 addr 注册地址 青海省西宁市城中区南关街138号
  18. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  19. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  20. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  21. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  22. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司
  23. # 把所有数字替换为x
  24. sed -r 's/[0-9]/x/g' text.txt
  25. x province 省份 青海省
  26. x domain 域名或者ip tianfengyinlou.cn
  27. x subject_no 主体备案号 青ICP备xxxxxxxx号
  28. x addr 注册地址 青海省西宁市城中区南关街xxx号
  29. x check_time 备案时间, 时间对象 xxxx-xx-xx xx:xx:xx
  30. x update_time 更新时间, 毫秒级时间戳 xxxxxxxxxxxxx
  31. x site_no 网站备案/许可证号 青ICP备xxxxxxxx号-x
  32. x site_url 站点/网站首页网址 www.tianfengyinlou.cn
  33. x comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

g是全局(gloabal)替换的意思,如果不要g,则只会替换匹配到的第一项:

  1. # 把每一行的第一个数字替换为x
  2. sed -r 's/[0-9]/x/' text.txt
  3. x province 省份 青海省
  4. x domain 域名或者ip tianfengyinlou.cn
  5. x subject_no 主体备案号 青ICP备11000289号
  6. x addr 注册地址 青海省西宁市城中区南关街138号
  7. x check_time 备案时间, 时间对象 2011-06-23 16:38:00
  8. x update_time 更新时间, 毫秒级时间戳 1607414120745
  9. x site_no 网站备案/许可证号 青ICP备11000289号-2
  10. x site_url 站点/网站首页网址 www.tianfengyinlou.cn
  11. x comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

反向引用

反向引用就是利用正则的组匹配来以组为单位进行替换。

  1. # 例如匹配所有的英文词句([a-z_.]+),然后把他们用<>括起来, \1表示第一组,这里只有一个组匹配
  2. sed -r 's/([a-z_.]+)/<\1>/g' text.txt
  3. 1 <province> 省份 青海省
  4. 2 <domain> 域名或者<ip> <tianfengyinlou.cn>
  5. 3 <subject_no> 主体备案号 青ICP备11000289号
  6. 4 <addr> 注册地址 青海省西宁市城中区南关街138号
  7. 5 <check_time> 备案时间, 时间对象 2011-06-23 16:38:00
  8. 6 <update_time> 更新时间, 毫秒级时间戳 1607414120745
  9. 7 <site_no> 网站备案/许可证号 青ICP备11000289号-2
  10. 8 <site_url> 站点/网站首页网址 <www.tianfengyinlou.cn>
  11. 9 <comp_name> 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

awk

取行

awk可以通过NR(Number of Record) 指定行号,输出特定的行:

  1. # 输出第三行
  2. awk 'NR==3' text.txt
  3. 3 subject_no 主体备案号 青ICP备11000289号

也可以按行号范围输出:

  1. # 输出第三到第六行
  2. awk 'NR==3, NR==6' text.txt
  3. 3 subject_no 主体备案号 青ICP备11000289号
  4. 4 addr 注册地址 青海省西宁市城中区南关街138号
  5. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  6. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  7. # 也可以通过比较指定输出范围
  8. # 输出3到4行
  9. awk 'NR>=3 && NR<5' text.txt
  10. 3 subject_no 主体备案号 青ICP备11000289号
  11. 4 addr 注册地址 青海省西宁市城中区南关街138号

第二个NR如果是个无效的行号值,则默认取出指定起始行之后所有的行记录:

  1. # 输出第三行之后的所有行
  2. awk 'NR==3, NR==xx' text.txt
  3. 3 subject_no 主体备案号 青ICP备11000289号
  4. 4 addr 注册地址 青海省西宁市城中区南关街138号
  5. 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
  6. 6 update_time 更新时间, 毫秒级时间戳 1607414120745
  7. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  8. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  9. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

取行操作依然支持正则匹配:

  1. # 输出包含青的行
  2. awk '/青/' text.txt
  3. 1 province 省份 青海省
  4. 3 subject_no 主体备案号 青ICP备11000289号
  5. 4 addr 注册地址 青海省西宁市城中区南关街138号
  6. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  7. # 输出以"号"结尾的行
  8. awk '/号$/' text.txt
  9. 3 subject_no 主体备案号 青ICP备11000289号
  10. 4 addr 注册地址 青海省西宁市城中区南关街138号
  11. # 输出包含domain到包含addr的行
  12. awk '/domain/, /addr/' text.txt
  13. 2 domain 域名或者ip tianfengyinlou.cn
  14. 3 subject_no 主体备案号 青ICP备11000289号
  15. 4 addr 注册地址 青海省西宁市城中区南关街138号

取列

awk可以使用{print $列号} 取出列值:

  1. # 例如,取出第二列的值
  2. awk '{print $2}' text.txt
  3. province
  4. domain
  5. subject_no
  6. addr
  7. check_time
  8. update_time
  9. site_no
  10. site_url
  11. comp_name
  12. # 取出第2列及最后一列NF(Number of Fields)的值
  13. awk '{print $2,$NF}' text.txt
  14. province 青海省
  15. domain tianfengyinlou.cn
  16. subject_no 青ICP备11000289号
  17. addr 青海省西宁市城中区南关街138号
  18. check_time 16:38:00
  19. update_time 1607414120745
  20. site_no 青ICP备11000289号-2
  21. site_url www.tianfengyinlou.cn
  22. comp_name 西宁天丰银楼金银珠宝有··司
  23. # 使用column -t 对齐输出
  24. awk '{print $2,$NF}' text.txt | column -t
  25. province 青海省
  26. domain tianfengyinlou.cn
  27. subject_no 青ICP备11000289号
  28. addr 青海省西宁市城中区南关街138号
  29. check_time 16:38:00
  30. update_time 1607414120745
  31. site_no 青ICP备11000289号-2
  32. site_url www.tianfengyinlou.cn
  33. comp_name 西宁天丰银楼金银珠宝有··司

awk取列时,默认是空格为分隔符,可以通过-F指定分隔符,例如,第7-8行:

  1. awk "NR==7,NR==8" text.txt
  2. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  3. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn

取出第7、8行后,按/进行划分,取出划分后的第二列:

  1. awk "NR==7,NR==8" text.txt | awk -F/ '{print $2}'
  2. 许可证号 青ICP备11000289号-2
  3. 网站首页网址 www.tianfengyinlou.cn

-F 可以通过[]正则指定多个分隔符:

  1. # 按空格和/ 进行分隔, 取出1到4列
  2. awk "NR==7,NR==8" text.txt | awk -F'[ /]+' '{print $1,$2,$3,$4}'
  3. 7 site_no 网站备案 许可证号
  4. 8 site_url 站点 网站首页网址

精确取行列

awk可以精确取出某一行某一列的值。一些用例如:

  1. # ~ 表示包含, !~ 表示不包含
  2. # 取出第四列包含"青"的行
  3. awk '$4 ~ /青/' text.txt
  4. 1 province 省份 青海省
  5. 3 subject_no 主体备案号 青ICP备11000289号
  6. 4 addr 注册地址 青海省西宁市城中区南关街138号
  7. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  8. # 取出第四列以"号"结尾的行,并输出最后一列
  9. awk '$4 ~ /号$/{print $NF}' text.txt
  10. 青ICP备11000289号
  11. 青海省西宁市城中区南关街138号
  12. # 取出第2列以d开始,到第四列以号结尾的行记录
  13. awk '$2 ~ /^d/, $4 ~/号$/' text.txt
  14. 2 domain 域名或者ip tianfengyinlou.cn
  15. 3 subject_no 主体备案号 青ICP备11000289号

BEGIN

awk可以使用BEGIN在操作文件内容前执行一些命令:

  1. # 列如输出表头
  2. awk 'BEGIN{print "序号","名称","含义","示例"} {print $1,$2,$3,$4}' text.txt | column -t
  3. 序号 名称 含义 示例
  4. 1 province 省份 青海省
  5. 2 domain 域名或者ip tianfengyinlou.cn
  6. 3 subject_no 主体备案号 青ICP备11000289号
  7. 4 addr 注册地址 青海省西宁市城中区南关街138号
  8. 5 check_time 备案时间, 时间对象
  9. 6 update_time 更新时间, 毫秒级时间戳
  10. 7 site_no 网站备案/许可证号 青ICP备11000289号-2
  11. 8 site_url 站点/网站首页网址 www.tianfengyinlou.cn
  12. 9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有··司

END

awk可以使用END在操作文件内容后执行一些命令:

  1. # 通常用于做统计, 例如对第一列求和
  2. awk '{sum+=$1} END{print sum}' text.txt
  3. 45

使用小结

  • grep、sed、awk都可以过滤行记录,但过滤行记录时优先选择grep,其过滤行的效率最高。
  • sed主要用于对文件内容做出各种修改(增加、替换等)。
  • awk主要用于对文件内容取行列操作。

本文转自:https://juejin.cn/post/7100556924524953614

相关推荐
阅读 +