记录自己常用的一些 Linux Shell 脚本

常要在 Linux 下分析日志或其他类型的文件,基本用的命令也就 grep, awk, sed, cut, vim, cat, find, xargs, tail, more 或 less。本人工作平台为 Mac OS X, 而 Mac 下的 grep, sed, awk 的行为与 Linux 下的 GNU 标准的相应命令是有差别的, 所以我总是在 Mac 下安装 GNU 的 grep, sed, awk 等命令来替代系统默认的。

比如安装下面的命令

$ brew install findutils gawk gnu-sed grep

以上会安装 GNU 的 find, awk, sed 和 grep 命令,使用时要加个前缀,如 gfind, gawk, gsed 或 ggrep,也可以设置别名或符号链接来替换掉系统的相应命令。

注: brew install coreutils 会安装众多 Linux 下的基本命令替代品,ls, cat, cut 都在其中,使用它也是要加上前缀 g, 如 gls, gcut 等。

以下 grep, find, grep, sed 以 GNU 的行为为准。

grep 相关的命令

用了这么久的 grep, 反正它是用来查找字符串的,还能用正则表达式匹配。那么它的全名是什么呢?Global Regular Expression Print (GREP)。

高亮显示匹配的字符串

这个效果很重要,不然显示出了字符串还不清楚哪里匹配了,所以最好用个 alias

grep="grep --color=auto --exclude-dir={.bzr,CVS,.git,.hg,.svn}"

以下各种使用方式

$ cat planets.txt | grep -i e      # 忽略大小写匹配
$ cat planets.txt | grep -e "[p|P]"  # 使用正则表达式匹配
$ cat planets.txt | grep -P -e "[p|P]{1,3}"  # 使用 Perl 风格正则表达式

搜索文件

$ grep -r --include "*.java" "print" src   # 从 src 目录中的 *.java 中递归查找 print 字符串

控制台的内容直接送到 vim 编辑器中

未打开 vim, 可用管道操作 xxx | vi - 如:

$ ls -l | grep py | vi -      # 这样会打开 vim 编辑器,显示 ls -l |grep py 命令的输出内容

如果打开了 vim, 那么在 vim 中命令模式中输入

: read !ls -l | grep py     # 就会在当前 vim 编辑器中添加 ls -l | grep py 命令的输出内容

打开 vim 的同时打开语法高亮, 如果 ~/.vimrc 中已打开语法高亮,但 | vi - 没有告知文件类型,所以需要 vim 启动时加上 set syntax=json 或 set filetype=json 

$ echo '{"age": 28}' | vi - -c 'set syn=json'      # 或者 set syntax=json, set filetype=json 或 set ft=json
$ echo '{"age": 18}' | vi -

 也可以进入了 vim 后,在它的命令行下设置  :set syntax=json 或  :set filetype=json, 或简单的用 :set syn=json 或 :set ft=json。

另外,假如用 vim 打开一个大文件,因为加载过多插件的因素滚动慢,可以用 vi -u NONE bigfile.json 来打开文件。

切分字符串

这也用到的命令就是 cut 或 awk,cut 能力比较弱,只能用单字符切割字符串,看如下几个使用方式

$ echo "aa,bb,,cc:dd" | cut -d, -f1
aa                                                               # -d 后指定用 , 号分隔,-f 输出哪个字段
$ echo "aa,bb,,cc:dd" | cut -d, -f1 -f4   # 或者用 -f1,4
aa,cc:dd                                                    # 输出多个字段时又会用 -d 指定的分隔符连接
$ echo "aa,bb,,cc:dd" | cut -d, -f4 | cut -d: -f1
cc                                                                #由于不支持模式分隔,所以要进行两次切分

另一种方法就是用 awk 命令,awk 简单是一个编程语言,它名字来源于它的三位作者的名字首字母(Aho, Weinberger and Kernighan), 不是 awkward 的意思。它的功能还是很强,我们且在这里看看怎么分隔字符串

$ echo "aa,bb,,cc:dd" | awk -F "(,*)|:" '{print NF,$1,$2,$3,$4}'
4 aa bb cc dd       # 共四个字符,且每个字段的内容,-F 中支持正则表达式                 

实际使用时应测试好它所支持的正则表达式的语法,以前好像还尝试过 awk 的正则表达式的切割功能,还以为需要用 Python 的实现类似的操作。

曾经想过用 Python 的切分字符串的方式 (cut.py)

然后执行

$ echo "aa,bb,,cc:dd" | cut.py -d",+|:" -f1,2,4    # Python 的正则表达式也需多测试
aa bb dd

输出匹配后的下一行

通常我们的需求是用  grep 查找到并输出匹配行,有时我们想输出匹配行的下一行,或下几行,比如说对 ini 文件

[memory]
max=8G
[bandwidth]
max=4G

我们想要找到含有 [memory] 的下一行的 max 值而不是别处的 max

可以用  awk 命令

cat test.ini | awk '/\[memory\]/{getline;print}'   #\[ 为转义 [ 符号
max=8G

或者用 sed 命令(sed 是什么?Stream EDitor, 流编程器,也可说是像 awk 一样另成一种编程语言

cat test.ini | sed -n '/[memory]/{n;p;}'   # 很像 awk 的  getline;print
max=8G

sed 中的命令非常精简,都用单字母,如 a: append, s: substitue, n: next, p: print。如果要用来处理字符串替换的操作 sed 就是最好的编程工具。

grep 本身也能完成类似的功能

$ cat test.ini | grep -A1 '\[memory\]'    # 往下多显示一行  -A, --after-context=NUM 从当前往下多少行,往前是 -B
[memory]
max=8G

前面说过 awk  本身就是个编程语言的,所以还能加入更多代码

$ cat test.ini | awk '/\[memory\]/{for(i=0;i<4;i++)getline;print $0}'
max=4G
//或者
$ cat test.ini | awk -v lines=4 '/\[memory\]/{for(i=lines;i;--i) getline; print $0}'
max=4G

awk 和 sed 是可以直接读取文件的,所以前面的命令可以不用 cat test.ini 到它的管道操作,而可以

$ awk '/\[memory\]/{for(i=0;i<4;i++)getline;print $0}' test.ini
$ sed -n '/[memory]/{n;p;}' test.ini

sort 命令按某列排序

sort 命令可以帮我们对文本行排序,默认以整行字符串为比较单位,主要参数有

  1. -n:  --numberic-sort, 比较数字大小而非字符串来排序
  2. -r:--reverse, 逆序排列
  3. -f: --ignore-case, 忽略大小写排序

这儿我们了解另一种排序需求,即按文件中某一列进行排序,如果有如下文件 planets.txt, 内容为

我们想要按第二列进行序列后输出全部内容,那么命令为

$ sort -t, -k2 planets.txt
Sun,1
Earth,2
Moon,3

解析:

  1. -t: --field-separator, 以逗号为分割符, 默认是以空格分割
  2. -k2: --key, 先取第二列为排序依据

除此之外,sort 还有以下两个有意思的功能

  1. -R: --random-sort, 随机打乱顺序
  2. -u: --unique, 去重功能,从此告别 sort | uniq 这样的管道操作

看一下 -u 去重的功能,修改 planets.txt 内容如下

$ sort -t, -k2 -u planets.txt
Sun,1
Earth,2
Moon,3

在用 -t, -k2 时还是按照重复列来去重的。

链接:

  1. Install and Use GNU Command Line Tools on macOS/OS X
  2. How to replace Mac OS X utilities with GNU core utilities?

类别: Linux/Unix. 标签: , , , . 阅读(26). 订阅评论. TrackBack.

1
Leave a Reply

avatar
1 Comment threads
0 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
1 Comment authors
tumars Recent comment authors
tumars
Guest
tumars

很有用==,之前都不知道grep是可以高亮显示匹配字符的。。。