Linux Shell 高级编程技巧1----深入讨论，awk、

1.深入讨论（awk、<<）

1.1.深入讨论awk

记录和域，模式和动作，正则表达式和元字符

基础教程中已经介绍

条件和逻辑操作符

< 小于

>= 大于等于

<= 小于等于

== 等于

!= 不等于

~ 匹配正则表达式

!~ 不匹配正则表达式

&& and

|| or

! not

例子(注释：www.log是apache的一个日志文件，这是在日常生活中很常遇见的)

#!/bin/bash
echo "210-219网段的访问量是：`awk '{if ($1~/^21[0-9]/) print $0}' www.log | wc -l`"
echo "非210-219网段的访问量是：`awk '{if ($1!~/^21[0-9]/) print $0}' www.log | wc -l`"
echo "2004年07月07日的访问量是：`awk '{if ($4~/^\[07\/Jul\/2004/) print $0}' www.log | wc -l`"
echo "2004年07月07日/htm/free_call.php的访问量是：`awk '{if ($4~/^\[07\/Jul\/2004/) print $0}' www.log | awk '{if ($7=="/htm/free_call.php") print $0}' | wc -l`"

awk内置变量

内置变量

ARGC 命令行参数个数

ARGV 命令行参数排列，是一个数组，用ARGV[0]、ARGV[1]……的方式

ENVIRON 支持队列中系统环境变量的使用

FILENAME awk浏览的文件名

FNR 浏览文件的记录数

FS 设置输入域分隔符，等价于命令行参数-F选项

NF 浏览记录的域个数

NR 已读的记录数

OFS 输出域分隔符

ORS 输出记录分隔符

RS 控制记录分隔符

例子：

awk -F '#' '{print NF,NR,$0}' grade.txt

awk -F '#' '{print NF,NR,ENVIRON["USER"],$0}' grade.txt

awk -F '#' '{print NF,NR,ENVIRON["USER"],$0,FILENAME}' grade.txt

awk -F '#' '{print NF,NR,ENVIRON["USER"],$0,FILENAME,ARGC}' grade.txt

awk -F '#' '{print NF,NR,ENVIRON["USER"],$0,FILENAME,ARGC,ARGV[0]}' grade.txt

补充：grade.txt文件内容

85#senior

87#junior

75#senior

79#senior

92#senior

23#junior

内置的字符串函数

内置字符串函数

gsub(r,s) 在整个$0中用s替代r

gsub(r,s,t) 在整个t中用s替代r

index(s,t) 返回s中字符串t的第一个位置

length(s) 返回s的长度

match(s,r) 测试s是否包含匹配r的字符串

split(s,a,fs) 在fs上将s分成序列a

sprint(fmt,exp) 返回经fmt格式化后的exp

sub(r,s) 用$0中最左边最长的子串代替s

substr(s,p) 返回字符串s中从p开始的后部分

substr(s,p,n) 返回字符串s中从p开始长度为n的后部分

例子

awk -F '#' '{if (gsub("#","||")) print $0}' grade.txt

awk -F '#' '{if (gsub("s","S",$1)) print $0}' grade.txt

awk -F '#' '{print (index($2,"e"))}' grade.txt

awk转义字符

转义字符

\b 退格键

\t tab键

\f 走纸换页

\ddd 八进制值

\n 新行

\c 任意其他特殊字符，例如\\为反斜线符号

\r 回车键

例子

awk -F '#' '{print (index($2,"s")),"\t",$2}' grade.txt

awk -F '#' '{print (index($2,"s")),"\n",$2}' grade.txt

printf修饰符，类似于C语言的printf函数

printf修饰符

%c ASCII字符

%d 整数

%f 浮点数，例如(123.44)

%e 浮点数，科学计数法

%f 新行

%g awk决定使用哪种浮点数转换e或者f

%o 八进制数

%s 字符串

%x 十六进制数

例子

awk -F '#' '{printf "%c\n",$1}' grade.txt

awk -F '#' '{printf "%c\t%d\n",$1,$1}' grade.txt

awk -F '#' '{printf "%c\t%f\t%d\n",$1,$1,$1}' grade.txt

awk数组

简介

awk数组下标是从 1 而不是 0 开始

例子

awk 'BEGIN {print split("as#qw#1234",array2,"#")}'

awk 'BEGIN {print split("as#qw#1234",array2,"#"); print array2[1]}'

awk 'BEGIN {print split("as#qw#1234",array2,"#"); print array2[1],"\t",array2[2],"\t",array2[3]}'

awk的脚本例子(awk_array.sh 文件)

执行命令./awk_array.sh grade.txt

#!/bin/awk -f
BEGIN{
    FS="#"
    score["0-60"]=0
    score["60-70"]=0
    score["70-80"]=0
    score["80-90"]=0
    score["90-100"]=0
    student["junior"]=0
    student["senior"]=0
}
{
    {
        if [ $1<60 ]
        score["0-60"]++
    }
    {
        if [ $1<70 ] && [ $1>=60]
        score["60-70"]++
    }
    {
        if [ $1<80 ] && [ $1>=70 ]
        score["70-80"]++
    }
    {
        if [ $1<90 ] && [ $1>=80]
        score["80-90"]++
    }
    {
        if [ $1<=100 ] && [ $1>=90 ]
        score["90-100"]++
    }
}
{
    for senior_junior in student
    {
        if [ $2==senior_junior ]
        student[senior_junior]++
    }
}
END{
        for number in score
            print "The score",number,"has",score[number],"students"
    }
    {
        for senior_junior in student
            print "The class has",student[senior_junior],senior_junior,"stuents"
    }
}

1.2.深入讨论<<