awk 是一种强大的文本处理工具，在日常的数据分析和脚本编写中扮演着重要角色。它不仅可以用于简单的查找、替换操作，还可以实现复杂的文本解析与数据分析任务。本文将通过实例展示如何使用 awk 实现流式数据处理。
awk 的基本语法如下：
awk 'pattern {action}' file(s)
假设我们有一个包含学生信息的文件 students.txt：
Name,Age,Score
Tom,18,90
Jerry,20,85
Alice,19,95
Bob,17,88
使用 awk 查找年龄大于 18 的学生，并输出他们的名字和分数。
awk -F ',' '$2 > 18 {print $1, $3}' students.txt
统计一个文本文件的总行数：
awk 'END {print NR}' filename.txt
NR 是 awk 内置变量，表示当前处理过的记录数。
假设我们有一个实时更新的日志文件 access.log，需要在文件内容不断变化的情况下进行分析。使用 tail -f 实现实时监视：
tail -f access.log | awk '/404/ {print $1}' > 404_logs.txt
该命令将所有状态码为 404 的访问记录提取出来，并保存到 404_logs.txt 文件中。
在实际应用中，数据往往需要经过清洗和格式化才能更好地使用。例如，从一个包含多个字段的CSV文件中筛选出特定列：
cat data.csv | awk -F ',' '{print $1, $3}' > cleaned_data.txt
该命令将 data.csv 文件中的第一列和第三列提取出来，并保存到 cleaned_data.txt。
假设需要统计不同城市的用户数量，数据格式如下：
City,User
Beijing,1024
Shanghai,5687
Guangzhou,4892
Shenzhen,3125
使用 awk 进行分组和聚合统计：
cat city_data.txt | awk -F ',' '{state[$1]++} END {for (city in state) print city, state[city]}' > city_stats.txt
输出结果为每个城市的用户数量。
通过上述示例，可以看到 awk 在流式数据处理中的强大功能。它不仅适用于简单的文本操作，还能用于复杂的数据分析任务。掌握 awk 的基本用法和高级技巧，对于提高日常编程效率具有重要意义。