Lazy loaded imageLinux awk 工具笔记

type
status
date
slug
summary
tags
category
icon
password
comment
awk 是一个强大的文本处理工具，比 sed 更灵活，尤其适合基于 行与列 的数据处理与分析。它由 Aho、Weinberger、Kernighan 三人设计，名字取自三人姓氏首字母。

1. 基本语法

  • 条件：用于匹配行（如行号、列值或模式）。缺省时匹配所有行。
  • 动作：对匹配行进行操作（打印、替换、计算）。缺省动作为 print。
示例：
输出：

2. 工作流程

  1. 将行拆分为字段（列）。
  1. $1、$2 表示列，$0 表示整行。
  1. 按条件判断是否匹配。
  1. 执行 {动作}。

3. 常用操作

3.1 打印指定列

3.2 条件筛选

3.3 匹配模式

4. 常用内置变量

变量
描述
$0
当前行内容
$1, $2
当前行的第 1、2 列
NR
行号，从 1 开始
NF
当前行的列数
FS
输入分隔符（默认空格/制表符）
OFS
输出分隔符（默认空格）
RS
输入行分隔符（默认换行）
ORS
输出行分隔符（默认换行）
示例：

5. 高级操作

5.1 设置分隔符

5.2 列求和

5.3 条件组合

5.4 匹配范围

  • 按行号：
  • 按模式：

6. 原地修改

awk 无法直接改文件，可通过重定向实现：

7. 与其他工具结合

7.1 管道结合

7.2 配合 grep

8. 使用脚本文件

脚本（example.awk）：
运行：

9. 总结

  • awk 适合处理表格型和结构化文本，支持条件筛选、计算、分组、模式匹配。
  • 常用场景包括日志分析、数据提取、报表统计、配合管道进行数据流处理。
常用命令小抄：
 
Prev
Linux sed 工具笔记
Next
CSS 笔记
Loading...
Article List
Evan の Logbook
✨ Updates
🌐 Logbook v0.1.0.9000 上线
🎨 Style Guide
Lazy loaded image Font · 字体记录手册
🧠 Creative Resources
Lazy loaded image Name · 名以载道
🗒️ Mind Notes
Lazy loaded image Quote · 字里行间
🧭 Knowbase
Lazy loaded image Biorxiv 与预印本
Lazy loaded image H-1B 签证
🕊️ 鸽派、鹰派、左派、右派
📘 SOPs
🆕 创建 Google 账号
🌍 生成境外地址
🍎 创建美区 Apple ID
🧠 注册与订阅 ChatGPT
🤖 NFC读写器操作流程
🩺 Medical Research
🇬🇧 UK Biobank 数据库介绍与申请
Lazy loaded image BioRender 使用与订阅笔记
📦 scRNAseq
📝 AUCell 流程笔记（GSE60361 小鼠脑示例）
🏢 Cohort study VS Case-control
🛠️ Tech Chronicles
☑️ Typora · 安装与使用指南
📂 LocalSend · 跨设备文件传输的神兵利器
🌏 Immersive Translate · 打造沉浸式翻译体验
🐬 WSL： 使用笔记
Lazy loaded image 自定义 Bash 提示符（PS1）
Lazy loaded image Linux 系统介绍
Lazy loaded image Linux grep 工具笔记
Lazy loaded image Linux sed 工具笔记
Lazy loaded image Linux awk 工具笔记
Lazy loaded image CSS 笔记
Lazy loaded image 文件夹前加点的意义
Lazy loaded image HTML 格式笔记
Lazy loaded image XML 格式笔记
Lazy loaded image TOML 格式笔记
Lazy loaded image PR 模板解读与最佳实践
Lazy loaded image YAML 格式笔记
Lazy loaded image JSON 格式笔记
Lazy loaded image YouTube 使用笔记
Lazy loaded image Writage 使用笔记
Lazy loaded image Pandoc 使用笔记
Lazy loaded image Chrome 使用全攻略
Lazy loaded image Vibe Coding：一种新的编程氛围？
🧭 从混乱到规范：文件命名、变量命名与版本控制最佳实践
🚀 科学上网指南：信息时代的通行证
📦 pip 与 uv：Python 包管理的演进与取舍
💰 Fortune Blueprint
📗 期权基本概念
期权交易策略
🕟 美股交易时间指南
📈 R Visionary
Lazy loaded image R 的 future 包（异步与并行）
Lazy loaded image R 中加载与使用系统字体
Lazy loaded image R 中的数据类型完整指南
Lazy loaded image R 与 RStudio 安装笔记
🔃 purrr 包学习笔记
🔁 apply 家族核心函数
📁 list.files
📊 用 readxl 读取 Excel：实践指南 + 可复用增强函数
Lazy loaded image make_date() & make_datetime()：从字段构造时间对象
📦 为什么使用 lubridate？
⏳ ISO 8601 国际时间标准
Lazy loaded image 分类变量处理 - forcats
📏 separate_wider_position()：按固定宽度横向拆分为多列
📐 separate_wider_delim()：按分隔符拆分为多列
🪓 separate_longer_position()：按固定宽度切分为多行
Lazy loaded image pmin() & pmax()：向量按元素逐位比较
🔢 parse_double() vs parse_number()
Lazy loaded image geom_tile()：构建热图 / 网格图的砖块图层
🎨 常用美学参数详解：position, fill, alpha 等
Lazy loaded image facet_wrap() 与 facet_grid() 用法解析
🌳 高亮特定数据子集：多图层叠加法
Lazy loaded image 三种 geom_smooth() 写法解析
🔻 geom_smooth() 的 shape 限制
🎨 ggplot2 颜色映射
Lazy loaded image ggplot2 的 shape 限制与解决方案
Lazy loaded image R语言字符串大小写变换
Lazy loaded image R语言数字取整与格式化。
Lazy loaded image gtsummary 回归模型
Lazy loaded image gtsummary + gt：R语言三线表实践
🔁 pivot_wider()：长表 → 宽表（long → wide）
🔢 parse_number()：提取字符串中的数字
🔁 pivot_longer()：宽转长（wide → long）
⚡ .by：轻量级分组操作的新方式
🔓 ungroup()：取消分组结构
✂️ slice() 系列函数：按位置切片提取行
🧮 group_by()：分组操作的基础
🧭 relocate()：调整列顺序
Lazy loaded image select()：灵活选择列
📲 mutate()：创建新列 + 控制列位置与保留
🔢 count()：快速计数分组频次
Lazy loaded image dplyr包的distinct()函数
🔺 ggplot2 点形状（shape）
Lazy loaded image ggthemr：为 ggplot2 一键换肤
Lazy loaded image ggthemes 常用主题
🔬 msigdbr 包
📈 CMplot 绘制曼哈顿图
Lazy loaded image SMR 共定位分析
🧬 coloc R 包实用笔记与数据格式梳理
📊 ggpubr - 让科研图表高效“出版就绪”的R扩展包
🎨 ggpubr::theme_pubr - 出版级 R ggplot2 主题美化指南
✂️ 用 patchwork 优雅组合你的 ggplot2 图表
🔤 R 正则表达式语法与字符串操作速查
📐 R基础数学与统计函数速查
📚 R包管理基础：.libPaths() 与 library()
📦 R工作空间对象管理：ls 与 rm
🔗 R集合归属与反归属运算符：%in% 与 %nin%
🕳️ R缺失值与空值处理（na.omit & evanverse::is_void）
🔎 R字符串匹配 grep 与 grepl 实用技巧
📊 R基础数据结构与分布探索技巧
↕️ R常用向量操作与排序技巧
🔍 R匹配函数 match 的实用技巧
🔗 R字符串拼接 paste/paste0 典型用法
Lazy loaded image R集合操作与典型用法
Lazy loaded image R apply函数速查与典型用法
Lazy loaded image R变量命名规范与覆盖机制
➗ R取余、整除与分批处理技巧
Lazy loaded image R设置CRAN与Bioconductor镜像速查
Lazy loaded image R版本升级与包迁移实用指南
Lazy loaded image R查询当前环境和包信息（sessionInfo）
Lazy loaded image 创建文件夹与目录管理基础
Lazy loaded image RStudio常用快捷键与界面恢复技巧
Lazy loaded image 提取字符向量子串的实用技巧
Lazy loaded image 高效读取表格与大文件：fread与自定义read_table_flex
Lazy loaded image foreach包批量循环
Lazy loaded image R基因ID转换与批量注释
Lazy loaded image R批量获取和筛选文件名
Lazy loaded image R常用序列与模拟数据生成
Lazy loaded image R数据框（df）条件筛选实用技巧
Lazy loaded image R Visionary - Introduction
📊 Statistics
Lazy loaded image Survival Analysis
Lazy loaded image 方差分析（ANOVA）
Lazy loaded image 多因素逻辑回归
Lazy loaded image 单因素逻辑回归
Lazy loaded image R语言中的常见统计分布及其应用
Lazy loaded image 数据分析的可复现性：原则与实践
📂 p值操纵与文件抽屉
Lazy loaded image 如何规范报告统计结果？
Lazy loaded image 相关性检验
Lazy loaded image 多重检验（Multiple Testing）
Lazy loaded image t 检验（t-test）
Lazy loaded image 置信区间 (Confidence Intervals)
Lazy loaded image 卡方检验（Chi-squared Test）
Lazy loaded image 统计功效（Power）与样本量（Sample Size）
Lazy loaded image 假设检验 & p值
Lazy loaded image 频率表、比例表与列联表
🏫 统计建模的三大学派：频率学派、贝叶斯学派与机器学
Lazy loaded image t-test: Principles and Application in R
🖼️ BioVis
🎄 Forestplot in R