Lazy loaded imageLinux sed 工具笔记

type
status
date
slug
summary
tags
category
icon
password
comment
sed（Stream EDitor） 是用于按行流式处理文本的编辑器，适合批量替换、插入、删除、筛选等操作。它既能处理文件，也能在管道中处理其它命令的输出；与 grep/awk 组合非常强大。

1) 基本语法（Basic command）

  • 常用选项
    • n：抑制（安静）模式——默认不打印，仅显式 p 时输出
    • e 'script'：在命令行直接指定脚本（可多次）
    • f file.sed：从脚本文件读取命令
    • i[SUFFIX]：原地编辑（可带备份后缀；macOS 常写 i ''）
    • E（BSD/macOS）/ r（GNU）：启用扩展正则（ERE）
  • 脚本结构
    • 地址（可选）：行号/范围/正则（如 1,10、/start/,/end/）
    • 命令：p(打印) d(删除) s(替换) a(追加) i(插入) c(整行替换) …

1.1 替换文本（单处 / 全局）

1.2 打印 / 删除 指定行

1.3 按内容匹配

1.4 指定列（示例由其它命令生成列）

2) 工作机制 & 正则

  • 逐行读取 → 匹配地址/模式 → 执行命令 → 输出
  • BRE/ERE：GNU 缺省 BRE；E(BSD)/r(GNU) 开启 ERE
  • 锚点：^ 行首、$ 行尾
  • 分组与反向引用：
    • 替换中的特殊符号：& 代表整个匹配；\1 \2 … 为分组

    3) 常用操作（整理你给的示例 + 强化）

    3.1 条件/范围

    3.2 设置分隔符/全局替换

    3.3 原地修改（谨慎）

    3.4 多命令/脚本文件

    3.5 插入/追加/整行替换

    3.6 按匹配追加/插入

    3.7 文件末尾追加

    3.8 追加多行（用反斜杠续行）

    4) 常用一览（Cheat Sheet）

    5) Advanced Tips

    • 可移植性（GNU vs BSD/macOS）
      • ERE：GNU 用 r，BSD/macOS 用 E
      • 原地：GNU 允许 i 无参数，BSD/macOS 需要 i ''
    • 性能
      • 大文件处理前，可设 LC_ALL=C 加速基于字节的匹配：
          • LC_ALL=C sed -n '/pattern/p' big.txt
    • 分隔符选择
      • s||| 可避免替换路径时的过度转义：s|/old/path|/new/path|g
    • 与其它工具组合
      • 预过滤用 grep，复杂列/聚合交给 awk，sed 负责模式编辑与小改动
    • 多平台换行
      • 处理 Windows 文本可先：sed -E 's/\r$//' file.txt（去 CR）

    6) Problems & Solutions

    • 问题：正则不起作用或过度转义
      • 解决：使用 E/-r 启用 ERE；替换分隔符改为 |；检查 \( \) 是否在 BRE/ERE 下匹配
    • 问题：原地失败（macOS）
      • 解决：使用 i ''；或先输出到临时文件再 mv 覆盖
    • 问题：只替换每行第 N 次出现
      • 解决：s/old/new/2 只替换第2次出现；g 为全部
    • 问题：跨行需求
      • 解决：sed 以行为单位；复杂跨行逻辑可考虑 awk/perl/python

    7) 使用场景（你给的案例整合）

    • 文件处理
      • 日志分析
        • 批量替换
          • 与管道结合

            8) Learning Resources

            1. GNU sed Manual（权威文档）
            1. The Grymoire sed 教程（实践友好）
            1. “sed one-liners” 速查（经典技巧集合）
            1. Stack Overflow sed 标签 Wiki（常见坑与最佳实践）
            Prev
            Linux grep 工具笔记
            Next
            Linux awk 工具笔记
            Loading...
            Article List
            Evan の Logbook
            ✨ Updates
            🌐 Logbook v0.1.0.9000 上线
            🎨 Style Guide
            Lazy loaded image Font · 字体记录手册
            🧠 Creative Resources
            Lazy loaded image Name · 名以载道
            🗒️ Mind Notes
            Lazy loaded image Quote · 字里行间
            🧭 Knowbase
            Lazy loaded image Biorxiv 与预印本
            Lazy loaded image H-1B 签证
            🕊️ 鸽派、鹰派、左派、右派
            📘 SOPs
            🆕 创建 Google 账号
            🌍 生成境外地址
            🍎 创建美区 Apple ID
            🧠 注册与订阅 ChatGPT
            🤖 NFC读写器操作流程
            🩺 Medical Research
            🇬🇧 UK Biobank 数据库介绍与申请
            Lazy loaded image BioRender 使用与订阅笔记
            📦 scRNAseq
            📝 AUCell 流程笔记（GSE60361 小鼠脑示例）
            🏢 Cohort study VS Case-control
            🛠️ Tech Chronicles
            ☑️ Typora · 安装与使用指南
            📂 LocalSend · 跨设备文件传输的神兵利器
            🌏 Immersive Translate · 打造沉浸式翻译体验
            🐬 WSL： 使用笔记
            Lazy loaded image 自定义 Bash 提示符（PS1）
            Lazy loaded image Linux 系统介绍
            Lazy loaded image Linux grep 工具笔记
            Lazy loaded image Linux sed 工具笔记
            Lazy loaded image Linux awk 工具笔记
            Lazy loaded image CSS 笔记
            Lazy loaded image 文件夹前加点的意义
            Lazy loaded image HTML 格式笔记
            Lazy loaded image XML 格式笔记
            Lazy loaded image TOML 格式笔记
            Lazy loaded image PR 模板解读与最佳实践
            Lazy loaded image YAML 格式笔记
            Lazy loaded image JSON 格式笔记
            Lazy loaded image YouTube 使用笔记
            Lazy loaded image Writage 使用笔记
            Lazy loaded image Pandoc 使用笔记
            Lazy loaded image Chrome 使用全攻略
            Lazy loaded image Vibe Coding：一种新的编程氛围？
            🧭 从混乱到规范：文件命名、变量命名与版本控制最佳实践
            🚀 科学上网指南：信息时代的通行证
            📦 pip 与 uv：Python 包管理的演进与取舍
            💰 Fortune Blueprint
            📗 期权基本概念
            期权交易策略
            🕟 美股交易时间指南
            📈 R Visionary
            Lazy loaded image R 的 future 包（异步与并行）
            Lazy loaded image R 中加载与使用系统字体
            Lazy loaded image R 中的数据类型完整指南
            Lazy loaded image R 与 RStudio 安装笔记
            🔃 purrr 包学习笔记
            🔁 apply 家族核心函数
            📁 list.files
            📊 用 readxl 读取 Excel：实践指南 + 可复用增强函数
            Lazy loaded image make_date() & make_datetime()：从字段构造时间对象
            📦 为什么使用 lubridate？
            ⏳ ISO 8601 国际时间标准
            Lazy loaded image 分类变量处理 - forcats
            📏 separate_wider_position()：按固定宽度横向拆分为多列
            📐 separate_wider_delim()：按分隔符拆分为多列
            🪓 separate_longer_position()：按固定宽度切分为多行
            Lazy loaded image pmin() & pmax()：向量按元素逐位比较
            🔢 parse_double() vs parse_number()
            Lazy loaded image geom_tile()：构建热图 / 网格图的砖块图层
            🎨 常用美学参数详解：position, fill, alpha 等
            Lazy loaded image facet_wrap() 与 facet_grid() 用法解析
            🌳 高亮特定数据子集：多图层叠加法
            Lazy loaded image 三种 geom_smooth() 写法解析
            🔻 geom_smooth() 的 shape 限制
            🎨 ggplot2 颜色映射
            Lazy loaded image ggplot2 的 shape 限制与解决方案
            Lazy loaded image R语言字符串大小写变换
            Lazy loaded image R语言数字取整与格式化。
            Lazy loaded image gtsummary 回归模型
            Lazy loaded image gtsummary + gt：R语言三线表实践
            🔁 pivot_wider()：长表 → 宽表（long → wide）
            🔢 parse_number()：提取字符串中的数字
            🔁 pivot_longer()：宽转长（wide → long）
            ⚡ .by：轻量级分组操作的新方式
            🔓 ungroup()：取消分组结构
            ✂️ slice() 系列函数：按位置切片提取行
            🧮 group_by()：分组操作的基础
            🧭 relocate()：调整列顺序
            Lazy loaded image select()：灵活选择列
            📲 mutate()：创建新列 + 控制列位置与保留
            🔢 count()：快速计数分组频次
            Lazy loaded image dplyr包的distinct()函数
            🔺 ggplot2 点形状（shape）
            Lazy loaded image ggthemr：为 ggplot2 一键换肤
            Lazy loaded image ggthemes 常用主题
            🔬 msigdbr 包
            📈 CMplot 绘制曼哈顿图
            Lazy loaded image SMR 共定位分析
            🧬 coloc R 包实用笔记与数据格式梳理
            📊 ggpubr - 让科研图表高效“出版就绪”的R扩展包
            🎨 ggpubr::theme_pubr - 出版级 R ggplot2 主题美化指南
            ✂️ 用 patchwork 优雅组合你的 ggplot2 图表
            🔤 R 正则表达式语法与字符串操作速查
            📐 R基础数学与统计函数速查
            📚 R包管理基础：.libPaths() 与 library()
            📦 R工作空间对象管理：ls 与 rm
            🔗 R集合归属与反归属运算符：%in% 与 %nin%
            🕳️ R缺失值与空值处理（na.omit & evanverse::is_void）
            🔎 R字符串匹配 grep 与 grepl 实用技巧
            📊 R基础数据结构与分布探索技巧
            ↕️ R常用向量操作与排序技巧
            🔍 R匹配函数 match 的实用技巧
            🔗 R字符串拼接 paste/paste0 典型用法
            Lazy loaded image R集合操作与典型用法
            Lazy loaded image R apply函数速查与典型用法
            Lazy loaded image R变量命名规范与覆盖机制
            ➗ R取余、整除与分批处理技巧
            Lazy loaded image R设置CRAN与Bioconductor镜像速查
            Lazy loaded image R版本升级与包迁移实用指南
            Lazy loaded image R查询当前环境和包信息（sessionInfo）
            Lazy loaded image 创建文件夹与目录管理基础
            Lazy loaded image RStudio常用快捷键与界面恢复技巧
            Lazy loaded image 提取字符向量子串的实用技巧
            Lazy loaded image 高效读取表格与大文件：fread与自定义read_table_flex
            Lazy loaded image foreach包批量循环
            Lazy loaded image R基因ID转换与批量注释
            Lazy loaded image R批量获取和筛选文件名
            Lazy loaded image R常用序列与模拟数据生成
            Lazy loaded image R数据框（df）条件筛选实用技巧
            Lazy loaded image R Visionary - Introduction
            📊 Statistics
            Lazy loaded image Survival Analysis
            Lazy loaded image 方差分析（ANOVA）
            Lazy loaded image 多因素逻辑回归
            Lazy loaded image 单因素逻辑回归
            Lazy loaded image R语言中的常见统计分布及其应用
            Lazy loaded image 数据分析的可复现性：原则与实践
            📂 p值操纵与文件抽屉
            Lazy loaded image 如何规范报告统计结果？
            Lazy loaded image 相关性检验
            Lazy loaded image 多重检验（Multiple Testing）
            Lazy loaded image t 检验（t-test）
            Lazy loaded image 置信区间 (Confidence Intervals)
            Lazy loaded image 卡方检验（Chi-squared Test）
            Lazy loaded image 统计功效（Power）与样本量（Sample Size）
            Lazy loaded image 假设检验 & p值
            Lazy loaded image 频率表、比例表与列联表
            🏫 统计建模的三大学派：频率学派、贝叶斯学派与机器学
            Lazy loaded image t-test: Principles and Application in R
            🖼️ BioVis
            🎄 Forestplot in R