当前位置：首页 > news >正文

sed — 流编辑器：从入门到精通

news 来源：原创 2025/5/28 6:52:25

内容速览

简介

sed（Stream Editor）是一个功能强大的文本处理工具，广泛应用于文本文件的自动化编辑和批量处理。它通过逐行读取文件内容并在内存中的临时缓冲区（即“模式空间”）中处理文本，实现高效的文本替换、删除、插入等操作。sed 支持使用正则表达式进行模式匹配，使得文本编辑更加灵活和高效。

sed 语法格式

sed 的基本语法格式如下：

sed [options] 'command' file(s)

其中 command 可以包含行号、正则表达式和具体命令，用于指定如何处理文件内容。

常用参数

-n：禁止默认输出，配合 p 命令使用来打印特定行。
-i：直接修改文件内容，而不是输出到标准输出。
-e：允许执行多个命令，常用于脚本中一次性处理多个操作。
-E，-r：启用扩展正则表达式，简化正则表达式的书写。
-f：从文件中读取 sed 脚本，而不是直接在命令行中输入命令。

sed 常用命令

1. 替换命令 `s`

s/pattern/replacement/：将匹配的字符串 pattern 替换为 replacement。
s/pattern/replacement/g：全局替换每一行中的所有匹配项。

例子：

sed 's/book/books/' file          # 替换第一次出现的 "book"
sed 's/book/books/g' file         # 全面替换每一行中的 "book"

2. 删除命令 `d`

d：删除匹配的行。
2d：删除第二行。
/pattern/d：删除所有匹配 pattern 的行。

例子：

sed '/^$/d' file                  # 删除所有空行
sed '2d' file                     # 删除第二行
sed '/^$/d' file                  # 删除空白行

3. 插入命令 `a` 和 `i`

a\text：在当前行之后插入文本。
i\text：在当前行之前插入文本。

例子：

sed '/^test/a\this is a test line' file  # 在以test开头的行后插入文本
sed '2i\this is a test line' file        # 在第2行前插入文本

4. 打印命令 `p`

p：打印匹配的行。
-n 和 p 结合使用，只有替换的行才会被打印。

例子：

sed -n 's/test/TEST/p' file       # 只打印替换过的行

5. 转换命令 `y`

y/source/destination/：将每个字符在 source 中的字符转换为 destination 中对应位置的字符。

例子：

sed 'y//xyz/' file     # 将文件中所有的 'a' 转换为 'x', 'b' 转换为 'y', 'c' 转换为 'z'

6. 替换命令 `c`

c\text：用新的文本替换匹配到的整行。

例子：

sed '/test/c\This is the new line' file    # 将包含 "test" 的行替换为 "This is the new line"

sed 支持的正则表达式

sed 默认使用基本正则表达式（BRE）。通过 -E 选项启用扩展正则表达式（ERE），这可以简化一些常用正则表达式的书写，例如：

+ 、 ?、{} 等变为特殊字符（在BRE中需要转义）。
支持非捕获组 (?:...)（在BRE中不支持）。

区别：

无 -E：正则表达式需要使用 \ 来转义字符，比如 + 需要写成 \+。
有 -E：正则表达式可以直接使用 +、? 等扩展字符，无需转义。

例子：

# 默认（基本正则表达式，BRE）
sed 's/\(test\)\+/\1s/' file  # 匹配一个或多个 test 并替换为 tests# 使用 -E（扩展正则表达式，ERE）
sed -E 's/(test)+/\1s/' file  # 匹配一个或多个 test 并替换为 tests

需要注意的是，即使启用了 -E，sed 仍然不支持一些高级正则功能（例如前瞻和后顾），这些需要使用更强大的工具如 perl 或 pcregrep。

复杂操作实例

1. 多点编辑：使用 `-e` 执行多个命令

sed -e '1,5d' -e 's/test/check/' file   # 删除前5行并替换其中的 "test" 为 "check"

2. 写入文件：使用 `w` 和 `r`

w <file>：将当前处理的行写入指定文件。
r <file>：将文件内容读取并插入到当前行后。

例子：

sed '/test/w output.txt' file        # 将包含 "test" 的行写入 output.txt
sed '/test/r file.txt' file          # 在匹配 "test" 的行后插入 file.txt 的内容

3. 字串匹配：使用 `\1` 和 `&`

\1：用于替换时引用正则表达式中的捕获组，表示匹配到的第一个子串，以此类推。
&：表示已匹配的整个字符串，在替换部分可以引用它。

例子：

使用 \1 捕获组：
```
sed 's/\(love\)able/\1rs/' file    # 将 "loveable" 替换为 "lovers"
```
在此例中，\1 引用了第一个捕获组，即 love，因此 loveable 被替换为 lovers。
使用 & 已匹配字符串标记：
```
sed 's/test/&-modified/' file   # 将 "test" 替换为 "test-modified"
```
在此例中，& 引用了整个匹配的字符串 test，所以最终的结果是将 test 替换为 test-modified。

4. 打印指定行：使用 `n` 和 `p`

n：处理下一行而不是当前行。
p：打印当前行。

例1：找到 “test” 行后，替换下一行中的 “aa”

sed '/test/{n; s/aa/bb/;}' file

sed 中的花括号用来将多个命令组合在一起进行执行
示例格式：sed '/pattern/{n; s/foo/bar/;}' file

例2：打印奇数行或偶数行

sed -n 'p;n' test.txt  #奇数行
sed -n 'n;p' test.txt  #偶数行

高级功能（选学）

1. 标签和分支：`b` 和 `t`

b 用于跳转到脚本中的指定标签。
t 用于根据条件跳转（仅当有替换发生时跳转）。

例子：

sed '/test/b label; /check/t label' file  # 如果匹配到 "test" 跳转到 label 标签，如果替换成功则跳转到 label

2. 保持和交换：`h` 和 `x`

h：将模式空间中的内容保存到保持缓冲区。
x：交换模式空间和保持缓冲区的内容。

例子：

sed -e '/test/h' -e '$G' file   # 将含有 "test" 的行复制到保持缓冲区，最后将保持缓冲区的内容追加到文件末尾

脚本和批量处理

sed 脚本允许将多条命令存储在一个文件中，并通过 -f 选项加载脚本。sed 也支持使用注释（以 # 开头）和多个命令的组合。

例子：

sed -f scriptfile file

总结

sed 是一个功能强大的流编辑器，广泛用于文本文件的批量处理和自动化任务。通过灵活运用正则表达式和多种命令，用户可以高效地进行文本查找、替换、插入和删除等操作。掌握 sed 的常用命令和高级功能，能够显著提高文本处理的效率和灵活性，因此它成为了 Unix/Linux 系统管理员、开发者和数据处理人员的重要工具之一。

简介

sed 语法格式

常用参数

sed 常用命令

1. 替换命令 s

2. 删除命令 d

3. 插入命令 a 和 i

4. 打印命令 p

5. 转换命令 y

6. 替换命令 c

sed 支持的正则表达式

复杂操作实例

1. 多点编辑：使用 -e 执行多个命令

2. 写入文件：使用 w 和 r

3. 字串匹配：使用 \1 和 &

4. 打印指定行：使用 n 和 p