wget过滤下载内容

在Linux系统中，wget 是一个非常强大的命令行工具，用于从网络上下载文件和网页。它不仅支持简单的HTTP、HTTPS协议，还能够处理FTP协议。有时候，我们希望在下载时对内容进行一些过滤操作，例如仅下载特定格式的文件或排除某些文件。wget 提供了多种参数来实现这一需求。

1. 使用 --reject-regex 和 --accept-regex

这两个选项允许你指定文件名模式以包含或排除特定类型的文件。--reject-regex 参数用于匹配并排除符合正则表达式的文件，而 --accept-regex 则用于接受符合条件的文件。

示例：仅下载 PDF 文件

wget --recursive \
     --level=inf \
     --accept-regex="\.pdf$" \
     http://example.com/files/

在这个例子中，--accept-regex "\.pdf$" 表示只下载以 .pdf 结尾的文件。--recursive 参数允许你递归地下载整个目录结构。

示例：排除特定类型的文件

wget --recursive \
     --level=inf \
     --reject-regex="\.mp4$" \
     http://example.com/videos/

这里使用 --reject-regex "\.mp4$" 排除了所有以 .mp4 结尾的文件，避免下载视频。

2. 使用 -r 和 -l 参数

这些参数也常用于控制递归下载的行为。-r 表示启用递归下载模式，并且需要配合 -L 选项来允许重定向。-l 则表示设定最大下载深度。

示例：限制递归深度

wget -r -l 2 http://example.com/

这行命令将只递归下载两层目录（包括起始页面）。

3. 使用 --no-parent 参数

这个参数用来禁止 wget 在指定的父级目录之外进行下载。这对于避免意外地进入不同的网站子路径非常有用。

示例：限制在特定目录内下载

wget -r --no-parent http://example.com/downloads/

这将确保所有下载的内容都保持在 http://example.com/downloads/ 目录及其子目录中，不会跳转到其他父级目录或更深的子目录。

4. 使用 --reject 和 --accept 参数

这两个选项用于更直观地定义排除和接受哪些文件类型。尽管它们不如正则表达式灵活，但在简单的需求下非常方便。

示例：仅下载 Jpg 文件

wget -r --accept=jpg http://example.com/images/

这行命令将只下载以 .jpg 结尾的文件，并且从 http://example.com/images/ 进行递归下载。

5. 综合使用过滤参数

在实际应用中，我们往往需要结合多种参数来实现更复杂的过滤需求。例如：

wget -r --reject=\.jpg,\.gif,\.pdf --accept-regex="\.png$" http://example.com/

这条命令将递归下载网站的所有内容，但会排除 .jpg, .gif 和 .pdf 文件，并且仅接受以 .png 结尾的文件。

通过熟练运用这些参数和技巧，你可以更精确地控制 wget 的下载行为，避免不必要的数据传输和存储。