linux下shell爬虫用curl+grep/sed/awk实现轻量抓取，适合简单页面快照与定时采集，不支持复杂逻辑或登录交互，但高效无依赖。
Linux 下用 Shell 写爬虫，本质是用命令行工具抓取网页内容并提取信息，不适合复杂逻辑或登录交互，但对简单页面快照、定时采集标题/链接等场景非常轻量高效。
基础工具：curl + grep / sed / awk
这是最简组合，不依赖 Python 或 Node.js，开箱即用：
- curl 负责发 HTTP 请求，获取 HTML 源码
- grep 快速匹配关键词（如 title、href）
- sed / awk 做简单清洗，比如去标签、截取字段
一行命令抓网页标题（最简示例）
执行以下命令，就能取出目标网页的 <title></title> 文本：
curl -s https://example.com | grep -oP '
说明：
- -s 静默模式，不显示进度
- -oP 启用 Perl 正则，\K 表示丢弃前面匹配部分
- sed 去首尾空格，更干净
抓多个链接并去重保存
提取所有 <a href="..."></a> 中的 URL，并过滤掉站外链接和空值：
curl -s https://example.com | grep -oP 'href="\K[^"]+' | grep '^/' | sort -u > links.txt
说明：
- 先用 grep -oP 提取引号内 href 值
- grep '^/' 只保留相对路径（以 / 开头），跳过 http:// 或 # 开头的
- sort -u 去重并排序，结果存入文件
加点健壮性：检查状态码 & 限时
避免因网络问题卡住或拿到错误页：
curl -s --max-time 10 --head -I https://example.com 2>/dev/null | head -n 1 | grep "200" >/dev/null && curl -s https://example.com | grep -oP '
说明：
- --max-time 10 最多等 10 秒
- --head -I 先发 HEAD 请求查状态码
- 成功才继续抓正文，否则输出提示
基本上就这些。Shell 爬虫不是万能的，但够用、快、无依赖，适合运维脚本、监控告警、日志快照等轻量场景。
