本文详解如何修正 `readlines()` 后仅处理最后一个 url 的常见错误，通过将请求与解析逻辑正确嵌入 for 循环，实现对文本文件中所有 url 的批量抓取与结构化提取。
在使用 file.readlines() 读取 URL 列表时，一个典型误区是将 requests.get()、BeautifulSoup 解析及文件写入等核心逻辑写在循环外部——这会导致只有最后一次迭代赋值的 url（即列表末尾的 URL）被实际处理。你提供的代码中，for link in linksList: url = link 仅更新变量，而后续的 requests.get(url) 等操作却位于循环之外，因此只执行一次，且作用于最后一个链接。
✅ 正确做法是：将整个 HTTP 请求、状态校验、HTML 解析和结果写入逻辑全部包裹在 for 循环内，确保每个 URL 独立完成完整流程。
以下是优化后的完整可运行代码（含关键改进说明）：
import requests
from bs4 import BeautifulSoup
def news():
# 使用 with 语句安全打开文件，自动关闭
with open('list.txt', 'r', encoding='utf-8') as f:
links_list = [line.strip() for line in f if line.strip()] # 去除换行符和空行
# 为每个 URL 单独处理
for link in links_list:
print(f"Processing: {link}")
try:
# 发起 GET 请求（建议添加超时和 headers 防止被拒）
resp = requests.get(link, timeout=10, headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
})
if resp.status_code == 200:
soup = BeautifulSoup(resp.text, 'html.parser')
# 查找目标 div 容器（注意：若页面无此结构，find 返回 None）
container = soup.find("div", {"class": "m-exhibitor-entry__item__body__contacts__additional__website"})
if container:
# 提取所有 标签的文本内容
websites = [a.get_text(strip=True) for a in container.find_all("a")]
if websites:
# 追加写入结果文件（每 URL 结果后加空行便于区分）
with open("Websites.txt", "a", encoding='utf-8') as out_f:
out_f.write(f"# Source: {link}\n")
out_f.writelines(f"{site}\n" for site in websites)
out_f.write("\n")
print(f"✓ Extracted {len(websites)} website(s) from {link}")
else:
print(f"⚠ No tags found in target div at {link}")
else:
print(f"⚠ Target div not found at {link}")
else:
print(f"✗ HTTP {resp.status_code} for {link}")
except requests.exceptions.RequestException as e:
print(f"❌ Request failed for {link}: {e}")
except Exception as e:
print(f"❌ Unexpected error parsing {link}: {e}")
if __name__ == "__main__":
news()? 关键改进点说明：
立即学习“Python免费学习笔记（深入）”；
- ✅ 循环范围正确：所有网络请求与解析逻辑均在 for link in links_list: 内部，确保每个 URL 被独立处理；
- ✅ 健壮性增强：添加 try/except 捕获网络异常（如超时、连接拒绝）和解析异常（如目标元素不存在）；
- ✅ 资源安全：使用 with open() 自动管理文件句柄，避免文件未关闭风险；
- ✅ 数据清洗：line.strip() 去除每行末尾换行符及首尾空白，if line.strip() 过滤空行；
- ✅ 可读性优化：为每个 URL 的结果添加来源注释（# Source: ...），便于后期溯源；
- ✅ 反爬基础防护：设置 User-Agent 头，降低被服务器拦截概率。
⚠️ 注意事项：
- 若 list.txt 中的 URL 包含多余空格或换行符（如 https://example.com\n），不清理会直接导致 requests.get() 报错；
- 目标 HTML 结构（如 div.m-exhibitor-entry__item__body__contacts__additional__website）可能随网站改版失效，建议先用 print(soup.prettify()[:1000]) 调试确认实际 DOM；
- 高频请求可能触发反爬机制，生产环境应添加 time.sleep(1) 间隔，并考虑使用代理池或异步请求（如 aiohttp）提升效率。
通过以上重构，你的爬虫将真正实现「一链一解析」，稳定高效地批量提取多页面中的结构化链接数据。
