创建 Python 爬虫步骤：创建虚拟环境：在 VS Code 中，使用 Python: Create Virtual Environment 命令。激活虚拟环境：在终端中，输入 source .venv/bin/activate。安装爬虫库：使用 pip 安装 requests 和 BeautifulSoup4 库。创建 Python 爬虫：导入库、定义 URL、发送请求、解析 HTML 内容并提取信息。
VS Code 中创建 Python 爬虫教程
创建虚拟环境
- 打开 VS Code，按
Ctrl+Shift+P（macOS 为Cmd+Shift+P）打开命令面板。 - 输入 "Python: Create Virtual Environment" 并回车。
- 选择要创建的环境的目录，然后按回车。这将在该目录中创建一个名为
.venv的虚拟环境。
激活虚拟环境
- 在 VS Code 中打开终端（
Ctrl+Shift+~或Cmd+Shift+~）。 - 输入 "source .venv/bin/activate" 并回车。
安装爬虫库
立即学习“Python免费学习笔记（深入）”；
- 在终端中输入 "pip install requests" 并回车。这将安装用于发送 HTTP 请求的
requests库。 - 输入 "pip install BeautifulSoup4" 并回车。这将安装用于解析 HTML 的
BeautifulSoup4库。
创建 Python 爬虫
- 在 VS Code 中创建一个新的 Python 文件。
- 导入
requests和BeautifulSoup4库。 - 定义爬取的目标 URL。
- 发送 HTTP 请求以获取目标页面的内容。
- 使用
BeautifulSoup4解析 HTML 内容，提取所需的信息。
示例代码
<code class="python">import requests
from bs4 import BeautifulSoup
# 定义目标 URL
target_url = "https://example.com"
# 发送 HTTP 请求
response = requests.get(target_url)
# 解析 HTML 内容
soup = BeautifulSoup(response.content, "html.parser")
# 提取所需信息
title = soup.find("title").text
body_text = soup.find("body").text</code>保存和运行爬虫
- 保存爬虫文件。
- 在 VS Code 中按
F5或Ctrl+F5（macOS 为Cmd+F5）运行爬虫。
提示
- 使用
pprint.pprint()函数以美观的方式打印提取的信息。 - 使用
with语句自动关闭 HTTP 响应。 - 探索
BeautifulSoup文档以了解如何提取更复杂的数据。
