从UniProt数据库搜索结果中提取Entry ID的教程
如上文摘要所述，本文将指导读者如何从UniProt数据库的搜索结果页面中提取Entry ID。 许多现代网站，包括UniProt，使用JavaScript动态加载数据。这意味着你直接通过requests库获取的HTML内容可能不包含你想要抓取的信息，因为这些信息是在页面加载后通过JavaScript添加的。 因此，直接解析通过requests获取的HTML源代码可能无法找到目标数据。
问题分析
原始代码尝试使用requests和BeautifulSoup直接解析UniProt搜索结果页面的HTML。
import requests
from bs4 import BeautifulSoup
url = "https://www.uniprot.org/uniprotkb?query=wound+healing"
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
links = soup.find_all("a", class_="BqBnJ")
uniprot_ids = [link.get_text(strip=True) for link in links]
for uniprot_id in uniprot_ids:
print(uniprot_id)这段代码的问题在于，UniProt网站使用JavaScript动态加载搜索结果。当你使用requests.get(url)时，你获取的是初始的HTML结构，其中不包含通过JavaScript加载的数据。因此，soup.find_all("a", class_="BqBnJ")返回的是一个空列表。
解决方案：模拟JavaScript请求
为了解决这个问题，我们需要找到UniProt网站用于加载数据的API端点，并使用requests库模拟这个请求。通过分析UniProt网站的网络请求，我们可以找到一个名为https://rest.uniprot.org/uniprotkb/search的API端点。
以下代码演示了如何使用这个API端点来获取Entry ID：
import requests
api_url = "https://rest.uniprot.org/uniprotkb/search"
params = {
"fields": "accession,reviewed,id,protein_name,gene_names,organism_name,length",
"query": "(wound healing)",
}
data = requests.get(api_url, params=params).json()
for r in data["results"]:
print(r["primaryAccession"])代码解释：
- api_url = "https://rest.uniprot.org/uniprotkb/search": 定义了UniProt API的URL。
-
params: 定义了请求参数。
- fields: 指定了要返回的字段，包括accession（Entry ID），reviewed，id，protein_name，gene_names，organism_name和length。
- query: 定义了搜索查询，这里是"(wound healing)"。
- data = requests.get(api_url, params=params).json(): 使用requests.get()方法发送GET请求，并将返回的JSON数据解析为Python字典。
- for r in data["results"]:: 遍历结果列表。
- print(r["primaryAccession"]): 打印每个结果的primaryAccession，即Entry ID。
模拟“下载”按钮并保存为JSON
如果你需要获取所有结果并将其保存为JSON格式，你可以使用以下代码，它模拟了UniProt网站上的“下载”按钮的功能：
import requests
api_url = "https://rest.uniprot.org/uniprotkb/stream"
params = {
"compressed": "false",
"download": "true",
"format": "json",
"query": "(wound healing)",
}
data = requests.get(api_url, params=params).json()
# show all data:
# print(data)
for r in data["results"]:
print(r["primaryAccession"])代码解释：
- api_url = "https://rest.uniprot.org/uniprotkb/stream": 使用了不同的API端点，stream，用于下载数据。
-
params: 定义了请求参数。
- compressed: 设置为"false"，表示不使用压缩。
- download: 设置为"true"，表示要下载数据。
- format: 设置为"json"，表示要以JSON格式下载数据。
- query: 定义了搜索查询，这里是"(wound healing)"。
- data = requests.get(api_url, params=params).json(): 使用requests.get()方法发送GET请求，并将返回的JSON数据解析为Python字典。
- # print(data): 取消注释此行可以打印所有下载的数据。
- for r in data["results"]:: 遍历结果列表。
- print(r["primaryAccession"]): 打印每个结果的primaryAccession，即Entry ID。
注意事项
- API Rate Limiting: UniProt API可能有速率限制。如果你的请求过于频繁，可能会被限制访问。请确保你的代码在短时间内不会发送过多的请求。你可以通过查看API文档来了解速率限制的详细信息。
- Error Handling: 在实际应用中，你应该添加错误处理机制，例如使用try...except块来捕获requests.exceptions.RequestException异常，以便在请求失败时进行适当的处理。
- User-Agent: 建议在请求头中设置User-Agent，以便让服务器知道你的请求来自哪个应用程序。这可以帮助服务器更好地了解你的使用情况，并可能避免被误认为是恶意机器人。
总结
本教程展示了如何从UniProt数据库的搜索结果页面中提取Entry ID，并避免了直接解析HTML的问题。通过模拟JavaScript请求，我们可以更高效、更准确地获取所需的数据。同时，我们还演示了如何模拟“下载”按钮，将所有结果保存为JSON格式。希望本教程能够帮助你更好地理解和应用网络数据抓取技术。
